Data-Based Dynamical Systems Reconstruction: An Adequacy/Reliability Test

Resumo Técnico: Reconstrução de Sistemas Dinâmicos Baseados em Dados: Um Teste de Adequação/Confiabilidade

Definição do Problema
O artigo aborda o desafio de validar a reconstrução de sistemas dinâmicos estocásticos a partir de dados experimentais ruidosos. Embora avanços recentes em aprendizado de máquina (ex: redes neurais) e abordagens contínuas (ex: operadores de Koopman) tenham melhorado a capacidade de reconstruir regras dinâmicas a partir de séries temporais, a validação dessas reconstruções permanece problemática.

Estratégias de validação padrão tipicamente baseiam-se na minimização de uma função de perda durante o treinamento ou no uso de métricas independentes (ex: divergência de Kullback-Leibler, distância de Wasserstein) em dados não utilizados para treinamento (held-out data). Os autores argumentam que essas abordagens são insuficientes para sistemas estocásticos por duas razões principais:

1. Falta de Garantias Teóricas: Diferente de sistemas determinísticos, onde a reconstrução de trajetórias é teoricamente garantida sob condições gerais, não existe tal teoria para sistemas onde o processo gerador não pode ser assumido como determinístico.
2. Limitações de Métricas e Degenerescência: Métricas padrão frequentemente falham em distinguir robustamente entre sistemas devido à variabilidade intrínseca das trajetórias estocásticas. Além disso, a "degenerescência" (onde diferentes parâmetros de modelo produzem saídas observáveis idênticas) e a "não-identificabilidade" tornam difícil definir limiares de erro universais. Um erro "pequeno" em uma métrica pode não garantir uma reconstrução adequada, e diferentes métricas podem gerar avaliações conflitantes dos mesmos dados.

Metodologia: O Teste de Adequação/Confiabilidade (AR)
Para superar a dependência de limiares de erro arbitrários e as limitações das métricas padrão, os autores propõem um teste exploratório de dois estágios, chamado teste de Adequação/Confiabilidade (AR). Este teste avalia se uma série temporal alvo "se mistura" (blends in) com um conjunto de trajetórias geradas por um modelo reconstruído candidato.

O teste opera sobre a estrutura geométrica dos dados (histogramas de variáveis de estado) em vez de correspondência ponto a ponto de trajetórias. Ele consiste em dois estágios:

1. Estágio 1: O Teste de Tipicidade (Intervalo Interquartil de Tukey)

   • Objetivo: Determinar se o histograma dos dados alvo é "típico" em relação à distribuição dos histogramas gerados pelo modelo candidato.
   • Mecanismo: Para cada compartimento (bin) no histograma, o valor alvo é comparado contra o conjunto de valores de $N$ histogramas de tentativa gerados pelo modelo. Utilizando o método do IQR de Tukey (com um fator de tolerância padrão $f=1,5$), o valor do compartimento alvo é classificado como outlier ou típico.
   • Métrica: Um "Índice de Tipicidade" ($TI_s$) é calculado como a área do histograma alvo composta por compartimentos não-outliers. Se o $TI_s$ exceder o limite inferior do intervalo do IQR (ou um limiar definido pelo usuário $1-\alpha$), o alvo é considerado "típico". Caso contrário, o modelo é rejeitado como inadequado.

2. Estágio 2: O Teste de Regularidade (Teste de Sinais Estatístico)

   • Objetivo: Avaliar se as flutuações locais do histograma alvo em torno da mediana dos histogramas de tentativa são estatisticamente consistentes com a dinâmica do modelo.
   • Mecanismo: Para os compartimentos classificados como típicos no Estágio 1, analisa-se o desvio do valor alvo em relação à mediana do conjunto de tentativas. Um teste de sinais não paramétrico é aplicado para verificar se os sinais desses desvios seguem uma distribuição binomial ($p=0,5$), como esperado sob a hipótese nula de que o alvo e as tentativas compartilham a mesma dinâmica subjacente.
   • Métrica: Se o p-valor for maior que o nível de significância $\alpha$ (tipicamente 0,05), a reconstrução é considerada "regular" e adequada. Se o p-valor for menor, as flutuações são consideradas inconsistentes e o modelo é rejeitado.

Principais Resultados
Os autores validaram o teste AR usando quatro modelos representativos: os sistemas Chua e Lorenz (caóticos), e os sistemas FitzHugh-Nagumo (FHN) e Lambda-Omega ($\Lambda\Omega$) (oscilatórios), todos submetidos a ruído Gaussiano aditivo.

• Falha das Métricas Padrão: Em simulações dos sistemas FHN e Lorenz com ruído, métricas padrão (divergência KL, distância de Wasserstein, distância de Hellinger) exibiram alta variabilidade (Coeficiente de Variação de até 60% para Lorenz). Essas métricas falharam em reconhecer robustamente que múltiplas tentativas foram geradas pelo mesmo sistema, frequentemente produzindo valores que não podiam ser distinguidos de outliers ou que não convergiam para zero.
• Sucesso do Teste AR: Quando aplicado ao sistema Lorenz estocástico reconstruído via uma Rede Neural Recorrente Linear por Partes (PLRNN), o teste AR identificou corretamente a reconstrução como adequada. O dado alvo foi classificado tanto como "típico" (alto $TI_s > 0,95$) quanto como "regular" (passando no teste de sinais), enquanto as métricas padrão mostraram ampla dispersão e resultados inconclusivos.
• Estabilidade: O resultado do teste mostrou-se estável conforme o número de tentativas aumentava, desde que o nível de ruído não fosse excessivo. Embora níveis elevados de ruído tenham introduzido certa variabilidade nos resultados, o teste geralmente convergiu para uma classificação consistente.
• Impacto da Degenerescência: O estudo destacou que a degenerescência do sistema restringe a aplicabilidade do teste.
  • No modelo $\Lambda\Omega$, altamente degenerado, onde diferentes parâmetros geram ciclos limite idênticos, o teste teve dificuldade em distinguir entre o sistema de referência e variantes degeneradas, particularmente em níveis baixos de ruído onde as dinâmicas transientes não foram suficientemente ativadas.
  • No modelo FHN, que exibe menos degenerescência estrutural, o teste distinguiu os sistemas de forma mais eficaz, embora tenham ocorrido falsos positivos em níveis altos de ruído quando os sistemas eram apenas ligeiramente diferentes.
• Viés de Reconstrução: Um achado crítico foi que o teste AR pode, por vezes, favorecer um modelo reconstruído em detrimento do sistema original se o sistema original gerou uma trajetória "atípica" (rara). O modelo reconstruído, treinado nesta órbita específica, pode produzir um conjunto de tentativas onde a órbita alvo aparece mais "típica" do que ela é dentro do conjunto (ensemble) mais amplo do sistema original.

Significância e Alegações
O artigo alega oferecer um framework universal e agnóstico a modelos para validar reconstruções de sistemas dinâmicos estocásticos. Suas principais contribuições são:

1. Independência de Limiar: O teste AR evita a necessidade de limiares de tolerância de erro arbitrários e dependentes de contexto. Em vez disso, estabelece "intervalos de admissibilidade" dinamicamente baseados na variabilidade das próprias tentativas do modelo candidato.
2. Natureza Exploratória: Diferente da inferência estatística tradicional, que depende de pressupostos probabilísticos estritos, o teste AR é formulado como uma ferramenta de análise exploratória de dados. Ele utiliza resumos estatísticos robustos (IQR, mediana, teste de sinais) para guiar a avaliação da qualidade da reconstrução sem exigir suposições de ergodicidade ou hipóteses específicas sobre a cardinalidade do sistema.
3. Tratamento da Estocasticidade: Ao focar na estrutura geométrica (histogramas) e no "blend" estatístico dos dados, em vez de correspondência de trajetórias ponto a ponto, o teste aborda a limitação fundamental de que trajetórias estocásticas não são únicas.
4. Eficiência de Dados: O método permite o uso de todo o conjunto de dados para o ajuste do modelo, aplicando o teste de validação a posteriori. Isso é particularmente valioso em cenários onde os dados são limitados, pois não exige a divisão dos dados em conjuntos separados de treinamento e validação.

Os autores concluem que, embora o teste AR não forneça uma classificação absoluta de "bom/ruim", ele oferece uma avaliação relativa rigorosa de se a dinâmica de um sistema reconstruído é consistente com as propriedades estatísticas e geométricas dos dados alvo. Eles reconhecem que, em casos de degenerescência extrema, o teste pode não distinguir entre modelos concorrentes, mas identifica com sucesso quando uma reconstrução falha em capturar a variabilidade essencial do sistema alvo.