Simultaneous model discovery and state estimation under high data corruption

Resumo Técnico: Descoberta de Modelo e Estimativa de Estado Simultâneas

1. Problema e Motivação

O artigo aborda o desafio científico de combinar leis físicas com dados observacionais para descobrir equações diferenciais ordinárias (EDOs) que governam sistemas complexos. O foco principal é lidar com dois cenários críticos onde os métodos tradicionais falham:

• Dados Ruidosos: A presença de ruído significativo nos dados de observação.
• Dados Incompletos: A falta de medições em certas regiões do domínio ou para certas componentes do estado (dados latentes).

Métodos existentes, como o algoritmo SINDy (Sparse Identification of Nonlinear Dynamics) e suas variantes, baseiam-se frequentemente em regressão de resíduos. Esses métodos são altamente sensíveis ao ruído, pois exigem a diferenciação direta dos dados observados, o que amplifica o erro. Além disso, a maioria das abordagens assume que o modelo é linear nos parâmetros, limitando sua aplicabilidade a sistemas mais gerais. O objetivo deste trabalho é desenvolver uma estratégia que realize simultaneamente a descoberta da estrutura da equação (seleção de termos) e a estimação do estado verdadeiro do sistema, mesmo sob condições adversas de dados.

2. Metodologia Proposta

Os autores propõem uma abordagem de regressão esparsa híbrida baseada em inferência estatística máxima de verossimilhança (Maximum Likelihood Estimation - MLE).

• Formulação do Problema:
  O problema é formulado considerando incertezas tanto nos dados quanto no modelo. Seja $N(u; \theta) = 0$ a equação diferencial discretizada, onde $u$ é o vetor de estado e $\theta$ são os parâmetros desconhecidos. A função de verossimilhança leva em conta:

  1. O erro de fidelidade aos dados observados ($\hat{u}$).
  2. O erro de resíduo do modelo ($N(u; \theta)$).
  3. Um parâmetro $\lambda$ que pondera a incerteza relativa entre o modelo e os dados.

  A função de perda a ser minimizada é:
  $$L_\lambda(\theta, u) = \|N(u; \theta)\|^2 + \lambda \|\hat{u} - u|_D\|^2$$
  Onde a minimização ocorre simultaneamente sobre os parâmetros $\theta$ e as variáveis de estado $u$. Isso permite que o método "interpole" entre os dados observados e a solução suave exata da EDO, atuando implicitamente como um filtro de ruído sem necessidade de pré-processamento direto.

• Seleção Esparsa (Model Discovery):
  Para identificar quais termos da biblioteca de candidatos são relevantes, o método não utiliza apenas penalidades $L_1$ (que podem introduzir viés) ou limiares rígidos. Em vez disso, emprega Critérios de Informação Bayesiana (BIC) para comparar modelos.

  • Um algoritmo adaptativo de "poda" (pruning) e refinamento é utilizado. Ele começa com todos os termos e remove iterativamente os menos significativos baseando-se na redução do BIC.
  • O algoritmo possui fases de refinamento forward (remoção de termos) e backward (reintrodução de termos se a remoção excessiva degradar o modelo), garantindo uma busca robusta pelo modelo mais parcimonioso.

• Otimização Numérica:

  • O problema de otimização é não-convexo e de alta dimensão.
  • Os autores utilizam uma variante de segunda ordem do método de Levenberg-Marquardt (LM).
  • Para lidar com a complexidade computacional, o gradiente e a matriz Hessiana são calculados via Diferenciação Automática (AD).
  • Aproveitando a estrutura esparsa da Hessiana (devido à discretização local), utilizam-se técnicas de coloração de grafos para calcular produtos vetor-Hessiana de forma eficiente, tornando a otimização de segunda ordem viável para problemas grandes.

• Generalidade:
  Diferente de métodos baseados em biblioteca que exigem linearidade nos parâmetros, esta formulação permite que os termos da biblioteca dependam não-linearmente dos parâmetros (ex: $e^{ax}$ onde $a$ é um parâmetro a ser estimado).

3. Principais Contribuições

1. Abordagem Híbrida Robusta: A integração simultânea da estimativa de estado e parâmetros via MLE supera a sensibilidade ao ruído dos métodos de regressão de resíduos tradicionais.
2. Seleção de Modelo via BIC: Uso de critérios de informação estatística em vez de limiares fixos para seleção de termos, evitando viés e melhorando a precisão na presença de ruído.
3. Otimização de Segunda Ordem Eficiente: Demonstração prática de que métodos de segunda ordem (Levenberg-Marquardt com Hessiana exata) podem ser aplicados a problemas de descoberta de modelos usando diferenciação automática e coloração de grafos, superando em velocidade e precisão métodos de primeira ordem (como L-BFGS ou gradiente descendente).
4. Flexibilidade de Modelo: Capacidade de lidar com equações não-lineares nos parâmetros e dados incompletos (latentes) sem necessidade de imputação complexa prévia.

4. Resultados Experimentais

Os métodos foram testados em vários sistemas dinâmicos clássicos (Oscilador de Van der Pol, Sistema de Lorenz, Sistema Lorenz-96 e Oscilador Colpitts) com níveis variados de ruído (até 50%) e dados faltantes.

• Comparação com WSINDy: O método proposto foi comparado com o WSINDy (Weak-form SINDy), um estado da arte para dados ruidosos.
  • Taxa de Recuperação: O método proposto superou consistentemente o WSINDy na taxa de recuperação correta da estrutura do modelo (True Positive Rate - TPR), especialmente em níveis de ruído elevados.
  • Erro de Parâmetros e Estado: Apresentou erros relativos menores tanto nos parâmetros estimados quanto na reconstrução do estado do sistema.
• Dados Incompletos: O método demonstrou capacidade de recuperar dinâmicas precisas mesmo quando grandes porções dos dados foram removidas (ex: 30-50% de dados faltantes ou lacunas contínuas).
• Termos Não-Lineares: No caso do Oscilador Colpitts, o método recuperou com sucesso um termo exponencial com um parâmetro desconhecido ($e^{ax}$), algo que métodos lineares em parâmetros não conseguem fazer diretamente.
• Refinamento de Malha: Estudos mostraram que o refinamento da malha de discretização melhora a precisão até um certo limite, dependendo da taxa de amostragem dos dados.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na área de identificação de sistemas e descoberta de modelos baseados em dados. Ao tratar a descoberta de equações e a estimativa de estado como um problema unificado de inferência estatística, o método proposto oferece uma solução robusta para os desafios práticos de dados reais (ruidosos e incompletos).

A capacidade de lidar com não-linearidades nos parâmetros e a eficiência computacional alcançada através da otimização de segunda ordem tornam esta abordagem uma ferramenta poderosa para aplicações em física, biologia e engenharia, onde modelos precisos são essenciais, mas os dados de observação são frequentemente imperfeitos. O código e os dados do estudo estão disponíveis publicamente, facilitando a reprodutibilidade e o avanço futuro da área.