KANDy: Kolmogorov-Arnold Networks and Dynamical System Discovery

Resumo Técnico: KANDy – Descoberta de Equações Governantes em Sistemas Dinâmicos

1. O Problema

A descoberta de equações governantes (modelos matemáticos) a partir de dados observacionais em sistemas dinâmicos não lineares e caóticos enfrenta desafios significativos:

• Limitações de Previsibilidade: Em sistemas caóticos (como o atrator de Lorenz), pequenos erros iniciais crescem exponencialmente, limitando a precisão de previsões de longo prazo ao "tempo de Lyapunov".
• Falhas da Regressão Esparsa (SINDy): Métodos tradicionais como SINDy (Sparse Identification of Nonlinear Dynamics) dependem da suposição de que as equações governantes são esparsas (compostas por poucas funções elementares). Isso falha em sistemas onde as equações envolvem séries infinitas, termos não polinomiais complexos (ex: mapa de Ikeda, termos de Holling Tipo II) ou onde a estrutura topológica global é crucial.
• Limitações de Redes Neurais Profundas: Arquiteturas profundas (MLPs) muitas vezes atuam como "caixas pretas", dificultando a interpretação física e a extração de equações simbólicas. Além disso, redes profundas puras podem não capturar adequadamente a estrutura algébrica de termos bilineares em sistemas como o de Lorenz sem uma largura adequada.
• Perda de Estrutura Topológica: Modelos existentes frequentemente falham em preservar invariantes geométricos e topológicos (como fibrados de Hopf) essenciais para a coerência do atrator.

2. Metodologia: A Arquitetura KANDy

O trabalho propõe o KANDy (Kolmogorov-Arnold Network for Dynamics), uma arquitetura neural de profundidade zero (zero-depth) e largura aumentada, que sintetiza o Teorema da Representação de Kolmogorov-Arnold (KAT) com técnicas de descoberta de equações.

• Arquitetura Zero-Depth: Diferente das KANs tradicionais que usam múltiplas camadas ocultas, o KANDy é essencialmente uma regressão generalizada. Ele mapeia diretamente as variáveis de estado (e termos "levantados") para as derivadas temporais ($\dot{x}$).
  • Fórmula: $\hat{f}_\theta(\Theta) = \text{KAN}_\theta(\Theta) \approx \frac{dx}{dt}$, onde $\Theta = \Phi(x)$ inclui variáveis de estado e termos não lineares "levantados" (lifted).
• Mecanismo de "Levantamento" (Lifting): O sistema utiliza um mapa de levantamento $\Phi$ que projeta as observáveis em um espaço de dimensão superior (possivelmente infinito), onde a dinâmica se torna aproximadamente linear ou estruturalmente mais simples (inspirado na teoria do Operador de Koopman). Isso permite que o KAN aprenda transformações não lineares sobre um dicionário de características físicas.
• Função de Perda Híbrida: O treinamento otimiza simultaneamente:
  1. Perda de Derivada ($L_{deriv}$): Garante que a rede preveja corretamente a velocidade local do campo vetorial.
  2. Perda de Rollout ($L_{roll}$): Integra a equação diferencial aprendida numericamente (ex: Runge-Kutta) e compara a trajetória resultante com os dados reais. Isso força a consistência global e a estabilidade do atrator, não apenas a precisão de um passo.
• Extração Simbólica: Após o treinamento, as funções de ativação de spline aprendidas nas arestas são substituídas por funções simbólicas (polinômios, trigonométricas, etc.) de uma biblioteca pré-definida. Um procedimento de seleção baseado em penalidade de complexidade ($R^2$ vs. complexidade) poda arestas irrelevantes, resultando em equações simbólicas interpretáveis e esparsas.

3. Contribuições Principais

1. Superação da Esparsidade: O KANDy descobre equações governantes em sistemas que violam a condição de esparsidade (ex: Mapa de Ikeda, Equação de Burgers Inviscida), onde métodos como SINDy falham.
2. Descoberta de Estrutura Topológica: Demonstrou capacidade de recuperar invariantes topológicos complexos, como o fibrado de Hopf, aprendendo o mapa de quociente que colapsa órbitas de grupo em pontos, algo que KANs profundas padrão falharam em fazer.
3. Análise Teórica de Limitações: O artigo prova teoremas demonstrando que KANs profundos com largura fixa (ex: largura 1 ou 3) são incapazes de representar certos termos bilineares (como $xy$ no sistema de Lorenz) sem um aumento de largura ou levantamentos adequados. Isso justifica a escolha da arquitetura de profundidade zero com levantamentos.
4. Estabilidade em Caos: O modelo mantém a geometria do atrator e a coerência de fase por múltiplos tempos de Lyapunov, superando a degradação rápida observada em redes recorrentes e ODEs neurais tradicionais.

4. Resultados Experimentais

O KANDy foi testado em diversos benchmarks, superando ou igualando métodos existentes:

• Fibrado de Hopf (Topologia): O KANDy aprendeu o mapa de quociente com erro médio angular de $1.8 \times 10^{-5}$, enquanto uma KAN profunda padrão colapsou as fibras, gerando erros significativos. A equação simbólica recuperada foi precisa.
• Mapa de Hénon (Discreto): Recuperou as equações exatas com 100% de fidelidade dos parâmetros.
• Sistema de Lorenz (Contínuo):
  • Recuperou os parâmetros $\sigma, \rho, \beta$ com alta precisão (erros relativos < 3% para $\rho$ e $\beta$).
  • As trajetórias de rollout permaneceram sincronizadas com o atrator verdadeiro por 5 tempos de Lyapunov.
  • A equação descoberta capturou corretamente os termos não lineares ($xy, xz$).
• Equação de Kuramoto-Sivashinsky (PDE Caótica): Recuperou a estrutura correta da PDE (convecção não linear, difusão de segunda ordem e hiper-difusão de quarta ordem), mantendo a estabilidade em simulações espaço-temporais longas.
• Equação de Burgers Inviscida (PDE com Choques):
  • Em cenários de formação de choques (descontinuidades), onde a regressão esparsa (SINDy/LASSO) falhou ou produziu equações com muitos termos espúrios, o KANDy recuperou a equação correta ($u_t = -u u_x$) com baixo erro (NRMSE de 0.049 vs 0.150 dos baselines).
  • O modelo aprendeu a geometria do choque sem introduzir oscilações espúrias.
• Mapa de Ikeda (Óptico): Recuperou com sucesso as equações do mapa de Ikeda, um caso de borda conhecido para métodos esparsos devido à sua estrutura de série infinita.

5. Significado e Impacto

O KANDy representa uma mudança de paradigma na descoberta de sistemas dinâmicos:

• Do "Profundo" para o "Expressivo": O trabalho argumenta que, para muitos sistemas físicos, a profundidade da rede não é o fator limitante, mas sim a capacidade de representar a estrutura composicional correta (via levantamentos e largura).
• Interpretabilidade Física: Ao combinar a flexibilidade de aprendizado de KANs com a estrutura de regressão esparsa, o KANDy fornece equações simbólicas legíveis por humanos, essenciais para a validação física e a compreensão teórica.
• Robustez em Caos: A integração de perdas de rollout e levantamentos topológicos permite que o modelo aprenda a dinâmica subjacente além dos limites de previsibilidade determinística, preservando a geometria global do sistema.
• Aplicabilidade Geral: A metodologia é aplicável a ODEs, PDEs, sistemas discretos e sistemas com simetrias complexas, oferecendo uma alternativa unificada e robusta para a modelagem baseada em dados em ciências físicas e biológicas.

Em suma, o KANDy demonstra que a síntese de redes neurais baseadas em teoremas de representação (KAT) com princípios de dinâmica (Koopman e levantamentos) permite a descoberta precisa e interpretável de leis físicas em sistemas complexos onde métodos tradicionais falham.