KANDy: Kolmogorov-Arnold Networks and Dynamical System Discovery

Titolo: KANDy: Reti di Kolmogorov-Arnold e Scoperta di Sistemi Dinamici

1. Il Problema

La scoperta di equazioni governative (governing equations) per sistemi dinamici non lineari, specialmente quelli caotici, rappresenta una sfida fondamentale nella scienza dei dati e nella fisica. Le attuali metodologie affrontano diverse limitazioni critiche:

• Limiti della Regressione Sparsa (es. SINDy): Metodi come SINDy (Sparse Identification of Nonlinear Dynamics) si basano sull'assunzione che le equazioni del sistema siano sparse (composte da pochi termini elementari). Tuttavia, molti sistemi reali (es. mappa di Ikeda, sistemi di Holling, equazioni di Kuramoto-Sivashinsky) violano questa condizione di sparsità, rendendo questi metodi inefficaci.
• Collasso della Prevedibilità nel Caos: Nei sistemi caotici, l'accuratezza delle previsioni decade esponenzialmente dopo un tempo di Lyapunov. I modelli basati su deep learning tradizionale (come MLP o LSTM) spesso ottengono alta accuratezza a breve termine ma falliscono nel mantenere la geometria dell'attrattore a lungo termine, portando a una rapida decorrelazione di fase.
• Limiti delle Reti KAN Standard: Sebbene le Reti di Kolmogorov-Arnold (KAN) offrano interpretabilità e capacità di catturare non linearità strutturate, le architetture profonde (deep KAN) standard possono nascondere le vere equazioni globali a causa della composizione di funzioni univariate su singoli nodi, rendendo difficile l'estrazione simbolica delle equazioni governative, specialmente per termini bilineari complessi (es. $xy$ nel sistema di Lorenz).

2. Metodologia: L'Architettura KANDy

Gli autori introducono KANDy (Kolmogorov-Arnold Network for Dynamics), un'architettura neurale innovativa progettata per scoprire equazioni governative superando i limiti sopra citati.

• Architettura "Zero-Depth" e "Wide": KANDy utilizza una rete KAN con zero strati nascosti (equivalente a una regressione) ma con una larghezza aumentata. Invece di apprendere gerarchie profonde di caratteristiche latenti, la rete mappa direttamente gli stati del sistema (o stati "lifted") alle derivate temporali.
• Feature Lifting (Sollevamento): Il cuore del metodo è la mappatura delle variabili di stato osservabili in uno spazio di caratteristiche più ampio e non lineare (spesso infinito-dimensionale o Koopman-invariante). Questo include termini fisici informati (es. prodotti $xy$, $xz$, derivate spaziali) che vengono forniti come input alla rete.
• Funzione di Perdita Ibrida: L'addestramento combina due obiettivi:
  1. Perdita di Derivata: Minimizza l'errore tra la previsione della rete e le derivate temporali locali ($\dot{x}$).
  2. Perdita di Rollout (Traiettoria): Penalizza la divergenza tra le traiettorie integrate nel tempo dal modello e i dati reali. Questo è cruciale per garantire la coerenza globale e la stabilità dell'attrattore, non solo l'accuratezza locale.
• Estrazione Simbolica: Dopo l'addestramento, le funzioni di attivazione spline apprese su ogni "bordo" della rete vengono sostituite con funzioni simboliche (polinomi, funzioni trascendenti) tramite un processo di fitting greedy regolarizzato per la complessità. Le connessioni con un adattamento scarso vengono potate a zero, rivelando un'equazione simbolica sparsa e interpretabile.

3. Contributi Chiave

1. Superamento della Sparsità: KANDy dimostra di poter scoprire equazioni per sistemi che violano le condizioni di sparsità (come la mappa di Ikeda o sistemi con termini di Holling), dove i metodi basati su regressione sparsa falliscono.
2. Preservazione della Geometria dell'Attrattore: A differenza di molti modelli di deep learning che perdono la struttura globale del sistema caotico, KANDy mantiene la coerenza geometrica dell'attrattore per periodi di rollout significativi (fino a 5 tempi di Lyapunov nel caso di Lorenz).
3. Scoperta di Strutture Topologiche: Il modello è stato testato sulla Fibratura di Hopf, dimostrando la capacità di apprendere mappe di quoziente non banali e strutture di fascio, recuperando invarianti topologici che le KAN standard non riescono a catturare.
4. Dimostrazione Teorica sui Limiti delle KAN Profonde: Gli autori forniscono teoremi (Teoremi 1-7) che dimostrano come le KAN profonde con larghezza limitata non possano rappresentare certi termini bilineari (es. $xy$e$xz$ simultaneamente nel sistema di Lorenz) senza un'adeguata larghezza o lifting, giustificando l'approccio "zero-depth" con lifting.

4. Risultati Sperimentali

Il modello è stato valutato su una serie di benchmark di complessità crescente:

• Sistemi Discreti (Mappa di Hénon e Ikeda):
  • KANDy ha recuperato le equazioni governative della mappa di Hénon con il 100% di fedeltà dei parametri.
  • Ha successo nel recuperare la mappa di Ikeda (un caso limite per la regressione sparsa a causa della sua serie infinita), recuperando i coefficienti con alta precisione.
• Sistemi Continui (Sistema di Lorenz):
  • Il modello ha ricostruito l'attrattore strano e le equazioni differenziali. Sebbene ci siano piccole deviazioni nei coefficienti lineari (dovute a bias di stima o dati non centrati), i termini di accoppiamento non lineare ($xy$, $xz$) e i parametri chiave ($\rho, \beta$) sono stati recuperati con alta accuratezza.
  • Le previsioni a lungo termine rimangono coerenti con l'attrattore oltre il tempo di Lyapunov, preservando la geometria globale.
• Equazioni alle Derivate Parziali (PDE) Caotiche:
  • Kuramoto-Sivashinsky (KS): KANDy ha recuperato la struttura corretta dell'equazione (convezione non lineare, dissipazione di secondo e quarto ordine) e ha prodotto rollout stabili nello spazio-tempo.
  • Burgers Inviscido: In un caso di sfida con shock e discontinuità, KANDy ha superato i metodi basati su SINDy e PDE-Find, recuperando l'equazione corretta ($u_t = -u u_x$) con un errore RMSE significativamente inferiore, dimostrando robustezza alla formazione di shock senza bisogno di profondità di rete.

5. Significato e Implicazioni

Il lavoro di KANDy rappresenta un cambio di paradigma nella modellazione data-driven dei sistemi dinamici:

• Sintesi di Teorie: Unisce la teoria delle reti KAN, la regressione sparsa e la teoria dell'operatore di Koopman in un framework unificato.
• Interpretabilità: Fornisce equazioni simboliche leggibili dall'uomo, colmando il divario tra modelli "black-box" e modelli fisici tradizionali.
• Robustezza al Caos: Dimostra che la chiave per la previsione a lungo termine nei sistemi caotici non risiede necessariamente nella profondità della rete, ma nella corretta rappresentazione delle caratteristiche (lifting) e nella regolarizzazione tramite rollout.
• Applicabilità: Offre una soluzione promettente per sistemi complessi in biologia, fluidodinamica e fisica, dove le assunzioni di sparsità non sono valide e la struttura topologica è cruciale.

In sintesi, KANDy si posiziona come un'alternativa interpretabile ed efficace per la modellazione di sistemi dinamici non lineari, capace di scoprire le leggi fisiche sottostanti anche in scenari complessi e caotici dove i metodi tradizionali falliscono.