Sintesi Tecnica: Il Gap di Consistenza Dinamico-Probabilistica nella Modellazione di Surrogati Caotici

1. Definizione del Problema

La Ricostruzione di Sistemi Dinamici (DSR) mira a apprendere surrogati neurali generativi che catturino la dinamica sottostante dei dati di serie temporali. Per applicazioni scientifiche — come l'analisi delle biforcazioni, la stima della misura invariante o il controllo a lungo orizzonte — questi surrogati non devono solo raggiungere un'accuratezza predittiva a breve orizzonte, ma anche riprodurre la struttura dinamica di lungo periodo del sistema, inclusi la geometria dell'attrattore e gli esponenti di Lyapunov.

Tuttavia, un dispiegamento affidabile in regimi rumorosi richiede la stima probabilistica dello stato e la predizione consapevole dell'incertezza. Il documento identifica un conflitto fondamentale denominato Gap di Consistenza Dinamico-Probabilistica (DPC): la ricerca di obiettivi probabilistici a orizzonte finito (ad esempio, massimizzare la verosimiglianza o minimizzare la Negative Log-Likelihood) può degradare la dinamica autonoma appresa o disaccoppiare l'incertezza predittiva dalla dinamica del piano tangente locale che dovrebbe riflettere.

Nello specifico, nei sistemi caotici, la corretta espansione locale aumenta il volume predittivo. Gli standard obiettivi probabilistici spesso penalizzano questa crescita di volume (agendo come un "Occam's razor automatico"), creando scorciatoie di ottimizzazione che compromettono la fedeltà fisica del surrogato.

2. Metodologia

2.1 Tassonomia Meccanicistica dei Modi di Fallimento

Gli autori isolano tre meccanismi specifici attraverso i quali il gap DPC si manifesta, categorizzati per obiettivo di addestramento (Open-Loop vs. Filtered Innovation) e parametrizzazione della covarianza (Jacobiana-trasportata vs. Invariante rispetto allo Stato):

1. Collasso del Core (Core Collapse): Si verifica con obiettivi Open-Loop e covarianza Jacobiana-trasportata. Il termine del log-determinante nella verosimiglianza Gaussiana penalizza la crescita del volume predittivo. Poiché l'espansione caotica aumenta intrinsecamente il volume, l'ottimizzatore restringe i prodotti Jacobiani appresi per sopprimere questa penalità, collassando efficacemente la dinamica caotica in un regime stabile o meno caotico.
2. Mascheramento del Rumore (Noise Masking): Si verifica con obiettivi Open-Loop e covarianza Invariante rispetto allo Stato (senza trasporto). L'ottimizzatore gonfia i parametri del processo o del rumore di osservazione ($\Gamma, \Lambda$) per assorbire gli errori del modello e migliorare i punteggi di verosimiglianza senza correggere il nucleo deterministico. Ciò risulta in una dinamica autonoma scarsa nonostante i buoni punteggi predittivi.
3. Incertezza Cieca (Blind Uncertainty): Si verifica con obiettivi Filtered e covarianza Invariante rispetto allo Stato. Sebbene il nucleo deterministico rimanga sano, la covarianza predittiva non è dinamicamente ancorata. Essa non riesce a tracciare i tassi di espansione e contrazione locale, rimanendo insensibile alla struttura del Jacobiano locale.

2.2 Soluzione Proposta: KAFFEE

Per mitigare il gap DPC, gli autori propongono KAFFEE (Kalman-Aware Framework For Ergodic Emulation). KAFFEE è un framework di addestramento differenziabile basato sull'Extended Kalman Filter (EKF) che aderisce a due principi di progettazione:

• Valutazione Locale: La verosimiglianza è valutata sulle innovazioni filtrate (residui dopo l'assimilazione dei dati) piuttosto che su lunghe covarianze predittive open-loop. Ciò evita che l'obiettivo penalizzi la crescita cumulativa del volume richiesta per l'espansione caotica.
• Ancoraggio Dinamico: L'incertezza predittiva è trasportata attraverso i Jacobiani locali appresi ($J_{\theta_c}$). L'aggiornamento della covarianza segue lo standard step di predizione dell'EKF: $\Sigma_{t|t-1} = J_{\theta_c,t} \Sigma_{t-1|t-1} J_{\theta_c,t}^\top + \Gamma_{\theta_s}$.

KAFFEE minimizza la negative log-likelihood (NLL) della sequenza di innovazione:
$$\mathcal{L}_{EKF} = \sum_{t=1}^T \left( \frac{1}{2} \log \det \Omega_t + \frac{1}{2} \| x_t - B z_{t|t-1} \|_{\Omega_t^{-1}}^2 \right)$$
dove $\Omega_t$ è la covarianza di innovazione derivata dalla covarianza dello stato trasportata dal Jacobiano. Questo approccio tratta il nucleo deterministico e il guscio stocastico come un sistema unificato, dove l'aggiornamento di Kalman fornisce un fattore di smorzamento anisotropo dipendente dallo stato che stabilizza l'addestramento senza far collassare la dinamica.

3. Configurazione Sperimentale e Valutazione

Gli autori valutano il gap DPC e KAFFEE utilizzando due setting complementari:

1. Ablazione Meccanicistica: Utilizzando RNN Piecewise-Affine (AL-RNN) sul sistema stocastico e ipercaotico Lorenz-96 ($N=20$). Ciò consente il calcolo esatto del Jacobiano e l'isolamento controllato dei modi di fallimento.
2. Adattamento di Modelli Fondamentali (Foundation Models): Adattamento probabilistico di DynaMix, un modello fondamentale per sistemi dinamici (DSFM) pre-addestrato, attraverso 13 sistemi ODE caotici tenuti fuori dal set di addestramento (es. Lorenz-63, Chen, Rabinovich-Fabrikant) con il 10% di rumore di osservazione.

Framework di Valutazione:
Il documento introduce un framework di valutazione a tre assi per separare il comportamento probabilistico locale dalla fedeltà dinamica:

• Comportamento Probabilistico Locale: Misurato tramite NLL, CRPS e $G_{tan}$ (correlazione di rango di Spearman tra la crescita della varianza del surrogato e l'espansione del piano tangente locale reale).
• Fedeltà Dinamica Stocastica: Misurata tramite divergenza dello spazio degli stati e errore nel tasso di crescita del volume instabile (somma degli esponenti di Lyapunov positivi) con il guscio attivo.
• Fedeltà Dinamica Deterministica: Misurata tramite divergenza dello spazio degli stati, sovrapposizione spettrale (distanza di Hellinger) e entropia KS con il guscio rimosso (isolando il nucleo).

4. Risultati Chiave

4.1 Ablazione Lorenz-96

• Collasso del Core: Gli obiettivi open-loop con trasporto Jacobiano hanno degradato significativamente il nucleo deterministico, riducendo l'entropia KS e fallendo nel catturare l'espansione ipercaotica.
• Mascheramento del Rumore: Gli obiettivi open-loop senza trasporto hanno ottenuto NLL competitive ma non sono riusciti ad apprendere la dinamica corretta, con $G_{tan}$ vicino allo zero.
• Incertezza Cieca: Gli obiettivi filtrati senza trasporto hanno preservato il nucleo ma non hanno ancorato l'incertezza ($G_{tan} \approx 0$).
• Performance di KAFFEE: KAFFEE (Filtered + Tied Transport) è stato l'unico metodo che ha simultaneamente:
  • Preservato l'espansione ipercaotica intrinseca del sistema (corrispondendo all'entropia KS del prior deterministico).
  • Mantenuto un'alta calibrazione predittiva (NLL/CRPS competitivi).
  • Ottenuto un forte ancoraggio dinamico ($G_{tan} \approx 0.475$, significativamente più alto dei baseline).

4.2 Adattamento DynaMix

• Quando si adattava il modello fondamentale pre-addestrato DynaMix, l'affinamento (fine-tuning) open-loop causava la deriva del nucleo autonomo dai suoi dati dinamici zero-shot (aumento di $D_{stsp}$ ed errori spettrali).
• KAFFEE-DynaMix ha preservato la dinamica autonoma zero-shot (deriva minima in $D_{stsp}$ e sovrapposizione spettrale) migliorando al contempo i punteggi probabilistici (NLL) rispetto al baseline a nucleo congelato.
• Crucialmente, KAFFEE ha abilitato il filtraggio bayesiano in-context per il modello fondamentale, permettendogli di assimilare osservazioni sparse e rumorose online pur mantenendo i propri invarianti fisici appresi.

4.3 Controlli Non Caotici

Gli esperimenti su spirali lineari stabili e cicli limite di Van der Pol hanno confermato che i meccanismi del gap DPC sono distinti dall'attenuazione classica del "rumore di stato" (dove trattare le osservazioni rumorose come stati porta a stime distorte e eccessivamente contratte). KAFFEE ha recuperato con successo i corretti raggi spettrali e le geometrie dei cicli limite dove la stima di massima verosimiglianza ingenua falliva.

5. Significato e Rivendicazioni

Il documento sostiene che il gap DPC è un problema strutturale nella DSR probabilistica, dove gli obiettivi probabilistici a orizzonte finito possono incentivare scorciatoie che distruggono l'utilità scientifica di un surrogato.

• Contributo Teorico: Gli autori formalizzano il gap DPC e identificano tre distinti modi di fallimento (Core Collapse, Noise Masking, Blind Uncertainty), dimostrando che l'addestramento basato sulla verosimiglianza può attivamente degradare gli invarianti dinamici in regimi caotici.
• Contributo Metodologico: KAFFEE fornisce una realizzazione concreta di una DSR probabilistica "dinamicamente ancorata". Accoppiando la valutazione dell'innovazione filtrata con il trasporto della covarianza basato sul Jacobiano, mitiga le scorciatoie di pressione-volume intrinseche agli obiettivi open-loop.
• Impatto Pratico: I risultati suggeriscono che, per i surrogati scientifici, specialmente i modelli fondamentali, l'adattamento probabilistico deve essere vincolato per preservare la dinamica autonoma. KAFFEE consente di dotare i modelli fondamentali deterministici di incertezza calibrata e localmente ancorata senza sacrificare la loro fedeltà dinamica zero-shot.

Gli autori concludono che, sebbene KAFFEE erediti l'approssimazione Gaussiana locale dell'EKF (il che potrebbe limitare la rappresentazione di incertezze multimodali), offre un passo fondamentale verso lo sviluppo di modelli surrogati in grado di gestire l'incertezza in modo coerente con la dinamica caotica sottostante. Si suggerisce come lavoro futuro l'esplorazione di approcci di filtraggio più ricchi (ad esempio, filtri particellari, filtri di Kalman d'insieme) e approssimazioni a basso rango per sistemi ad alta dimensionalità.