Teacher Forcing as Generalized Bayes: Optimization Geometry Mismatch in Switching Surrogates for Chaotic Dynamics

1. Enunciato del Problema

Il documento affronta un paradosso fondamentale nella Ricostruzione di Sistemi Dinamici (DSR) utilizzando Reti Neurali Ricorrenti (RNN), in particolare per i sistemi caotici:

• L'Obiettivo: Apprendere modelli surrogati che riproducano accuratamente il comportamento invariante a lungo termine (ad esempio, esponenti di Lyapunov, geometria dell'attrattore) di un sistema caotico, piuttosto che limitarsi alla previsione di traiettorie a breve termine.
• La Sfida: I sistemi caotici esibiscono una dipendenza sensibile dalle condizioni iniziali (esponenti di Lyapunov positivi). Ciò causa l'esplosione dei gradienti a livello di traiettoria durante la Backpropagation Through Time (BPTT) standard, rendendo l'addestramento diretto su orizzonti lunghi numericamente instabile.
• La Soluzione di Ripiego: Il Teacher Forcing Sparsificato (STF), in particolare il Teacher Forcing a Identità (ITF), è ampiamente utilizzato. Sovrascrive periodicamente lo stato latente del modello con dati osservati per stabilizzare i gradienti.
• Il Problema Centrale: Lo STF è un metodo di addestramento basato su intervento. Ottimizza una perdita di previsione sotto una distribuzione di rollout modificata (forzata dai dati), il che disaccoppia statisticamente l'obiettivo di addestramento dalla verosimiglianza marginale del modello generativo autonomo (a esecuzione libera).
• Ipotesi: Il documento indaga se la geometria di ottimizzazione locale (curvatura) indotta dall'ITF corrisponda alla geometria della vera verosimiglianza marginale. Si ipotizza che l'ITF condizioni su un singolo percorso forzato, ignorando l'ambiguità di commutazione (incertezza su quale regime lineare abbia generato i dati), portando potenzialmente a una curvatura eccessivamente sicura e acuta che non si allinea con la geometria del vero posterior richiesta per gli invarianti dinamici a lungo termine.

2. Metodologia

A. Architettura del Modello: RNN Quasi-Lineari (AL-RNN)

Gli autori utilizzano le AL-RNN come banco di prova. Questi modelli combinano strutture ricorrenti lineari con un piccolo numero di unità non lineari gated (ReLU).

• Dinamiche a Commutazione: Le dinamiche commutano tra regimi lineari basandosi su un "codice di commutazione" binario $c_t$ determinato dal segno di coordinate latenti specifiche.
• Interpretabilità: Questa struttura permette codici simbolici espliciti e calcoli di Jacobiano trattabili e in forma chiusa, facilitando l'analisi dei regimi di commutazione.

B. Quadro Teorico: Bayes Generalizzato vs. Verosimiglianza Marginale

Il documento confronta due prospettive statistiche:

1. ITF come Bayes Generalizzato: L'ITF minimizza una perdita di previsione. Statisticamente, ciò corrisponde a un posterior di Gibbs (aggiornamento Bayesiano Generalizzato). La curvatura di questo obiettivo è approssimata da una matrice di Gauss-Newton/Fisher Generalizzata ($I_{ITF}$) calcolata lungo la traiettoria forzata.
2. Verosimiglianza Marginale (PAL-RNN): Per stabilire una geometria di riferimento, gli autori aumentano probabilisticamente l'AL-RNN in un PAL-RNN (Probabilistic AL-RNN).
   • I codici di commutazione sono trattati come variabili casuali latenti governate da un cancello probit (introducendo stocasticità).
   • L'obiettivo è la verosimiglianza marginale $p(x_{1:T})$, ottenuta integrando su stati latenti e codici di commutazione.
   • Identità di Louis: La curvatura della verosimiglianza marginale (Informazione Osservata, $I_{obs}$) è calcolata utilizzando l'identità di Louis:
     $$I_{obs}(\theta) = E[I_{comp}(\theta) | x] - I_{miss}(\theta)$$
     Dove $I_{miss}$ è il termine di informazione mancante derivante dall'incertezza latente (ambiguità sul percorso di commutazione).

C. Configurazione Sperimentale

• Dataset: Sistema di Lorenz-63 (un attrattore caotico classico).
• Analisi della Curvatura:
  • Calcolo di $I_{ITF}$ (percorso forzato) e $I_{obs}$ (percorso marginale tramite Filtro Particellare Rao-Blackwellizzato e identità di Louis).
  • Misura del Divario di Curvatura ($g_Q$) tra la traccia di $I_{ITF}$ e $I_{obs}$.
  • Analisi della relazione tra ambiguità di commutazione (entropia del posterior del cancello) e il divario di curvatura.
• Esperimento di Fine-Tuning:
  • Inizializzazione dei PAL-RNN dai checkpoint delle AL-RNN addestrate con ITF.
  • Fine-tuning utilizzando SAEM Stocastico Approssimato a Particelle (Particle Stochastic Approximation EM) per massimizzare la log-verosimiglianza condizionata a finestra.
  • Confronto di tre configurazioni: Baseline (nessun aggiornamento), Calibrazione (aggiornamento del rumore solo) e Full SAEM (aggiornamento di deriva + rumore).
  • Valutazione delle Quantità di Interesse (QoI): Sovrapposizione della distribuzione degli stati ($D_{stsp}$) ed Errore dell'Esponente di Lyapunov Maggiore ($\hat{\lambda}_1 - \lambda_{ref}$).

3. Contributi Chiave

1. Formalizzazione dell'ITF come Bayes Generalizzato: Il documento inquadra rigorosamente il Teacher Forcing non solo come un trucco di addestramento, ma come una specifica regola di punteggio che induce un posterior generalizzato con una geometria locale distinta.
2. Identificazione del Disallineamento Geometrico: Dimostra che l'ITF induce una curvatura più acuta (maggiore sicurezza) rispetto alla verosimiglianza marginale consapevole dell'ambiguità. Ciò accade perché l'ITF condiziona su un singolo percorso forzato di commutazione, mentre la verosimiglianza marginale tiene conto di molteplici percorsi di regime plausibili, appiattendo la geometria tramite la correzione per informazione mancante (termine di Louis).
3. Quantificazione del Divario di Curvatura: Gli autori introducono una metrica ($g_Q$) che mostra come il divario di curvatura scala con l'ambiguità di commutazione (entropia). Quando sono plausibili più regimi, l'ITF sovrastima la curvatura di ordini di grandezza rispetto alla vera verosimiglianza marginale.
4. Disallineamento Evidenza-QoI: Il documento fornisce prove empiriche che l'ottimizzazione per la evidenza a finestra (un proxy per la verosimiglianza) può degradare gli invarianti dinamici. Nello specifico, il fine-tuning dei parametri di deriva per migliorare l'evidenza può causare il collasso del modello in un attrattore stabile e non caotico (errore di Lyapunov negativo), scambiando la fedeltà dinamica a lungo termine per un adattamento predittivo a breve termine.

4. Risultati Chiave

• Curvatura vs. Ambiguità: In un modello toy AR(1) a commutazione, l'aumento del rumore del cancello (e quindi dell'ambiguità di commutazione del posterior) aumenta il Rapporto di Informazione Mancante (MIR) e diminuisce la curvatura osservata. Ciò valida che l'incertezza latente appiattisce la geometria della verosimiglianza marginale.
• Il Divario di Curvatura: Sui dati di Lorenz-63, il divario di curvatura $g_Q$ varia da $\approx 10$ a $\approx 10^3$. La curvatura dell'ITF è significativamente più acuta rispetto all'informazione osservata consapevole dell'ambiguità.
  • Analisi Matriciale: Il disallineamento è anisotropo. Mentre la traccia suggerisce che l'ITF sia molto più acuto, l'analisi degli autovalori generalizzati mostra che non si tratta di una scalatura uniforme; piuttosto, specifici sottospazi sono eccessivamente sicuri sotto l'ITF, mentre altri non lo sono.
• Fallimento del Fine-Tuning:
  • Calibrazione (Solo rumore): Migliora l'evidenza senza modificare le QoI (come atteso).
  • Full SAEM (Deriva + Rumore): Migliora significativamente l'evidenza a finestra su dati tenuti fuori (held-out) ma degrada severamente le QoI dinamiche. L'errore dell'esponente di Lyapunov maggiore si sposta da vicino allo zero a fortemente negativo, indicando che il modello ha appreso una dinamica stabile e contrattiva piuttosto che l'attrattore caotico.
  • Visualizzazione Qualitativa: L'attrattore del modello fine-tunato con SAEM collassa in un'orbita periodica, mentre la baseline pre-addestrata con ITF preserva la geometria caotica.

5. Significato e Implicazioni

• Nessun Posterior Canonico: Il documento sostiene che non esiste un singolo posterior "corretto" per la DSR caotica. La scelta dell'obiettivo (basato su intervento vs. verosimiglianza marginale) detta la geometria locale e, di conseguenza, le dinamiche apprese.
• Limiti del Fine-Tuning Basato sulla Verosimiglianza: Massimizzare semplicemente la verosimiglianza (anche con finestre) su sistemi caotici inizializzati da modelli teacher-forced può portare a un collasso dinamico. Il paesaggio di ottimizzazione per l'evidenza può favorire insiemi di parametri che sono localmente predittivi ma globalmente instabili o non caotici.
• Apprendimento Consapevole delle QoI: I risultati suggeriscono che, per i sistemi caotici, gli obiettivi di addestramento dovrebbero essere allineati con le Quantità di Interesse (QoI) (ad esempio, esponenti di Lyapunov, misure invarianti) piuttosto che con il semplice errore di previsione o la verosimiglianza.
• Apprendimento Attivo Consapevole della Geometria: Il disallineamento implica che la quantificazione dell'incertezza (ad esempio, approssimazioni di Laplace) basata sulla curvatura dell'ITF sarà eccessivamente sicura. Le future strategie di raccolta attiva dei dati devono tenere conto dell'"informazione mancante" dovuta all'ambiguità di commutazione.

In sintesi, il documento rivela una disconnessione critica tra i meccanismi di stabilità utilizzati per addestrare RNN caotiche (Teacher Forcing) e le proprietà statistiche necessarie per recuperare le loro vere dinamiche a lungo termine. Mette in guardia dal fatto che l'ottimizzazione per la verosimiglianza nei surrogati a commutazione può involontariamente distruggere gli stessi invarianti caotici che i ricercatori mirano a ricostruire.