Amortized Filtering and Smoothing with Conditional Normalizing Flows

1. Il Problema

Il lavoro affronta le sfide fondamentali del filtraggio e smoothing bayesiano per sistemi dinamici non lineari ad alta dimensionalità. Questi problemi sono cruciali in ambiti come l'assimilazione dei dati, la robotica e l'econometria.
Le difficoltà principali includono:

• Non linearità e non gaussianità: Le approssimazioni basate sul filtro di Kalman (e le sue varianti estese o d'insieme) falliscono quando le distribuzioni a posteriori sono fortemente non lineari o non gaussiane.
• Degenerazione delle particelle: I metodi Monte Carlo sequenziali (SMC o Particle Filter), sebbene teoricamente capaci di gestire modelli generali, soffrono di una grave degenerazione dei pesi all'aumentare della dimensionalità dello stato e dell'orizzonte temporale.
• Costo computazionale e scalabilità: I recenti modelli generativi profondi (Deep Generative Models) possono rappresentare distribuzioni complesse, ma spesso trattano filtraggio e smoothing come compiti separati e richiedono ottimizzazioni costose "per istanza", limitando la loro applicabilità in scenari online e su larga scala.

L'obiettivo è sviluppare un framework unificato che sia computazionalmente efficiente, capace di gestire alta dimensionalità e di fornire sia stime in tempo reale (filtraggio) che ricostruzioni di traiettorie complete (smoothing).

2. Metodologia: AFSF

Gli autori propongono AFSF (Amortized Filtering and Smoothing with Conditional Normalizing Flows), un framework unificato basato su due componenti principali:

A. Statistiche Riassuntive Ricorrenti (Recurrent Summary Statistics)

Per gestire la storia delle osservazioni $y_{1:t}$, la cui lunghezza cresce nel tempo, viene utilizzato un encoder ricorrente (una rete LSTM).

• Questo encoder mappa l'intera storia delle osservazioni in una statistica riassuntiva a dimensionalità fissa $s_t$.
• La dimensione di $s_t$ è indipendente dalla lunghezza della serie temporale, permettendo al modello di essere applicato a orizzonti temporali arbitrari.

B. Flussi Normalizzanti Condizionali (Conditional Normalizing Flows)

Il framework utilizza due flussi normalizzanti condizionali distinti ma accoppiati, entrambi condizionati dalla stessa statistica riassuntiva $s_t$:

1. Flusso Forward (Filtraggio): Approssima la distribuzione di filtraggio $p(u_t | y_{1:t})$. Mappa una distribuzione di riferimento (es. Gaussiana) alla distribuzione a posteriori dello stato corrente.
2. Flusso Backward (Transizione Inversa): Approssima il kernel di transizione inverso $p(u_{t-1} | u_t, y_{1:t-1})$. Questo permette di ricostruire la distribuzione di smoothing.

C. Procedura di Inferenza

• Filtraggio: Si calcola $s_t$ dalle osservazioni e si campiona direttamente dal flusso forward.
• Smoothing: Si utilizza la fattorizzazione all'indietro standard. Si parte dalla distribuzione di filtraggio all'istante finale $T$ e si applica ricorsivamente il flusso backward per generare campioni dell'intera traiettoria $u_{1:T}$.
• Regolarizzazione Implicita: Condividere la stessa statistica riassuntiva $s_t$ per entrambi i flussi agisce come una regolarizzazione implicita, garantendo coerenza tra le distribuzioni apprese e migliorando la qualità dello smoothing.

D. Varianti e Diagnostica

Il paper introduce anche una variante di Particle Filtering basata sui flussi, dove i flussi appresi definiscono la distribuzione proposta per propagare le particelle. Se i fattori del modello sono noti, è possibile calcolare l'Effective Sample Size (ESS) per diagnosticare la degenerazione delle particelle.

3. Contributi Chiave

1. Framework Unificato Amortizzato: AFSF è il primo approccio che impara congiuntamente il filtraggio e il kernel di transizione inverso in un unico framework amortizzato, permettendo l'inferenza online e lo smoothing senza ottimizzazione per istanza.
2. Capacità di Estrapolazione: Catturando la struttura temporale sottostante, il modello può estrapolare oltre l'orizzonte temporale di addestramento, mantenendo accuratezza su traiettorie più lunghe di quelle viste durante l'allenamento.
3. Regolarizzazione tramite Statistiche Condivide: L'uso di una singola rete di sintesi per entrambi i flussi induce una regolarizzazione che migliora significativamente le prestazioni dello smoothing rispetto a metodi che trattano i due compiti separatamente.
4. Metodo Particle Filtering Ibrido: Sviluppo di un filtro particellare che utilizza i flussi appresi come proposta, combinando l'efficienza dei modelli pre-addestrati con le correzioni sequenziali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro benchmark rappresentativi:

1. Equazione di Advezione-Diffusione (1D): Un problema lineare con soluzione esatta nota. AFSF ha mostrato alta accuratezza (bassa divergenza KL) e stabilità all'aumentare della dimensionalità dello stato ($n=50$). Ha dimostrato capacità di estrapolazione oltre l'orizzonte di addestramento.
2. Modello di Volatilità Stocastica (Due Fattori): Un modello finanziario altamente non lineare. AFSF e la variante particle filter hanno superato significativamente il metodo FBF (Flow-based Filter) esistente, con errori RMSE e CRPS inferiori. Applicato a dati reali (S&P 500), ha tracciato con successo le turbolenze di mercato (es. pandemia COVID-19, guerra Russia-Ucraina).
3. Equazione di Burgers: Un sistema PDE non lineare complesso. AFSF ha mantenuto prestazioni superiori o comparabili allo stato dell'arte (FBF) in diverse condizioni di rumore, dimostrando robustezza.
4. Sistemi di Lorenz (Single-scale e Two-scale):
   • Nel caso single-scale, AFSF ha superato FBF in tutte le dimensionalità.
   • Nel caso two-scale (dove la densità di transizione effettiva è intrattabile a causa dell'integrazione delle variabili veloci), AFSF ha mostrato vantaggi significativi rispetto a FBF, che richiede una struttura standard del modello non presente in questo caso.
   • È stato dimostrato che l'uso di statistiche riassuntive condivise è critico: l'uso di statistiche indipendenti per filtraggio e smoothing porta a un collasso delle prestazioni nello smoothing per dimensionalità elevate.

Metriche: Le prestazioni sono state valutate tramite RMSE, MMD (Maximum Mean Discrepancy), CRPS (Continuous Ranked Probability Score) e Divergenza KL. In tutti i casi, lo smoothing ha migliorato ulteriormente le stime rispetto al solo filtraggio.

5. Significato e Impatto

Il lavoro di Cu et al. rappresenta un passo avanti significativo nell'inferenza sequenziale per sistemi complessi:

• Superamento dei limiti classici: Offre un'alternativa scalabile ai filtri di Kalman (che falliscono su non linearità forti) e ai Particle Filter (che soffrono di degenerazione in alta dimensione).
• Efficienza Operativa: La natura "amortizzata" (una volta addestrato, l'inferenza è rapida e non richiede ottimizzazione iterativa) rende il metodo adatto per applicazioni in tempo reale e su larga scala.
• Versatilità: Funziona sia quando le densità di transizione e osservazione sono note, sia quando sono disponibili solo simulazioni (inference basata su simulazione), rendendolo ideale per modelli fisici complessi o parzialmente osservati.
• Fondamento Teorico: Fornisce una giustificazione teorica (basata sull'informazione mutua) per l'uso di statistiche riassuntive condivise, collegando l'ottimizzazione del filtraggio e dello smoothing.

In sintesi, AFSF combina la flessibilità dei modelli generativi profondi con l'efficienza strutturale delle reti ricorrenti, offrendo una soluzione robusta e precisa per l'assimilazione dei dati in sistemi dinamici non lineari ad alta dimensionalità.