Generative Model Proposal based Particle Filtering for Data Assimilation

Sintesi Tecnica: Flow Proposal Particle Filters (FPPF)

Definizione del Problema
L'assimilazione dei dati (DA) consiste nell'inferire la traiettoria dello stato latente di un sistema dinamico a partire da osservazioni sequenziali imperfette. Nel contesto del filtraggio, l'obiettivo è calcolare la distribuzione a posteriori $p(x_t | o_{1:t})$ date tutte le osservazioni fino al tempo $t$. Sebbene le soluzioni classiche come il Filtro di Kalman (KF) e l'Ensemble KF (EnKF) siano efficaci per sistemi lineari-gaussiani, esse falliscono in regimi non lineari, non gaussiani o ad alta dimensionalità. I Particle Filters (PF) offrono un'alternativa generale rappresentando la distribuzione a posteriori con un insieme pesato, ma soffrono di "degenerazione dei pesi" in alta dimensione: il numero di particelle necessarie per prevenire il collasso dei pesi cresce esponenzialmente con la dimensione effettiva dello stato.

Recenti approcci generativi tentano di apprendere direttamente le transizioni di stato condizionali, ma spesso li dispiegano in modo autoregressivo senza aggiornamenti bayesiani rigorosi. Ciò porta all'accumulo di errori su orizzonti temporali lunghi perché la distribuzione a posteriori del filtraggio non viene mai correttamente formata combinando il prior e la verosimiglianza tramite la regola di Bayes. Al contrario, i PF standard utilizzano una proposta "bootstrap" che ignora le osservazioni in arrivo durante il passo di predizione, causando l'atterraggio delle particelle in regioni a bassa verosimiglianza e risultando in un rapido collasso dei pesi.

Metodologia
Gli autori propongono i Flow Proposal Particle Filters (FPPF), un metodo che integra un modello generativo condizionale appreso nel framework Sequential Importance Resampling (SIR) per approssimare la proposta ottimale che minimizza la varianza $q^*(x_t | x_{t-1}, o_t) = p(x_t | x_{t-1}, o_t)$.

1. Proposta di Conditional Flow Matching:
   Invece di utilizzare il prior di transizione $p(x_t | x_{t-1})$ come proposta, l'FPPF apprende una distribuzione condizionale $q_\phi(x_t | x_{t-1}, o_t)$ utilizzando il Conditional Flow Matching (FM). Questo framework parametrizza la proposta tramite un campo di velocità dipendente dal tempo $v_\phi$ che trasporta campioni da una semplice distribuzione di base (ad esempio, rumore gaussiano) verso la distribuzione target della proposta tramite un'equazione differenziale ordinaria (ODE).

   • Addestramento: Il campo di velocità è addestrato offline su tuple simulate $(x_{t-1}, o_t, x_t)$ minimizzando l'errore quadratico medio tra la velocità predetta e la velocità target (interpolazione lineare tra rumore e lo stato reale).
   • Condizionamento: La rete è condizionata sia dallo stato precedente $x_{t-1}$ che dall'osservazione corrente $o_t$. Per evitare un'eccessiva dipendenza da osservazioni rumorose, l'addestramento impiega il dropout delle osservazioni e il masking delle coordinate sullo stato precedente.

2. Pesi di Importanza Trattabili:
   Un vantaggio critico del Flow Matching è che consente l'valutazione esatta della verosimiglianza tramite la formula del cambiamento di variabili istantaneo. Ciò consente il calcolo dei pesi di importanza necessari per l'aggiornamento SIR:
   $$\tilde{w}_t^{(i)} \propto w_{t-1}^{(i)} \frac{p(o_t | x_t^{(i)}) p(x_t^{(i)} | x_{t-1}^{(i)})}{q_\phi(x_t^{(i)} | x_{t-1}^{(i)}, o_t)}$$
   Poiché il denominatore $q_\phi$ è trattabile, il filtro esegue un aggiornamento bayesiano rigoroso, correggendo eventuali imperfezioni della proposta. La traccia del Jacobiano necessaria per la valutazione della densità è stimata efficientemente utilizzando lo stimatore della traccia di Hutchinson.

3. Localizzazione per Alte Dimensioni (L-FPPF):
   Per affrontare la maledizione della dimensionalità nei sistemi spazialmente estesi, gli autori introducono L-FPPF. Questa variante sostituisce la rete di velocità globale con una rete basata su patch che opera su vicinati locali.

   • Il campo di velocità è fattorizzato in modo che la velocità di un sito dipenda solo dal suo vicinato locale.
   • Questa architettura assicura che la log-densità della proposta si fattorizzi tra i siti, permettendo il calcolo locale dei pesi di importanza.
   • Il metodo impiega il resampling per blocchi, limitando la dimensione effettiva del problema di resampling al raggio di localizzazione piuttosto che alla dimensione globale dello stato.

Contributi Chiave

1. Framework FPPF: L'introduzione di un metodo di filtraggio che apprende una proposta generativa condizionale informata dalle osservazioni che approssima la proposta ottimale, integrata in un framework SIR standard.
2. Densità Trattabile tramite Flow Matching: La dimostrazione che il conditional flow matching permette un campionamento efficiente e una valutazione esatta della densità, consentendo un calcolo rigoroso dei pesi di importanza senza ricorrere a meccanismi di guida approssimativi.
3. Variante Localizzata (L-FPPF): L'estensione delle proposte apprese a contesti ad alta dimensionalità tramite una rete di velocità basata su patch che fattorizza la log-densità della proposta, consentendo un resampling localizzato e la scalabilità a grandi dimensioni di stato.
4. Validazione Empirica: Valutazione completa su sistemi dinamici caotici (Lorenz-63, Lorenz-96, Kuramoto-Sivashinsky) che dimostra prestazioni superiori rispetto ai filtri classici, ad altri metodi di proposta appresi e alle baseline generative autoregressive.

Risultati Sperimentali
Gli autori valutano FPPF e L-FPPF contro baseline che includono BPF, APF, EnKF e metodi generativi autoregressivi (FlowDAS, NASMC, InfNN) attraverso tre regimi:

• Scalabilità con la Dimensione dello Stato: Sul sistema Lorenz-96, FPPF ottiene costantemente un RMSE e un CRPS inferiori rispetto alle baseline all'aumentare della dimensione. Mentre i PF globali (BPF, APF) soffrono di collasso dei pesi, FPPF mantiene un Effective Sample Size (ESS) più elevato. L-FPPF scala con successo a dimensioni di 1.000 con un numero fisso di ensemble, laddove i metodi globali falliscono.
• Regimi Non Gaussiani: In esperimenti con operatori di osservazione non gaussiani (ad esempio, $h(x) = \min(x^4, 10)$) e prior multimodali (Lorenz-63 con osservazioni sparse), l'EnKF fallisce catastroficamente a causa delle assunzioni gaussiane. FPPF supera tutte le baseline, inclusi altri metodi appresi, catturando accuratamente la struttura multimodale.
• Stabilità su Orizzonti Lunghi: Sull'equazione di Kuramoto-Sivashinsky con osservazioni temporalmente sparse, i metodi generativi autoregressivi (FlowDAS) accumulano errori significativi su traiettorie lunghe. FPPF rimane stabile, mantenendo bassi tassi di errore grazie al suo passo di aggiornamento bayesiano rigoroso.
• Convergenza: In un setting lineare-gaussiano, la proposta di flow appresa converge alla proposta ottimale in forma chiusa, e l'ESS risultante si avvicina al massimo teorico.

Significatività e Rivendicazioni
Il paper sostiene che FPPF risolva la tensione tra la flessibilità dei modelli generativi e il rigore statistico del filtraggio bayesiano. Aprendo una proposta che guida le particelle verso regioni ad alta verosimiglianza prima della pesatura, FPPF riduce la varianza dei pesi e ritarda la degenerazione. Fondamentalmente, a differenza dei rollout puramente generativi, FPPF mantiene il pieno aggiornamento SIR, garantendo che il filtro punti alla vera distribuzione a posteriori anche quando la proposta è imperfetta.

Gli autori sottolineano che L-FPPF estende questi benefici a sistemi ad alta dimensionalità dove i PF standard sono intrattabili, ottenendo una generalizzazione zero-shot a dimensioni di stato più grandi sfruttando le correlazioni spaziali locali. Il lavoro suggerisce che combinare proposte apprese e informate dalle osservazioni con la valutazione esatta della densità offra una strada robusta per l'assimilazione dei dati in domini scientifici complessi, non lineari e ad alta dimensionalità.