A convergent scheme for the Bayesian filtering problem based on the Fokker--Planck equation and deep splitting

Titolo

Uno schema convergente per il problema del filtraggio bayesiano basato sull'equazione di Fokker–Planck e sul Deep Splitting.

1. Il Problema

Il lavoro affronta il problema del filtraggio non lineare in spazi ad alta dimensione. L'obiettivo è stimare la densità di probabilità dello stato nascosto $S_t$ di un sistema dinamico, dato un insieme di osservazioni rumorose e parziali $y_{0:k}$ fino al tempo $k$.

• Contesto: Il sistema è modellato da un'Equazione Differenziale Stocastica (SDE) a tempo continuo, mentre le osservazioni sono discrete.
• Sfida principale: I metodi classici (come i filtri di Kalman) assumono unimodalità o linearità, mentre i metodi Monte Carlo sequenziali (Particle Filter) soffrono della maledizione della dimensionalità (curse of dimensionality), diventando computazionalmente intrattabili per dimensioni dello stato $d \ge 4$ o superiori.
• Obiettivo: Sviluppare un metodo che calcoli l'intera densità di probabilità di filtraggio (non solo media e covarianza) in modo efficiente anche per dimensioni elevate ($d=10$ o più), garantendo al contempo una convergenza teorica.

2. Metodologia

Gli autori propongono un algoritmo ibrido che combina l'analisi numerica delle PDE con l'apprendimento profondo (Deep Learning).

A. Formulazione Matematica

Il problema è formulato come un ciclo di predizione-aggiornamento:

1. Predizione: Tra due osservazioni, la densità evolve secondo l'equazione di Fokker–Planck (l'equazione di Kolmogorov in avanti per la densità di probabilità).
2. Aggiornamento: Al momento di ogni osservazione, la densità viene aggiornata utilizzando la formula di Bayes (moltiplicando per la verosimiglianza della misura).

L'equazione di Fokker–Planck coinvolge l'operatore aggiunto $A^*$ del generatore infinitesimale del processo stocastico.

B. Schema di Deep Splitting

Il cuore del metodo è l'uso della tecnica Deep Splitting, adattata per il filtraggio online:

1. Rappresentazione di Feynman-Kac: L'equazione di Fokker–Planck viene riscritta utilizzando una rappresentazione probabilistica (Feynman-Kac) che collega la soluzione della PDE all'aspettativa di un processo stocastico ausiliario $X$.
2. Scomposizione Temporale: L'intervallo di tempo tra le osservazioni viene discretizzato in $N$ sottopassi. L'evoluzione della densità è approssimata iterativamente.
3. Approssimazione con Reti Neurali: Invece di risolvere la PDE su una griglia (impossibile in alta dimensione), la soluzione viene approssimata da una rete neurale.
   • Il problema di evoluzione viene trasformato in un problema di ottimizzazione ricorsiva.
   • Si cerca una funzione $u$ (rappresentata da una rete neurale) che minimizzi l'errore quadratico tra l'uscita della rete e l'aspettativa condizionata calcolata tramite simulazione Monte Carlo del processo ausiliario.
4. Funzione di Attivazione Energy-Based: Per garantire che l'output sia una densità di probabilità valida (positiva e integrabile), viene utilizzata un'attivazione basata sull'energia ($e^{-f_\theta}$), dove la rete apprende l'energia del sistema. Questo permette di lavorare con densità non normalizzate durante l'addestramento, evitando il calcolo costoso della costante di normalizzazione.

C. Addestramento Online

A differenza di metodi precedenti che richiedevano l'addestramento per ogni singola traiettoria di osservazioni (offline), questo schema produce una rete neurale che mappa direttamente le osservazioni alla densità. Una volta addestrata, la rete può essere utilizzata online per nuove sequenze di dati senza bisogno di riaddestramento.

3. Contributi Chiave

1. Schema Convergente: Introduzione di un nuovo schema numerico per il filtraggio bayesiano basato su Deep Splitting, specifico per osservazioni discrete e stati continui.
2. Analisi Teorica della Convergenza:
   • Viene dimostrata una convergenza forte con ordine 1 rispetto al passo temporale ($O(\tau)$) nella norma $L^\infty$.
   • La prova richiede una condizione di Hörmander parabolica (che garantisce la regolarità della densità) e assunzioni di regolarità sui coefficienti (limitatezza e derivabilità infinita).
   • Il tasso di convergenza è indipendente dalla distribuzione dei dati di osservazione.
3. Risultato Collaterale: Come corollario, viene stabilita la convergenza per l'approssimazione dell'equazione di Fokker–Planck isolata, slegata dal problema di filtraggio.
4. Efficienza in Alta Dimensione: Il metodo è progettato per mitigare la maledizione della dimensionalità, utilizzando un approccio basato su campionamento e reti neurali invece di griglie spaziali.

4. Risultati Sperimentali

Gli autori hanno validato il metodo attraverso esperimenti numerici:

• Esempi 1D:
  • Processo Tanh: Un sistema con drift non lineare soddisfacente le ipotesi teoriche. Il metodo ha mostrato un tasso di convergenza empirico vicino a 1 (come previsto dalla teoria).
  • Processo Bistabile: Un sistema con due modalità che non soddisfa pienamente le ipotesi di regolarità. Qui il tasso di convergenza è sceso a circa 0.5, suggerendo che le ipotesi teoriche sono cruciali per l'ordine di convergenza ottimale.
• Esempio 10D (Alta Dimensione):
  • È stato testato un processo non lineare in 10 dimensioni.
  • Il metodo è stato confrontato con l'Ensemble Kalman Filter (EnKF) e il Particle Filter (PF).
  • Risultati: Il metodo proposto ha mostrato robustezza e accuratezza. Sebbene i metodi basati su Kalman abbiano performato meglio (dovuto alla quasi-linearità locale del sistema), il Deep Splitting ha superato il Particle Filter standard con un numero di particelle molto inferiore ($10^6$ particelle erano necessarie per il PF per competere in termini di Negative Log-Likelihood).
  • Il metodo ha catturato meglio la forma complessiva della densità di filtraggio rispetto alla semplice stima della media.

5. Significato e Impatto

• Superamento dei limiti attuali: Questo lavoro offre una soluzione promettente al problema della maledizione della dimensionalità nel filtraggio non lineare, un ostacolo storico per applicazioni reali come il tracciamento di bersagli, la finanza quantitativa e le previsioni meteorologiche.
• Teoria e Pratica: Raro esempio in cui un metodo basato su Deep Learning per PDE stocastiche è accompagnato da una rigorosa analisi di convergenza matematica, fornendo garanzie teoriche oltre all'efficacia empirica.
• Flessibilità: La capacità di operare in modalità online e di fornire l'intera densità di probabilità (non solo momenti statistici) rende il metodo adatto per applicazioni critiche dove la conoscenza dell'incertezza è fondamentale.
• Risorsa Open Source: Il codice è stato reso pubblico, facilitando la riproducibilità e l'ulteriore sviluppo nella comunità scientifica.

In sintesi, il paper presenta un avanzamento significativo nell'intersezione tra analisi numerica delle PDE stocastiche e intelligenza artificiale, fornendo un algoritmo teoricamente fondato e praticamente efficace per il filtraggio bayesiano in spazi ad alta dimensione.