Auto-differentiable data assimilation: Co-learning of states, dynamics, and filtering algorithms

1. Il Problema

L'assimilazione dei dati è un processo fondamentale in molte applicazioni scientifiche (meteorologia, ingegneria aerospaziale, biologia) per stimare lo stato di un sistema dinamico a partire da osservazioni parziali e rumorose. Tuttavia, l'efficacia degli algoritmi di assimilazione tradizionali dipende criticamente da due fattori spesso problematici:

1. Modelli di dinamica imperfetti: Le equazioni che governano l'evoluzione del sistema sono spesso costose da simulare o contengono errori di modellazione.
2. Sintonizzazione dei parametri (Tuning): Gli algoritmi richiedono una regolazione manuale e costosa dei parametri di filtraggio (es. matrici di covarianza degli errori, fattori di inflazione) prima di poter essere utilizzati.

L'obiettivo di questo lavoro è superare queste limitazioni creando un quadro unificato che permetta di apprendere simultaneamente lo stato del sistema, i parametri del modello dinamico e i parametri dell'algoritmo di filtraggio, direttamente dai dati osservati, senza bisogno di una sintonizzazione manuale preliminare.

2. Metodologia: Filtraggio Auto-differenziabile

Gli autori propongono un framework generale basato sul concetto di filtraggio auto-differenziabile. L'idea centrale è trattare l'intero processo di filtraggio come un grafo computazionale differenziabile, permettendo l'uso della retropropagazione del gradiente (backpropagation) per ottimizzare i parametri.

Modello di Base

Il sistema è modellato come un modello Markoviano nascosto:

• Dinamica: $x^*_t = F_{\theta^*_1}(x^*_{t-1}) + \tilde{Q}_{\theta^*_2}\xi_t$
• Osservazioni: $y_t = H_t x^*_t + \eta_t$
  Dove $\theta$ rappresenta i parametri della dinamica (inclusa la covarianza dell'errore di previsione) e $\phi$ i parametri del filtro.

L'Algoritmo di Apprendimento

Il framework definisce un passo di analisi generico (equazione 4) che include:

• Un modello di previsione $M_\theta$.
• Un guadagno di Kalman $K_\phi$ (parametrizzato).
• Un'elaborazione delle osservazioni $Y$.

L'algoritmo di apprendimento (Algoritmo 1) segue un ciclo iterativo:

1. Filtraggio Forward: Esegue il filtro usando i parametri attuali per generare stime dello stato.
2. Funzione di Perdita (Loss): Calcola la discrepanza tra le osservazioni reali e le previsioni del filtro. La perdita è definita come la negativa della log-verosimiglianza delle osservazioni, assumendo una distribuzione gaussiana approssimata per gli errori di previsione.
   $$L(\theta, \phi) \approx -\sum_{t=1}^T \log \mathcal{N}(y_t; H_t \hat{m}_t, H_t C_t H_t^\top + R_t)$$
3. Ottimizzazione: Utilizza la differenziazione automatica (auto-differentiation) per calcolare i gradienti della perdita rispetto a $\theta$ e $\phi$ e aggiorna i parametri tramite discesa del gradiente.
4. Truncated Backpropagation Through Time (TBPTT): Per gestire serie temporali lunghe ed evitare l'esplosione o la vanishing del gradiente, gli aggiornamenti dei parametri vengono applicati dopo aver processato sottosequenze di dati (lunghezza $L \ll T$).

Varianti Proposte

Il framework generalizza e introduce nuove varianti di algoritmi noti:

• AD-3DVar-C: Apprende la matrice di covarianza dell'errore di previsione statica ($C$) invece del guadagno di Kalman diretto. Questo permette di gestire modelli di osservazione che variano nel tempo ($H_t$).
• AD-Ens3DVar: Un approccio ibrido che combina la covarianza statica 3DVar con la covarianza dinamica basata su ensemble (EnKF), offrendo un compromesso computazionale.
• AD-EnKF (Modificato): Estende l'EnKF esistente per apprendere anche i parametri di filtraggio, come il fattore di inflazione della covarianza.

3. Contributi Chiave

1. Framework Unificato: Formulazione di un approccio generale per l'apprendimento congiunto di stati, dinamica e parametri di filtraggio.
2. Nuovi Algoritmi: Derivazione di AD-3DVar-C (capace di gestire $H_t$ variabili nel tempo) e AD-Ens3DVar (ibrido computazionalmente efficiente).
3. Estensione dell'AD-EnKF: Modifica dell'algoritmo esistente per apprendere anche i parametri di filtraggio (inflazione), non solo la dinamica.
4. Validazione Multidominio: Sperimentazione su tre domini scientifici distinti con diverse complessità e vincoli osservativi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre sistemi dinamici:

• Aerospaziale (Equazioni di Clohessy-Wiltshire):

  • Scenario: Sistema lineare, osservazioni parziali di posizione (velocità non osservata).
  • Risultato: I metodi basati su ensemble (AD-EnKF, AD-Ens3DVar) hanno recuperato con precisione i parametri dinamici e stimato le componenti non osservate (velocità). I metodi 3DVar (AD-3DVar-C e AD-3DVar-K) hanno faticato a recuperare le componenti non osservate, mostrando errori maggiori.

• Scienze Atmosferiche (Sistema Lorenz-96):

  • Scenario: Dinamica non lineare caotica, apprendimento di una correzione residua tramite rete neurale.
  • Risultato: I metodi ensemble sono risultati robusti al rumore e alla scarsità di osservazioni (basso rapporto $d_y/d_x$). I metodi 3DVar hanno mostrato un degrado delle prestazioni quando le osservazioni diventavano molto scarse o il rumore alto, fallendo nell'apprendere correzioni significative.

• Biologia dei Sistemi (Equazioni Generalizzate di Lotka-Volterra):

  • Scenario: Interazioni tra specie, osservazioni parziali e variabili nel tempo (diverse specie osservate in momenti diversi).
  • Risultato: Solo gli algoritmi in grado di gestire $H_t$ variabile (AD-3DVar-C, AD-EnKF, AD-Ens3DVar) sono stati testati. Tutti hanno ricostruito le traiettorie, ma i metodi ensemble hanno fornito stime più accurate delle abbondanze delle specie rispetto al 3DVar.

Confronto Prestazioni:

• Accuratezza: I metodi basati su ensemble (EnKF, Ens3DVar) sono superiori in termini di accuratezza di previsione e filtraggio, specialmente in scenari con osservazioni scarse o componenti non osservate.
• Efficienza Computazionale: I metodi 3DVar (specialmente AD-3DVar-K) sono molto più leggeri in termini di memoria e tempo di calcolo, rendendoli adatti a sistemi ad alta dimensionalità dove gli ensemble non sono praticabili senza modifiche.

5. Significato e Linee Guida Pratiche

Il lavoro dimostra che l'assimilazione dei dati può essere trasformata da un processo basato su regole manuali a un processo di apprendimento automatico end-to-end.

Linee Guida per i Pratici (basate sulla Tabella 3 del paper):

• Scegliere AD-EnKF o AD-Ens3DVar se:
  • La massima accuratezza è prioritaria.
  • Il sistema ha componenti non osservate per l'intera traiettoria.
  • Si dispone di risorse computazionali sufficienti per gestire ensemble di dimensioni ragionevoli.
• Scegliere AD-3DVar-C se:
  • È necessario gestire modelli di osservazione che cambiano nel tempo ($H_t$ variabile).
  • Si lavora con sistemi ad alta dimensionalità e le risorse di memoria sono limitate.
• Scegliere AD-3DVar-K se:
  • È richiesta la massima velocità computazionale e la matrice di osservazione $H$ è fissa.
  • Si accetta una potenziale perdita di accuratezza nella stima delle componenti non osservate.

Prospettive Future:
Gli autori suggeriscono l'adattamento del framework per l'apprendimento online (in tempo reale) e l'uso di metodi di smoothing invece del filtraggio per migliorare ulteriormente l'accuratezza, sebbene a un costo computazionale maggiore. Inoltre, si menziona la possibilità di parallelizzare gli algoritmi ensemble (es. LETKF) per gestire sistemi su larga scala.

In sintesi, questo paper fornisce un ponte teorico e pratico tra l'apprendimento automatico profondo e l'assimilazione dei dati classica, offrendo strumenti flessibili per migliorare la previsione e la stima dello stato in scenari scientifici complessi.