Nested ensemble Kalman filter for static parameter inference in nonlinear state-space models

Titolo: Filtro di Kalman ad Ensemble Annidato per l'Inferenza di Parametri Statici in Modelli a Spazio di Stato Non Lineari

1. Il Problema

Il documento affronta il problema dell'inferenza bayesiana sequenziale per parametri statici e stati latenti in modelli a spazio di stato (SSM) non lineari.

• Contesto: I modelli a spazio di stato descrivono l'evoluzione temporale di un sistema latente e la sua relazione con le osservazioni. Quando il processo dinamico è ad alta dimensionalità, i metodi tradizionali come i filtri particellari (SMC - Sequential Monte Carlo) soffrono di degenerazione dei pesi (weight degeneracy), richiedendo un numero esponenziale di particelle per mantenere la diversità del campione.
• Limitazioni degli approcci esistenti:
  • I Filtri di Kalman ad Ensemble (EnKF) sono efficienti per stati ad alta dimensionalità perché aggiornano gli stati tramite uno spostamento (shifting) basato su approssimazioni gaussiane, evitando il collasso dei pesi. Tuttavia, l'uso diretto dell'EnKF per l'inferenza congiunta di stati e parametri (es. tramite state augmentation) assume spesso una struttura lineare-gaussiana, che è irrealistica in molti contesti pratici.
  • L'algoritmo SMC2 (Chopin et al., 2013) risolve il problema della degenerazione dei parametri utilizzando un filtro particellare annidato per stimare la verosimiglianza dei dati osservati. Tuttavia, l'uso di un filtro particellare per gli stati rende l'algoritmo computazionalmente proibitivo quando la dimensione dello stato è elevata.

2. Metodologia Proposta: NEnKF

Gli autori propongono il Nested Ensemble Kalman Filter (NEnKF), un algoritmo ibrido che combina la robustezza dell'EnKF con il quadro teorico rigoroso dell'SMC2.

• Idea Centrale: Sostituire il filtro particellare interno dell'SMC2 con un EnKF.
  • Pesatura dei Parametri: Le particelle dei parametri statici ($\theta$) vengono pesate utilizzando una stima della verosimiglianza dei dati osservati calcolata tramite l'EnKF, anziché un filtro particellare.
  • Rigenerazione (Resample-Move): Quando la diversità delle particelle dei parametri diminuisce (misurata tramite l'Effective Sample Size - ESS), viene attivato un passo di "resample-move". Le nuove particelle dei parametri sono proposte tramite un kernel Metropolis-Hastings (pseudo-marginal) che utilizza nuovamente l'EnKF per valutare la verosimiglianza.
• Estensioni e Ottimizzazioni:
  1. Kernel ad Accettazione Ritardata (Delayed Acceptance - DA): Per ridurre il costo computazionale del passo di mutazione, viene proposto un kernel a due stadi. La prima fase utilizza un'approssimazione della verosimiglianza basata sui k-nearest neighbours (k-NN) delle particelle già valutate per scartare rapidamente le proposte improbabili. Solo se la proposta supera questo screening, viene calcolata la verosimiglianza esatta tramite l'EnKF.
  2. Modelli di Osservazione Non Lineari: Quando il modello di osservazione non è lineare o gaussiano, l'uso diretto dell'EnKF può introdurre bias. Gli autori propongono due strategie:
     • Utilizzare l'EnKF con un'approssimazione lineare-gaussiana locale (es. espansione di Taylor) all'interno del NEnKF standard (accettando un certo errore inferenziale).
     • Utilizzare un Filtro Particellare Rao-Blackwellised (RB-SMC2) come filtro interno: l'EnKF viene usato come proposta per generare le traiettorie degli stati, ma i pesi vengono corretti utilizzando il modello di osservazione non lineare esatto. Questo bilancia efficienza computazionale e accuratezza inferenziale.

3. Contributi Chiave

• Nuovo Algoritmo Ibrido: Introduzione del NEnKF, che sostituisce il filtro particellare interno dell'SMC2 con un EnKF, rendendo l'inferenza fattibile per sistemi con stati ad alta dimensionalità ma pochi parametri statici.
• Efficienza Computazionale: Dimostrazione che l'uso dell'EnKF riduce drasticamente il numero di particelle/stati necessari rispetto all'SMC2 classico, specialmente quando la dimensione dello stato ($d_x$) è molto maggiore della dimensione dei parametri ($d_\theta$).
• Ottimizzazione del Passo di Mutazione: Implementazione di una strategia di delayed acceptance basata su k-NN che riduce significativamente il tempo CPU evitando calcoli costosi di verosimiglianza per proposte di parametri rifiutabili.
• Gestione della Non Linearità: Proposta di un approccio ibrido (RB-SMC2) che permette di gestire modelli di osservazione non lineari mantenendo l'efficienza dell'EnKF come meccanismo di proposta, correggendo il bias tramite un peso di Rao-Blackwellisation.

4. Risultati Sperimentali

Gli autori hanno testato il metodo su quattro applicazioni di complessità crescente, confrontando NEnKF, SMC2, EnKF aumentato (AEnKF) e PEnKF:

1. Processo di Ornstein-Uhlenbeck (Synthetic):
   • NEnKF ha mostrato un'accuratezza superiore rispetto all'AEnKF (che soffre di bias dovuti all'assunzione lineare) e risultati comparabili o migliori al PEnKF, con un tempo di calcolo simile.
2. Modello Predatore-Preda (Lotka-Volterra) con Osservazione Non Lineare:
   • In un scenario con osservazioni rumorose e non lineari, il NEnKF è stato circa 4 volte più veloce dell'SMC2 classico e 2 volte più veloce della versione RB-SMC2.
   • Sebbene il NEnKF standard abbia mostrato un leggero bias (dovuto all'approssimazione della varianza), la versione RB-SMC2 ha corretto questo errore mantenendo un'efficienza superiore all'SMC2 puro.
3. Modello Epidemico a Due Nodi (OPM - Dati Reali):
   • Applicazione su dati reali riguardanti la diffusione di un parassita. Il NEnKF e RB-SMC2 hanno prodotto stime coerenti.
   • L'SMC2 classico sarebbe stato computazionalmente proibitivo (richiedendo ~5.000 particelle di stato), mentre NEnKF ha funzionato con un numero di ensemble molto inferiore (85 membri), dimostrando la scalabilità del metodo.
4. Modello Lorenz-96 (Alta Dimensionalità, $d=10$):
   • Per un sistema con 10 dimensioni di stato, l'SMC2 ha richiesto circa 4.700 particelle di stato, mentre il NEnKF ne ha richiesti solo 249.
   • Il guadagno di efficienza computazionale è stato di un fattore di circa 19 (147 minuti contro 2737 minuti per SMC2), confermando che il NEnKF scala molto meglio all'aumentare della dimensionalità dello stato.

5. Significato e Conclusioni

Il lavoro dimostra che il NEnKF rappresenta un compromesso ottimale per l'inferenza in modelli a spazio di stato complessi:

• Scalabilità: È particolarmente vantaggioso quando il numero di variabili di stato dinamiche è elevato rispetto al numero di parametri statici da stimare.
• Flessibilità: Offre un quadro "plug-and-play" che richiede solo la simulazione in avanti del processo latente e la valutazione della densità di osservazione, senza bisogno di derivare forme analitiche complesse.
• Impatto: Consente l'applicazione di metodi di inferenza bayesiana sequenziale rigorosi in campi come la geofisica, l'ecologia e l'epidemiologia, dove i modelli sono spesso non lineari e ad alta dimensionalità, rendendo fattibili analisi che prima erano computazionalmente irraggiungibili con l'SMC2 classico.

In sintesi, il paper fornisce una soluzione pratica ed efficiente al problema della degenerazione dei parametri in sistemi complessi, integrando i vantaggi computazionali dell'EnKF con la correttezza statistica dell'SMC2.