Identification of Gaussian Process State-Space Models with Particle Stochastic Approximation EM

Sintesi Tecnica: Identificazione di Modelli State-Space a Processi Gaussiani con Particle Stochastic Approximation EM

Enunciato del Problema
Il documento affronta la sfida dell'identificazione di sistemi dinamici non lineari in cui la dinamica di transizione dello stato sottostante è sconosciuta e complessa. L'identificazione dei sistemi tradizionale si basa spesso su modelli parametrici (ad esempio, equazioni del moto specifiche o reti neurali a struttura fissa). Tuttavia, la selezione di una struttura parametrica appropriata è difficile senza una conoscenza pregressa dettagliata, e fissare il numero di parametri limita intrinsecamente la complessità delle funzioni che possono essere adattate, portando potenzialmente al sottoadattamento (underfitting) o al sovraadattamento (overfitting).

Gli autori propongono l'uso di Modelli State-Space a Processi Gaussiani (GP-SSM) per superare tali limitazioni. Un GP-SSM tratta la funzione di transizione dello stato come una variabile casuale estratta da un processo gaussiano (GP) a priori, fornendo una rappresentazione bayesiana non parametrica. Ciò consente di catturare una vasta gamma di dinamiche non lineari pur quantificando l'incertezza. Il problema specifico affrontato è l'identificazione per massima verosimiglianza (ML) degli iperparametri che governano questi priori GP e le caratteristiche del rumore, mantenendo al contempo la piena descrizione non parametrica della dinamica.

Metodologia
La difficoltà principale nella stima ML per i GP-SSM risiede nel fatto che la funzione di verosimiglianza richiede la marginalizzazione (integrazione) delle traiettorie degli stati latenti ($x_{0:T}$) e delle funzioni di transizione ignote ($f_{1:T}$). Sebbene le funzioni ignote possano essere marginalizzate analiticamente per ottenere un prior sulle traiettorie di stato, l'integrale risultante sullo spazio degli stati è analiticamente intrattabile.

Per risolvere questo problema, gli autori impiegano l'algoritmo Particle Stochastic Approximation Expectation-Maximization (PSAEM). Questo approccio combina due componenti chiave:

1. Stochastic Approximation EM (SAEM): Invece di calcolare l'aspettativa esatta della log-verosimiglianza dei dati completi (che è intrattabile), la SAEM mantiene un'approssimazione stocastica della funzione $Q$ ausiliaria. Questa viene aggiornata iterativamente utilizzando campioni dalla distribuzione di smoothing.
2. Particle Markov Chain Monte Carlo (PMCMC): Poiché il campionamento diretto dalla distribuzione di smoothing $p(x_{0:T} | y_{0:T}, \theta)$ è impossibile, gli autori utilizzano il Particle Gibbs con Ancestor Sampling (PGAS). Il PGAS costruisce un kernel di Markov che lascia invariata la distribuzione di smoothing, consentendo la generazione di traiettorie campionate $x_{0:T}^{[k]}$ per aggiornare l'approssimazione della funzione $Q$.

L'algoritmo procede iterativamente:

• E-step (Simulazione): Una nuova traiettoria di stato viene campionata tramite PGAS dati gli attuali stimatori dei parametri.
• Aggiornamento: L'approssimazione stocastica della funzione $Q$ viene aggiornata utilizzando la log-verosimiglianza della nuova traiettoria.
• M-step (Ottimizzazione): I parametri $\theta$ (iperparametri della media/covarianza del GP e delle varianze del rumore) vengono aggiornati massimizzando la funzione $Q$ approssimata mediante un metodo quasi-Newton (BFGS).

Contributi Chiave

• Framework Algoritmico: Il documento presenta un metodo per l'identificazione per massima verosimiglianza di GP-SSM che evita la necessità di set di pseudo-dati o etichette deboli per stati non osservati, che rappresentavano limitazioni negli approcci precedenti.
• Integrazione di PGAS e SAEM: Dimostra l'applicazione del Particle Gibbs con Ancestor Sampling all'interno di un framework di Stochastic Approximation EM per gestire l'integrazione intrattabile richiesta per l'identificazione di GP-SSM.
• Ricchezza Non Parametrica: Il metodo mantiene la piena natura non parametrica del modello di sistema. Marginalizzando analiticamente la parte non parametrica del modello, l'approccio effettua mediamente su tutte le possibili dinamiche coerenti con il prior GP, agendo come salvaguardia contro l'overfitting (similmente all'Empirical Bayes).

Risultati Sperimentali
Gli autori validano il metodo su due tipi di sistemi:

1. Sistema Lineare: Un sistema dinamico lineare è stato identificato utilizzando sia funzioni di covarianza lineari che a esponenziale quadrato (squared exponential).
   • Utilizzando una funzione di covarianza lineare, il modello è riuscito a convergere verso parametri equivalenti a un modello state-space lineare con prior gaussiani.
   • Utilizzando una funzione a esponenziale quadrato (non lineare) su dati lineari, il modello ha identificato correttamente il sistema ma ha mostrato un'alta incertezza (ampie barre di errore) nelle regioni in cui i dati erano scarsi o il modello era meno fiducioso, dimostrando la capacità del modello di quantificare l'incertezza anche quando il sistema reale è più semplice della classe del modello.
2. Sistema Non Lineare: Un complesso sistema non lineare con un gradiente netto nella funzione di transizione dello stato e una funzione di misura quadratica (che induce bimodalità) è stato identificato.
   • Utilizzando una funzione di covarianza Matérn (che permette una regolarità minore rispetto alla squared exponential) nella direzione dello stato, il modello è riuscito a catturare le transizioni nette e le dinamiche sottostanti.
   • Il modello identificato ha fornito previsioni probabilistiche con barre di errore che riflettevano l'incertezza, particolarmente nelle regioni lontane dai dati di addestramento.

Significatività e Rivendicazioni
Il documento afferma che i GP-SSM offrono un framework flessibile per l'identificazione di sistemi non lineari che incorpora assunzioni di alto livello (come la regolarità o smoothness) senza limitare il modello a una specifica forma parametrica. L'approccio PSAEM proposto consente la stima degli iperparametri del modello tramite massima verosimiglianza preservando la ricchezza non parametrica delle dinamiche.

Gli autori sottolineano che questo approccio fornisce previsioni probabilistiche con incertezza quantificata, il che è crucialo per applicazioni come il controllo adattivo e la robotica, dove le strategie di controllo possono dipendere dalla fiducia nelle dinamiche del sistema. Il metodo è presentato come un'alternativa robusta alle soluzioni completamente bayesiane (che richiedono prior sui parametri) e all'identificazione parametrica standard, offrendo un equilibrio tra flessibilità e fattibilità computazionale attraverso l'uso dell'inferenza basata su particelle.