Bayesian Inference and Learning in Gaussian Process State-Space Models with Particle MCMC

Sintesi Tecnica: Inferenza Bayesiana e Apprendimento in Modelli Stato-Spazio con Processi Gaussiani tramite Particle MCMC

Definizione del Problema

I modelli stato-spazio (SSM) sono ampiamente utilizzati per modellare serie temporali e sistemi dinamici, tipicamente definiti da una traiettoria dello stato latente $x_{0:T}$ e una funzione di transizione $f$. Una sfida significativa sorge quando la dinamica $f$ è sconosciuta e altamente non lineare. Gli approcci tradizionali spesso ricorrono a rappresentazioni parametriche di $f$ o utilizzano algoritmi Expectation-Maximization (EM) che possono portare all'overfitting, in particolare in spazi di stato ad alta dimensionalità o quando la distribuzione di smoothing è incerta.

Sebbene i Processi Gaussiani (GP) offrano un prior non parametrico flessibile per $f$, l'applicazione dei GP agli SSM è difficile perché gli stati latenti $x_{0:T}$ non sono osservati. I metodi esistenti spesso approssimano il GP utilizzando un insieme finito di punti target, rendendo di fatto il modello parametrico, o si affidano a modelli fissi per le dinamiche di transizione per lo smoothing. Il problema centrale affrontato da questo articolo è come eseguire l'inferenza e l'apprendimento completamente bayesiani in modelli stato-spazio non parametrici e non lineari senza sacrificare l'espressività del modello o incorrere in costi computazionali proibitivi.

Metodologia

Gli autori propongono un framework completamente bayesiano in cui un prior di Processo Gaussiano è posto direttamente sulla funzione di transizione incognita $f$. Si assume che il modello di osservazione $g$ sia noto (possibilmente parametrizzato), mentre le dinamiche $f$ sono trattate come una funzione aleatoria.

1. Marginalizzazione della Funzione di Transizione
Invece di inferire simultaneamente la distribuzione posteriore congiunta su stati, iperparametri e la funzione $f$, gli autori marginalizzano la funzione di transizione $f$. Questo approccio di "collasso" permette al metodo di rispettare la natura non parametrica del modello. Condizionando sulla traiettoria dello stato $x_{0:T}$, il prior marginale $p(x_{0:T} | \theta)$ può essere espresso come un prodotto di Gaussiane. Sebbene questa distribuzione non sia essa stessa Gaussiana (a causa della dipendenza non lineare della media e della covarianza dagli stati), essa mantiene una struttura adatta all'inferenza sequenziale.

2. Particle Markov Chain Monte Carlo (PMCMC)
Per campionare dalla risultante distribuzione di smoothing congiunta $p(x_{0:T}, \theta | y_{0:T})$, gli autori impiegano un campionatore Particle Markov Chain Monte Carlo (PMCMC), nello specifico il Particle Gibbs con Ancestor Sampling (PGAS).

• Sequential Monte Carlo (SMC): L'algoritmo utilizza l'SMC per approssimare la distribuzione di smoothing. Tuttavia, l'SMC standard soffre di degenerazione del percorso (path degeneracy), dove la diversità delle particelle viene persa per i passi temporali lontani dall'osservazione finale.
• PGAS: Per mitigare la degenerazione del percorso e consentire l'inferenza sugli iperparametri $\theta$, viene utilizzato il PGAS. Esso combina passi di Gibbs sampling per la traiettoria dello stato e gli iperparametri. Fondamentalmente, utilizza un Conditional Particle Filter con Ancestor Sampling (CPF-AS) per campionare la traiettoria dello stato. In CPF-AS, una traiettoria di particella è fissata (condizionata) ad ogni passo, mentre le altre vengono campionate. Il passo di "ancestor sampling" permette alla traiettoria fissata di ricampionare i suoi antenati, garantendo che il kernel di Markov lasci invariata l'esatta distribuzione di smoothing e migliorando i tassi di mixing.

3. Costruzione di GP Sparsi
Per affrontare la complessità computazionale, che ingenuamente scala come $O(T^4)$ o $O(T^3)$, gli autori introducono una costruzione di GP sparso utilizzando il prior Fully Independent Conditional (FIC). Introducendo un insieme di variabili indotte, la complessità computazionale viene ridotta a $O(M^2T)$, dove $M \ll T$ è il numero di punti indotti. I dettagli implementativi coinvolgono aggiornamenti efficienti delle fattorizzazioni di Cholesky per mantenere tale complessità durante la ricorsione in avanti del filtro particellare.

4. Apprendimento delle Dinamiche
Una volta ottenuti i campioni dalla distribuzione di smoothing $p(x_{0:T}, \theta | y_{0:T})$, la posteriore sulla funzione di transizione $f$ è disponibile in forma chiusa. La distribuzione predittiva per un nuovo punto di test è formulata come una miscela di Gaussiane, dove ogni componente corrisponde a un campione dalla distribuzione di smoothing. Questa miscela cattura correttamente la multimodalità derivante dall'ambiguità nelle misurazioni.

Contributi Chiave

• Inferenza Completamente Non Parametrica: Il documento presenta un metodo che mantiene la piena espressività non parametrica dei Processi Gaussiani negli SSM, evitando la necessità di discretizzare lo spazio delle funzioni o assumere una specifica forma parametrica per le dinamiche.
• Strategia di Marginalizzazione: Marginalizzando la funzione di transizione $f$, gli autori scindono l'apprendimento delle dinamiche dall'estrazione dello stato, permettendo l'inferenza esatta della distribuzione di smoothing dato la traiettoria dello stato.
• PGAS per gli SSM: L'applicazione del Particle Gibbs con Ancestor Sampling ai GP-SSM consente un campionamento efficiente dalla distribuzione di smoothing congiunta e dalla posteriore degli iperparametri, superando i problemi di degenerazione del percorso tipici dei filtri particellari standard.
• Efficienza Computazionale: L'integrazione di metodi GP sparsi (prior FIC) riduce l'onere computazionale, rendendo l'approccio scalabile a serie temporali più lunghe.

Risultati Sperimentali

Gli autori valutano il loro approccio su due benchmark:

1. Benchmark di Sistema Non Lineare: Un sistema con densità di smoothing bimodale (dovuta all'ambiguità di segno nelle osservazioni). Il GP-SSM ha catturato con successo la natura bimodale della traiettoria dello stato e ha appreso le dinamiche accuratamente, anche partendo da una funzione media parametrica scarsamente inizializzata. L'errore quadratico medio (RMSE) per le dinamiche apprese è stato significativamente inferiore rispetto ai baseline parametrici e comparabile al modello reale con parametri noti.
2. Sistema Cart and Pole: Un benchmark di apprendimento per rinforzo con uno spazio di stato a 4 dimensioni. Utilizzando solo 100 osservazioni rumorose, il modello ha appreso una rappresentazione delle dinamiche capace di predizioni a un passo in avanti. La distribuzione predittiva risultante (una miscela di Gaussiane) rifletteva correttamente l'incertezza maggiore nelle regioni dello spazio di stato lontane dai dati di addestramento e l'incertezza minore vicino ai dati di addestramento.

Significato e Rivendicazioni

Il documento sostiene che la sua importanza primaria risieda nel fornire un componente vitale per l'inferenza nei GP-SSM: la capacità di apprendere il modello GP stesso in modo completamente bayesiano. A differenza dei lavori precedenti che assumevano che le dinamiche GP fossero già apprese o utilizzavano approssimazioni parametriche, questo approccio consente una complessità del modello adattiva.

Gli autori sottolineano che il loro metodo preserva l'espressività non parametrica del modello, consentendo di catturare fenomeni dinamici complessi che i modelli parametrici potrebbero perdere. Notano che l'approccio è particolarmente robusto in scenari con alta incertezza nella distribuzione di smoothing, dove gli approcci tradizionali basati su MAP o EM potrebbero incorrere in overfitting. L'uso di PGAS assicura che l'inferenza non sia limitata dalle assunzioni di modello fisse delle tecniche di smoothing convenzionali, offrendo un framework flessibile per l'identificazione del sistema in contesti non lineari e non parametrici.