Efficient Bayesian Estimation of Dynamic Structural Equation Models via State Space Marginalization

1. Il Problema

I Modelli Strutturali Dinamici (DSEM) sono diventati uno strumento fondamentale nell'analisi dei dati longitudinali intensivi nelle scienze sociali. Questi modelli combinano la modellazione delle serie temporali (processi within-person) con la modellazione gerarchica delle differenze tra individui (between-person) e tra punti temporali.

Tuttavia, l'implementazione attuale dei DSEM, specialmente quando si utilizzano variabili latenti misurate da indicatori multipli, soffre di un grave collo di bottiglia computazionale:

• Gli algoritmi esistenti (come il metodo Metropolis-within-Gibbs implementato in Mplus) richiedono il campionamento stocastico delle variabili latenti per ogni partecipante e per ogni punto temporale.
• Questo approccio porta a una complessità computazionale proporzionale a $O(N \cdot T)$, dove $N$ è il numero di partecipanti e $T$ il numero di punti temporali.
• Il risultato è un'inefficienza estrema, campioni altamente correlati (bassa dimensione effettiva del campione, ESS) e tempi di calcolo proibitivi per dataset di grandi dimensioni.

2. Metodologia Proposta

L'autore propone un nuovo algoritmo di stima bayesiana, denominato NUTS-Kalman, che risolve il problema di scalabilità attraverso tre passaggi chiave:

A. Riformulazione come Modello a Spazio di Stato

Il contributo teorico principale è la dimostrazione che la parte "within-level" (livello intra-individuale) di un DSEM può essere riformulata esattamente come un Modello a Spazio di Stato Lineare-Gaussiano (LG-SSM).

• Le equazioni differenziali alle differenze finite del DSEM vengono trasformate in un sistema di equazioni di stato e di osservazione.
• Viene definito un vettore di stato aumentato ($\tilde{\eta}_{1, it}$) che include non solo le variabili latenti attuali, ma anche i loro ritardi (lag) e le osservazioni ritardate, permettendo di gestire modelli AR(p) e VAR(p) complessi.

B. Marginalizzazione Analitica tramite Filtro di Kalman

Invece di campionare le variabili latenti $\eta_{1, it}$ all'interno della catena di Markov (MCMC), l'algoritmo le marginalizza analiticamente.

• Utilizzando il Filtro di Kalman, è possibile calcolare esattamente la verosimiglianza marginale dei dati integrando le variabili latenti.
• Questo riduce drasticamente la dimensionalità del problema di campionamento: invece di campionare $N \cdot T \cdot V_1$ variabili latenti, l'algoritmo campiona solo i parametri statici e le variabili latenti di livello "between" (tra partecipanti e tra tempi), riducendo la complessità a $O(N + T)$.

C. Integrazione con Hamiltonian Monte Carlo (HMC)

La marginalizzazione analitica rende possibile l'uso efficiente dell'Hamiltonian Monte Carlo (HMC), in particolare del campionatore NUTS (No-U-Turn Sampler).

• Poiché la verosimiglianza marginale è calcolata in modo deterministico (tramite il filtro di Kalman) e le sue derivate (gradienti) sono disponibili, NUTS può esplorare lo spazio dei parametri in modo molto più efficiente rispetto ai metodi basati su camminate casuali (Random Walk Metropolis) o Gibbs.
• Il filtro di Kalman viene eseguito una sola volta per iterazione completa di NUTS, invece di essere rieseguito per ogni blocco di parametri come nei metodi Gibbs tradizionali.

3. Contributi Chiave

1. Teorema di Equivalenza: Dimostrazione formale che qualsiasi DSEM con variabili latenti può essere mappato esattamente in un modello a spazio di stato, permettendo l'uso del filtro di Kalman.
2. Efficienza Computazionale: Riduzione della complessità di campionamento da $O(N \cdot T)$ a $O(N + T)$, rendendo fattibile l'analisi bayesiana su dataset con migliaia di osservazioni per partecipante.
3. Algoritmo Ibrido: Integrazione innovativa tra la struttura gerarchica dei DSEM, la marginalizzazione analitica (Kalman) e l'ottimizzazione geometrica di NUTS.
4. Gestione dei Dati Mancanti: Il framework gestisce naturalmente i dati mancanti (non bilanciati) all'interno del filtro di Kalman senza necessità di imputazione o campionamento aggiuntivo.

4. Risultati degli Esperimenti

L'autore ha condotto una serie di simulazioni comparative tra NUTS-Kalman, Metropolis-within-Gibbs (implementato in JAGS) e un approccio "brute-force" NUTS (che campiona tutte le latenti).

• Modelli AR(1) e VAR(1) a indicatore singolo:
  • NUTS-Kalman è stato da 8 a 19 volte più efficiente (misurato in ESS per minuto) rispetto a Metropolis-within-Gibbs.
  • Ha mostrato tassi di convergenza ($\hat{R} < 1.01$) quasi del 100%, mentre Gibbs falliva nella maggior parte dei casi per parametri specifici (es. deviazioni standard del rumore).
• Modelli a Multi-Indicatore:
  • Quando gli indicatori sono molto informativi (molti indicatori per una singola latente), Gibbs può essere competitivo o leggermente migliore nella coda della distribuzione, ma NUTS-Kalman rimane superiore per la stima delle medie e dei parametri di varianza.
  • In scenari con indicatori rumorosi (poca informazione), Gibbs soffre di autocorrelazione elevata, mentre NUTS-Kalman mantiene l'efficienza.
• Scalabilità:
  • Per dataset con $N=100$ e $T=200$, NUTS-Kalman ha raggiunto target di ESS elevati in minuti, mentre Gibbs richiedeva ore o non convergeva.
  • L'efficienza relativa di NUTS-Kalman diminuisce leggermente all'aumentare del lag ($p$) nei modelli AR(p), ma rimane significativamente superiore (fattore 4-18x) rispetto ai metodi tradizionali.

5. Significato e Implicazioni

Questo lavoro rappresenta un salto qualitativo per l'analisi dei dati longitudinali intensivi nelle scienze sociali e psicologiche:

• Accessibilità: Rende praticabile l'uso di DSEM complessi con variabili latenti su dataset di grandi dimensioni, che prima richiedevano approssimazioni o l'abbandono dell'approccio bayesiano.
• Flessibilità: Il metodo è implementabile in qualsiasi framework di programmazione probabilistica che supporti HMC e differenziazione automatica (es. Stan, PyMC, Turing.jl), non limitandosi a Mplus.
• Precisione: Fornisce stime più precise e affidabili (maggior ESS) riducendo il rischio di non convergenza, specialmente in modelli con strutture gerarchiche complesse e rumore di misura.

In sintesi, Sørensen risolve un problema computazionale decennale trasformando un problema di campionamento stocastico ad alta dimensionalità in un problema di algebra lineare deterministica (filtro di Kalman) all'interno di un ciclo di ottimizzazione geometrica (NUTS), aprendo la strada a nuove frontiere nella modellazione dinamica dei processi psicologici e sociali.