Corrected Integrated Laplace Approximation for Bayesian Inference in Latent Gaussian Models

Riepilogo Tecnico: Approssimazione di Laplace Integrata Corretta per l'Inferenza Bayesiana nei Modelli Gaussiani Latenti

Enunciato del Problema

I Modelli Gaussiani Latenti (LGM) costituiscono una classe ubiqua di modelli gerarchici bayesiani, inclusi i processi gaussiani, i modelli spaziali e i modelli ad effetti misti. Sono definiti da una densità congiunta $\pi(\theta, z, y) = \pi(\theta)\pi(z|\theta)\pi(y|\theta, z)$, dove $\theta$ rappresenta gli iperparametri, $z$ rappresenta le variabili gaussiane latenti e $y$ rappresenta le osservazioni.

Una sfida primaria nell'inferenza bayesiana per gli LGM è l'alta dimensionalità di $z$ e la geometria complessa della distribuzione a posteriori congiunta $\pi(\theta, z|y)$, che spesso ostacola il campionamento efficiente. Una strategia comune è marginalizzare $z$ per inferire $\pi(\theta|y)$, un target a dimensionalità inferiore. Quando la verosimiglianza $\pi(y|\theta, z)$ è non gaussiana, la marginalizzazione esatta è intrattabile. L'approccio standard, l'Approssimazione di Laplace Integrata Annidata (INLA), utilizza un'approssimazione di Laplace per approssimare la distribuzione a posteriori condizionata $\pi(z|\theta, y)$ come una gaussiana centrata sul modo $\hat{z}$.

Sebbene efficiente, questa approssimazione introduce un "errore a posteriori" sistematico. Quando la verosimiglianza è non gaussiana, la distribuzione a posteriori marginale approssimata $\hat{\pi}(\theta|y)$ differisce dalla vera distribuzione a posteriori $\pi(\theta|y)$, anche asintoticamente. Metodi esistenti come l'Approssimazione di Laplace con Differenziazione Adjoint (ADLA) consentono il campionamento basato su gradienti (ad esempio, Monte Carlo Hamiltoniano) su questa distribuzione a posteriori approssimata, ma non correggono il bias sottostante introdotto dall'approssimazione di Laplace. Eseguire MCMC sulla distribuzione a posteriori congiunta completa $\pi(\theta, z|y)$ è asintoticamente esatto, ma spesso computazionalmente non fattibile a causa dell'alta dimensionalità di $z$.

Metodologia

Gli autori propongono un framework di campionamento per importanza per correggere l'errore introdotto dall'approssimazione di Laplace, mantenendo al contempo i vantaggi computazionali della marginalizzazione. L'idea centrale è che l'approssimazione di Laplace integrata può essere riformulata come uno stimatore di campionamento per importanza con un singolo campione. Aumentando il numero di campioni, lo stimatore converge alla vera distribuzione marginale.

Il documento descrive tre implementazioni specifiche di questa idea, tutte integrate in un framework di differenziazione automatica (JAX) per supportare l'inferenza basata su gradienti:

1. ADLA Pseudo-Marginale (PM-ADLA):

   • Meccanismo: Questo approccio mira a una distribuzione estesa sui parametri $\theta$ e su variabili casuali ausiliarie $\epsilon$ utilizzate per generare campioni $z_i$ dall'approssimazione di Laplace. Nello specifico, $z_i = \hat{z} + \sqrt{\Sigma}\epsilon_i$, dove $\epsilon_i \sim \mathcal{N}(0, I)$.
   • Proprietà: Fornisce uno stimatore non distorto della verosimiglianza marginale. All'aumentare del numero di campioni $n \to \infty$, la distribuzione a posteriori converge a quella corretta.
   • Compromesso: Aumenta la dimensionalità del problema di inferenza di $(n-1)d_z$ (dove $d_z$ è la dimensionalità di $z$) e richiede $n$ valutazioni della densità per ogni passo HMC.

2. ADLA Quasi-Monte Carlo (QMC-ADLA):

   • Meccanismo: Invece di variabili casuali ausiliarie, questo metodo fissa la casualità utilizzando una sequenza a bassa discrepanza (LDS), come la sequenza di Sobol. Le variabili ausiliarie $u_i$ sono punti fissi nel cubo unitario e $z_i$ sono generati tramite trasformazione inversa della funzione di distribuzione cumulativa.
   • Proprietà: Questo riduce la varianza di stima del campionamento per importanza a $O(n^{-2})$ in condizioni appropriate, offrendo una convergenza più rapida rispetto al Monte Carlo standard. Mantiene uno spazio dei parametri a dimensionalità inferiore (uguale all'ADLA).
   • Compromesso: Sebbene asintoticamente corretto, il documento nota che per $n$ finito, il bias può rimanere significativo, e la natura fissa dei punti può portare a grandi errori nella pratica anche con $n$ moderato.

3. ADLA Quasi-Monte Carlo Randomizzato (RQMC-ADLA):

   • Meccanismo: Questo unifica i due approcci precedenti. Utilizza una singola variabile di spostamento casuale $U$ applicata a una LDS fissa per generare le variabili ausiliarie $u_i = (v_i + U) \pmod 1$.
   • Proprietà: Fornisce uno stimatore non distorto della verosimiglianza marginale e non aumenta la dimensionalità del modello (la variabile ausiliaria $U$ ha la stessa dimensionalità di $z$, ma è condivisa tra i campioni).
   • Compromesso: L'operazione modulo introduce discontinuità nella densità target rispetto a $U$, rendendo inapplicabile l'HMC standard. Gli autori propongono un campionatore Metropolis-all'interno-di-Gibbs (MwG): l'HMC aggiorna $\theta$ condizionato a $U$, e un passo Metropolis-Hastings aggiorna $U$ condizionato a $\theta$.

Recupero delle Variabili Latenti:
Il documento descrive anche un metodo per recuperare campioni delle variabili latenti $z$ che sono più vicini alla vera distribuzione a posteriori $\pi(z|\theta, y)$ rispetto alla standard approssimazione di Laplace. Calcolando i pesi di importanza per i $n$ campioni $z_1, \dots, z_n$, è possibile costruire un'approssimazione discreta della vera distribuzione a posteriori condizionata, correggendo efficacemente anche l'inferenza sulle variabili latenti.

Contributi Chiave

• Riformulazione Teorica: Gli autori dimostrano che l'approssimazione di Laplace integrata è un caso specifico di uno stimatore di campionamento per importanza con un singolo campione. Dimostrano che l'aumento della dimensione del campione in questo framework produce una distribuzione a posteriori asintoticamente corretta.
• Varianti Algoritmiche: Propongono e implementano tre algoritmi distinti (PM-ADLA, QMC-ADLA, RQMC-ADLA) che bilanciano efficienza computazionale, dimensionalità e correttezza asintotica.
• Calcolo dei Gradienti: Il lavoro estende il framework ADLA per calcolare i gradienti per questi stimatori di campionamento per importanza, abilitando l'uso del Monte Carlo Hamiltoniano (HMC) e di altri campionatori basati su gradienti.
• Recupero delle Variabili Latenti: Viene fornita una procedura per ottenere campioni a posteriori migliorati per le variabili latenti $z$ utilizzando i pesi di importanza derivati durante l'inferenza marginale.

Risultati Sperimentali

I metodi sono stati valutati su processi gaussiani sintetici con verosimiglianze di Poisson, modelli di interazione a kernel sparsi (SKIM) su dati reali e modelli ad effetti misti (dataset Epil2).

• Riduzione dell'Errore: In tutti gli esperimenti, i metodi proposti (PM, QMC, RQMC) hanno ridotto significativamente l'errore di stima delle medie dei parametri rispetto all'ADLA standard.
• Convergenza:
  • PM-ADLA: Ha corretto efficacemente l'errore a posteriori ma è stato computazionalmente più lento a causa dell'aumentata dimensionalità e delle multiple valutazioni della densità.
  • QMC-ADLA: Ha mostrato una varianza ridotta ma ha esibito un bias persistente in alcuni casi (ad esempio, stimando le medie di parametri specifici negli SKIM) anche con $n$ elevato.
  • RQMC-ADLA: Ha raggiunto un equilibrio, correggendo il bias dell'ADLA con prestazioni paragonabili all'HMC standard in termini di errore, sebbene il passo di campionamento Gibbs abbia comportato costi computazionali più elevati per iterazione.
• Divergenze: In modelli dove l'HMC standard sulla distribuzione a posteriori completa soffriva di transizioni divergenti (indicante una geometria scarsa), tutti i metodi di marginalizzazione (inclusi ADLA e le correzioni proposte) hanno eliminato le divergenze, dimostrando che la geometria marginale approssimata è ben comportata.
• Efficienza: Sebbene l'ADLA fosse la più veloce, soffriva di bias. I metodi proposti offrono un compromesso regolabile: aumentare $n$ riduce il bias a scapito del tempo di calcolo.

Significato e Affermazioni

Il documento afferma di fornire una versione "corretta" dell'approssimazione di Laplace integrata che mantiene la scalabilità della marginalizzazione offrendo al contempo garanzie asintotiche di correttezza. Il significato risiede nel colmare il divario tra l'efficienza dei metodi approssimati (come INLA/ADLA) e l'accuratezza dell'MCMC esatto.

Gli autori sottolineano che i loro metodi permettono agli utenti di sfruttare la flessibilità dei linguaggi di programmazione probabilistica (tramite differenziazione automatica) senza essere vincolati dalle limitazioni di accuratezza dell'approssimazione di Laplace. Posizionano RQMC-ADLA come un approccio particolarmente promettente che evita di aumentare la dimensionalità del modello correggendo l'errore a posteriori, sebbene con uno schema di campionamento più complesso (MwG) per gestire le discontinuità. Il lavoro suggerisce che per molte applicazioni, il costo computazionale di queste correzioni è giustificato dalla riduzione del bias a posteriori, abilitando applicazioni downstream più affidabili.