Bayesian Inference for Discrete Markov Random Fields Through Coordinate Rescaling

1. Il Problema: Inferenza in MRF Discreti

Il lavoro si concentra sui Campi Casuali di Markov (MRF) discreti, modelli grafici non diretti utilizzati per catturare dipendenze condizionali complesse tra variabili discrete (es. in genetica o psicologia).
Il problema centrale è l'intractabilità doppia (doubly intractability) della distribuzione a posteriori:

• La funzione di verosimiglianza contiene una costante di normalizzazione $Z(\eta)$ che richiede la somma su tutte le possibili configurazioni dello stato.
• La dimensione dello spazio degli stati cresce esponenzialmente con il numero di variabili e le loro categorie, rendendo il calcolo esatto di $Z(\eta)$ proibitivo per sistemi di dimensioni pratiche.
• Di conseguenza, anche la distribuzione a posteriori $\pi(\eta|X)$ è intractabile perché il margine $f(X)$ integra una verosimiglianza che contiene già una costante intractabile.

Le soluzioni esistenti presentano compromessi significativi:

• Algoritmi Double Metropolis-Hastings (DMH): Offrono stime accurate ma richiedono un campionamento MCMC annidato (inner loop), risultando computazionalmente molto costosi e poco scalabili.
• Pseudo-verosimiglianza (Pseudo-likelihood): È computazionalmente efficiente e scalabile, ma tende a sottostimare sistematicamente la variabilità a posteriori (sottostima dell'incertezza), portando a intervalli di credibilità troppo stretti e a una sovrastima della significatività statistica.

2. Metodologia: Coordinate Rescaling (CoRe)

Gli autori propongono una nuova classe di metodi di campionamento MCMC chiamati Coordinate Rescaling (CoRe). L'idea fondamentale è combinare l'efficienza computazionale della pseudo-verosimiglianza con una correzione geometrica della distribuzione a posteriori.

Il Concetto Chiave

Invece di tentare di calcolare la costante di normalizzazione esatta o di usare campionamento annidato, il metodo CoRe applica una trasformazione lineare allo spazio dei parametri durante il processo di campionamento.

• Si parte dalla distribuzione a posteriori basata sulla pseudo-verosimiglianza (che è facile da campionare ma ha una geometria errata, troppo concentrata).
• Si definisce una trasformazione lineare $\beta = A(\eta - \eta^*) + \eta^*$, dove $\eta$ sono i parametri sulla scala della pseudo-verosimiglianza e $\beta$ sono i parametri trasformati.
• La matrice di ridimensionamento $A$ è costruita per approssimare la struttura di covarianza della distribuzione a posteriori target (quella esatta).

Costruzione della Matrice di Ridimensionamento ($A$)

La matrice $A$ è definita come $A = \Gamma L^\top$, dove:

1. $L^\top$: È il fattore di Cholesky superiore della curvatura locale della pseudo-verosimiglianza (Hessiana negativa valutata in un punto di riferimento $\eta^*$, come la MAP o MPLE). Rappresenta la geometria locale della pseudo-verosimiglianza.
2. $\Gamma$: È il fattore di Cholesky inferiore di una matrice di scala che cattura la struttura di covarianza del target. Viene stimata utilizzando l'estimatore robusto Godambe-Huber-White (GHW), che corregge la sottovalutazione della varianza tipica delle likelihood composite.

Varianti del Metodo

• CoRe (Fisso): Utilizza una matrice $A$ pre-calcolata basata su stime iniziali.
• AdaCoRe (Adattivo): Aggiorna iterativamente la matrice $A^{-1}$ durante la fase di "burn-in" del campionatore. Questo permette di adattare la ridimensionamento alla curvatura locale man mano che il campionatore esplora lo spazio dei parametri, senza richiedere stime esterne preliminari.

Il campionatore opera sullo spazio trasformato $\beta$, proponendo nuovi stati e accettandoli con una probabilità di Metropolis-Hastings che mantiene la proprietà di bilancio dettagliato rispetto alla distribuzione target corretta.

3. Contributi Chiave

1. Nuova Classe di Campionatori: Introduzione dei metodi CoRe e AdaCoRe che risolvono il problema della sottostima della varianza nelle MRF discrete senza ricorrere a costosi campionamenti annidati.
2. Scalabilità e Accuratezza: Dimostrazione che è possibile mantenere la scalabilità computazionale della pseudo-verosimiglianza (che evita il calcolo di $Z(\eta)$) ottenendo al contempo una quantificazione dell'incertezza (varianza e covarianza) paragonabile all'inferenza esatta.
3. Integrazione nell'Algoritmo: A differenza delle calibrazioni post-hoc (che correggono i campioni dopo il campionamento), CoRe integra la correzione geometrica direttamente nel meccanismo di transizione MCMC, rendendolo adatto anche per l'identificazione congiunta della struttura della rete (edge selection).
4. Valutazione Comparativa: Un'estesa analisi empirica che confronta CoRe con metodi esistenti (DMH, AdaDMH, calibrazione post-hoc, e una nuova "Empirical Likelihood").

4. Risultati degli Studi di Simulazione

Gli autori hanno condotto simulazioni su reti di diverse dimensioni ($p=6, 9$) e strutture (small-world, random, fully connected) con diverse dimensioni campionarie ($n$).

• Accuratezza della Sovrapposizione (Overlap): I metodi CoRe e AdaCoRe raggiungono un indice di sovrapposizione tra la distribuzione approssimata e quella esatta superiore al 90%, superando significativamente la pseudo-verosimiglianza (65-70%) e avvicinandosi alle prestazioni del DMH (circa 95%).
• Rapporto di Dickey-Savage (Bayes Factor): I metodi CoRe correggono efficacemente la distorsione sistematica del rapporto di Bayes per l'indipendenza condizionale, fornendo evidenze statistiche allineate con la verità, a differenza della pseudo-verosimiglianza che tende a sovrastimare l'evidenza per valori vicini allo zero.
• Stima della Varianza: Il rapporto tra la deviazione standard stimata e quella esatta per CoRe è vicino a 1, indicando una corretta quantificazione dell'incertezza. Al contrario, la pseudo-verosimiglianza sottostima la varianza del 30-35%.
• Efficienza Computazionale:
  • DMH/AdaDMH: Sono estremamente lenti (da 38 minuti a oltre un'ora per catena) e mostrano un calo dell'Effective Sample Size (ESS) all'aumentare della complessità della rete.
  • CoRe/AdaCoRe: Sono molto più veloci (pochi secondi/minuti, simili alla pseudo-verosimiglianza) e mantengono un ESS stabile e alto, offrendo il miglior compromesso tra accuratezza statistica e costo computazionale.
  • Empirical Likelihood: È la più veloce ma mostra instabilità e distorsioni nelle piccole dimensioni campionarie.

5. Significato e Implicazioni

Questo lavoro è significativo perché risolve un collo di bottiglia fondamentale nell'inferenza bayesiana per modelli grafici discreti.

• Praticità: Fornisce agli ricercatori uno strumento scalabile per l'inferenza su reti di dimensioni reali, dove l'inferenza esatta è impossibile e i metodi esistenti (DMH) sono troppo lenti.
• Affidabilità Statistica: Corregge il difetto critico della pseudo-verosimiglianza (sottostima dell'incertezza), rendendo i risultati affidabili per la selezione delle variabili e l'identificazione delle connessioni nella rete.
• Futuro: Il metodo è implementato nel pacchetto R bgms e apre la strada a framework di apprendimento strutturale congiunto (edge selection) che non erano praticabili con metodi post-hoc o troppo costosi.

In sintesi, il metodo Coordinate Rescaling rappresenta un avanzamento sostanziale, permettendo di ottenere la precisione dell'inferenza esatta con il costo computazionale della pseudo-verosimiglianza, rendendo l'inferenza bayesiana su MRF discreti fattibile per applicazioni reali complesse.