Efficient prior sensitivity analysis for Bayesian model comparison

Sintesi Tecnica: Analisi Efficiente della Sensibilità ai Prior per il Confronto tra Modelli Bayesiani

Definizione del Problema
Il confronto tra modelli bayesiani si basa sul calcolo della verosimiglianza marginale (evidenza bayesiana), che incarna intrinsecamente il rasoio di Occam penalizzando i modelli con uno spazio dei parametri eccessivo o sprecato. Tuttavia, questo meccanismo rende l'evidenza direttamente sensibile alla specificazione del volume del prior. Sebbene le migliori pratiche suggeriscano che i prior debbano essere motivati fisicamente o informati dai dati, il confronto tra modelli risultante può essere arbitrario se i prior non sono scelti con cura. Di conseguenza, valutare la sensibilità dell'evidenza rispetto ad alternative plausibili dei prior è fondamentale per un'inferenza scientifica robusta.

Attualmente, tali analisi di sensibilità sono computazionalmente proibitive. Valutare l'influenza di prior alternativi richiede tipicamente ripetuti e costosi re-fit del modello (esecuzione di intere procedure MCMC o nested sampling da zero) o schemi di campionamento specializzati. Gli esistenti metodi formali di analisi della sensibilità per l'inferenza a posteriori non si estendono ai fattori di Bayes, e i controlli "informali" sono spesso trattabili solo in casi limite semplici. Questo lavoro affronta la necessità di un metodo efficiente per valutare la dipendenza dal prior senza incorrere nel costo computazionale di rieseguire intere procedure di campionamento.

Metodologia
Gli autori propongono un approccio che decupla il processo di campionamento dal calcolo dell'evidenza, consentendo il riutilizzo dei campioni a posteriori esistenti per l'analisi della sensibilità al prior. Il metodo consiste in due componenti primarie:

1. Ricampionamento per Importanza (SIR):
   Dato un insieme di campioni a posteriori $\{\theta_i\}$ estratti da un modello originale $M_0$ (definito dalla verosimiglianza $L$ e dal prior $p(\theta|M_0)$), il metodo approssima la distribuzione a posteriori per un modello alternativo $M_1$ (con la stessa verosimiglianza ma un prior diverso $p(\theta|M_1)$) utilizzando il Sampling Importance Resampling (SIR).

• I pesi di importanza non normalizzati sono calcolati come il rapporto tra il nuovo prior e il vecchio prior: $w_i = p(\theta_i|M_1) / p(\theta_i|M_0)$.
• Un nuovo insieme di campioni non pesati $\{\theta^*_i\}$ viene generato ricampionando l'insieme originale con sostituzione secondo questi pesi.
• Questa fase evita qualsiasi nuova valutazione della verosimiglianza, poiché i termini della verosimiglianza si cancellano nel calcolo del peso.

2. Stimatore della Media Armonica Appreso (LHME):
   Per calcolare l'evidenza per il modello alternativo utilizzando i campioni ricampionati, gli autori impiegano lo Stimatore della Media Armonica Appreso.

• L'LHME introduce una distribuzione target appresa $\phi(\theta)$ (tipicamente un normalizing flow addestrato sui campioni a posteriori) per stabilizzare lo standard stimatore della media armonica.
• L'evidenza per il modello alternativo è stimata utilizzando i campioni ricampionati e il nuovo prior, senza rivalutare la verosimiglianza.
• Se la distribuzione a posteriori è insensibile al cambiamento del prior, viene riutilizzato l'originale target appreso $\phi_0(\theta)$. Se la distribuzione a posteriori si sposta significativamente, $\phi(\theta)$ viene ri-addestrato sui campioni ricampionati (un processo significativamente più veloce di un intero re-fit del modello).

Controlli Diagnostici
Per garantire l'affidabilità del campionamento per importanza, gli autori implementano un workflow diagnostico a due stadi:

• Diagnostica Pareto-$\hat{k}$: Stima il parametro di forma della distribuzione di Pareto generalizzata adattata alla coda superiore dei pesi di importanza. Se $\hat{k} > 0.7$, il campionamento per importanza è considerato inaffidabile, indicando che è necessario un intero re-fit del modello.
• Dimensione del Campione Effettiva (ESS): Calcola la frazione di ESS dei pesi di importanza. Se l'ESS scende al di sotto di una soglia conservativa (ad esempio, 0.95), ciò indica una bassa sovrapposizione tra le distribuzioni a posteriori originale e nuova, innescando il ri-addestramento della densità target $\phi(\theta)$ per mantenere una bassa varianza nella stima dell'evidenza.

Contributi Chiave

• Decoupling di Campionamento ed Evidenza: Il lavoro dimostra che, sfruttando l'LHME, è possibile separare la generazione dei campioni a posteriori dal calcolo dell'evidenza. Ciò consente di riutilizzare i campioni a posteriori derivanti da qualsiasi metodo di campionamento (MCMC, nested sampling, neural density estimators) per prior alternativi.
• Efficienza Computazionale: Il metodo elimina la necessità di ripetute valutazioni della verosimiglianza durante l'analisi di sensibilità. Fornisce una via per valutare la dipendenza dal prior che è agnostica rispetto alla strategia di campionamento originale.
• Diagnostiche Robuste: L'integrazione delle diagnostiche Pareto-$\hat{k}$ ed ESS fornisce un modo sistematico per segnalare quando il campionamento per importanza fallisce e quando un intero re-fit è inevitabile, prevenendo la segnalazione di stime di evidenza errate.

Risultati
Il metodo è stato validato su due problemi toy e su un caso di studio cosmologico:

1. Problema Toy Gaussiano: In un contesto Gaussiano a 10 dimensioni, il metodo ha riprodotto accuratamente i valori analitici dell'evidenza attraverso diverse ampiezze del prior. Le diagnostiche hanno identificato correttamente quando la distribuzione a posteriori era insensibile (alto ESS, nessun ri-addestramento necessario) rispetto a quando il prior diventava così informativo da spostare drasticamente la distribuzione a posteriori (basso ESS, alto $\hat{k}$, richiedendo ri-addestramento o re-fit).
2. Problema Toy Rosenbrock: Utilizzando una verosimiglianza Rosenbrock non lineare, il metodo ha stimato con successo l'evidenza per prior informativi spostati lontano dal modo della verosimiglianza. Ha correttamente segnalato il prior più spostato come inaffidabile tramite la diagnostica Pareto-$\hat{k}$.
3. Caso di Studio Cosmologico: Applicato al rapporto tensore-scalare ($r$) in cosmologia, il metodo ha confrontato i prior logaritmici e uniformi. Ha riprodotto stime di evidenza coerenti con i re-fit completi tramite nested sampling e le esecuzioni MCMC.
   • Accelerazione: Per l'esempio cosmologico, l'approccio ricampionato ha ottenuto accelerazioni computazionali di circa 3000× - 6000× rispetto ai completi re-fit del modello.
   • Accuratezza: I valori di log-evidenza stimati corrispondevano a quelli dei re-fit completi entro le incertezze dichiarate, anche quando la distribuzione a posteriori cambiava moderata o significativamente.

Significatività e Rivendicazioni
Gli autori affermano che questo approccio offre una soluzione pratica a un collo di bottiglia di lunga data nel confronto tra modelli bayesiani: l'alto costo dell'analisi di sensibilità ai prior. Consentendo il calcolo diretto dell'evidenza dai campioni a posteriori ricampionati, il metodo riduce drasticamente i costi computazionali pur rimanendo agnostico rispetto alla tecnica di campionamento utilizzata per generare i campioni originali.

Il documento sottolinea che, sebbene la fragilità dell'evidenza bayesiana rispetto alla scelta del prior sia un problema noto, l'impossibilità di testare efficientemente i prior alternativi ha ostacolato la trasparenza della reportistica. Questo metodo facilita tale trasparenza, permettendo ai ricercatori di esplorare la sensibilità delle loro conclusioni rispetto a ragionevoli alternative di prior senza spese computazionali proibitive. Gli autori osservano che lo stimatore della media armonica appreso è l'abilitatore chiave di questa efficienza post-hoc e che il metodo è applicabile a qualsiasi scenario in cui siano disponibili campioni a posteriori, estendendosi potenzialmente alla combinazione di evidenze tra diversi dataset.