Approximate posterior recalibration

Titolo: Ricalibrazione approssimata delle posteriori (Approximate posterior recalibration)

1. Il Problema

L'inferenza bayesiana è spesso implementata utilizzando algoritmi approssimati (come l'inferenza variazionale o metodi MCMC approssimati) quando il calcolo della distribuzione a posteriori esatta è computazionalmente proibitivo per modelli complessi.

• Il difetto: Le stime di incertezza (intervalli di credibilità) generate da queste approssimazioni tendono a essere troppo strette, non catturando adeguatamente l'incertezza reale nella distribuzione a posteriori.
• La conseguenza: Gli intervalli di credibilità approssimati non raggiungono la "copertura nominale" desiderata (ad esempio, un intervallo al 95% non contiene il vero parametro il 95% delle volte).
• L'obiettivo: Sviluppare metodi per aggiustare queste distribuzioni a posteriori approssimate in modo che catturino correttamente l'incertezza, garantendo una calibrazione adeguata.

2. Metodologia

Gli autori estendono il concetto di Simulation-Based Calibration (SBC) per non solo rilevare la mancata calibrazione, ma per correggerla attivamente.

Concetti Fondamentali

• SBC (Calibrazione Basata sulla Simulazione): Un metodo per verificare la correttezza di un algoritmo di inferenza. Si generano dati simulati da un parametro estratto dalla prior, si calcola la posterior, e si verifica se il parametro vero cade nella posizione attesa all'interno della distribuzione a posteriori stimata. Se l'algoritmo è corretto, le quantili dovrebbero seguire una distribuzione uniforme.
• Approccio Proposto (APC - Approximate Posterior Calibration): Invece di fermarsi al controllo, gli autori propongono di apprendere un fattore di aggiustamento (scaling) dalle simulazioni SBC e applicarlo alla posterior reale di interesse.

Algoritmi Proposti

Il paper introduce due metodi specifici per determinare il fattore di correzione (un fattore di scala $k$ applicato attorno alla media della posterior):

1. Metodo della Copertura Nominale (Nominal Coverage Method):

   • Obiettivo: Garantire che gli intervalli $(1-\alpha)$ raggiungano la copertura nominale.
   • Procedura: Si esegue una ricerca su griglia (grid search) per trovare il fattore di scala $\sigma$ che minimizza la differenza tra la copertura osservata e quella nominale per specifici quantili (es. $\alpha/2$ e $1-\alpha/2$).
   • Vantaggio: Diretto e mirato agli intervalli specifici.
   • Svantaggio: Computazionalmente più costoso (richiede ricerca su griglia).

2. Metodo basato sugli Z-score:

   • Obiettivo: Garantire che gli z-score dei parametri veri rispetto alla distribuzione a posteriori simulata abbiano media 0 e varianza 1.
   • Procedura: Si calcolano gli z-score $z_l = (\theta_l - \mu_{post}) / \sigma_{post}$ per molte simulazioni. Si stima la deviazione standard osservata $s_z$ di questi z-score. Il fattore di correzione è proprio $s_z$.
   • Vantaggio: Più stabile e computazionalmente efficiente (non richiede grid search).
   • Svantaggio: Applica lo stesso fattore di scala a tutti gli intervalli, indipendentemente dal livello di confidenza $\alpha$.

3. Contributi Chiave

1. Estensione dell'SBC: Trasformazione dell'SBC da strumento puramente diagnostico a strumento di correzione attiva delle distribuzioni approssimate.
2. Metodi di Ricalibrazione: Introduzione di due procedure pratiche (Copertura Nominale e Z-score) per allargare gli intervalli di incertezza approssimati.
3. Analisi della Ricalibrazione "Posteriore":
   • Gli autori esplorano un'alternativa intrigante: sostituire la prior con la posterior approssimata nel processo di simulazione SBC (ricalibrazione basata sulla posterior).
   • Scoperta critica: In un modello semplice non gerarchico (normale-normale), la ricalibrazione basata sulla posterior fallisce dal punto di vista bayesiano. Tende a ridurre l'effetto di "pooling" (regressione verso la media) e produce intervalli troppo sicuri (sottostima l'incertezza), rendendo le inferenze non calibrate anche se il calcolo fosse esatto.
   • Eccezione per modelli gerarchici: La ricalibrazione basata sulla posterior potrebbe funzionare meglio nei modelli gerarchici grazie alla "replicazione interna" dei parametri locali, dove le nuove simulazioni approssimano le estrazioni dalla prior condizionata ai parametri iper.

4. Risultati Sperimentali

Gli autori testano i metodi su diversi scenari:

• Modello Gaussiano Semplice: Un modello a un parametro dove la posterior esatta è nota.
  • Hanno introdotto artificialmente un errore di campionamento (restringendo la deviazione standard di un fattore 3).
  • Entrambi i metodi (Copertura Nominale e Z-score) hanno recuperato con successo il fattore di scala corretto (circa 3), riportando la copertura degli intervalli ai livelli nominali.
• Modello Gerarchico (8 Scuole) con ADVI:
  • Applicazione all'inferenza variazionale automatica (ADVI) sul classico dataset delle "8 scuole".
  • L'ADVI ha prodotto posteriori non calibrate (intervalli troppo stretti).
  • La ricalibrazione ha corretto la larghezza degli intervalli, migliorando la copertura.
  • È stato notato che l'ADVI non solo restringeva gli intervalli, ma introduceva anche uno spostamento (shift) rispetto alla posterior esatta (calcolata con HMC). La ricalibrazione basata solo sullo scaling ha compensato parzialmente questo errore, rendendo gli intervalli più ampi per catturare il vero parametro nonostante lo spostamento.

5. Significato e Discussione

• Utilità Pratica: Il metodo offre un modo per utilizzare inferenze approssimate (spesso più veloci) con la garanzia di intervalli di confidenza affidabili, correggendo i bias sistematici degli algoritmi approssimati.
• Limiti Teorici:
  • La calibrazione bayesiana è intrinsecamente valida solo quando si media sulla prior (distribuzione predittiva a priori).
  • La ricalibrazione basata sulla posterior (media sulla distribuzione dei dati osservati) è teoricamente problematica in contesti non gerarchici perché viola le proprietà di coerenza bayesiana, portando a una sottostima dell'incertezza e a una riduzione eccessiva del pooling.
• Implicazioni per i Modelli Gerarchici: Nonostante i limiti nei modelli semplici, la ricalibrazione potrebbe essere uno strumento robusto per i modelli gerarchici complessi, permettendo di focalizzare il controllo di calibrazione sulla regione dello spazio dei parametri supportata dai dati, sfruttando la struttura interna del modello.
• Conclusione: Il lavoro fornisce strumenti pratici per migliorare l'affidabilità delle inferenze bayesiane approssimate, pur avvertendo che la ricalibrazione basata sulla posterior non è una soluzione universale e richiede cautela nella sua interpretazione teorica.