CP4SBI: Local Conformal Calibration of Credible Sets in Simulation-Based Inference

Sintesi Tecnica: CP4SBI – Calibrazione Conforme Locale di Insiemi di Credibilità nella Simulazione-Based Inference

1. Definizione del Problema

La Simulation-Based Inference (SBI) è diventata un quadro di riferimento standard per l'inferenza bayesiana senza verosimiglianza (likelihood-free) in campi quali l'astrofisica, le neuroscienze e la fluidodinamica, dove simulatori stocastici complessi generano dati $x$ dati i parametri $\theta$, ma mancano di funzioni di verosimiglianza trattabili. Sebbene i modelli generativi profondi (ad es., normalising flows, modelli di diffusione) abbiano reso efficienti le approssimazioni della distribuzione posteriore, tali approssimazioni spesso soffrono di mancata calibrazione statistica. Nello specifico, le regioni di credibilità costruite da posteriori approssimate $\hat{p}(\theta|x)$ frequentemente non riescono a raggiungere i loro livelli di copertura nominali, portando a inferenze eccessivamente sicure (overconfident).

I tentativi esistenti per correggere questo problema utilizzando la Conformal Prediction (CP) producono tipicamente solo la copertura marginale ($P(\theta \in C(X)) = 1-\alpha$), che media su tutte le possibili osservazioni e parametri. Questo è insufficiente per l'inferenza bayesiana, che richiede la copertura condizionale ($P(\theta \in C(X) | X = x_{obs}) = 1-\alpha$) per osservazioni specifiche. Inoltre, molti attuali metodi CP per la SBI richiedono densità posteriori in forma chiusa, un vincolo che esclude i moderni modelli generativi basati su campioni, come i modelli di diffusione.

2. Metodologia: CP4SBI

Gli autori propongono CP4SBI, un framework post-hoc, agnostico rispetto al modello, che integra la conformal prediction nella pipeline SBI per costruire insiemi di credibilità con garanzie a campione finito. L'intuizione centrale è quella di reinterpretare la funzione di punteggio $s(\theta; x)$ (derivata dalla distribuzione posteriore approssimata) come un punteggio di non conformità all'interno di un framework di inferenza conforme.

Il framework richiede un dataset di calibrazione $D_{cal} = \{(\theta_i, x_i)\}_{i=1}^B$, dove le coppie sono simulate dal prior e dal modello forward. CP4SBI offre due varianti distinte per ottenere la copertura locale e condizionale:

A. LoCart CP4SBI (Calibrazione Locale tramite Alberi di Regressione)

• Meccanismo: Questo metodo partiziona lo spazio delle feature $\mathcal{X}$ utilizzando un albero di regressione addestrato per predire il punteggio di conformità $s(\theta; x)$ a partire dall'osservazione $x$. L'albero è aumentato con una stima della varianza condizionale del punteggio per migliorare la partizione.
• Calibrazione: Per una nuova osservazione $x_{obs}$, il metodo identifica il nodo foglia (regione $A_j$) contenente $x_{obs}$. Successivamente, calcola una soglia conforme locale $t_{1-\alpha}$ utilizzando solo i punteggi di calibrazione che rientrano in quella specifica regione.
• Garanzia: Ciò assicura la copertura locale ($P(\theta \in C(X) | X \in A_j) \geq 1-\alpha$). Sotto condizioni di regolarità, man mano che la dimensione del set di calibrazione $B \to \infty$, la partizione diventa più fine e il metodo raggiunge la copertura condizionale asintotica ($P(\theta \in C(X) | X = x) \to 1-\alpha$).

B. CDF CP4SBI (Calibrazione basata su CDF)

• Meccanismo: Questa variante trasforma il punteggio di non conformità grezzo $s(\theta; x)$ utilizzando una stima della sua funzione di distribuzione cumulata (CDF) condizionale, $\hat{F}(s | x)$. Il punteggio trasformato è $s'(\theta; x) = \hat{F}(s(\theta; x) | x)$.
• Implementazione: A differenza dei setting standard dove la CDF condizionale deve essere stimata da zero, CP4SBI sfrutta l'approssimatore del posteriore già addestrato. Stima $\hat{F}$ tramite un approccio Monte Carlo: estraendo $M$ campioni $\{\theta_j\}_{j=1}^M \sim \hat{p}(\theta|x)$ e calcolando la CDF empirica dei punteggi.
• Calibrazione: Viene calcolata una singola soglia globale sui punteggi trasformati $s'$. Poiché la trasformazione mira a rendere i punteggi uniformemente distribuiti condizionatamente a $x$, l'insieme di credibilità risultante raggiunge la copertura condizionale asintotica quando la dimensione di addestramento $K$, la dimensione di calibrazione $B$ e i campioni Monte Carlo $M$ tendono tutti all'infinito.

Flessibilità:

• Agnostico rispetto al modello: Funziona con stimatori basati sulla densità (es. Neural Posterior Estimation) e modelli generativi basati su campioni (es. Diffusion, Flow Matching). Per i modelli basati su campioni, i punteggi sono approssimati usando la stima della densità kernel o i momenti empirici.
• Funzioni di punteggio: Compatibile con regioni di massima densità posteriore (HPD), simmetriche e basate sui quantili.
• Trasformazioni: Gestisce naturalmente parametri di disturbo o trasformazioni $\phi = g(\theta)$ applicando il metodo allo spazio trasformato.

3. Contributi Chiave

1. Copertura Marginale Garantita: A differenza degli standard insiemi di credibilità approssimati, CP4SBI fornisce garanzie di copertura marginale non asintotica reinterpretando i punteggi bayesiani come punteggi di non conformità.
2. Adattività Locale/Condizionale Migliorata:
   • LoCart CP4SBI fornisce copertura locale a campione finito e copertura condizionale asintotica adattando le dimensioni delle regioni alla difficoltà dell'inferenza tramite alberi di regressione.
   • CDF CP4SBI raggiunge la copertura condizionale asintotica sfruttando l'approssimatore del posteriore per trasformare i punteggi, migliorando la calibrazione senza richiedere densità in forma chiusa.
3. Generalità: Il framework è compatibile con qualsiasi approssimatore del posteriore (basato su densità o su campioni) e varie funzioni di punteggio, colmando una lacuna dove i precedenti metodi CP richiedevano posteriori in forma chiusa non disponibili nelle moderne tecniche di SBI.

4. Risultati Sperimentali

Gli autori hanno valutato CP4SBI su dieci benchmark SBI (es. Two Moons, Gaussian Mixture, Lotka-Volterra) e su un modello di massa neurale (NMM) di neuroscienze computazionali.

• Metriche: Le prestazioni sono state misurate tramite l'Errore Assoluto Medio (MAE) della copertura condizionale e la Copertura Marginale Media (AMC).
• Baseline: Confrontati con Self-calibration, Global Conformal Prediction e ricalibrazione HDR.
• Risultati:
  • Copertura Condizionale: Entrambe le varianti LoCart e CDF hanno superato significativamente le baseline in 8 su 10 benchmark utilizzando la Neural Posterior Estimation (NPE). LoCart CP4SBI è stato particolarmente efficace per i modelli di score-diffusion (NPSE), classificandosi al meglio in 7 su 10 compiti.
  • Copertura Marginale: I metodi proposti hanno mantenuto costantemente una copertura vicina al livello nominale (0.9), mentre le baseline come Self-calibration e HDR hanno spesso fallito nel mantenere la validità marginale.
  • Adattività: Nel caso di studio NMM, LoCart CP4SBI ha prodotto regioni di credibilità adattive che variavano di dimensione in base alla specifica combinazione di parametri, mentre i metodi globali producevano regioni uniformemente grandi e la self-calibration produceva regioni uniformemente piccole.
  • Robustezza: I metodi hanno performato bene attraverso diversi budget di simulazione, sebbene LoCart richiedesse dati di calibrazione sufficienti per popolare efficacemente le partizioni dell'albero.

5. Significato e Rivendicazioni

L'articolo sostiene che CP4SBI rappresenti un avanzamento significativo nella quantificazione dell'incertezza per la scienza computazionale. Fornendo garanzie a campione finito e copertura locale/condizionale, affronta il problema critico della mancata calibrazione nella SBI, che mina l'affidabilità del processo decisionale a valle.

Gli autori sottolineano che il loro approccio è modesto riguardo alla compattezza (tightness) delle regioni risultanti: la qualità degli insiemi di credibilità dipende ancora dalla qualità iniziale dell'approssimazione del posteriore. Approssimazioni scarse produrranno insiemi più ampi, sebbene calibrati. Tuttavia, il framework assicura che la copertura sia statisticamente valida, prevenendo l'eccessiva sicurezza (overconfidence) comune nelle attuali pratiche di SBI.

Il lavoro posiziona CP4SBI come uno strumento general-purpose che può essere applicato a qualsiasi metodo SBI (inclusi quelli che utilizzano modelli di diffusione o flow matching) per aumentare la fiducia nei risultati. Gli autori notano che, sebbene si siano concentrati su due specifici approcci conformi locali, il framework è aperto ad altre tecniche di copertura condizionale e a future estensioni per setting gerarchici o discreti.