Amortised and provably-robust simulation-based inference

Titolo: Inference basata su simulazione ammortizzata e provabilmente robusta

Autori: Ayush Bharti, Charita Dellaporta, Yuga Hikida, François-Xavier Briol.
Affiliazioni: Aalto University (Finlandia) e University College London (Regno Unito).

---

1. Il Problema

L'inference basata su simulazione (SBI, Simulation-Based Inference) è diventata uno strumento fondamentale per l'inferenza bayesiana in scenari complessi dove la funzione di verosimiglianza è intrattabile, ma la simulazione dei dati è possibile (es. fisica delle particelle, epidemiologia, cosmologia). Tuttavia, i metodi SBI esistenti soffrono di due limitazioni critiche:

1. Mancanza di robustezza: Sono spesso sensibili a errori di specificazione del modello, dati corrotti e valori anomali (outliers) derivanti da errori strumentali o umani. Questo porta a stime dei parametri distorte e a posteriori eccessivamente confidenti ma errate.
2. Mancanza di ammortizzazione: Molti metodi robusti (come quelli basati su bootstrap o distanze massime) richiedono di rieseguire l'intero processo di inferenza per ogni nuova osservazione, rendendoli computazionalmente proibitivi per applicazioni in tempo reale o su grandi dataset.

Esistono approcci neurali (come NLE - Neural Likelihood Estimation) che sono ammortizzati (una volta addestrati, possono essere riutilizzati), ma non offrono garanzie teoriche di robustezza agli outlier. Al contrario, i metodi robusti teorici non sono ammortizzati.

2. Metodologia Proposta: NSM-Bayes

Gli autori introducono un nuovo metodo chiamato Neural Score-Matching Bayes (NSM-Bayes), che combina l'efficienza computazionale dell'inference ammortizzata con la robustezza teorica dell'inference bayesiana generalizzata (GBI).

Il metodo si articola in due fasi principali:

Fase 1: Addestramento del Surrogato Neurale

Si addestra un modello di densità condizionale neurale $q_\phi(x|\theta)$ (ad esempio, una Mixture Density Network o un Normalizing Flow) utilizzando dati simulati dal modello generativo. Questo passo è identico a quello dell'NLE standard.

Fase 2: Aggiornamento delle Credenze con Score Matching Ponderato

Invece di utilizzare la verosimiglianza standard (che è sensibile agli outlier), il metodo aggiorna la distribuzione a priori utilizzando una perdita di Score Matching (SM) ponderata all'interno del framework GBI.
La distribuzione a posteriori è definita come:
$$\pi_{NSM}(\theta | x_{1:n}^o, \hat{\phi}_m) \propto \exp\left(-\beta n L_{NSM}(\theta; x_{1:n}^o, \hat{\phi}_m)\right) \pi(\theta)$$
Dove la perdita $L_{NSM}$ è una stima Monte Carlo della divergenza di Score Matching pesata:
$$L_{NSM} \approx \frac{1}{n} \sum_{i=1}^n \left( w(x_i^o)^2 \|\nabla_x \log q_{\hat{\phi}_m}(x_i^o|\theta)\|_2^2 + 2 \nabla_x \cdot (w(x_i^o)^2 \nabla_x \log q_{\hat{\phi}_m}(x_i^o|\theta)) \right)$$

Il ruolo della funzione di peso $w(x)$:
La chiave della robustezza è la funzione di peso $w(x)$, scelta come una funzione Inverse Multi-Quadratic (IMQ):
$$w_\zeta(x) = \left(1 + \frac{\|x - \hat{\nu}_n\|^2}{\hat{\Xi}_n}\right)^{-1/\zeta}$$
Questa funzione assegna pesi bassi ai punti dati che si discostano significativamente dalla media robusta $\hat{\nu}_n$ e dalla covarianza robusta $\hat{\Xi}_n$ (stimate sui dati osservati), riducendo così l'impatto degli outlier sul calcolo del gradiente e sulla distribuzione a posteriori.

Variante Coniugata: NSM-Bayes-conj

Per ridurre ulteriormente i costi computazionali, gli autori propongono una versione speciale (NSM-Bayes-conj) che assume:

1. Un modello surrogato della famiglia esponenziale naturale (o modelli basati su energia lineari in $\theta$).
2. Una distribuzione a priori gaussiana.
   In questo caso, l'aggiornamento della posterior può essere derivato in forma chiusa (aggiornamento coniugato), eliminando la necessità di campionamento MCMC (Markov Chain Monte Carlo) durante la fase di inferenza. Questo rende il metodo completamente ammortizzato.

3. Contributi Chiave

1. Primo metodo SBI ammortizzato e provabilmente robusto: Il lavoro fornisce le prime garanzie teoriche di robustezza globale (bias-robustness) per metodi SBI ammortizzati.
2. Teoremi di Robustezza:
   • Dimostrano che l'NLE standard non è robusto agli outlier (il suo Posterior Influence Function è illimitato).
   • Dimostrano che NSM-Bayes è globalmente robusto sotto condizioni di regolarità mild sulle derivate del surrogato neurale e sulla funzione di peso.
   • Forniscono condizioni specifiche per l'uso di Mixture Density Networks (MDN) e Masked Autoregressive Flows (MAF) con pesi IMQ, garantendo la robustezza per architetture neurali comuni.
3. Efficienza Computazionale: La versione coniugata (NSM-Bayes-conj) permette inferenze istantanee senza MCMC, offrendo vantaggi computazionali significativi rispetto agli approcci di stato dell'arte.
4. Calibrazione del parametro di apprendimento ($\beta$): Viene proposto un protocollo per calibrare il parametro di temperatura $\beta$ della GBI per garantire una copertura frequente corretta delle regioni di credibilità.

4. Risultati Sperimentali

Gli autori hanno valutato il metodo su tre scenari complessi, confrontandolo con NLE, ACE, GBI-SR, NPL-MMD e altri metodi robusti:

1. Distribuzione g-and-k: Un modello parametrico flessibile senza verosimiglianza chiusa.
   • Risultato: In presenza del 10% di outlier, NLE fallisce completamente (copertura empirica 0%, MSE alto). NSM-Bayes e NSM-Bayes-conj raggiungono il 100% di copertura e MSE bassi, con tempi di inferenza molto ridotti per la versione coniugata.
2. Modello SIR (Epidemiologia): Un modello stocastico di diffusione di malattie con sottostima dei casi (outlier unilaterali).
   • Risultato: NLE produce posterori fortemente distorti. NSM-Bayes-conj fornisce stime accurate con il tempo di inferenza più basso tra tutti i metodi testati, dimostrando alta efficienza nel campionamento.
3. Modello di Propagazione Radio: Un modello con dati corrotti da rumore strumentale.
   • Risultato: Anche con simulatori non differenziabili, NSM-Bayes e NSM-Bayes-conj mantengono la robustezza, mentre NLE è severamente distorto.

Metriche di Performance:

• Robustezza: Entrambe le versioni di NSM-Bayes mantengono la distribuzione a posteriori centrata sul vero parametro anche con dati contaminati.
• Tempo di Inferenza: NSM-Bayes-conj è di ordini di grandezza più veloce dei metodi che richiedono MCMC o bootstrap ripetuti.
• Copertura: Le regioni di credibilità ottenute sono ben calibrate (copertura empirica vicina al 95% o 100%).

5. Significato e Implicazioni

Questo lavoro risolve un compromesso fondamentale nell'inferenza basata su simulazione: la capacità di gestire dati reali "sporchi" (outlier) senza sacrificare l'efficienza computazionale.

• Impatto Pratico: Permette l'applicazione di metodi bayesiani avanzati in settori critici come la medicina e l'ingegneria, dove i dati sono spesso affetti da errori di misurazione.
• Avanzamento Teorico: Stabilisce un nuovo standard per la robustezza nell'inference neurale, dimostrando che è possibile ottenere garanzie matematiche rigorose anche con modelli surrogati complessi e non parametrici.
• Scalabilità: La natura ammortizzata e la possibilità di inferenza in forma chiusa (nella variante coniugata) rendono il metodo adatto per applicazioni in tempo reale e su larga scala.

In sintesi, il paper introduce NSM-Bayes come una soluzione unificata che combina la flessibilità delle reti neurali, la robustezza statistica della GBI e l'efficienza dell'ammortizzazione, superando i limiti dei metodi attuali.