Robust Simulation Based Inference Through Robust Optimal Transport

Sintesi Tecnica: Inferenza Basata su Simulazione Robusta Tramite Trasporto Ottimale Robusto

Enunciato del Problema
L'Inferenza Basata su Simulazione (SBI) è un quadro per l'inferenza statistica quando la funzione di verosimiglianza di un modello parametrico $\{P_\theta : \theta \in \Theta\}$ è analiticamente intrattabile, ma sono possibili simulazioni dal modello. I metodi SBI standard spesso assumono che la distribuzione generatrice dei dati $P$ sia esattamente un membro del modello ($P = P_{\theta^*}$). Tuttavia, nella pratica, i modelli sono raramente esatti e i dati possono essere soggetti a contaminazione. I metodi robusti esistenti affrontano tipicamente o la "contaminazione di Huber" (contaminazione di massa in cui una frazione $\epsilon$ dei dati è sostituita da rumore arbitrario) o perturbazioni geometriche (in cui i punti dati sono spostati di una piccola distanza). Esiste un significativo vuoto nei metodi in grado di gestire simultaneamente entrambi i tipi di contaminazione, in particolare nell'ambito SBI dove le verosimiglianze non sono disponibili. Inoltre, molti approcci SBI robusti si basano sulla Discrepanza Massima del Nucleo (MMD) o sulla distanza di Wasserstein, che soffrono rispettivamente di sensibilità alla selezione degli iperparametri (ad esempio, la larghezza di banda del kernel) o di mancanza di robustezza alla contaminazione di massa.

Metodologia
Gli autori propongono Bootstrapped Minimum Robust Semi-constrained Wasserstein-2 (B-MRSW), un quadro che integra una nuova misura di divergenza con il bootstrap regolare per la quantificazione dell'incertezza.

1. La Divergenza ($\ell_\lambda$): Il cuore del metodo è la divergenza Wasserstein-2 Semi-constrinta Robusta-$\lambda$ ($\lambda$-RSW). Per le misure di probabilità $P_1, P_2$, è definita come:
   $$\ell_\lambda(P_1, P_2) := \inf_{Q \ll P_1} \left[ \frac{1}{\lambda} KL(Q, P_1) + W_2^2(P_2, Q) \right]$$
   dove $KL$ è la divergenza di Kullback-Leibler e $W_2$ è la distanza di Wasserstein-2. Questa formulazione rilassa il vincolo marginale rigido del trasporto ottimo standard consentendo che la prima margine sia ripesata (tramite $Q$) a un costo penalizzato dalla $KL$. Ciò è motivato dalla Verosimiglianza Empirica vincolata distribuzionalmente.

   • Robustezza: Gli autori dimostrano che per valori intermedi di $\lambda$ (ad esempio, $\lambda=1$), la minimizzazione di $\ell_\lambda(P, P_\theta)$ produce una stima del parametro robusta al modello di contaminazione Geometrica+Huber (G+H), dove $P = (1-\epsilon)Q + \epsilon F$ e $W_2(Q, P_{\theta^*}) \le \rho$.
   • Limiti: Quando $\lambda \to 0$, $\ell_\lambda$ converge a $W_2^2$ (sensibile alla contaminazione di Huber). Quando $\lambda \to \infty$, converge alla distanza media del vicino più prossimo (non informativa per la stima della varianza).

2. Algoritmo per l'Approssimazione Semi-Discreta:
   Poiché $P_n$ (i dati empirici) è discreto e $P_\theta$ è spesso continuo, il problema è semi-discreto. Gli autori derivano una formulazione duale (Teorema 3.1) che converte il problema min-min in un problema di massimizzazione concava su un vettore $g \in \mathbb{R}^n$:
   $$\ell_\lambda(P_n, P_\theta) = \sup_{g \in \mathbb{R}^n} \mathbb{E}_{X \sim P_\theta} \left[ \min_{j \in [n]} (\|X - Y_j\|^2 - g_j) - \frac{1}{\lambda} \log \left( \frac{1}{n} \sum_{t=1}^n e^{-\lambda g_t} \right) \right]$$
   Propongono l'Algoritmo 1, un algoritmo di ascesa stocastica del sub-gradienete (SGA) per approssimare questo valore, fornendo una garanzia di convergenza di errore assoluto atteso $O(\epsilon)$ in tempo $O(n^2/\epsilon^2)$.

3. Pipeline di Inferenza:

   • Selezione di $\lambda$: Un'euristica guidata dai dati seleziona $\lambda$ osservando un "gomito" nel grafico della distanza di Wasserstein-2 tra il modello adattato e la misura empirica ripesata attraverso un intervallo di valori di $\lambda$.
   • Stima dei Parametri: Lo stimatore di minima divergenza $\hat{\theta}_\lambda$ è trovato utilizzando la Strategia Evolutiva Adattiva della Matrice di Covarianza (CMA-ES) per ottimizzare l'obiettivo non convesso $\ell_\lambda(P_n, P_\theta)$, valutato tramite l'Algoritmo 1.
   • Quantificazione dell'Incertezza: Il bootstrap regolare viene applicato sopra lo stimatore minimo $\lambda$-RSW. Vengono generati $M$ dataset di bootstrap e la pipeline CMA-ES/SGA viene eseguita per ciascuno per produrre una distribuzione di stime, formando intervalli di confidenza.

Contributi Chiave

1. Robustezza Teorica: Il documento stabilisce che la divergenza $\lambda$-RSW fornisce robustezza teorica sotto il modello congiunto di contaminazione Geometrica+Huber, un contesto non precedentemente affrontato da un singolo metodo unificato in SBI.
2. Sviluppo Algoritmico: Gli autori forniscono il primo algoritmo con una garanzia di convergenza per il calcolo del Trasporto Ottimale Semi-constrinto Robusto semi-discreto, utilizzando un approccio di ascesa stocastica del sub-gradienete.
3. Sintonizzazione Guidata dai Dati: Viene introdotta un'euristica principiale e guidata dai dati per selezionare il parametro di robustezza $\lambda$, eliminando la necessità di una specifica arbitraria da parte dell'utente.
4. Quantificazione dell'Incertezza: Il quadro integra il bootstrap regolare per fornire insiemi di confidenza con una copertura asintotica corretta, affrontando una modalità di fallimento comune nell'inferenza bayesiana e frequentista robusta.

Risultati
Il metodo è valutato su due benchmark:

1. Distribuzione Normale Univariata: Sotto contaminazione G+H (mescolando una $t$ di Student o una Normale discretizzata con una massa di Dirac), B-MRSW recupera con successo la media e la varianza. Al contrario, la stima standard di minima distanza di Wasserstein-2 fallisce sotto contaminazione di Huber.
2. Distribuzione G-and-K: Una distribuzione complessa a quattro parametri utilizzata come benchmark SBI standard. Gli autori confrontano B-MRSW con il metodo NPL-MMD (Dellaporta et al., 2022).
   • Sensibilità: Le prestazioni di NPL-MMD sono altamente sensibili alla larghezza di banda del kernel Gaussiano; piccoli cambiamenti portano a errori massicci nella stima dell'asimmetria e a una copertura scarsa.
   • Robustezza: B-MRSW mantiene un basso Errore Quadratico Medio (MSE) e alti tassi di copertura su un'ampia gamma di valori di $\lambda$ selezionati dall'euristica.
   • Efficienza: Sebbene B-MRSW richieda più chiamate al simulatore rispetto a NPL-MMD a causa dell'uso di CMA-ES per l'ottimizzazione globale (rispetto alla discesa del gradiente locale di NPL-MMD), gli autori sostengono che ciò sia necessario per evitare minimi locali e garantire la robustezza.

Significato e Affermazioni
Il documento afferma che B-MRSW offre un'alternativa robusta per SBI in scenari in cui i modelli sono specificati erroneamente e i dati contengono sia contaminazione geometrica che di massa. Gli autori sottolineano che, a differenza dei metodi esistenti che si basano su iperparametri attenti e spesso difficili da sintonizzare (come la larghezza di banda del kernel in MMD), il loro approccio utilizza una strategia guidata dai dati per il parametro di robustezza. Notano che, sebbene il metodo sia computazionalmente intensivo a causa dei requisiti di bootstrap e ottimizzazione globale, è parallelizzabile. Il lavoro non afferma di risolvere tutti i problemi SBI ma mira specificamente al vuoto tra la robustezza geometrica e la robustezza di Huber in contesti senza verosimiglianza, fornendo uno strumento che mira al parametro vero (fino all'identificabilità) fornendo al contempo insiemi di confidenza validi. Si suggerisce che il lavoro futuro coinvolga l'addestramento di surrogati non parametrici per il simulatore per ridurre il costo computazionale.