Robust Simulation Based Inference Through Robust Optimal Transport

Technische Samenvatting: Robuste Simulatiegebaseerde Inference via Robuste Optimale Transport

Probleemstelling
Simulatiegebaseerde Inference (SBI) is een raamwerk voor statistische inferentie wanneer de likelihood-functie van een parametrisch model $\{P_\theta : \theta \in \Theta\}$ analytisch onberekenbaar is, maar simulaties vanuit het model mogelijk zijn. Standaard SBI-methoden gaan er vaak van uit dat de data-genererende verdeling $P$ exact een lid is van het model ($P = P_{\theta^*}$). In de praktijk zijn modellen echter zelden exact, en data kunnen onderhevig zijn aan contaminatie. Bestaande robuuste methoden behandelen doorgaans óf "Huber-contaminatie" (massa-contaminatie waarbij een fractie $\epsilon$ van de data wordt vervangen door willekeurige ruis) óf geometrische verstoringen (waarbij datapunten met een kleine afstand worden verschoven). Er bestaat een aanzienlijke lacune in methoden die beide soorten contaminatie gelijktijdig kunnen hanteren, met name binnen de SBI-context waar likelihoods niet beschikbaar zijn. Bovendien vertrouwen veel robuuste SBI-benaderingen op de Maximum Mean Discrepancy (MMD) of de Wasserstein-afstand, die respectievelijk lijden onder gevoeligheid voor hyperparameterselectie (bijv. kernelbandbreedte) of gebrek aan robuustheid tegen massa-contaminatie.

Methodologie
De auteurs stellen Bootstrapped Minimum Robust Semi-constrained Wasserstein-2 (B-MRSW) voor, een raamwerk dat een nieuwe divergentiemaat integreert met de reguliere bootstrap voor onzekerheidskwantificering.

1. De Divergentie ($\ell_\lambda$): De kern van de methode is de $\lambda$-Robuuste Semi-beperkte Wasserstein-2 ($\lambda$-RSW) divergentie. Voor kansmaten $P_1, P_2$ wordt deze gedefinieerd als:
   $$\ell_\lambda(P_1, P_2) := \inf_{Q \ll P_1} \left[ \frac{1}{\lambda} KL(Q, P_1) + W_2^2(P_2, Q) \right]$$
   waarbij $KL$ de Kullback-Leibler-divergentie is en $W_2$ de Wasserstein-2-afstand. Deze formulering verzacht de harde marginale constraint van standaard optimale transport door de eerste marge toe te staan opnieuw te worden gewogen (via $Q$) tegen een kostenprijs die wordt bestraft door $KL$. Dit wordt gemotiveerd door distributie-gelimiteerde Empirische Likelihood.

   • Robuustheid: De auteurs bewijzen dat voor intermediaire waarden van $\lambda$ (bijv. $\lambda=1$), het minimaliseren van $\ell_\lambda(P, P_\theta)$ een parameterschatting oplevert die robuust is tegen het Geometrisch+Huber (G+H) contaminatiemodel, waarbij $P = (1-\epsilon)Q + \epsilon F$ en $W_2(Q, P_{\theta^*}) \le \rho$.
   • Grenzen: Als $\lambda \to 0$, convergeert $\ell_\lambda$ naar $W_2^2$ (gevoelig voor Huber-contaminatie). Als $\lambda \to \infty$, convergeert het naar de gemiddelde dichtstbijzijnde-buur-afstand (niet-informatief voor variantieschatting).

2. Algoritme voor Semi-discrete Benadering:
   Aangezien $P_n$ (de empirische data) discreet is en $P_\theta$ vaak continu, is het probleem semi-discreet. De auteurs leiden een duale formulering af (Stelling 3.1) die het min-min-probleem omzet in een concave maximalisatieprobleem over een vector $g \in \mathbb{R}^n$:
   $$\ell_\lambda(P_n, P_\theta) = \sup_{g \in \mathbb{R}^n} \mathbb{E}_{X \sim P_\theta} \left[ \min_{j \in [n]} (\|X - Y_j\|^2 - g_j) - \frac{1}{\lambda} \log \left( \frac{1}{n} \sum_{t=1}^n e^{-\lambda g_t} \right) \right]$$
   Zij stellen Algoritme 1 voor, een stochastisch sub-gradient-ascent (SGA) algoritme om deze waarde te benaderen, met een convergentiegarantie van $O(\epsilon)$ verwachte absolute fout in $O(n^2/\epsilon^2)$ tijd.

3. Inference-pijplijn:

   • $\lambda$ Selectie: Een datagedreven heuristiek selecteert $\lambda$ door een "elleboog" te observeren in de grafiek van de Wasserstein-2-afstand tussen het gefitte model en de opnieuw gewogen empirische maat over een reeks $\lambda$-waarden.
   • Parameterschatting: De minimale divergentie-schatting $\hat{\theta}_\lambda$ wordt gevonden met de Covariance Matrix Adaptive-Evolution Strategy (CMA-ES) om de niet-convexe doelstelling $\ell_\lambda(P_n, P_\theta)$ te optimaliseren, geëvalueerd via Algoritme 1.
   • Onzekerheidskwantificering: De reguliere bootstrap wordt toegepast bovenop de minimale $\lambda$-RSW-schatting. Er worden $M$ bootstrap-data sets gegenereerd, en de CMA-ES/SGA-pijplijn wordt voor elk uitgevoerd om een verdeling van schattingen te produceren, waarmee betrouwbaarheidsintervallen worden gevormd.

Belangrijkste Bijdragen

1. Theoretische Robuustheid: Het artikel stelt vast dat de $\lambda$-RSW-divergentie theoretische robuustheid biedt onder het gezamenlijke Geometrisch+Huber contaminatiemodel, een setting die eerder niet door een enkele geünificeerde methode in SBI werd aangepakt.
2. Algoritmische Ontwikkeling: De auteurs leveren het eerste algoritme met een convergentiegarantie voor het berekenen van de semi-discrete Robuuste Semi-beperkte Optimale Transport, gebruikmakend van een stochastisch sub-gradient-ascent-benadering.
3. Datagedreven Afstemming: Er wordt een principiële, datagedreven heuristiek geïntroduceerd voor het selecteren van de robuustheidsparameter $\lambda$, waardoor de noodzaak voor willekeurige gebruikersspecificatie wordt verwijderd.
4. Onzekerheidskwantificering: Het raamwerk integreert de reguliere bootstrap om betrouwbaarheidssets te bieden met juiste asymptotische dekking, waarmee een veelvoorkomende faalmodus in robuuste Bayesiaanse en frequentistische inferentie wordt aangepakt.

Resultaten
De methode wordt geëvalueerd op twee benchmarks:

1. Univariate Normale Verdeling: Onder G+H-contaminatie (het mengen van een Student's $t$-verdeling of gediskretiseerde Normale verdeling met een Dirac-massa), slaagt B-MRSW erin om de gemiddelde waarde en variantie succesvol te herstellen. Daarentegen faalt standaard Minimum Wasserstein-2-schatting onder Huber-contaminatie.
2. G-en-K Verdeling: Een complexe, vier-parameter verdeling die wordt gebruikt als standaard SBI-benchmark. De auteurs vergelijken B-MRSW met de NPL-MMD-methode (Dellaporta et al., 2022).
   • Gevoeligheid: De prestaties van NPL-MMD zijn sterk gevoelig voor de Gaussian kernel-breedte; kleine veranderingen leiden tot enorme fouten in scheefheidsschatting en slechte dekking.
   • Robuustheid: B-MRSW behoudt een lage Mean Squared Error (MSE) en hoge dekkingpercentages over een breed scala aan $\lambda$-waarden die door de heuristiek zijn geselecteerd.
   • Efficiëntie: Hoewel B-MRSW meer simulatoroproepen vereist dan NPL-MMD vanwege het gebruik van CMA-ES voor globale optimalisatie (in tegenstelling tot de lokale gradient descent van NPL-MMD), stellen de auteurs dat dit noodzakelijk is om lokale minima te vermijden en robuustheid te waarborgen.

Betekenis en Claims
Het artikel claimt dat B-MRSW een robuust alternatief biedt voor SBI in scenario's waar modellen verkeerd gespecificeerd zijn en data zowel geometrische als massa-contaminatie bevatten. De auteurs benadrukken dat, in tegenstelling tot bestaande methoden die vertrouwen op zorgvuldige, vaak moeilijk af te stemmen hyperparameters (zoals kernel-breedte in MMD), hun benadering een datagedreven strategie gebruikt voor de robuustheidsparameter. Zij merken op dat hoewel de methode computatie intensief is vanwege de bootstrap- en globale optimalisatie-eisen, deze paralleliseerbaar is. Het werk claimt niet alle SBI-problemen op te lossen, maar richt zich specifiek op de kloof tussen geometrische robuustheid en Huber-robustheid in likelihood-vrije settings, en biedt een hulpmiddel dat de ware parameter target (tot op identificeerbaarheid) terwijl het geldige betrouwbaarheidssets biedt. Toekomstig werk zou het trainen van niet-parametrische surrogaten voor de simulator omvatten om de computatiekosten te verlagen.