CP4SBI: Local Conformal Calibration of Credible Sets in Simulation-Based Inference

Technische Samenvatting: CP4SBI – Lokale Conforme Kalibratie van Geloofwaardigheidsintervallen in Simulation-Based Inference

1. Probleemstelling

Simulation-Based Inference (SBI) is een standaard raamwerk geworden voor likelihood-vrije Bayesiaanse inferentie in velden zoals astrofysica, neurowetenschappen en vloeistofdynamica, waar complexe stochastische simulators data $x$ genereren gegeven parameters $\theta$, maar waarbij een hanteerbare likelihood-functie ontbreekt. Hoewel diepe generatieve modellen (bijv. normalizing flows, diffusiemodellen) efficiënte posterieure benaderingen hebben mogelijk gemaakt, lijden deze benaderingen vaak aan statistische miskalibratie. Specifiek falen geloofwaardigheidsregio's die zijn geconstrueerd op basis van benaderde posteriors $\hat{p}(\theta|x)$ vaak in het bereiken van hun nominale dekkingsniveaus, wat leidt tot overmoedige inferenties.

Bestaande pogingen om dit te corrigeren met behulp van Conformal Prediction (CP) leveren doorgaans slechts marginale dekking op ($P(\theta \in C(X)) = 1-\alpha$), wat gemiddeld is over alle mogelijke data en parameters. Dit is onvoldoende voor Bayesiaanse inferentie, die conditionele dekking vereist ($P(\theta \in C(X) | X = x_{obs}) = 1-\alpha$) voor specifieke observaties. Bovendien vereisen veel huidige CP-methoden voor SBI gesloten vorm dichtheidsfuncties, een beperking die moderne sample-gebaseerde generatieve modellen zoals diffusiemodellen uitsluit.

2. Methodologie: CP4SBI

De auteurs stellen CP4SBI voor, een model-agnostisch, post-hoc raamwerk dat conformal prediction integreert in de SBI-pipeline om geloofwaardigheidssets te construeren met garanties voor eindige steekproeven. De kerninzicht is het herinterpreteren van de scoringfunctie $s(\theta; x)$ (afgeleid van de benaderde posterior) als een non-conformity score binnen een conformal inference raamwerk.

Het raamwerk vereist een kalibratiedataset $D_{cal} = \{(\theta_i, x_i)\}_{i=1}^B$, waarbij paren worden gesimuleerd uit de prior en het forward model. CP4SBI biedt twee onderscheidende varianten om lokale en conditionele dekking te bereiken:

A. LoCart CP4SBI (Lokale Kalibratie via Regressiebomen)

• Mechanisme: Deze methode partitioneert de feature-ruimte $\mathcal{X}$ met behulp van een regressieboom die getraind is om de conformity score $s(\theta; x)$ te voorspellen van de observatie $x$. De boom wordt uitgebreid met een schatting van de conditionele variantie van de score om de partitionering te verbeteren.
• Kalibratie: Voor een nieuwe observatie $x_{obs}$ identificeert de methode het blad (regio $A_j$) dat $x_{obs}$ bevat. Vervolgens berekent de methode een lokale conformal drempelwaarde $t_{1-\alpha}$ met behulp van uitsluitend de kalibratiescores die binnen die specifieke regio vallen.
• Garantie: Dit zorgt voor lokale dekking ($P(\theta \in C(X) | X \in A_j) \geq 1-\alpha$). Onder regulariteitsvoorwaarden, naarmate de grootte van de kalibratieset $B \to \infty$, wordt de partitie fijner en bereikt de methode asymptotische conditionele dekking ($P(\theta \in C(X) | X = x) \to 1-\alpha$).

B. CDF CP4SBI (CDF-gebaseerde Kalibratie)

• Mechanisme: Deze variant transformeert de ruwe non-conformity score $s(\theta; x)$ met behulp van een schatting van de conditionele cumulatieve distributiefunctie (CDF), $\hat{F}(s | x)$. De getransformeerde score is $s'(\theta; x) = \hat{F}(s(\theta; x) | x)$.
• Implementatie: In tegenid van standaard settings waar de conditionele CDF vanaf nul geschat moet worden, maakt CP4SBI gebruik van de reeds getrainde posterior-approximator. Het schat $\hat{F}$ via een Monte Carlo-benadering: het trekken van $M$ samples $\{\theta_j\}_{j=1}^M \sim \hat{p}(\theta|x)$ en het berekenen van de empirische CDF van de scores.
• Kalibratie: Een enkele globale drempelwaarde wordt berekend op de getransformeerde scores $s'$. Omdat de transformatie beoogt de scores conditioneel op $x$ uniform verdeeld te maken, bereikt de resulterende geloofwaardigheidsset asymptotische conditionele dekking wanneer de trainingsgrootte $K$, de kalibratiegrootte $B$ en de Monte Carlo-samples $M$ allemaal naar oneindig gaan.

Flexibiliteit:

• Model Agnostic: Werkt met dichtheid-gebaseerde estimators (bijv. Neural Posterior Estimation) en sample-gebaseerde generatieve modellen (bijv. Diffusion, Flow Matching). Voor sample-gebaseerde modellen worden scores benaderd met kernel density estimation of empirische momenten.
• Scoringfuncties: Compatibel met Highest Posterior Density (HPD), symmetrische en kwantiel-gebaseerde regio's.
• Transformaties: Verwerkt natuurlijke nuisance parameters of transformaties $\phi = g(\theta)$ door de methode toe te passen op de getransformeerde ruimte.

3. Belangrijkste Bijdragen

1. Gegarandeerde Marginale Dekking: In tegenstelling tot standaard benaderde geloofwaardigheidssets biedt CP4SBI niet-asymptotische marginale dekkingsgaranties door Bayesian scores te herinterpreteren als non-conformity scores.
2. Verbeterde Lokale/Conditionele Adaptiviteit:
   • LoCart CP4SBI biedt eindige-steekproef lokale dekking en asymptotische conditionele dekking door de grootte van regio's aan te passen aan de moeilijkheidsgraad van de inferentie via regressiebomen.
   • CDF CP4SBI bereikt asymptotische conditionele dekking door de posterior-approximator te gebruiken om scores te transformeren, wat de kalibratie verbetert zonder closed-form dichtheden te vereisen.
3. Generaliteit: Het raamwerk is compatibel met elke posterior-approximator (dichtheid of sample-gebaseerd) en diverse scoringfuncties, waarmee het een gat opvult waar eerdere CP-methoden closed-form posteriors vereisten die niet beschikbaar zijn in moderne SBI.

4. Experimentele Resultaten

De auteurs evalueerden CP4SBI op tien SBI-benchmarks (bijv. Two Moons, Gaussian Mixture, Lotka-Volterra) en een computationeel neurowetenschappelijk Neural Mass Model (NMM).

• Metrieken: Prestaties werden gemeten via de Mean Absolute Error (MAE) van de conditionele dekking en de Average Marginal Coverage (AMC).
• Baselines: Vergeleken met Self-calibration, Global Conformal Prediction, en HDR (Highest Density Region) recalibratie.
• Bevindingen:
  • Conditionele Dekking: Beide LoCart en CDF varianten presteerden significant beter dan de baselines in 8 van de 10 benchmarks bij gebruik van Neural Posterior Estimation (NPE). LoCart CP4SBI was bijzonder effectief voor score-diffusion modellen (NPSE), en rangschikte het beste in 7 van de 10 taken.
  • Marginale Dekking: De voorgestelde methoden behielden consistent een dekking die dicht bij het nominale niveau (0.9) lag, terwijl baselines zoals Self-calibration en HDR vaak faalden om marginale validiteit te handhaven.
  • Adaptiviteit: In de NMM casestudy produceerde LoCart CP4SBI adaptieve geloofwaardigheidsregio's die varieerden in grootte op basis van de specifieke parametercombinatie, terwijl globale methoden uniforme grote regio's produceerden en self-calibration uniforme kleine regio's.
  • Robuustheid: De methoden presteerden goed over verschillende simulatiebudgetten, hoewel LoCart voldoende kalibratiedata vereiste om de boompartities effectief te vullen.

5. Betekenis en Claims

Het artikel claimt dat CP4SBI een betekenisvolle vooruitgang vormt voor onzekerheidskwantificatie in de computationele wetenschap. Door eindige-steekproef garanties en lokale/conditionele dekking te bieden, adresseert het de kritieke kwestie van miskalibratie in SBI, wat de betrouwbaarheid van downstream besluitvorming ondermijnt.

De auteurs benadrukken dat hun aanpak bescheiden is wat betreft de nauwkeurigheid (tightness) van de resulterende regio's: de kwaliteit van de geloofwaardigheidssets hangt nog steeds af van de initiële kwaliteit van de posterior-benadering. Slechte benaderingen zullen bredere, zij het gekalibreerde, sets opleveren. Echter, het raamwerk zorgt ervoor dat de dekking statistisch valide is, wat de overmoed voorkomt die gebruikelijk is bij huidige SBI-praktijken.

Het werk positioneert CP4SBI als een algemeen bruikbaar instrument dat kan worden toegepast op elke SBI-methode (inclusen die gebruikmaken van diffusiemodellen of flow matching) om betrouwbaarheid te vergroten. De auteurs merken op dat hoewel zij zich concentreerden op twee specifieke lokale conformal benaderingen, het raamwerk openstaat voor andere technieken voor conditionele dekking en toekomstige uitbreidingen naar hiërarchische of discrete parameterinstellingen.