CP4SBI: Local Conformal Calibration of Credible Sets in Simulation-Based Inference

Résumé Technique : CP4SBI – Étalonnage Conforme Local des Ensembles de Crédibilité en Inférence Basée sur la Simulation

1. Énoncé du Problème

L'inférence basée sur la simulation (SBI - Simulation-Based Inference) est devenue un cadre standard pour l'inférence bayésienne sans vraisemblance dans des domaines tels que l'astrophysique, les neurosciences et la dynamique des fluides, où des simulateurs stochastiques complexes génèrent des données $x$ à partir de paramètres $\theta$, mais ne possèdent pas de fonctions de vraisemblance tractables. Bien que les modèles génératifs profonds (par exemple, les flux de normalisation, les modèles de diffusion) aient permis une approximation efficace des postulériats, ces approximations souffrent souvent d'une mauvaise calibration statistique. Plus précisément, les régions de crédibilité construites à partir de postulériats approximatifs $\hat{p}(\theta|x)$ échouent fréquemment à atteindre leurs niveaux de couverture nominaux, conduisant à des inférences trop confiantes.

Les tentatives existantes pour corriger cela à l'aide de la prédiction conforme (CP - Conformal Prediction) ne produisent généralement qu'une couverture marginale ($P(\theta \in C(X)) = 1-\alpha$), qui fait la moyenne sur toutes les données et tous les paramètres possibles. Cela est insuffisant pour l'inférence bayésienne, qui nécessite une couverture conditionnelle ($P(\theta \in C(X) | X = x_{obs}) = 1-\alpha$) pour des observations spécifiques. De plus, de nombreuses méthodes de CP actuelles pour la SBI nécessitent des densités de postériat sous forme fermée, une contrainte qui exclut les modèles génératifs modernes basés sur des échantillons, tels que les modèles de diffusion.

2. Méthodologie : CP4SBI

Les auteurs proposent CP4SBI, un cadre post-hoc agnostique au modèle qui intègre la prédiction conforme dans le pipeline de la SBI pour construire des ensembles de crédibilité avec des garanties en échantillon fini. L'idée centrale est de réinterpréter la fonction de score $s(\theta; x)$ (dérivée du postériat approximatif) comme un score de non-conformité au sein d'un cadre d'inférence conforme.

Le cadre nécessite un ensemble de données de calibration $D_{cal} = \{(\theta_i, x_i)\}_{i=1}^B$, où les paires sont simulées à partir du prior et du modèle direct. CP4SBI propose deux variantes distinctes pour obtenir une couverture locale et conditionnelle :

A. LoCart CP4SBI (Étalonnage Local via des Arbres de Régression)

• Mécanisme : Cette méthode partitionne l'espace des caractéristiques $\mathcal{X}$ en utilisant un arbre de régression entraîné pour prédire le score de conformité $s(\theta; x)$ à partir de l'observation $x$. L'arbre est augmenté d'une estimation de la variance conditionnelle du score pour améliorer le partitionnement.
• Calibration : Pour une nouvelle observation $x_{obs}$, la méthode identifie le nœud terminal (région $A_j$) contenant $x_{obs}$. Elle calcule ensuite un seuil conforme local $t_{1-\alpha}$ en utilisant uniquement les scores de calibration tombant dans cette région spécifique.
• Garantie : Cela garantit une couverture locale ($P(\theta \in C(X) | X \in A_j) \geq 1-\alpha$). Sous des conditions de régularité, à mesure que la taille de l'ensemble de calibration $B \to \infty$, le partitionnement devient plus fin et la méthode atteint une couverture conditionnelle asymptotique ($P(\theta \in C(X) | X = x) \to 1-\alpha$).

B. CDF CP4SBI (Étalonnage basé sur la CDF)

• Mécanisme : Cette variante transforme le score de non-conformité brut $s(\theta; x)$ en utilisant une estimation de sa fonction de répartition (CDF) conditionnelle, $\hat{F}(s | x)$. Le score transformé est $s'(\theta; x) = \hat{F}(s(\theta; x) | x)$.
• Implémentation : Contrairement aux contextes standards où la CDF conditionnelle doit être estimée de zéro, CP4SBI exploite l'approximateur de postériat déjà entraîné. Elle estime $\hat{F}$ via une approche de Monte Carlo : en tirant $M$ échantillons $\{\theta_j\}_{j=1}^M \sim \hat{p}(\theta|x)$ et en calculant la CDF empirique des scores.
• Calibration : Un seuil global unique est calculé sur les scores transformés $s'$. Comme la transformation vise à rendre les scores uniformément distribués conditionnellement à $x$, l'ensemble de crédibilité résultant atteint une couverture conditionnelle asymptotique à mesure que les tailles d'entraînement $K$, de calibration $B$ et d'échantillonnage de Monte Carlo $M$ tendent toutes vers l'infini.

Flexibilité :

• Agnostique au modèle : Fonctionne avec les estimateurs de densité (ex: NPE - Neural Posterior Estimation) et les modèles génératifs basés sur des échantillons (ex: Diffusion, Flow Matching). Pour les modèles basés sur des échantillons, les scores sont approximés par l'estimation de la densité par noyau ou par les moments empiriques.
• Fonctions de score : Compatible avec les régions de densité de postériat la plus élevée (HPD), symétriques et basées sur les quantiles.
• Transformations : Gère naturellement les paramètres de nuisance ou les transformations $\phi = g(\theta)$ en appliquant la méthode à l'espace transformé.

3. Principales Contributions

1. Couverture Marginale Garantie : Contrairement aux ensembles de crédibilité approximatifs standards, CP4SBI fournit des garanties de couverture marginale en échantillon fini en réinterprétant les scores bayésiens comme des scores de non-conformité.
2. Adaptativité Locale/Conditionnelle Accrue :
   • LoCart CP4SBI fournit une couverture locale en échantillon fini et une couverture conditionnelle asymptotique en adaptant la taille des régions à la difficulté de l'inférence via des arbres de régression.
   • CDF CP4SBI atteint une couverture conditionnelle asymptotique en exploitant l'approximateur de postériat pour transformer les scores, améliorant ainsi l'étalonnage sans nécessiter de densités sous forme fermée.
3. Généralité : Le cadre est compatible avec n'importe quel approximateur de postériat (densité ou échantillon) et diverses fonctions de score, comblant une lacune où les méthodes de CP précédentes exigeaient des postulériats à forme fermée indisponibles dans la SBI moderne.

4. Résultats Expérimentaux

Les auteurs ont évalué CP4SBI sur dix benchmarks de SBI (ex: Two Moons, Gaussian Mixture, Lotka-Volterra) et un modèle de masse neuronale (NMM) issu des neurosciences computationnelles.

• Métriques : La performance a été mesurée par l'erreur absolue moyenne (MAE) de la couverture conditionnelle et la couverture marginale moyenne (AMC).
• Baselines : Comparaison avec l'auto-calibration (Self-calibration), la prédiction conforme globale et la recalibration HDR (Highest Density Region).
• Résultats :
  • Couverture Conditionnelle : Les deux variantes LoCart et CDF ont nettement surpassé les baselines dans 8 des 10 benchmarks lors de l'utilisation de la NPE. LoCart CP4SBI s'est révélé particulièrement efficace pour les modèles de diffusion de score (NPSE), se classant premier dans 7 des 10 tâches.
  • Couverture Marginale : Les méthodes proposées ont systématiquement maintenu une couverture proche du niveau nominal (0,9), tandis que les baselines comme l'auto-calibration et l'HDR ont souvent échoué à maintenir la validité marginale.
  • Adaptativité : Dans l'étude de cas NMM, LoCart CP4SBI a produit des régions de crédibilité adaptatives dont la taille variait selon la combinaison spécifique de paramètres, alors que les méthodes globales produisaient des régions uniformément larges et l'auto-calibration produisait des régions uniformément petites.
  • Robustesse : Les méthodes ont bien performé à travers différents budgets de simulation, bien que LoCart nécessite suffisamment de données de calibration pour peupler efficacement les partitions de l'arbre.

5. Signification et Revendications

L'article affirme que CP4SBI représente une avancée significative pour la quantification de l'incertitude en sciences computationnelles. En fournissant des garanties en échantillon fini et une couverture locale/conditionnelle, il répond au problème critique de la mauvaise calibration dans la SBI, qui compromet la fiabilité des prises de décision en aval.

Les auteurs soulignent que leur approche est modeste concernant la compacité (tightness) des régions résultantes : la qualité des ensembles de crédibilité dépend toujours de la qualité initiale de l'approximation du postériat. Des approximations médiocres produiront des ensembles plus larges, bien que calibrés. Cependant, le cadre garantit que la couverture est statistiquement valide, évitant ainsi l'excès de confiance courant dans les pratiques actuelles de la SBI.

Le travail positionne CP4SBI comme un outil polyvalent pouvant être appliqué à n'importe quelle méthode de SBI (y compris celles utilisant des modèles de diffusion ou le flow matching) pour renforcer la fiabilité. Les auteurs notent que, bien qu'ils se soient concentrés sur deux approches spécifiques de couverture conforme locale, le cadre est ouvert à d'autres techniques de couverture conditionnelle et à des extensions futures vers des paramètres hiérarchiques ou discrets.