Amortised and provably-robust simulation-based inference

1. Problématique

L'inférence basée sur la simulation (SBI, Simulation-Based Inference) est devenue un cadre puissant pour résoudre des problèmes d'inférence bayésienne complexes où la fonction de vraisemblance est intraitable, mais où la simulation de données est possible. Cependant, les méthodes existantes souffrent de deux limitations majeures :

1. Manque de robustesse : Elles sont souvent très sensibles aux erreurs de spécification du modèle, aux données corrompues et, surtout, aux valeurs aberrantes (outliers) provenant d'instruments de mesure défectueux ou d'erreurs humaines. Les méthodes actuelles produisent souvent des posteriors biaisés et sur-confiants en présence de telles contaminations.
2. Absence de garanties formelles : Bien que certaines approches tentent d'améliorer la robustesse empiriquement, aucune ne combine amortissement (capacité à réutiliser un modèle entraîné pour de nouvelles observations sans réentraînement) et garanties théoriques de robustesse (prouvées mathématiquement).

L'objectif de cet article est de combler ce vide en proposant une méthode d'inférence SBI qui soit à la fois amortie et prouvée robuste aux outliers.

2. Méthodologie : NSM-Bayes

Les auteurs proposent une nouvelle approche appelée Neural Score-Matching Bayes (NSM-Bayes). Cette méthode repose sur l'inférence bayésienne généralisée (GBI) et une approximation neuronale d'une perte de score-matching pondérée.

A. Fondements Théoriques

Au lieu d'utiliser la vraisemblance directe (inaccessible), la méthode minimise une divergence de Score Matching (SM) pondérée entre la densité de données simulées et les observations. La divergence SM pondérée est définie comme :
$$SM_W(p||q) = \mathbb{E}_{X \sim p} \left[ \| W(X)^\top (\nabla_x \log q(X) - \nabla_x \log p(X)) \|_2^2 \right]$$
où $W(x)$ est une fonction de poids.

B. Deux Versions de la Méthode

1. NSM-Bayes (Version Générale) :

   • Étape 1 (Apprentissage) : Entraînement d'un modèle de densité conditionnelle flexible (ex: Normalizing Flow ou Mixture Density Network) $q_\phi(x|\theta)$ sur des données simulées $\{(\theta_i, x_i)\}$ en minimisant une perte de score-matching standard.
   • Étape 2 (Inférence) : Mise à jour des croyances a priori via une inférence bayésienne généralisée utilisant une perte de score-matching pondérée ($L_{NSM}$) calculée sur les données observées.
   • Robustesse : L'utilisation d'une fonction de poids $w(x)$ (généralement une fonction inverse multi-quadratique, IMQ) permet de réduire l'impact des points aberrants en les "sous-pondérant" dans le calcul du gradient.
   • Amortissement partiel : Une fois le surrogate $q_\phi$ entraîné, l'inférence sur de nouvelles données ne nécessite pas de nouvelles simulations, mais peut encore requérir des échantillonnages MCMC.

2. NSM-Bayes-conj (Version Conjuguée) :

   • Cette version impose des contraintes spécifiques pour obtenir une forme analytique fermée du posterior.
   • Hypothèses : Utilisation d'un prior gaussien et d'un modèle de densité conditionnelle appartenant à une famille exponentielle naturelle (modèle basé sur l'énergie).
   • Avantage majeur : L'inférence devient totalement amortie. Le posterior est directement une distribution gaussienne dont les paramètres (moyenne et covariance) sont mis à jour par des formules analytiques, éliminant le besoin de MCMC. Cela offre un gain computationnel massif.

C. Sélection des Hyperparamètres

• Poids ($w(x)$) : Choix d'une fonction IMQ dépendant d'estimateurs robustes de la moyenne et de la covariance des données observées.
• Taux d'apprentissage ($\beta$) : Calibré pour assurer une couverture fréquenteiste correcte des régions de crédibilité (méthode de loss-likelihood bootstrap).

3. Contributions Clés

1. Garanties de Robustesse Théorique :

   • Les auteurs prouvent que la méthode NLE (Neural Likelihood Estimation) standard n'est pas robuste aux outliers (le théorème 1 montre que la fonction d'influence du posterior est non bornée).
   • Ils démontrent que NSM-Bayes et NSM-Bayes-conj sont globalement robustes en biais (théorèmes 2 et 3). Sous des conditions de régularité raisonnables sur le réseau de neurones et le prior, l'influence d'une contamination infinitésimale reste bornée.
   • Ces résultats sont valables pour des architectures courantes comme les Masked Autoregressive Flows (MAF) et les Mixture Density Networks (MDN).

2. Amortissement et Efficacité Computationnelle :

   • La méthode est la première à offrir une inférence amortie et prouvée robuste.
   • La version conjuguée (NSM-Bayes-conj) permet une inférence instantanée sans MCMC, réduisant drastiquement le temps d'inférence par rapport aux méthodes de l'état de l'art.

3. Validation Empirique Rigoureuse :

   • Comparaison sur trois simulateurs complexes : distribution g-and-k (statistique), modèle épidémiologique SIR (biologie), et modèle de propagation radio (télécommunications).
   • Benchmark contre cinq méthodes concurrentes robustes (RSNLE, NPL-MMD, NPE-RS, ACE, GBI-SR).

4. Résultats Expérimentaux

Les expériences montrent que NSM-Bayes surpasse systématiquement les méthodes de référence en présence d'outliers :

• Précision et Biais : Contrairement à NLE qui subit un biais sévère (ex: estimation erronée de l'échelle et de l'asymétrie dans le cas g-and-k), NSM-Bayes reste centré sur les vraies valeurs des paramètres.
• Couverture : Les méthodes proposées atteignent une couverture empirique de 100% (vs 0% pour NLE ou RSNLE dans certains cas), indiquant que les intervalles de crédibilité sont fiables.
• Performance Computationnelle :
  • NSM-Bayes-conj est extrêmement rapide à l'inférence (quelques secondes), bien plus rapide que les méthodes nécessitant des boucles MCMC complexes (comme GBI-SR ou ACE).
  • Bien que l'entraînement soit légèrement plus coûteux que NLE (dû au calcul du score et de la Hessienne), le coût global est compétitif grâce à l'amortissement.
• Robustesse aux Simulateurs Non Différentiables : La méthode fonctionne efficacement sur des modèles comme SIR et la propagation radio, là où d'autres méthodes basées sur le gradient (GBI-SR) échouent ou nécessitent des budgets de simulation prohibitifs.

5. Signification et Impact

Cet article représente une avancée significative dans le domaine de l'inférence bayésienne approximative :

• Résolution d'un problème ouvert : Il répond à l'appel urgent de la communauté (cité dans la revue de Martin et al., 2024) pour des méthodes d'inférence robustes et amorties.
• Fiabilité accrue : En fournissant des garanties théoriques, la méthode renforce la confiance dans les résultats de l'inférence SBI, un enjeu critique pour des domaines sensibles comme l'épidémiologie ou la physique des particules où les données sont souvent bruitées.
• Efficacité pratique : La version conjuguée offre une voie vers une inférence en temps réel pour des modèles complexes, rendant l'inférence robuste accessible à des applications où le temps de calcul est une contrainte.

En résumé, NSM-Bayes établit un nouvel état de l'art en combinant la flexibilité des réseaux de neurones, la rigueur de l'inférence bayésienne généralisée et une robustesse mathématiquement prouvée contre les données aberrantes.