Detecting Model Misspecification in Bayesian Inverse Problems via Variational Gradient Descent

---

1. Problématique

L'inférence bayésienne est optimale lorsque le modèle statistique est bien spécifié (c'est-à-dire que le modèle contient la vraie distribution génératrice des données). Cependant, dans les cas de mauvaise spécification du modèle (model misspecification), l'inférence bayésienne standard peut échouer de manière catastrophique : elle produit des prédictions très confiantes mais incorrectes, car le posterior se concentre sur un paramètre "le moins pire" ($\theta^*$) qui ne représente pas la réalité.

Le défi majeur réside dans la détection de cette mauvaise spécification. Les approches existantes présentent des limites :

• Approches prédictives (Posterior Predictive Checks) : Nécessitent souvent des données de validation (hold-out), ce qui est difficile pour des données dépendantes (comme en sismologie) et coûteux en calcul.
• Approches comparatives (Sélection de modèles) : Nécessitent de définir manuellement des modèles alternatifs plausibles, ce qui demande une expertise physique approfondie et est souvent impraticable.

L'objectif de cet article est de proposer une méthode automatique, générale et pratique pour détecter la mauvaise spécification sans nécessiter de données de validation ni de modèles alternatifs explicites.

2. Méthodologie

La proposition centrale combine deux concepts : l'inférence orientée prédictivement (Predictively Oriented - PrO) et la descente de gradient variationnelle (Variational Gradient Descent - VGD).

A. L'approche PrO (Predictively Oriented)

Au lieu de chercher une distribution a posteriori sur un paramètre unique $\theta$, la méthode "élève" le modèle paramétrique $P_\theta$ vers un modèle de mélange infini :
$$P_Q(y|x) = \int P_\theta(y|x) dQ(\theta)$$
où $Q$ est une distribution de mélange (une mesure sur l'espace des paramètres).

L'objectif est d'apprendre $Q$ en minimisant une fonctionnelle d'entropie régularisée :
$$Q_{PrO} := \arg \min_{Q \in \mathcal{P}(\mathbb{R}^d)} \left[ -\sum_{i=1}^n \log p_Q(y_i|x_i) + \text{KL}(Q || Q_0) \right]$$

• Logique : Si le modèle est bien spécifié, $Q_{PrO}$ devrait se concentrer autour du vrai paramètre (comme le posterior bayésien standard $Q_{Bayes}$). Si le modèle est mal spécifié, $Q_{PrO}$ apprendra un mélange non trivial pour mieux expliquer les données, créant une incertitude irréductible que $Q_{Bayes}$ ne peut pas capturer.

B. Algorithme : Descente de Gradient Variationnelle (VGD)

Comme $Q$ vit dans un espace de mesures de probabilité (non vectoriel), l'optimisation directe est difficile. Les auteurs utilisent la VGD, une généralisation non linéaire de la méthode SVGD (Stein Variational Gradient Descent).

• Principe : On approxime $Q$ par un ensemble de $N$ particules $\{\theta_j\}_{j=1}^N$ qui évoluent selon une équation différentielle ordinaire (EDO) guidée par un champ de vecteurs optimal dans un espace de Hilbert à noyau reproduisant (RKHS).
• Avantage clé : Le calcul de $Q_{PrO}$ ne nécessite qu'une modification d'une seule ligne par rapport à l'implémentation standard de SVGD pour $Q_{Bayes}$. Cela permet de calculer les deux distributions en parallèle avec le même code.

C. Test d'hypothèse et Diagnostic

Pour détecter la mauvaise spécification, on compare les distributions prédictives associées à $Q_{Bayes}$ et $Q_{PrO}$ :

1. Métrique : On utilise la Discrépance Maximale Moyenne (MMD) entre les distributions prédictives $P_{Bayes}$ et $P_{PrO}$.
2. Test formel : Dans les cas où le calcul est rapide, on construit une distribution nulle paramétrique (via bootstrap) pour tester si la distance MMD observée est significativement différente de zéro.
3. Diagnostic visuel : Dans les cas complexes (coûts de calcul élevés), une simple comparaison visuelle des distributions $Q_{Bayes}$ et $Q_{PrO}$ (moyennes et variances) suffit à révéler les divergences.

3. Contributions Clés

1. Stratégie de détection générale : Une méthode pour détecter la mauvaise spécification en comparant directement le posterior bayésien standard et le posterior PrO, sans besoin de modèles alternatifs manuels ni de division des données.
2. Algorithme efficace (VGD) : Développement d'un algorithme numérique basé sur la VGD pour optimiser la fonctionnelle PrO. Les auteurs établissent de nouvelles conditions de consistance théorique pour la VGD dans ce contexte non standard.
3. Test formel asymptotique : Proposition d'un test d'hypothèse basé sur le bootstrap paramétrique, avec une preuve théorique de sa correction asymptotique sous des hypothèses de régularité (log-concavité forte, générateur Lipschitzien).
4. Application aux problèmes inverses complexes : Démonstration de la méthode sur un problème de tomographie sismique, où le coût de calcul de la vraisemblance est élevé (résolution d'équations aux dérivées partielles).

4. Résultats Expérimentaux

Les résultats sont validés sur deux types d'études :

• Études de simulation (Régression) :

  • Dans des scénarios bien spécifiés, $Q_{Bayes}$ et $Q_{PrO}$ sont quasi identiques.
  • Dans des scénarios mal spécifiés, $Q_{Bayes}$ reste concentré (sur-confiant), tandis que $Q_{PrO}$ s'étale pour couvrir l'incertitude structurelle.
  • Le test MMD détecte correctement la mauvaise spécification avec une puissance augmentant avec la taille de l'échantillon, même si la puissance diminue légèrement avec la dimension du paramètre.

• Étude de cas : Tomographie sismique des temps de voyage :

  • Contexte : Reconstruction d'un champ de vitesse sismique souterrain à partir de temps d'arrivée d'ondes.
  • Scénario de mauvaise spécification : Les données sont générées avec une position correcte des capteurs, mais le modèle statistique suppose une position erronée des capteurs (un problème courant en sismologie).
  • Résultat : Une comparaison visuelle des reconstructions montre que $Q_{Bayes}$ est excessivement confiant près des capteurs, tandis que $Q_{PrO}$ atténue cette confiance et révèle des incertitudes plus réalistes. Le coût de calcul pour ce diagnostic est seulement deux fois celui du calcul du posterior standard.

5. Signification et Impact

Cet article apporte une contribution majeure à la statistique bayésienne appliquée aux sciences physiques :

• Robustesse : Il offre un outil pour éviter les prédictions "confiantes mais fausses", un risque critique dans les applications de sécurité (géophysique, ingénierie).
• Automatisation : Il élimine le besoin d'expertise humaine pour construire des modèles alternatifs complexes, automatisant la génération d'un ensemble de candidats via le mélange de paramètres.
• Efficacité computationnelle : En s'appuyant sur la VGD/SGVD, la méthode est applicable à des problèmes à haute dimension et coûteux en calcul, là où les méthodes de Monte Carlo (MCMC) ou les méthodes de validation croisée échoueraient.
• Théorie : L'article fournit des garanties théoriques nouvelles sur la consistance de la VGD pour des objectifs variationnels non linéaires et sur la validité asymptotique du test de bootstrap dans ce cadre.

En résumé, la méthode proposée transforme la détection de la mauvaise spécification d'un problème manuel et coûteux en une procédure algorithmique standard, intégrable directement dans les flux de travail d'inférence bayésienne existants.