Résumé Technique : Inférence Variationnelle Prédictive (PVI)

1. Énoncé du Problème

L'inférence bayésienne traditionnelle vise à approximer la distribution postérieure exacte $p(\theta|y)$, ce qui est optimal pour l'estimation des paramètres et la prédiction uniquement lorsque la vraisemblance et le prior sont correctement spécifiés. Cependant, en cas de spécification incorrecte du modèle (misspecification), la distribution postérieure bayésienne exacte échoue souvent à fournir des prédictions significatives. Plus précisément :

• Surconfiance : À mesure que la taille de l'échantillon $n \to \infty$, l'inférence bayésienne standard (et l'inférence variationnelle, VI) se concentre vers une masse ponctuelle autour de l'estimation du maximum de vraisemblance (MLE), même si le modèle est erroné. Cette disparition de l'incertitude compromet l'inférence probabiliste, la rendant peu différente d'une estimation ponctuelle dans des contextes de spécification incorrecte.
• Prédiction sous-optimale : La distribution prédictive bayésienne exacte minimise la divergence de KL moyenne de la postérieure uniquement sous l'hypothèse que le modèle est correct. Dans des scénarios réalistes où le modèle est mal spécifié, les prédictions bayésiennes peuvent être moins bonnes que les prédictions induites par des estimations ponctuelles ou produire des inférences surconfiantes.

Les approches existantes face à la spécification incorrecte des modèles, telles que les méthodes d'ensemble (bagging, stacking) ou le Bayes généralisé (PAC-Bayes, distributions de Gibbs), se concentrent souvent sur la moyenne de modèles discrets ou sur des fonctions de perte spécifiques. Il existe un besoin pour un cadre général capable d'optimiser directement la performance prédictive plutôt que d'approximer une postérieure potentiellement défaillante, applicable tant aux contextes de vraisemblance exacte qu'aux contextes sans vraisemblance (likelihood-free).

2. Méthodologie : Inférence Variationnelle Prédictive (PVI)

Les auteurs proposent l'Inférence Variationnelle Prédictive (PVI), un cadre qui recherche une postérieure variationnelle $q_\phi(\theta)$ telle que la distribution prédictive postérieure résultante soit aussi proche que possible du véritable processus générateur de données $p_{\text{true}}(\tilde{y})$.

Objectif Central

Contrairement à la VI standard, qui minimise la divergence de KL entre $q(\theta)$ et la postérieure exacte $p(\theta|y)$, la PVI optimise une divergence $D$ entre la distribution prédictive et le véritable processus de données. L'objectif est formulé comme suit :
$$\max_{\phi \in \Phi} \left( \sum_{i=1}^n S\left( \int_\Theta p(\cdot|\theta)q_\phi(\theta)d\theta, y_i \right) - \lambda r(\phi) \right)$$
Où :

• $S(\cdot, \cdot)$ est une règle de score appropriée (ex: logarithmique, quadratique/Brier, d'intervalle, CRPS).
• Le terme $\int_\Theta p(\cdot|\theta)q_\phi(\theta)d\theta$ représente la distribution prédictive postérieure.
• $r(\phi)$ est un terme de régularisation (soit vers le prior, soit vers la postérieure standard) pour assurer l'identifiabilité et incorporer les connaissances a priori.
• $\lambda$ contrôle la force de la régularisation.

Composants Techniques Clés

1. Règles de Score : La PVI est agnostique à la règle de score spécifique, permettant aux utilisateurs d'ajuster l'optimalité prédictive à des tâches précises (ex: calibration, précision des quantiles).
   • Score Logarithmique : Correspond à la minimisation de la divergence de KL. Les auteurs dérivent un nouvel estimateur de gradient non biaisé utilisant l'échantillonnage par rejet pour gérer l'intégrale logarithmique intractable, garantissant la convergence même avec de petites tailles de lots (batches).
   • Score Quadratique (Brier) : Utile pour les résultats catégoriels.
   • Score d'Intervalle & CRPS : Mesurent la calibration et la netteté (sharpness) des intervalles. Le CRPS est particulièrement précieux car il peut être calculé via simulation sans évaluer la densité de vraisemblance, permettant ainsi une inférence sans vraisemblance (likelihood-free).
2. Estimation de Gradient : L'article fournit des algorithmes de gradient stochastique pour quatre règles de score. Une contribution significative est la dérivation d'un gradient non biaisé pour le score logarithmique via l'échantillonnage par rejet, corrigeant le biais sévère présent dans les gradients de reparamétrage standard lorsque les tailles de lots sont réduites.
3. Régularisation : La PVI permet une interpolation entre l'optimisation prédictive pure ($\lambda=0$) et l'inférence bayésienne complète ($\lambda \to \infty$) en régularisant vers le prior ou la postérieure standard.

Propriétés Théoriques

• Consistance Asymptotique : Sous des conditions de régularité, la solution PVI converge vers la distribution des paramètres qui minimise la divergence par rapport au véritable processus de données.
• Compatibilité Inverse : Si le modèle est bien spécifié, la PVI se concentre sur le paramètre réel (correspondant au Bayes standard).
• Gestion de la Spécification Incorrecte : Si le modèle est mal spécifié (ex: les paramètres varient dans la population), la PVI ne s'effondre pas en une masse ponctuelle. Au lieu de cela, elle converge vers la véritable distribution de la population des paramètres, maintenant une incertitude non nulle. Cela est interprété comme une expansion hiérarchique implicite.

3. Contributions Clés

1. Cadre Général : Introduit la PVI comme un cadre d'inférence général qui optimise directement la performance prédictive via des règles de score appropriées, plutôt que d'approximer la postérieure exacte.
2. Capacité Sans Vraisemblance (Likelihood-Free) : En utilisant des règles de score comme le CRPS, la PVI permet une inférence basée sur la simulation (SBI) efficace pour les modèles dont la vraisemblance est intractable, un domaine où la VI standard peine souvent face à la spécification incorrecte du modèle.
3. Outil de Diagnostic : La divergence entre la PVI et le Bayes standard sert de diagnostic pour la spécification incorrecte du modèle. Plus précisément, une variance de la postérieure PVI non nulle indique que les paramètres peuvent varier à travers la population (hétérogénéité), guidant ainsi l'expansion du modèle.
4. Avancées Algorithmiques : Fournit des estimateurs de gradient stochastique pratiques pour plusieurs règles de score, incluant un nouvel estimateur non biaisé pour le score logarithmique via l'échantillonnage par rejet.

4. Résultats Expérimentaux

L'article démontre la PVI à travers trois applications distinctes :

• Putting au Golf (Détection de la spécification incorrecte) : Dans un modèle de régression logistique pour le succès de coups de golf, le Bayes standard produisait des prédictions étroites et incorrectes dues à une spécification incorrecte du modèle. La PVI, en optimisant le score prédictif, a produit une postérieure plus large qui correspondait mieux aux données, signalant efficacement l'inadéquation du modèle.
• Analyse des Élections Américaines (Détection de l'hétérogénéité) : Dans une régression multiniveau pour le taux de participation électorale, la PVI a identifié des États spécifiques où l'hypothèse de coefficients constants était violée (indiqué par une haute variance de la postérieure). Cela a guidé l'expansion du modèle pour inclure des coefficients variant par État, améliorant la performance prédictive par rapport à la VI standard.
• Inférence CryoEM (Sans Vraisemblance) : Appliquée à l'inférence de la structure des protéines à partir d'images de cryo-microscopie électronique (où la vraisemblance est intractable). En utilisant la PVI avec le CRPS, la méthode a réussi à récupérer la véritable distribution de la population des angles de liaison moléculaires. En revanche, le Bayes standard s'est effondré en une estimation ponctuelle surconfiante, échouant à capturer l'hétérogénéité moléculaire inhérente aux données.

5. Signification et Revendications

L'article affirme que la PVI représente un changement de paradigme : passer de "l'approximation de la postérieure" à "l'apprentissage de la postérieure prédictive optimale".

• Expansion Hiérarchique Implicite : La PVI est interprétée comme une expansion hiérarchique implicite qui s'adapte automatiquement à l'hétérogénéité de la population sans le coût computationnel de la modélisation explicite des paramètres individuels pour chaque donnée.
• Robustesse : La PVI est robuste à la spécification incorrecte des modèles, évitant la surconfiance des méthodes bayésiennes standard lorsque le modèle est erroné.
• Cadre Unifié : Elle unifie l'inférence avec vraisemblance exacte et l'inférence sans vraisemblance sous un même objectif, permettant l'utilisation de méthodes basées sur la simulation avec des garanties prédictives rigoureuses.
• Compromis : Les auteurs reconnaissent que bien que la PVI offre une robustesse, elle peut converger plus lentement que les taux paramétriques standards lorsque le modèle est correct, et que l'optimisation dans l'espace des probabilités peut être plus exigeante sur le plan computationnel que l'apprentissage de paramètres à dimension finie.

Ce travail positionne la PVI non pas comme une simple technique d'approximation, mais comme un paradigme inférentiel distinct qui privilégie la qualité de la distribution prédictive sur la fidélité à une potentiellement incorrecte postérieure théorique.