Calibrating Bayesian Inference

1. Problématique : La vulnérabilité de l'inférence bayésienne « pragmatique »

L'article aborde un paradoxe central dans l'utilisation actuelle des statistiques bayésiennes en psychologie et dans d'autres sciences appliquées. Bien que la méthode bayésienne soit populaire pour sa quantification intuitive de l'incertitude et ses règles de mise à jour pratiques, elle repose souvent sur une spécification de priors (a priori) purement instrumentale plutôt que philosophique.

• Le problème de la misspécification : Dans la pratique, les chercheurs utilisent souvent des priors par défaut (faiblement informatifs ou objectifs) sans que ceux-ci ne reflètent une véritable croyance subjective. Si le prior choisi par l'analyste ($P_\Theta$) ne correspond pas au processus générateur réel des paramètres ($\tilde{P}_\Theta$), l'inférence bayésienne standard peut devenir invalide.
• Le théorème de la fausse confiance (False Confidence Theorem - FCT) : Les auteurs soulignent que lorsque le vrai processus générateur est un point fixe (approche fréquentiste classique) ou diffère du prior utilisé, l'inférence bayésienne peut attribuer une haute probabilité postérieure à des hypothèses fausses. Cela signifie que les régions de crédibilité bayésiennes peuvent être « libérales » (trop étroites), conduisant à des conclusions erronées avec une fréquence élevée lors d'échantillonnages répétés.
• Limites des justifications actuelles : Les justifications usuelles (théorème de Bernstein-von Mises pour les grands échantillons, analyse de sensibilité) échouent souvent dans les contextes réels de la psychologie, caractérisés par de petits échantillons, des sous-populations complexes et des priors mal spécifiés.

2. Méthodologie : Vers une validité fréquentiste par calibration

Pour résoudre ce problème, les auteurs proposent de passer d'une justification purement bayésienne à une validité fréquentiste. L'objectif est de calibrer les régions de crédibilité bayésiennes pour garantir qu'elles couvrent le vrai paramètre avec une probabilité au moins égale au niveau de confiance nominal, et ce, quel que soit le processus générateur des paramètres.

Concept clé : Validité fréquentiste

Une inférence est dite « valide au sens fréquentiste » si la fonction de possibilité (ou de p-value) $\pi_y(\theta)$ satisfait :
$$\sup_{\theta \in \Theta} P_{Y|\theta}\{\pi_Y(\theta) \le \alpha\} \le \alpha$$
Cela garantit que la probabilité d'assigner une faible possibilité à un vrai paramètre est bornée par $\alpha$, uniformément sur l'espace des paramètres.

Algorithme proposé : SPRSA (Simultaneous Perturbation Riemannian Stochastic Approximation)

Pour atteindre cette validité, les auteurs développent un algorithme de calibration numérique qui ajuste les seuils des régions de crédibilité.

1. Formulation du problème d'optimisation :
   Pour un seuil de statistique de test $\xi$, on cherche à trouver le niveau de crédibilité calibré $\alpha^*_y(\xi)$ défini comme le maximum de la fonction de p-value sur la frontière de la région de crédibilité :
   $$\alpha^*_y(\xi) = \sup_{\theta \in \partial D_\xi(y)} \pi_y(\theta)$$
   où $\partial D_\xi(y)$ est la frontière de la région définie par la statistique de test $T(y, \theta) = \xi$.

2. Approche algorithmique :
   Le problème est formulé comme une optimisation contrainte sur une variété différentielle (la frontière de la région). Les auteurs combinent deux techniques avancées :

   • Optimisation Riemannienne : Pour gérer la contrainte géométrique (rester sur la variété $\partial D_\xi(y)$), ils utilisent des algorithmes de gradient sur les variétés (retractions et projections du gradient).
   • Approximation Stochastique par Perturbation Simultanée (SPSA) : Puisque le gradient de la fonction de p-value (qui implique une intégrale complexe) est difficile à calculer analytiquement, ils utilisent une approximation par différences finies simultanées. Cela permet d'estimer le gradient avec seulement deux évaluations de la fonction, indépendamment de la dimension du paramètre.

3. Statistiques de test utilisées :
   L'algorithme est appliqué à trois types de statistiques pour construire des régions de crédibilité :

   • Statistique de Wald (régions elliptiques).
   • Statistique du rapport de densité postérieure (PDR) (régions HPD - Highest Posterior Density).
   • Statistique de Wald marginale (intervalles symétriques pour un paramètre focal).

3. Résultats : Expérience Monte Carlo et Données Réelles

Les auteurs évaluent leur méthode via une expérience Monte Carlo sur un modèle de régression à échelle et lieu gaussienne (Gaussian location-scale regression), un cadre complexe avec hétéroscédasticité.

• Scénarios de simulation :

  • Données : $n=100$, avec $m=3$ ou $m=10$ variables de conception.
  • Processus générateurs :
    1. Prior non dégénéré (Bayésien standard).
    2. Prior point-mass (paramètres fixes, cas fréquentiste).
    3. Prior t-Student (correspondant au prior fort utilisé pour l'inférence).
  • Méthodes comparées : Approximation asymptotique (Chi-carré), Échantillonnage MCMC standard, et la méthode calibrée (SPRSA).

• Constats clés :

  • Échec des méthodes non calibrées : L'inférence bayésienne standard (MCMC et approximation Chi-carré) s'avère libérale (taux de couverture inférieur au niveau nominal) dans de nombreux scénarios, particulièrement avec des priors faiblement informatifs, des échantillons de taille modeste et un grand nombre de paramètres ($m=10$). L'approximation Chi-carré est particulièrement défaillante.
  • Performance de la calibration : La méthode calibrée (SPRSA) maintient une validité fréquentiste (les courbes de distribution empirique restent en dessous ou sur la diagonale) dans presque tous les scénarios, y compris lorsque le prior est mal spécifié ou lorsque le nombre de paramètres est élevé.
  • Données réelles (Ginzberg) : L'application sur un jeu de données psychiatriques montre que les régions de crédibilité calibrées sont plus larges (plus conservatrices) que les régions bayésiennes standards, corrigeant ainsi le biais d'optimisme des méthodes non calibrées.

4. Contributions Clés

1. Théorique : L'article établit clairement que la validité bayésienne (basée sur la vraisemblance du prior) est insuffisante pour garantir la fiabilité des inférences dans des applications pragmatiques où le prior est arbitraire. Il prouve que la validité fréquentiste est une condition nécessaire et suffisante pour garantir la validité bayésienne pour tout prior générateur.
2. Méthodologique : Développement d'un algorithme SPRSA novateur qui combine l'optimisation sur variétés et la perturbation simultanée. Cela permet de résoudre des problèmes d'optimisation sous contraintes complexes sans calcul de gradient analytique, rendant la calibration applicable à des modèles de taille réaliste.
3. Pratique : Fourniture d'une procédure concrète pour transformer n'importe quelle inférence bayésienne standard en une inférence valide fréquentiste, accompagnée d'outils de visualisation (contours de possibilité calibrés).

5. Signification et Implications

• Pour la recherche psychologique : Ce travail offre une solution de sécurité pour les chercheurs utilisant le bayésianisme de manière pragmatique. Il permet d'utiliser les avantages computationnels et interprétatifs du bayésianisme tout en garantissant que les conclusions ne sont pas systématiquement trompeuses (faux positifs élevés) lorsque les priors ne sont pas parfaitement justifiés.
• Changement de paradigme : Les auteurs encouragent un changement de perspective : plutôt que de chercher le « bon » prior subjectif, il faut calibrer l'inférence pour qu'elle soit robuste aux erreurs de spécification du prior.
• Limites et perspectives : La méthode suppose une différentiabilité des fonctions (limitant son application directe aux données discrètes sans perturbation) et peut être coûteuse en calcul pour des modèles très complexes. Cependant, elle ouvre la voie à une nouvelle génération d'outils d'inférence « valides par conception ».

En résumé, cet article propose un cadre robuste pour « réparer » l'inférence bayésienne lorsqu'elle est utilisée comme outil pragmatique, en la calibrant pour respecter les standards de validité fréquentiste, assurant ainsi la fiabilité des résultats scientifiques à long terme.