Approximate posterior recalibration

1. Problématique

L'inférence bayésienne repose souvent sur des algorithmes approximatifs (comme l'inférence variationnelle ou des méthodes MCMC sous-échantillonnées) lorsque le calcul de la vraisemblance exacte est trop coûteux. Bien que ces approximations soient utiles, elles introduisent souvent des biais dans les intervalles de crédibilité, les rendant trop étroits et ne capturant pas correctement l'incertitude postérieure.

Le problème central est le suivant : comment ajuster ces distributions postérieures approximatives pour qu'elles soient calibrées ?

• Calibration a priori : Dans un cadre bayésien idéal, si l'on génère des paramètres $\theta$ depuis la distribution a priori $p(\theta)$, puis des données $y$ depuis la vraisemblance $p(y|\theta)$, les intervalles postérieurs construits doivent contenir le vrai $\theta$ avec la fréquence nominale (par exemple, 95 % du temps). C'est la propriété de Simulation-Based Calibration (SBC).
• Défaillance des approximations : Les méthodes approximatives échouent souvent à respecter cette calibration, même avec un grand nombre de simulations, conduisant à une sous-estimation de l'incertitude.

L'article s'interroge également sur la pertinence de recalibrer par rapport à la distribution a posteriori (conditionnelle aux données observées) plutôt qu'à la distribution a priori, une approche qui présente des avantages pratiques mais des implications théoriques complexes.

2. Méthodologie

Les auteurs proposent une procédure générale appelée Approximate Posterior Calibration (APC). L'idée centrale est d'utiliser les propriétés d'auto-cohérence de la vraie distribution postérieure pour apprendre un ajustement (correction) applicable aux distributions approximatives.

A. Le cadre général (Algorithme 1)

La méthode suit ces étapes :

1. Simulation : On tire $L$ échantillons de paramètres $\Theta_l$ depuis l'a priori, on génère des données $y_l$, et on calcule des échantillons postérieurs approximatifs $\theta_{l,s}^{post}$ pour chaque $l$.
2. Apprentissage de l'ajustement : On identifie un ajustement (par exemple, un facteur d'échelle) qui force les échantillons approximatifs à satisfaire une propriété d'auto-cohérence spécifique (comme une distribution uniforme des quantiles ou des scores-z standardisés).
3. Application : Cet ajustement appris est appliqué à la distribution postérieure approximative calculée sur les données réelles d'intérêt $y_D$.

B. Deux méthodes d'ajustement spécifiques

Les auteurs proposent deux stratégies pour déterminer le facteur d'échelle $k$ (autour de la moyenne $\mu$) :

1. Méthode de la couverture nominale (Nominal Coverage) :

   • Objectif : S'assurer que les intervalles $(1-\alpha)$ atteignent une couverture nominale.
   • Mécanisme : On cherche le facteur d'échelle $\sigma$ qui minimise l'écart entre les quantiles observés des scores et les quantiles théoriques attendus (uniformes). Cela implique souvent une recherche par grille (grid search).
   • Avantage : Cible directement la couverture des intervalles.
   • Inconvénient : Peut être instable pour des $\alpha$ extrêmes et coûteux en calcul.

2. Méthode des scores-z (Z-score method) :

   • Objectif : S'assurer que les scores-z des paramètres vrais par rapport à la distribution postérieure simulée suivent une loi normale standard $(0, 1)$.
   • Mécanisme : On calcule la moyenne et l'écart-type des scores-z sur les $L$ réplications. Le facteur d'échelle est simplement l'inverse de l'écart-type observé des scores-z.
   • Avantage : Plus stable et plus efficace computationnellement (pas de recherche par grille).
   • Inconvénient : N'ajuste pas spécifiquement chaque niveau de confiance $\alpha$ individuellement, mais suppose une correction globale de la variance.

C. Recalibration Postérieure (Posterior Recalibration)

Une partie significative de l'article explore le remplacement de l'a priori par la distribution postérieure approximative dans l'étape de simulation.

• Motivation : Se concentrer sur la zone de l'espace des paramètres soutenue par les données, là où l'inférence est réellement utilisée.
• Problème théorique : Contrairement à la calibration a priori, la calibration par rapport à la postérieure n'est pas garantie même pour une inférence exacte (sauf cas limites). L'article démontre analytiquement sur un modèle Normal-Normal que cette approche conduit à une sous-estimation de l'incertitude et à une réduction excessive du « pooling » (lissage) vers l'a priori.

3. Contributions Clés

1. Extension du SBC : Transformation du SBC, traditionnellement utilisé comme outil de diagnostic, en un outil actif de recalibration pour élargir les intervalles d'incertitude.
2. Deux algorithmes pratiques : Introduction de méthodes simples (couverture nominale et scores-z) pour ajuster les variances des distributions postérieures approximatives.
3. Analyse théorique de la recalibration postérieure : Démonstration rigoureuse que la recalibration basée sur la distribution postérieure (au lieu de l'a priori) est fondamentalement problématique dans les modèles non hiérarchiques simples, car elle brise la cohérence bayésienne en réduisant artificiellement l'incertitude.
4. Nuance sur les modèles hiérarchiques : Identification que la recalibration postérieure pourrait fonctionner approximativement dans les modèles hiérarchiques grâce à la « réplication interne » des paramètres locaux, où les nouveaux groupes agissent comme de nouvelles données simulées depuis l'a priori conditionnel.

4. Résultats Expérimentaux

Les auteurs valident leurs méthodes sur plusieurs exemples :

• Modèle Gaussien simple (1 paramètre) :
  • Un biais artificiel (réduction de l'écart-type par un facteur 3) est introduit.
  • Les deux méthodes (couverture et scores-z) réussissent à retrouver un facteur d'échelle proche de 3, restaurant la couverture nominale des intervalles. La méthode des scores-z est plus rapide.
• Modèle hiérarchique (8 écoles) avec ADVI :
  • L'inférence variationnelle automatique (ADVI) produit des intervalles non calibrés.
  • Les méthodes APC ajustent les intervalles pour atteindre une couverture proche de la vérité (calculée via HMC).
  • Les résultats montrent que l'ADVI sous-estime la variance (les intervalles sont trop étroits) et présente parfois un décalage (bias) par rapport à la vérité. L'ajustement d'échelle compense partiellement ces erreurs.

5. Signification et Discussion

• Utilité pratique : Pour les praticiens utilisant des approximations rapides (comme ADVI), ces méthodes offrent un moyen de corriger l'incertitude sans avoir à exécuter des méthodes MCMC coûteuses pour chaque nouveau jeu de données. Une fois le facteur d'ajustement appris sur un ensemble de simulations, il peut être appliqué à de nouvelles données.
• Limites théoriques : L'article met en garde contre l'utilisation aveugle de la recalibration postérieure. Bien que séduisante pour se concentrer sur la région pertinente des paramètres, elle peut conduire à une confiance excessive (intervalles trop étroits) et à une perte de la propriété de couverture bayésienne standard.
• Compromis : La recalibration postérieure est présentée comme un compromis potentiel entre l'inférence bayésienne stricte et une approche plus « robuste » ou fréquentiste, visant à obtenir une couverture conditionnelle aux données plutôt qu'au préalable.
• Perspectives : Le travail ouvre la voie à des ajustements plus complexes (décalages, moments d'ordre supérieur) et pose la question de la calibration conjointe dans les espaces de haute dimension, qui reste un défi non résolu.

En résumé, cet article fournit un cadre méthodologique pour « réparer » les incertitudes bayésiennes approximatives en utilisant des simulations, tout en soulignant les pièges théoriques liés au choix de la distribution de référence (a priori vs a posteriori) pour cette calibration.