📊 statistics

When can a posterior predictive check identify the learning rate? Exact degeneracy in Gaussian models and implications for Generalised Bayesian Inerence

Cet article démontre que dans les modèles linéaires gaussiens avec un a priori plat ou de référence, le sélecteur par vérification prédictive de la distribution postérieure (PPC) pour le taux d'apprentissage bayésien généralisé échoue à identifier la valeur optimale car la p-valeur résultante devient indépendante des données observées, rendant le processus de sélection déterministe et sujet au sur-ajustement de la température.

Auteurs originaux : Nam Anh Le

Publié 2026-06-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nam Anh Le

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef tentant de perfectionner la recette d'une soupe. Vous avez une recette standard (votre modèle statistique), mais vous soupçonnez que les ingrédients que vous avez achetés pourraient être légèrement décalés (erreur de spécification du modèle). Pour corriger cela, vous décidez d'ajuster la « chaleur » de votre processus de cuisson. Dans le monde de la statistique, cette « chaleur » est appelée le taux d'apprentissage (noté $\eta$ ).

Si la chaleur est trop élevée, la soupe brûle (le modèle réagit de manière excessive à de mauvaises données). Si elle est trop basse, les saveurs ne se mélangent pas (le modèle ignore les données). L'objectif est de trouver le réglage de chaleur parfait.

Récemment, une méthode a été proposée pour trouver cette chaleur parfaite : la Vérification Prédictive Postérieure (VPP). Considérez cela comme un goûteur. Vous simulez un nouveau lot de soupe basé sur votre réglage de chaleur actuel et vous demandez : « Est-ce que cela a le goût de la soupe que je viens de faire ? » Si la réponse est « Non » (un score bas), vous baissez la chaleur et vous réessayez. Vous continuez à baisser la chaleur jusqu'à ce que le goûteur dise : « D'accord, c'est acceptable. »

La Grande Découverte
Ce document, par Nam Anh Le, pose une question très spécifique : Ce goûteur fonctionne-t-il réellement lorsque la soupe est une recette gaussienne (courbe en cloche) simple et classique ?

La réponse est un non retentissant. En fait, le document révèle que pour ces types de modèles, le goûter est « aveugle ». Il ne peut pas faire la différence entre une chaleur élevée et une chaleur basse.

Voici comment le document décompose cela, en utilisant des analogies simples :

1. Le « Goût Plat » (Ingrédients Connus)

Imaginez que vous savez exactement quelle quantité de sel se trouve dans vos ingrédients (variance connue).

L'affirmation du document : Le score du goûteur est complètement plat. Quel que soit le réglage de chaleur que vous choisissez, le score reste exactement le même.
L'analogie : C'est comme essayer de juger la température d'un four en regardant la photo d'un thermomètre qui est bloqué sur un chiffre. La photo ne change pas, que le four soit froid ou chaud.
Le résultat : Comme le score ne change jamais, la méthode n'a aucun moyen de choisir la « meilleure » chaleur. Elle choisit par défaut le réglage le plus bas de votre cadran. Cela rend la soupe trop fade (sur-tempère le modèle), conduisant à des prédictions trop larges et incertaines.

2. Le « Goût Fantôme » (Ingrédients Inconnus)

Maintenant, imaginez que vous ne savez pas combien de sel il y a dans les ingrédients (variance inconnue), et que vous utilisez une façon neutre et standard de deviner (le « prior de référence »).

L'affirmation du document : C'est encore plus étrange. Le score du goûteur ne fait pas que rester plat ; il devient totalement indépendant des données.
L'analogie : Imaginez une boule magique 8 qui vous donne la météo. Habituellement, elle regarde le ciel (les données) pour donner une réponse. Mais dans ce cas précis, la boule 8 ignore complètement le ciel. Elle donne la même réponse exacte, qu'il pleuve, qu'il fasse beau ou qu'il neige.
Le résultat : Le « meilleur » réglage de chaleur est décidé avant même que vous ne cuisiniez la soupe. C'est un nombre fixe basé uniquement sur le nombre de personnes que vous servez ( $n$ ) et le nombre d'ingrédients que vous avez ( $d$ ). Le goût réel de la soupe (les données) est sans importance.

3. La Conséquence : Un Compas Cassé

Parce que la méthode ignore les données dans ces scénarios, elle agit comme un compas cassé qui pointe toujours le Nord, peu importe où vous vous trouvez réellement.

Le résultat : La méthode choisit presque toujours le réglage de chaleur le plus petit et le plus sûr disponible.
Le coût : Cela entraîne des « intervalles prédictifs » (votre estimation de la qualité de la soupe) qui sont trop larges. Vous finissez par dire : « La soupe peut être n'importe quoi, de fade à brûlée », alors que vous pourriez être plus précis. Le document montre que cela conduit à des prédictions trop prudentes qui sont moins utiles que l'utilisation de la recette standard ou le test de la soupe sur un lot séparé (données de test).

4. Pourquoi cela arrive-t-il ? (La magie de la « Pivotabilité »)

Le document explique que cela se produit à cause d'un « tour » mathématique appelé pivotabilité.

Dans ces modèles gausiens spécifiques avec des priors neutres, les mathématiques sont si symétriques que l'« erreur » du modèle annule parfaitement l'« erreur » des données.
C'est comme une balance où le poids de l'objet et le poids du contrepoids sont liés de telle sorte que la balance affiche toujours « équilibré », peu importe ce que vous mettez dessus. La structure spécifique du modèle gaussien et du prior « neutre » créent ce parfait annulation.

5. La Conclusion Pratique : Un « Contrôle Pré-vol »

Le document ne se contente pas de dire « c'est cassé » ; il propose un outil simple pour éviter le problème.

Le Diagnostic : Avant même de lancer votre modèle complexe, vous pouvez effectuer un calcul rapide et peu coûteux (un « diagnostic de pré-sélection »).
Comment ça marche : Vous vérifiez si votre modèle est proche de cette configuration « Gaussienne/neutre ». Si c'est le cas, vous savez immédiatement que le goûteur (VPP) sera aveugle.
Le Conseil : Si le diagnostic indique « aveugle », n'utilisez pas le goûteur. À la place, utilisez une autre méthode (comme tester sur un lot de données séparées) pour trouver votre réglage de chaleur.

Résumé

Le document révèle une faille cachée dans une méthode populaire de réglage des modèles statistiques. Pour une classe très courante de modèles (modèles linéaires gausiens avec des priors neutres), la méthode utilisée pour trouver le « taux d'apprentissage » est exempte de données. Elle ignore les données réelles et choisit un réglage par défaut, menant à des prédictions trop prudentes et moins précises. L'auteur fournit un moyen simple de repérer ce piège avant de tomber dedans.

Résumé technique : Dégénérescence exacte dans les modèles gaussiens et implications pour l'inférence bayésienne généralisée

Énoncé du problème
L'inférence bayésienne généralisée (ou de Gibbs) traite la spécification erronée du modèle en tempérant la fonction de vraisemblance par un taux d'apprentissage $\eta > 0$ , remplaçant $p(y|\theta)$ par $p(y|\theta)^\eta$ . Le choix de $\eta$ est critique pour le calibrage, mais sa sélection demeure difficile. Zafar et Nicholls (2024) ont proposé une méthode exploratoire simple pour sélectionner $\eta$ : utiliser un contrôle prédictif de la population (PPC) basé sur la log-vraisemblance. Plus précisément, on choisit le plus petit $\eta$ sur une grille tel que la valeur de $p$ du PPC résultant ne soit pas rejetée (c'est-à-dire $p(\eta) \ge \alpha$ ). Bien que cette approche ait montré des promesses dans des modèles complexes et mal spécifiés, son comportement sur des modèles canoniques simples n'avait pas été examiné rigoureusement. Cet article examine si ce sélecteur de $p$ -valeur par PPC peut distinguer différents taux d'apprentissage dans le modèle linéaire gaussien canonique.

Méthodologie
L'auteur mène une analyse exacte en échantillon fini du sélecteur de $p$ -valeur par PPC sur le modèle linéaire gaussien $y = X\beta + \varepsilon$ , où $\varepsilon \sim N(0, \sigma^2 I_n)$ . L'analyse considère deux scénarios principaux :

Variance connue : $\sigma^2 = \sigma_0^2$ est connue, avec une loi plate sur $\beta$ .
Variance inconnue : $\beta$ et $\sigma^2$ sont tous deux inconnus, utilisant la loi de référence standard $\pi(\beta, \sigma^2) \propto \sigma^{-2}$ .

Le $p$ -valeur du PPC est défini par $p(\eta) = P(T(y_{rep}, \theta) < T(y, \hat{\theta}_\eta))$ , où $T$ est la divergence de la log-vraisemblance, $\hat{\theta}_\eta$ est la moyenne a posteriori sous la vraisemblance tempérée, et $y_{rep}$ est tiré du modèle non tempéré. L'auteur dérive des expressions en forme close de la distribution de cette $p$ -valeur pour déterminer sa dépendance vis-à-vis de $\eta$ , des données et du processus générateur de données (DGP).

Contributions clés et résultats

Dégénérescence exacte sous variance connue (Théorème 1) :
Lorsque $\sigma^2$ est connue et qu'une loi plate est utilisée, la $p$ -valeur du PPC est invariante par rapport à $\eta$ . Pour tout $\eta > 0$ , la $p$ -valeur est égale à $P(\chi^2_n > \text{RSS}/\sigma_0^2)$ .
- Implication : Le sélecteur ne peut pas distinguer les taux d'apprentissage. Il accepte soit l'ensemble de la grille (retournant la valeur minimale de la grille), soit rejette l'ensemble de la grille, selon la somme des carrés des résidus (RSS) par rapport à la variance supposée.
- Spécification erronée : Le sélecteur est non-identifiant bilatéral. Si la variance réelle est plus grande que la variance supposée (sur-dispersion), $p \to 0$ pour tout $\eta$ . Si la variance réelle est plus petite (sous-dispersion), $p \to 1$ pour tout $\eta$ . Dans aucun de ces cas, le sélecteur n'utilise $\eta$ pour corriger l'ajustement.
Loi indépendante des données sous variance inconnue (Théorème 2) :
Lorsque $\sigma^2$ est inconnue avec la loi de référence, la $p$ -valeur admet une expression en forme close :
$p(\eta) = P\left[ W + n \log\left(\frac{\eta n - d - 2}{V}\right) > \frac{\eta n - d - 2}{\eta} \right]$
où $W \sim \chi^2_n$ et $V \sim \chi^2_{\eta n - d}$ sont indépendantes.
- Résultat crucial : Cette expression dépend uniquement de la taille de l'échantillon $n$ , du rang $d$ , et du taux d'apprentissage $\eta$ . Elle est complètement indépendante des données réalisées $y$ et du processus générateur de données.
- Conséquence : Le $\eta$ sélectionné est déterminé avant toute observation de données. L'analyse numérique montre que pour des grilles typiques, la courbe $p_{n,d}(\eta)$ se situe bien au-dessus du seuil de rejet (par exemple, $\alpha=0,10$ ). Par conséquent, le sélecteur s'effondre vers la plus petite valeur admissible de la grille (le "plancher de la grille"), indépendamment de l'ajustement réel des données.
Coûts de calibrage :
Parce que le sélecteur revient par défaut au plus petit $\eta$ (sur-tempérance) en raison de cet effondrement sans données, les intervalles prédictifs résultants sont excessivement larges. Les simulations démontent que les intervalles prédictifs à 90 % construits avec le $\eta$ sélectionné par le PPC atteignent des taux de couverture de 0,97–0,99 (sur-couverture) et sont 1,5 à 1,9 fois plus larges que les intervalles dérivés de la sélection par données de test (held-out) ou de $\eta=1$ .
Rôle des priors :
L'indépendance exacte vis-à-vis des données est spécifique à la loi de référence (ou à la loi plate dans le cas de la variance connue). L'article note que l'introduction d'un prior informatif (par exemple, un prior de ridge approprié) brise cette dégénérescence exacte, rendant la $p$ -valeur dépendante des données. Cependant, pour les priors diffus, la dépendance reste numériquement négligeable, et le sélecteur tend néanmoins à s'effondrer vers le plancher de la grille.

Signification et portée
L'article positionne ces résultats comme un "résultat limite" plutôt que comme une déclaration négative générale sur la sélection du taux d'apprentissage par PPC. La signification réside dans :

L'identification d'une classe canonique : Il délimite une classe spécifique de modèles (famille gaussienne de localisation-échelle avec lois de référence) où le sélecteur PPC est prouvé non-identifiant.
Explication du mécanisme : Il attribue l'échec à une "propriété de pivotité" où les statistiques de divergence sont des fonctions de quantités pivotales, rendant leur probabilité de comparaison exempte de paramètres inconnus et, dans le cas de la variance inconnue, exempte de données elles-mêmes.
Diagnostic pratique : L'auteur propose un "pré-diagnostic rapide et sans données". Avant d'ajuster un modèle, les praticiens peuvent calculer la courbe théorique de la $p$ -valeur pour leur configuration $(n, d)$ . Si la $p$ -valeur minimale sur la grille dépasse le niveau de signification $\alpha$ , le sélecteur PPC est connu à l'avance pour être indépendant des données et risque de s'effondrer vers le plancher de la grille. Dans de tels régimes, des alternatives basées sur les données (par exemple, la sélection par données de test ou l'ELPPD) sont recommandées.

L'article conclut que si l'approche de Zafar et Nicholls (2024) peut fonctionner dans des contextes non conjugués complexes, elle échoue fondamentalement dans le cadre gaussien canonique en raison de ces propriétés exactes en échantillon fini, nécessitant ainsi la plus grande prudence lors de l'application à des modèles présentant des caractéristiques structurelles similaires.