📊 statistics

Gaussian Mean Field Variational Inference can Overestimate Predictive Variance

Cet article remet en question l'idée reçue selon laquelle l'inférence variationnelle de champ moyen sous-estime toujours l'incertitude en démontrant que, dans la régression linéaire bayésienne, elle peut en réalité surestimer la variance prédictive sur des données intra-distribution en raison d'un compromis où la sous-estimation dans certaines directions de paramètres nécessite une surestimation dans d'autres, un phénomène qui peut être atténué par la mise à l'échelle de la température.

Auteurs originaux : James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin

Publié 2026-06-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le grand malentendu

Pendant longtemps, les scientifiques ont cru qu'une méthode spécifique appelée Inférence Variationnelle à Champ Moyen (MFVI) était toujours « trop confiante ». Ils pensaient qu'elle regardait les données, faisait une supposition, puis disait : « Je suis assez sûr de moi », même quand elle aurait dû être plus incertaine. En termes techniques, ils pensaient qu'elle sous-estimait la variance (l'incertitude).

Ce papier renverse totalement cette histoire. Les auteurs montrent que si la MFVI est effectivement trop confiante concernant les détails internes du modèle, elle peut en réalité être trop incertaine (surestimer l'incertitude) lorsqu'il s'agit de faire des prédictions sur des données qui ressemblent aux données d'entraînement.

L'analogie : La carte et la route

Imaginez que vous essayiez de dessiner la carte d'une ville en vous basant sur quelques photos d'une seule rue.

La vue « interne » (Espace des paramètres) :
Si vous regardez la carte elle-même, la MFVI dessine un cercle très serré et petit autour de la rue. Elle pense : « Je sais exactement où se trouve cette rue. » Elle ignore le fait que le reste de la ville est brumeux et inconnu. En ce sens, elle est trop confiante quant aux détails de la carte.
La vue « prédiction » (Espace prédictif) :
Maintenant, imaginez que vous êtes un conducteur essayant de prédire où la route va plus loin devant vous.
- La vérité exacte : La vraie route est droite et étroite. L'incertitude est faible car la route est bien définie.
- La prédiction de la MFVI : Parce que la MFVI a dessiné un cercle si petit et serré autour de la rue à l'étape 1, elle est confuse quant à la manière dont ce cercle serré se traduit sur la route devant elle. Elle finit par dessiner un énorme nuage flou de « peut-être que la route va à gauche, peut-être à droite, peut-être qu'elle disparaît ».
- Le résultat : Sur la route réelle (les données d'entraînement), la MFVI est trop effrayée. Elle pense que la route est beaucoup plus dangereuse et imprévisible qu'elle ne l'est réellement.

Le « jeu de l'équilibre » (La balançoire)

Le papier explique une règle étrange sur cette méthode : elle ne peut pas se tromper d'une seule façon.

Pensez à l'incertitude du modèle comme à une balançoire à bascule.

Si le modèle est trop confiant (sous-estime l'incertitude) dans certaines directions, il doit être trop incertain (surestime l'incertitude) dans d'autres directions pour maintenir l'équilibre mathématique.
Le papier proule que pour les données qui ressemblent aux données d'entraînement (In-Distribution), c'est le côté « trop incertain » de la balançoire qui l'emporte. Le modèle surestime le risque.

La correction « Froide »

Les auteurs ont découvert un moyen de corriger cette prudence excessive. Dans le monde des mathématiques bayésiennes, il existe un concept appelé Température.

Température élevée : Rend le modèle plus relax et étalé (plus incertain).
Température basse (Froide) : Rend le modèle plus net et concentré (moins incertain).

Habituellement, on pense qu'il faut « refroidir » un modèle pour le rendre moins confiant. Mais ici, parce que le modèle est déjà trop effrayé (surestime l'incertitude), les auteurs ont découvert que baisser la température (rendre le modèle « Froid ») aide réellement.

C'est comme dire à un conducteur nerveux : « Vous surestimez le danger. Prenez une grande inspiration et concentrez-vous. » En abaissant la température, les prédictions du modèle reviennent à la réalité, correspondant bien mieux à la réponse exacte et réelle.

Le piège de la haute dimension

Le papier montre un scénario effrayant où cela s'aggrave à mesure que les choses deviennent plus complexes (hautes dimensions).

Imaginez essayer de naviguer dans une ville avec 1 000 rues au lieu d'une seule.
Si toutes vos photos ne concernent qu'une seule rue spécifique, le modèle MFVI devient tellement confus par les 999 autres rues vides qu'il en oublie la rue qu'il a réellement vue.
Il finit par prédire que la route est aussi incertaine que si l'on n'avait eu aucune donnée du tout. Il échoue complètement à apprendre des données d'entraînement.
Cependant, appliquer la correction « Froide » (baisser la température) sauve la mise, permettant au modèle de réaliser : « Oh, je sais quelque chose sur cette rue », et corrige sa prédiction.

L'effet « Cold Posterior »

Dans le monde du Deep Learning, les chercheurs ont remarqué que les modèles fonctionnent souvent mieux lorsqu'ils sont « refroidis » (un phénomène appelé l'effet Cold Posterior). Habituellement, on attribuait cela à de mauvaises données ou à de mauvais modèles.

Ce papier propose une nouvelle raison : Même avec des données parfaites et un modèle parfait, la mathématique de la MFVI rend naturellement le modèle trop effrayé. Par conséquent, « refroidir » le modèle n'est pas un bricolage ; c'est une correction nécessaire pour empêcher le modèle de surestimer l'incertitude sur des données qu'il devrait bien connaître.

Résumé

Vieille croyance : La MFVI est toujours trop confiante.
Nouvelle découverte : La MFVI est trop confiante concernant les paramètres internes du modèle, mais trop incertaine concernant les prédictions qu'elle fait sur des données familières.
La solution : Abaisser la « température » (rendre le postérieur « Froid ») corrige cette prudence excessive, rendant les prédictions à nouveau précises.
L'avertissement : Dans des situations très complexes et de haute dimension, cette prudence excessive peut devenir si grave que le modèle oublie entièrement ce qu'il a appris, à moins d'appliquer la correction « Froide ».

Résumé Technique : L'inférence variationnelle à champ moyen gaussien peut surestimer la variance prédictive

Énoncé du Problème
L'inférence variationnelle à champ moyen (MFVI) est largement caractérisée dans la littérature comme une approximation qui sous-estime la variance postérieure, menant à des prédictions trop confiantes. Cette caractérisation découle de l'observation que la MFVI, en factorisant la distribution postérieure à travers les paramètres, agit comme une approximation de type « ajustement de mode » (mode-fitting) dans l'espace des paramètres, évitant les régions de faible probabilité et réduisant ainsi la variance de la distribution des paramètres. Cependant, cet article soutient que cette caractérisation est incomplète lorsque l'objectif passe de l'inférence de paramètres à la prédiction. Plus précisément, les auteurs démontrent que si la MFVI peut sous-estimer la variance dans l'espace des paramètres, elle peut paradoxalement surestimer la variance prédictive pour des points de test tirés de la distribution des données d'entraînement (données In-Distribution ou ID). Cette surestimation est particulièrement prononcée dans les directions où les données d'entraînement se concentrent.

Méthodologie
Les auteurs mènent une analyse théorique rigoureuse en utilisant la régression linéaire bayésienne conjuguée (BLR) comme un cadre traçable pour dériver des résultats exacts.

Configuration : Ils supposent un modèle linéaire $y = \theta^\top x + \epsilon$ avec un bruit gaussien, un a priori gaussien $\theta \sim \mathcal{N}(0, \alpha^{-1}I)$ , et un ensemble de données d'entraînement $D$ .
Exact vs Approximatif : Ils comparent la postérieure exacte $p(\theta|D)$ , qui est une Gaussienne multivariée avec une covariance $\Sigma$ , contre la postérieure MFVI $q(\theta) = \mathcal{N}(m, S)$ , où $S$ est contrainte d'être diagonale.
Dérivation Théorique :
- Ils dérivent que la moyenne optimale de la MFVI $m^*$ est égale à la moyenne de la postérieure exacte $\mu$ .
- Ils montrent que les valeurs propres de la covariance optimale de la MFVI $d_p^*$ sont les moyennes harmoniques pondérées des valeurs propres de la postérieure exacte $\delta_q$ , pondérées par les carrés des projections des vecteurs propres de la postérieure exacte sur les vecteurs de base canoniques.
- En utilisant ces propriétés, ils analysent la variance prédictive $x^\top S^* x$ par rapport à $x^\top \Sigma x$ pour différentes distributions de points de test.
Mise à l'échelle de la Température (Temperature Scaling) : Pour traiter la divergence, les auteurs explorent l'Effet de la Postérieure Froide (CPE). Ils définissent une postérieure « MFVI Froide » en minimisant la divergence KL par rapport à une postérieure tempérée (froide) $p_T(\theta|D) \propto p(D|\theta)^{1/T}p(\theta)^{1/T}$ avec $T < 1$ . Dans le cas gaussien conjugué, cela revient simplement à mettre à l'échelle la covariance de la MFVI par $T$ ( $S^*_T = T S^*$ ).

Contributions Clés

Preuve théorique de la surestimation : L'article prouve que pour la BLR avec des a priori sphériques, la MFVI surestime la variance prédictive le long de la première composante principale des données d'entraînement. Crucialement, pour des points de test distribués selon la distribution empirique des données d'entraînement, la variance prédictive attendue de la MFVI dépasse celle de la postérieure exacte (Théorème 3.7).
Contrainte de Calibration : Les auteurs établissent une propriété de « calibration » (Lemme 3.6) : le ratio de la variance MFVI par rapport à la variance exacte, moyenné sur les vecteurs propres de la véritable postérieure, est égal à 1. Cela implique que si la MFVI sous-estime la variance dans certaines directions (typiquement celles orthogonales aux données), elle doit la surestimer dans d'autres (typiquement les directions de haute variance des données) pour compenser.
Limite Pathologique de Haute Dimension : Dans une configuration pathologique où les données reposent sur un sous-espace de rang 1, les auteurs montrent que lorsque la dimension $P \to \infty$ , la postérieure MFVI ne parvient pas à réduire la variance prédictive par rapport à l'a priori. L'information provenant de la direction unique des données est diluée à travers les $P$ composantes alignées sur les axes, causant l'effondrement de la prédiction de la MFVI vers la prédiction de l'a priori.
Réinterprétation de l'Effet de la Postérieure Froide (CPE) : Le papier fournit une explication nouvelle du CPE en l'absence de mésappariement du modèle (model mismatch) ou d'augmentation de données. Ils soutiennent que l'abaissement de la température ( $T < 1$ ) corrige la surestimation de la variance prédictive sur les données ID, rapprochant les prédictions de la MFVI de la postérieure exacte. Inversement, pour les données hors distribution (OOD), des postérieures « chaudes » ( $T > 1$ ) peuvent être nécessaires pour corriger la sous-estimation.

Résultats

Expériences Synthétiques : Dans des contextes de faible dimension ( $P=2$ ), la MFVI à $T=1$ approxime bien la postérieure exacte. Cependant, dans des contextes de haute dimension ( $P=1024$ ) avec des données de rang déficient, la MFVI à $T=1$ devient indiscernable de l'a priori, échouant à capturer l'information contenue dans les données.
Réglage de la Température : Des expériences sur des tâches de régression UCI (utilisant la régression par fonctions de base) confirment que :
- Pour les données de test ID, la température optimale $T^*$ est systématiquement inférieure à 1, minimisant diverses divergences statistiques (KL, Wasserstein, etc.) entre les distributions prédictives de la MFVI et de la postérieure exacte.
- Pour les données de test OOD (orthogonales aux directions d'entraînement), la température optimale est souvent supérieure à 1.
Régression par Fonctions de Base : L'application de ces intuitions à la régression non linéaire via des fonctions de base radiales (RBF) montre que la pathologie de surestimation s'accroît avec le nombre de fonctions de base (dimensionnalité), reflétant les conclusions de la régression linéaire.

Signification et Revendications
Le papier affirme fournir une compréhension mécaniste de la raison pour laquelle la MFVI peut être sous-confiante (surestimer la variance) sur les données in-distribution, défiant le dogme standard selon lequel la MFVI est toujours trop confiante.

Complétude de la Caractérisation : Les auteurs affirment que le récit « la MFVI sous-estime l'incertitude » est incomplet ; la direction de l'erreur dépend de la distribution de test par rapport aux données d'entraînement.
Justification du CPE : Ce travail offre une nouvelle justification de l'Effet de la Postérieure Froide, distincte des explications impliquant des vraisemblances ou des a priori mal spécifiés. Il suggère que le tempérage est une correction nécessaire pour les erreurs d'approximation spécifiques introduites par l'hypothèse de champ moyen dans les contextes de données de haute dimension et corrélées.
Implication Pratique : Les conclusions suggèrent que pour les tâches où les données de test ressemblent aux données d'entraînement, l'application d'une postérieure froide (abaissement de la température) à la MFVI peut considérablement améliorer la calibration et la performance prédictive, alignant plus étroitement la postérieure approximative avec la solution bayésienne exacte.

Les auteurs restent modestes, notant que leurs résultats théoriques sont dérivés pour des modèles linéaires conjugués, mais ils démontrent empiriquement que ces intuitions s'étendent à la régression par fonctions de base non linéaires et à des jeux de données réels. Ils ne prétendent pas résoudre toutes les limites de la VI, mais visent à corriger un mode de défaillance spécifique et contre-intuitif de la MFVI dans les contextes prédictifs.