Functional Bias and Tangent-Space Geometry in Variational Inference

Cet article propose un cadre géométrique expliquant comment le biais des fonctionnelles du postérieur en inférence variationnelle est déterminé par la composante orthogonale à l'espace tangent de la famille variationnelle, révélant ainsi pourquoi les approximations à champ moyen déforment systématiquement les dépendances entre blocs de paramètres.

L'essentiel

🎨 Le Titre : "La Boussole et la Carte Déformée"

Sujet : Pourquoi l'intelligence artificielle fait des erreurs de calcul quand elle essaie de simplifier des problèmes complexes.

Imaginez que vous êtes un explorateur perdu dans une forêt très dense (c'est la réalité ou la "distribution postérieure"). Vous voulez savoir exactement où vous êtes, quelle est la température, et si vous êtes proche d'un ruisseau. Mais la forêt est trop grande et trop complexe pour la cartographier parfaitement.

Alors, vous décidez de dessiner une carte simplifiée (c'est l'inférence variationnelle). Vous ne pouvez pas dessiner chaque arbre, alors vous dessinez seulement les grands chemins et les zones principales. C'est rapide et efficace, mais votre carte n'est pas parfaite : elle est "biaisée".

Ce papier de recherche explique pourquoi cette carte est déformée et quelles informations vous allez perdre en fonction de la façon dont vous avez dessiné votre carte.

---

1. Le Problème : La Carte vs. La Réalité

En mathématiques et en statistiques, on essaie souvent de trouver la "vraie" réponse (la forêt) en utilisant une approximation plus simple (la carte).

• La vraie forêt (Posterior) : Complexe, avec des interactions secrètes entre les arbres, les ruisseaux et le vent.
• La carte simplifiée (Variational Family) : On force la carte à être simple. Par exemple, on dit : "Les arbres du nord n'ont aucun lien avec les ruisseaux du sud". C'est ce qu'on appelle l'hypothèse "Mean-Field" (champ moyen).

Le problème est que cette simplification crée des erreurs. Si vous demandez à votre carte la température moyenne, elle sera peut-être juste. Mais si vous demandez "Quelle est la probabilité qu'il pleuve en même temps que le vent souffle du nord ?", la carte va se tromper lourdement.

2. La Découverte Géométrique : Le "Tangent Space" (L'Espace Tangent)

L'auteur, Sean Plummer, utilise une idée de géométrie pour expliquer ces erreurs. Imaginez que votre carte simplifiée est un tapis de sol posé sur le sol irrégulier de la forêt.

• L'Espace Tangent (Le Tapis) : Ce sont les directions dans lesquelles votre carte peut bouger librement. Si votre carte est faite de blocs indépendants (Nord, Sud, Est, Ouest), elle peut bouger facilement vers le Nord ou vers le Sud, mais elle ne peut pas bouger "en diagonale" si le Nord et le Sud sont censés être indépendants.
• La Perpendicularité (L'Erreur) : Si la vraie forêt a une caractéristique qui va "vers le haut" (perpendiculaire au tapis), votre carte ne peut pas la voir. Elle va simplement "glisser" sur le tapis et ignorer cette caractéristique.

La règle d'or du papier :

• Si la question que vous posez (par exemple, "Quelle est la température moyenne ?") correspond à une direction où votre carte peut bouger librement (dans le tapis), l'erreur sera très petite (presque nulle).
• Si la question dépend d'une interaction entre deux blocs séparés (par exemple, "Comment le vent du Nord affecte-t-il la pluie du Sud ?"), cette direction est perpendiculaire au tapis. Votre carte ne peut pas la représenter, et l'erreur sera grosse et systématique.

3. L'Analogie du Puzzle

Imaginez que vous essayez de reconstituer un puzzle, mais vous avez une règle stricte : vous ne pouvez pas coller deux pièces ensemble si elles ne sont pas dans la même boîte.

• Les pièces d'une même boîte (Sommes additives) : Vous pouvez facilement reconstituer le ciel ou la mer. C'est précis.
• Les pièces qui doivent se toucher entre les boîtes (Interactions) : Si un oiseau (dans la boîte "Ciel") doit être relié à une branche (dans la boîte "Forêt"), votre règle vous empêche de faire ce lien. Le résultat sera une image où l'oiseau flotte dans le vide, sans branche.

Ce papier dit : "Ne vous inquiétez pas si votre approximation est imparfaite partout. Ce qui compte, c'est de savoir si la question que vous posez dépend de ces 'liens interdits' entre les boîtes."

4. Les Conséquences Concrètes

Grâce à cette théorie, on comprend pourquoi certaines méthodes d'IA échouent sur certains points :

1. Les moyennes sont souvent bonnes : Si vous voulez juste la moyenne d'un paramètre, la méthode fonctionne bien.
2. Les corrélations sont fausses : Si vous voulez savoir si deux variables sont liées (comme le prix de l'immobilier et le taux de chômage), la méthode va souvent dire qu'elles ne le sont pas du tout, alors qu'elles le sont. C'est parce que cette "liaison" est une direction que la carte simplifiée ne peut pas voir.
3. Les queues de distribution (Les événements rares) : Si vous voulez savoir la probabilité d'une catastrophe rare (un ouragan), la carte simplifiée va souvent sous-estimer le risque, car elle ne capture pas la complexité des interactions qui créent ces tempêtes.

5. En Résumé : Que retenir ?

Ce papier nous donne une boussole géométrique pour savoir quand faire confiance à une approximation mathématique.

• Si votre question est "simple" et locale (regarde juste une partie du puzzle), la réponse sera fiable.
• Si votre question est "globale" et dépend de relations complexes entre différentes parties du puzzle, la réponse sera déformée.

La leçon pour l'avenir :
Au lieu de juste dire "mon approximation est bonne à 90%", les chercheurs devraient dire : "Mon approximation est excellente pour les moyennes, mais elle va rater toutes les interactions complexes." Cela permet de choisir la bonne carte pour le bon voyage, ou d'ajouter des "ponts" supplémentaires (des méthodes plus complexes) là où c'est vraiment nécessaire.

---

Note : Ce papier date de 2026 (dans le futur de l'auteur), suggérant que ces concepts sont la prochaine étape pour rendre l'IA plus fiable et compréhensible.

Résumé technique

Résumé Technique : Biais Fonctionnel et Géométrie de l'Espace Tangent en Inférence Variationnelle

1. Problématique

L'inférence variationnelle (VI) est une méthode standard pour approximer des distributions postérieures bayésiennes complexes en les projetant sur une famille de distributions plus simple et traitable (généralement en minimisant la divergence de Kullback-Leibler, KL).
Bien que les analyses théoriques existantes se concentrent sur des mesures globales de qualité (comme la divergence KL ou les taux de contraction), de nombreuses applications pratiques dépendent de résumés spécifiques de la postérieure (espérances, variances, probabilités de queue, covariances).
La question centrale abordée par l'auteur est la suivante : Quels résumés fonctionnels de la postérieure peuvent être estimés avec précision par une approximation variationnelle, et quelle est la structure géométrique du biais systématique introduit par ces approximations ?

2. Méthodologie et Cadre Géométrique

L'auteur développe un cadre géométrique basé sur l'analyse fonctionnelle dans l'espace de Hilbert $L^2$ associé à la distribution variationnelle optimale $q^*$.

• Projection KL et Espace Tangent : La solution variationnelle $q^*$ est vue comme la projection de la postérieure $\pi$ sur une famille variationnelle $\mathcal{Q}$. L'auteur définit l'espace tangent $T_{q^*}\mathcal{Q}$ à $q^*$, engendré par les fonctions de score (dérivées du logarithme de la densité par rapport aux paramètres variationnels). Cet espace représente les directions de perturbation locales possibles au sein de la famille variationnelle.
• Orthogonalité du Résidu : Une propriété clé (Lemme 1) établit que le résidu log-densité $\Delta = \log(q^*/\pi)$ est orthogonal à l'espace tangent $T_{q^*}\mathcal{Q}$ sous la mesure $q^*$. C'est une condition d'optimalité de la projection KL.
• Décomposition du Biais : En utilisant un développement de Taylor de l'opérateur de changement de mesure ($E_\pi[g] = E_{q^*}[g e^{-\Delta}]$), l'auteur décompose l'erreur d'estimation d'un fonctionnel $g$ en deux composantes :
  1. Une composante alignée avec l'espace tangent ($g_\parallel$).
  2. Une composante orthogonale à l'espace tangent ($g_\perp$).

3. Contributions Principales

1. Décomposition du Biais Fonctionnel :
   L'article démontre que le biais dominant (premier ordre) d'un fonctionnel postérieur $E_\pi[g] - E_{q^*}[g]$ est entièrement déterminé par la composante de $g$ orthogonale à l'espace tangent variationnel.

   • Si $g \in T_{q^*}\mathcal{Q}$, le biais est d'ordre second ($O(\|\Delta\|^2)$).
   • Si $g$ possède une composante orthogonale, le biais est d'ordre premier ($O(\|\Delta\|)$).

2. Caractérisation pour les Familles "Mean-Field" Structurées :
   Pour les familles variationnelles structurées (où les paramètres sont partitionnés en blocs $\theta = (\theta_{B_1}, \dots, \theta_{B_m})$ et la densité est un produit de marginales), l'espace tangent est explicitement caractérisé :

   • Espace Tangent : Il est constitué de fonctions additives par blocs (sommes de fonctions dépendant d'un seul bloc de paramètres).
   • Complément Orthogonal : Il correspond aux termes d'interaction couplant plusieurs blocs de paramètres.

3. Développement Asymptotique Local :
   Sous des conditions de normalité asymptotique locale (théorème de Bernstein-von Mises), l'auteur dérive des développements asymptotiques explicites pour le biais. Il montre que pour les approximations mean-field (covariance diagonale), le biais asymptotique des fonctionnels sensibles aux interactions (comme les covariances croisées) est non nul et d'ordre $O(1/n)$.

4. Exemples Concrets :
   L'analyse est illustrée sur trois types de résumés :

   • Covariances croisées : Présentent un biais d'ordre 1 car elles dépendent d'interactions entre blocs.
   • Variance de contrastes linéaires : Le biais provient des termes croisés dans le développement du carré.
   • Probabilités de queue conjointes : Les approximations mean-field capturent bien les marginales (dans l'espace tangent) mais déforment systématiquement les probabilités de queue conjointes (hors de l'espace tangent).

4. Résultats Clés

• Théorème 1 (Identité de Projection) : Le biais de premier ordre est donné par $-\langle g_\perp, \Delta \rangle_{L^2(q^*)}$. Seule la partie de la fonctionnelle hors de l'espace tangent contribue à l'erreur dominante.
• Théorème 2 (Espace Tangent Mean-Field) : Pour une famille mean-field structurée, l'espace tangent est l'ensemble des fonctions additives par blocs.
• Proposition 3 (Distortion Asymptotique) : Dans le régime gaussien local, l'estimation de la covariance croisée $E[\theta_i \theta_j]$ ($i \neq j$) par une méthode mean-field souffre d'un biais asymptotique non nul égal à $\Sigma_{ij}/n$, où $\Sigma_{ij}$ est la vraie covariance. Ce biais disparaît si la fonctionnelle est additive (dans l'espace tangent).
• Théorème 4 (Réduction du Biais) : Si une fonctionnelle appartient à l'espace tangent (ex: somme de fonctions de blocs individuels), le biais asymptotique est supprimé (ordre $o(n^{-1})$).

5. Signification et Implications

• Explication Géométrique des Limites du Mean-Field : Ce travail fournit une explication fondamentale et géométrique à la propriété bien connue selon laquelle l'inférence mean-field sous-estime systématiquement les dépendances entre paramètres (covariances nulles forcées) et déforme les probabilités de queue conjointes. Ce n'est pas un artefact algorithmique, mais une conséquence directe de la projection sur un espace tangent restreint aux fonctions additives.
• Nouveau Critère d'Évaluation : L'article suggère que les familles variationnelles ne doivent pas être évaluées uniquement par des mesures de divergence globale (comme la KL), mais aussi par la richesse de leur espace tangent. Une famille est "bonne" pour un problème donné si les fonctionnels d'intérêt (les résumés postérieurs) sont bien alignés avec son espace tangent.
• Guidage pour la Conception de Modèles : Pour réduire le biais, il faut enrichir la structure variationnelle (par exemple, en augmentant la taille des blocs dans le mean-field structuré) afin d'élargir l'espace tangent et de capturer les interactions pertinentes pour les fonctionnels visés.
• Lien avec l'Inférence Semi-Paramétrique : L'analyse établit un pont théorique fort avec la théorie semi-paramétrique classique, où l'efficacité des estimateurs est liée à la projection sur l'espace tangent du modèle. Ici, le "modèle" est la famille variationnelle elle-même.

En conclusion, ce papier offre un cadre unificateur pour comprendre non seulement si une approximation variationnelle est bonne, mais pourquoi elle échoue ou réussit sur des quantités spécifiques, en reliant le biais fonctionnel à la géométrie de l'espace tangent induit par la famille variationnelle.