A Flat Connection: The Pooling Factor and the Geometry of Centring in Hierarchical MCMC

Cet article démontre que les difficultés de mélange dans les MCMC hiérarchiques ne sont pas causées par la courbure géométrique dans la structure de fibré de l'espace des paramètres, mais plutôt par une connexion plate qui révèle la racine statistique du problème comme étant la dépendance conditionnelle entre les niveaux de groupe et les hyperparamètres, quantifiée par le facteur de regroupement classique.

L'essentiel

La vue d'ensemble : Pourquoi certaines données sont difficiles à analyser

Imaginez que vous essayez d'organiser une bibliothèque massive. Vous avez un catalogue principal (les hyperparamètres, comme les règles générales pour toute la bibliothèque) et des milliers d'étagères spécifiques (les paramètres de groupe, comme les livres de chaque section).

En statistiques, quand nous essayons de comprendre les règles de la bibliothèque en se basant sur les livres, nous utilisons une méthode appelée MCMC (Monte Carlo par chaînes de Markov). Voyez le MCMC comme un bibliothécaire qui parcourt la bibliothèque, ramasse des livres, les examine, puis passe au suivant pour construire une image de l'ensemble de la collection.

Parfois, ce bibliothécaire reste coincé. Il tourne en rond, ou il se retrouve bloqué dans un couloir étroit et ne peut plus explorer le reste de la bibliothèque. C'est ce qu'on appelle un "mélange lent" (slow mixing).

Pendant des années, les statisticiens savaient que le bibliothécaire restait coincé, et ils savaient où (généralement quand les règles de la bibliothèque étaient trop vagues par rapport aux livres). Mais ils ne comprenaient pas pleinement pourquoi le bibliothécaire restait coincé d'un point de vue géométrique. Ils soupçonnaient que la disposition de la bibliothèque possédait une "torsion" ou une "courbure" cachée qui piégeait le bibliothécaire.

La grande découverte : La bibliothèque est plate

L'auteur de ce document, Aidan Bindoff, a décidé d'examiner la disposition de la bibliothèque en utilisant la géométrie avancée (plus précisément, ce qu'on appelle les fibrés).

L'hypothèse :
L'auteur est parti d'une supposition audacieuse : "Peut-être que la bibliothèque possède une torsion cachée. Si le bibliothécaire marche en cercle autour des règles principales, les étagères pourraient être pivotées ou tordues, rendant impossible le retour au point de départ." En mathématiques, il cherchait la courbure et l'holonomie (un mot savant pour désigner une torsion qui se produit après une boucle).

Le résultat :
L'auteur a prouvé que cette hypothèse est fausse.

À l'aide d'une preuve mathématique, il a démontré que pour n'importe quel modèle hiérarchique lisse, la disposition de la bibliothèque est en réalité parfaitement plate. Il n'y a pas de torsion cachée. Si le bibliothécaire marche en cercle autour des règles principales, les étagères reviennent exactement là où elles étaient. Il n'y a pas de piège géométrique.

L'analogie :
Imaginez une feuille de papier plate (la bibliothèque). Si vous marchez en carré sur une feuille plate, vous revenez en faisant face à la même direction. Si vous marchez sur une sphère (comme la Terre), vous pourriez finir par faire face à une direction différente. L'auteur a prouvé que cette bibliothèque statistique est une feuille plate, et non une sphère. La "torsion" que les statisticiens pensaient ressentir n'existait pas.

Alors, pourquoi le bibliothécaire reste-t-il coincé ?

Si la géométrie est plate, pourquoi le bibliothécaire reste-t-il coincé dans les couloirs étroits ?

La réponse est statistique, et non géométrique. Cela tient à la dépendance.

Imaginez que les règles principales (le catalogue) et les étagères sont liées par un élastique.

• Quand les données sont fortes : Les livres sur l'étagère sont très spécifiques. L'élastique est lâche. Le bibliothécaire peut déplacer l'étagère sans trop se soucier du catalogue.
• Quand les données sont faibles (dominées par l'a priori) : Les livres sur l'étagère sont vagues. L'élastique est tendu. Si le catalogue bouge ne serait-ce qu'un tout petit peu, l'étagère est entraînée avec lui.

L'auteur a découvert que le fait d'être "coincé" est causé par la façon dont l'étagère est étroitement liée au catalogue. Ils appellent cela la Fraction de l'A priori (ou le Facteur de Pooling).

• Si la Fraction de l'A priori est élevée (l'étagère dépend principalement des règles du catalogue), le bibliothécaire se déplace lentement car chaque minuscule changement dans les règles entraîne l'étagère.
• Si la Fraction de l'A priori est faible (l'étagère dépend principalement de ses propres livres), le bibliothécaire se déplace librement.

La "torsion" qui n'existait pas (mais qui y ressemblait)

L'auteur a tout de même trouvé quelque chose qui ressemblait à une torsion, mais c'était une illusion.

• L'illusion : Si vous figez les livres en place et prétendez qu'ils ne bougent pas, les mathématiques semblent indiquer une torsion.
• La réalité : Une fois que vous laissez les livres bouger naturellement avec les règles, la torsion disparaît. La "torsion" n'était qu'un tour de passe-passe dû au fait d'observer le problème de manière statique.

Cependant, l'auteur a noté que si vous utilisez une mauvaise carte (une métrique fixe, immuable, qui ne se met pas à jour pendant que vous avancez), vous ressentirez une torsion. Ce n'est pas une propriété de la bibliothèque, c'est une propriété de la mauvaise carte. Cela explique pourquoi certains algorithmes informatiques restent bloqués : ils utilisent une carte rigide qui ne s'adapte pas au terrain plat mais complexe.

Que doivent faire les praticiens ?

Puisque la bibliothèque est plate, nous n'avons pas besoin d'inventer de nouvelles façons complexes de "détordre" la géométrie. Au lieu de cela, nous devons simplement réparer les élastiques.

Le document fournit un outil simple (un package R appelé fibr) qui calcule la Fraction de l'A priori pour chaque groupe de vos données.

1. Vérifiez le score : Si un groupe a une Fraction de l'A priori élevée (il repose principalement sur les règles générales), il est susceptible d'être lent.
2. La solution : Pour ces groupes spécifiques, changez la façon dont vous les décrivez mathématiquement (une technique appelée non-centrage). Cela détend l'élastique.
3. Le résultat : Le bibliothécaire peut se déplacer beaucoup plus vite.

Résumé des points clés

1. Pas de courbure cachée : La géométrie complexe des modèles hiérarchiques est en réalité "plate". Il n'y a pas de torsion magique causant les problèmes d'échantillonnage.
2. Le vrai coupable : Le problème est la dépendance conditionnelle. Lorsque les données d'un groupe sont faibles, elles sont étroitement liées aux règles générales, ce qui rend le mouvement difficile.
3. La solution : Nous pouvons mesurer exactement à quel point ce lien est serré en utilisant la Fraction de l'A priori.
4. Conseil pratique : Utilisez la Fraction de l'A priori pour décider quels groupes nécessitent une configuration mathématique différente (non-centrage). C'est une solution simple et prouvée qui fonctionne mieux que de deviner.
5. L'illusion de la "torsion" : Toute torsion apparente dans les données est généralement un artefact de la façon dont nous regardons les mathématiques ou du modèle spécifique utilisé par l'ordinateur, et non une propriété fondamentale des données elles-mêmes.

En résumé : la bibliothèque n'est pas un labyrinthe avec des pièges cachés ; c'est une pièce plate avec des meubles lourds attachés ensemble. Si vous détachez les meubles qui traînent, le bibliothécaire peut passer sans encombre.

Résumé technique

Résumé Technique : Une Connexion Plate : Le Facteur de Pooling et la Géométrie du Centrage dans le MCMC Hiérarchique

Énoncé du Problème
Les modèles bayésiens hiérarchiques présentent un défi d'échantillonnage bien documenté : l'espace des paramètres conjoints, comprenant les hyperparamètres (base) et les paramètres de groupe (fibre), présente souvent des géométries qui entravent la mixité des chaînes de Monte Carlo par chaînes de Markov (MCMC). Les diagnostics standards (par exemple, $\hat{R}$, la taille d'échantillon effectif, les comptages de divergences) détectent que la mixité est lente mais ne parviennent pas à identifier le mécanisme spécifique ou les groupes responsables. Si la pathologie de l'« entonnoir » (funnel) dans l'espace de la base (hyperparamètres) est comprise comme un problème de courbure au niveau métrique (Betancourt et Girolami, 2015), il reste une question ouverte : l'obstruction à la mixité dans les modèles hiérarchiques provient-elle d'une structure géométrique plus profonde — spécifiquement, la courbure de la connexion régissant la manière dont la fibre se déplace par rapport à la base ? L'hypothèse centrale testée est de savoir si le compromis centrage/non-centrage est causé par une holonomie non triviale (une contraction nette de la fibre après que les hyperparamètres ont parcouru une boucle fermée) dans la structure de fibré de la distribution a posteriori.

Méthodologie et Cadre Géométrique
Le papier formalise l'espace des paramètres conjoints d'un modèle hiérarchique comme un fibré de base $E \to B$, où la base $B$ contient les hyperparamètres $\theta$ et la fibre $F_\theta$ contient les paramètres de groupe $\alpha$. La métrique d'information de Fisher $G$ sur l'espace total induit une connexion d'Ehresmann naturelle $A = -G_{FF}^{-1} G_{BF}$, qui définit la distribution horizontale (la direction dans laquelle la fibre doit se déplacer pour rester « stationnaire » par rapport à la géométrie de la base à mesure que la base change).

Les auteurs étudient la courbure de cette connexion. Si la connexion était courbe, le fait de traverser une boucle fermée dans la base résulterait en une holonomie non triviale (un déplacement dans la fibre), ce qui se manifesterait par une obstruction systématique à la mixité. Les auteurs dérivent la courbure analytiquement pour un a posteriori hiérarchique lisse général et spécifiquement pour un modèle linéaire généralisé mixte (GLMM) logistique centré. Ils distinguent :

1. La véritable connexion : Construite à partir de la Hessienne complète du log-a posteriori.
2. La connexion linéarisée (fibre gelée) : Construite en maintenant la fibre fixe, ce qui produit une courbure non nulle.
3. La connexion de la métrique de travail : Construite à partir d'une matrice de masse fixe du l'échantillonneur (par exemple, NUTS après la phase de warmup), qui peut être courbe.

Pour tester l'hypothèse d'une obstruction géométrique, le papier propose un diagnostic de dépendance conditionnelle de boucle. Cet algorithme détecte les boucles fermées approximatives dans la chaîne des hyperparamètres et estime la dépendance linéaire des valeurs de la fibre aux extrémités de la boucle. Si une holonomie géométrique existait, le déplacement suivrait l'orientation et l'aire délimitée par la boucle. Si l'obstruction est purement statistique (autocorrélation), le déplacement ne suivra pas une règle de transport géométrique.

Contributions Clés

1. Théorème de Platitude Universelle : Le papier prouve (Proposition 1) que la connexion d'Ehresmann métriquement orthogonale $A$ est plate pour tout a posteriori hiérarchique lisse, indépendamment de la dimension de la fibre, du prior ou de la conjugaison. Les feuilles horizontales de cette connexion sont les ensembles de niveau du score de la fibre $\partial_\alpha \log p$. Par conséquent, l'holonomie de la véritable connexion est triviale ; il n'y a pas d'obstruction géométrique (pas d'holonomie) à la mixité provenant du couplage base-fibre lui-même. La courbure non nulle souvent citée dans la littérature est montrée comme étant un artefact de la linéarisation de la connexion en gelant la fibre.

2. Identification du Facteur de Pooling : Une fois l'obstruction géométrique écartée, le papier identifie la véritable source de la difficulté de mixité comme une quantité statistique : la fraction du prior $\pi_j$ (également appelée facteur de pooling). Définie comme le ratio de la précision du prior sur la précision totale pour le groupe $j$ ($\pi_j = (1/\sigma^2) / G_{FF,j}$), cette quantité régit la dépendance conditionnelle de la fibre sur la base. Les groupes avec une $\pi_j$ élevée (dominés par le prior) présentent une mixité lente dans les paramétrisations centrées, tandis que ceux avec une $\pi_j$ faible (dominés par la vraisemblance) ne le font pas. Cela récupère le résultat classique selon lequel le paramétrage optimal dépend de l'équilibre entre le prior et la vraisemblance, mais le dérive géométriquement comme la seule obstruction restante une fois la platitude établie.

3. Diagnostic et Attribution : Les auteurs développent un diagnostic qui estime les coefficients de dépendance conditionnelle de boucle par groupe ($\hat{\rho}_j$). Un test d'attribution confirme que NUTS ne transporte pas la fibre selon la connexion ; la signature observée au niveau de la chaîne est une autocorrélation conditionnelle excédentaire dans les groupes dominés par le prior, et non un dérive suivant le transport. Cela confirme la platitude de la véritable connexion.

4. Distinction des Pathologies : L'étude sépare deux pathologies distinctes :

   • L'Entonnoir (Funnel) : Une pathologie de l'espace de la base causée par la courbure négative intrinsèque de la métrique de Fisher-Rao sur les hyperparamètres (spécifiquement $\sigma$). Il s'agit d'une véritable courbure géométrique.
   • Le Couplage : Une pathologie statistique causée par la dépendance conditionnelle de la fibre sur la base, quantifiée par $\pi_j$. Ce n'est pas une courbure géométrique de la connexion, mais une corrélation statistique.

5. Courbure de la Métrique de Travail : Bien que la véritable connexion soit plate, le papier note que les échantillonneurs utilisant une métrique de travail fixe (par exemple, une matrice de masse fixe dans NUTS) transportent effectivement le long d'une autre connexion, courbe. Dans ce régime, une « holonomie algorithmique » peut se produire, mais c'est une propriété de l'approximation de l'échantillonneur, et non de la géométrie cible.

Résultats

• Validation Analytique : Pour le GLMM logistique centré, la courbure complète de la connexion est prouvée être identiquement nulle (Proposition 4). La courbure non nulle de la connexion linéarisée ($F_j = -2/(\sigma^5 G_{FF,j}^2)$) est confirmée comme un artefact de linéarisation.
• Étude de Simulation : Une simulation factorielle faisant varier le nombre d'observations par groupe ($n_j$) et l'écart-type hiérarchique ($\sigma$) démontre que le signal du diagnostic ($\hat{\rho}_j$) suit la fraction du prior analytique $\pi_j$. Crucialement, la relation entre $\hat{\rho}_j$ et $\sigma$ est non monotone : $\hat{\rho}_j$ culmine à des $\sigma$ intermédiaires (où la précision du prior est élevée par rapport aux données) et chute lorsque $\sigma$ augmente davantage, même si l'entonnoir (courbure de l'espace de la base) s'aggrave. Cela sépare empiriquement la pathologie du couplage de celle de l'entonnoir.
• Conseils aux Praticiens : Le papier valide que l'utilisation de $\pi_j$ pour guider le non-centrage partiel par groupe (en fixant le poids de non-centrage $w_j \approx \pi_j$) améliore la mixité pour les groupes dominés par le prior sans nuire à ceux dominés par la vraisemblance. Cependant, il note que pour la taille d'échantillon effective minimale globale (min-ESS), le goulot d'étranglement est souvent l'entonnoir de $\sigma$, que le reparamétrage par groupe ne peut pas corriger ; dans ces cas, un paramétrage non centré uniforme peut rester supérieur pour la métrique globale.

Signification et Revendications
Le papier prétend régler une question spécifique du programme géométrique du MCMC : si l'obstruction du centrage dans les modèles hiérarchiques est une manifestation d'une holonomie non triviale dans le fibré de base. La réponse est négative. L'obstruction n'est pas géométrique (au sens de la courbure de la connexion) mais statistique, gouvernée entièrement par la fraction du prior $\pi_j$.

La signification réside dans :

• Clarification de la Géométrie : Il démontre que l'« obstruction » n'est pas un échec de l'échantillonneur à effectuer un transport parallèle le long d'une variété courbe, mais un échec à briser la corrélation statistique entre la base et la fibre dans les régimes dominés par le prior.
• Affinement des Diagnostics : Il fournit une base théorique à la fraction du prior comme outil de diagnostic, la distinguant de l'entonnoir. Il soutient que les diagnostics standards échouent à localiser le problème pour des groupes spécifiques, alors que $\pi_j$ le fait.
• Recadrage des Travaux Futurs : Il suggère que les efforts pour construire des échantillonneurs « conscients de la connexion » qui transportent la fibre en parallèle sont mal orientés pour la véritable métrique, car la connexion est plate. Au lieu de cela, l'accent devrait être mis sur l'alignement de la métrique de travail de l'échantillonneur avec la véritable Hessienne pour éviter l'holonomie algorithmique, ou sur l'utilisation de la fraction du prior analytique pour guider le reparamétrage par groupe.

Le papier conclut que le cadre géométrique, bien qu'il prouve la platitude de la connexion, récupère avec succès le tableau statistique établi des compromis centrage/non-centrage et fournit un diagnostic par groupe en forme close ($\pi_j$) pour guider les praticiens. Le package R associé fibr implémente ces diagnostics et le calcul de la fraction du prior.