💬 NLP

Revisiting Anisotropy in Language Transformers: The Geometry of Learning Dynamics

En s'appuyant sur des arguments géométriques et une interprétation mécaniste basée sur les concepts durant l'entraînement, cette étude démontre que l'anisotropie inhérente aux transformateurs linguistiques résulte d'une amplification préférentielle des directions tangentielles, lesquelles captent une part significative de l'énergie et de l'anisotropie des gradients.

Auteurs originaux : Raphael Bernas, Fanny Jourdan, Antonin Poché, Céline Hudelot

Publié 2026-04-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Raphael Bernas, Fanny Jourdan, Antonin Poché, Céline Hudelot

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Grand Voyage des Mots dans l'Espace des Transformers

Imaginez que vous avez un immense dictionnaire magique (un modèle de langage comme ceux qui vous parlent aujourd'hui). Chaque mot de votre langue est représenté par un point dans un espace géant à des milliers de dimensions. C'est ce qu'on appelle un espace d'embeddings.

Normalement, on s'attendrait à ce que ces points soient répartis uniformément, comme des étoiles dans un ciel dégagé ou des grains de sable sur une plage. Mais les chercheurs ont remarqué quelque chose d'étrange : les mots ont tendance à se coller les uns aux autres, formant un cône étroit ou un faisceau de lumière très concentré. En géométrie, on appelle cela de l'anisotropie (le monde n'est pas le même dans toutes les directions).

Pendant longtemps, les scientifiques pensaient que c'était un bug, une erreur de construction qu'il fallait corriger pour que le modèle comprenne mieux le sens des mots.

Mais cet article dit : "Attendez, ce n'est peut-être pas un bug, c'est une caractéristique !"

Voici comment les auteurs expliquent ce phénomène avec des analogies simples.

1. La Foule et le Solitaire : L'Effet de la Fréquence 🏙️

Imaginez une grande place publique (l'espace d'apprentissage du modèle).

Les mots très fréquents (comme "le", "de", "et") sont comme des touristes très populaires. Ils arrivent en masse, tout le temps. Parce qu'ils sont si nombreux, le modèle les "connaît" par cœur. Ils finissent par se regrouper très serrés, presque immobiles, dans un petit coin de la place. Ils sont figés.
Les mots rares (comme "kangourou", "éphemère") sont comme des solitaires qui arrivent de temps en temps. Ils ont plus de liberté pour se promener, explorer différents coins de la place. Ils sont mobiles.

La découverte clé : Plus un mot est fréquent, plus il est "collé" à sa position idéale. Sa variance (sa capacité à bouger) s'effondre. C'est ce que les auteurs appellent l'effondrement de la variance induit par la fréquence.

2. La Colline et la Plaine : La Géométrie de l'Apprentissage 🏔️

Maintenant, imaginez que la place où se promènent les mots n'est pas plate, mais qu'elle a des reliefs (des collines, des vallées). C'est la géométrie de la courbure.

La théorie : Normalement, si vous marchez sur une colline, vous devriez voir la courbure du terrain.
Le problème : Comme les mots fréquents sont si "collés" au sol (à cause de leur fréquence), ils ne voient pas la courbure ! Ils sont trop proches du point de départ pour sentir la pente. Ils ne voient que le sol plat juste devant leurs pieds.
Conséquence : Le modèle perd la capacité de distinguer les directions "curvilignes" (complexes) et se concentre uniquement sur les directions "tangentielles" (les lignes droites, les directions principales).

C'est comme si vous regardiez une montagne de très près : vous ne voyez que le sol sous vos chaussures, pas la forme globale de la montagne.

3. Le Train qui ne dévie jamais 🚂

Lorsque le modèle apprend (s'entraîne), il fait des ajustements, comme un train qui suit des rails.

Les auteurs montrent que le modèle a une préférence naturelle pour ajuster les mots le long des lignes droites (les directions tangentielles) plutôt que de les pousser vers les courbes.
C'est un cercle vertueux (ou vicieux) :
1. Le modèle ajuste les mots fréquents sur une ligne droite.
2. Cela renforce cette ligne droite.
3. Le modèle devient encore plus fort sur cette ligne et ignore les autres directions.
4. Résultat : Tout le monde finit par se ranger sur le même rail, créant ce "cône" anisotrope.

4. Pourquoi c'est une bonne chose ? (Le Secret de la Réussite) ✨

Au lieu de voir cela comme un défaut, les auteurs suggèrent que c'est en fait une astuce de génie pour la généralisation.

Imaginez que vous essayez de dessiner un portrait. Si vous essayez de contrôler chaque pixel individuellement (un espace isotrope, parfait et uniforme), vous allez vous perdre dans les détails et faire une erreur.
Mais si vous vous concentrez sur quelques traits principaux (les directions tangentielles, les axes majeurs), vous capturez l'essence du visage.

L'anisotropie est une réduction de dimension implicite. Le modèle dit : "Je n'ai pas besoin de toute la complexité du monde, je vais juste me concentrer sur les directions les plus importantes pour comprendre le langage."
Cela permet au modèle de mieux généraliser (de mieux fonctionner sur des phrases qu'il n'a jamais vues) en évitant de se perdre dans le bruit.

En Résumé 🎯

Le Phénomène : Les mots dans les IA ne sont pas répartis au hasard, ils forment des faisceaux serrés (anisotropie).
La Cause : Les mots très fréquents sont si bien appris qu'ils se figent sur des trajectoires très droites, effaçant la complexité géométrique (la courbure) de l'espace.
Le Mécanisme : L'apprentissage renforce ces lignes droites, créant un effet de "train sur rail" qui ignore les courbes.
Le Message : Ce n'est pas un bug ! C'est une stratégie intelligente du modèle pour simplifier le monde et mieux apprendre. C'est comme si le modèle décidait de ne regarder que les lignes directrices d'une carte pour ne pas se perdre dans les détails inutiles.

En une phrase : L'anisotropie dans les Transformers, c'est la preuve que le modèle apprend à se concentrer sur l'essentiel en ignorant le superflu, un peu comme un expert qui voit le fond du problème sans se laisser distraire par les détails.

1. Problématique et Contexte

Les architectures Transformer dominent le traitement du langage naturel (NLP), mais leurs représentations internes souffrent d'un phénomène d'anisotropie : les embeddings de tokens (ou de phrases) ne se répartissent pas uniformément dans l'espace vectoriel, mais se concentrent dans un cône étroit, présentant une similarité cosinus élevée même pour des contenus non liés.

Traditionnellement, cette anisotropie est considérée comme un défaut (pathologie) nuisant à la séparation linéaire et à la sémantique. Cependant, des travaux récents suggèrent qu'elle pourrait être inhérente au mécanisme d'auto-attention ou liée à la structure syntaxique du langage.

Le problème central abordé par l'article est le manque d'explications théoriques fondées sur la géométrie des représentations et les dynamiques d'apprentissage. Les études précédentes manquent souvent de liens entre la fréquence des tokens, la géométrie locale des variétés de données et l'évolution des gradients pendant l'entraînement. L'article cherche à répondre à la question : Comment la fréquence des tokens et la géométrie locale influencent-elles la formation de l'anisotropie et la direction des mises à jour de gradient ?

2. Méthodologie

L'approche de l'article combine une analyse théorique géométrique rigoureuse et une validation empirique via l'interprétabilité mécanistique pendant l'entraînement (et non seulement a posteriori).

A. Arguments Théoriques (Géométrie et Dynamique)

Les auteurs formalisent l'hypothèse selon laquelle les embeddings de tokens se concentrent localement sur une variété différentiable de basse dimension ( $M \subset \mathbb{R}^d$ ).

Effet de la fréquence sur l'échantillonnage :
- Ils postulent que les tokens fréquents subissent un effondrement de la variance de leur norme (norm shrinkage) et se concentrent fortement autour de leur "centroïde idéal" $\mu$ .
- En utilisant un modèle d'échantillonnage radial où la densité $g(t)$ (distance au centroïde) décroît avec la fréquence, ils démontrent que cette concentration atténue la visibilité des directions de haute courbure de la variété. Les directions à forte courbure (qui nécessiteraient un plus grand déplacement intrinsèque pour atteindre une même distance euclidienne) deviennent sous-représentées.
Biais de Gradient vers les Directions Tangentes :
- En décomposant le déplacement d'un point en composante tangente ( $v \in T_\mu M$ ) et normale ( $n \in N_\mu M$ ), ils montrent que la composante normale est d'ordre $O(t^2)$ tandis que la tangente est d'ordre $O(t)$ .
- Proposition clé : Les mises à jour de gradient (via la rétropropagation) favorisent massivement les directions tangentes. Le rapport entre l'énergie du gradient dans la direction normale et tangente est de l'ordre de $O(t)$ .
- Ce biais crée une boucle de rétroaction : les directions tangentes sont amplifiées, tandis que les composantes normales (liées à la courbure) sont progressivement "affamées" de signal, renforçant l'anisotropie et la structure linéaire locale.

B. Validation Empirique

Pour tester ces hypothèses, les auteurs utilisent une méthode d'interprétabilité mécanistique basée sur les concepts :

Extraction de sous-espaces tangents : Ils extraient un sous-espace de rang faible (proxy tangent) à partir des activations des premiers checkpoints (phase précoce de l'entraînement), supposé capturer les directions dominantes de variation.
Comparaison des Gradients : Ils comparent l'énergie des vrais gradients (rétropropagés) et les mesures d'anisotropie (IsoScore*) sur ce sous-espace tangent par rapport à des sous-espaces normaux de rang équivalent (contrôles aléatoires ou déterministes).
Modèles testés : Une large gamme de modèles encodeurs (EuroBERT, CamemBERT) et décodeurs (Pythia, SmolLM2, OLMo) de différentes tailles.

3. Contributions Clés

Argumentation Théorique sur la Courbure : Démonstration mathématique que l'échantillonnage radial concentré (dû à la fréquence des tokens) atténue le biais géométrique naturel qui favoriserait les directions de haute courbure, conduisant à une perte d'expressivité géométrique et à une concentration dans des directions "plates" (tangentes).
Mécanisme de Dynamique d'Apprentissage : Identification d'un biais de gradient intrinsèque qui amplifie préférentiellement les directions tangentes par rapport aux normales, créant un mécanisme d'auto-amplification de l'anisotropie dès le début de l'entraînement.
Preuve Empirique "In-Training" : Utilisation inédite de l'interprétabilité mécanistique pendant l'entraînement pour montrer que les gradients réels sont fortement alignés avec les sous-espaces tangents dérivés des activations, validant ainsi la théorie.

4. Résultats Principaux

Les résultats expérimentaux, résumés dans le Tableau 1 de l'article, confirment fortement les hypothèses théoriques :

Concentration de l'Énergie du Gradient : Les directions tangentes extraites des activations captent une énergie de gradient nettement supérieure (souvent par un ordre de grandeur ou plus) par rapport aux directions normales appariées. Le rapport d'énergie ( $E_r$ ) est très élevé, surtout dans la phase précoce de l'entraînement.
Explication de l'Anisotropie : Le retrait du sous-espace tangent améliore significativement l'isotropie (réduit l'anisotropie) plus que le retrait d'un sous-espace normal de même rang. Les valeurs de $\Delta Iso^*$ sont positives et significatives pour les tangentes, tandis qu'elles sont négligeables ou négatives pour les normales.
Dynamique Temporelle : L'effet est le plus fort dans la phase précoce de l'entraînement (premiers 30%), ce qui suggère que la structure anisotrope est "imprimée" tôt et stabilisée par la suite.
Différence Encodeur/Décodeur : Les modèles décodeurs (causal) montrent un alignement tangent plus fort que les encodeurs (comme EuroBERT), ce qui correspond à la théorie : les encodeurs, avec leur objectif MLM (Masked Language Modeling) et leur équilibrage multilingue, présentent une concentration de fréquence plus faible, et donc un biais tangent atténué mais toujours présent.
Corrélation Fréquence-Anisotropie : Les tokens fréquents montrent une variance de trajectoire plus faible et un alignement tangent plus fort, confirmant le lien entre la fréquence, la concentration géométrique et le biais de gradient.

5. Signification et Implications

Ce travail apporte un changement de paradigme dans la compréhension de l'anisotropie des Transformers :

De Pathologie à Régularisation Naturelle : L'anisotropie n'est pas nécessairement un défaut à corriger, mais pourrait être une forme de régularisation implicite. En forçant les représentations vers des sous-espaces de basse dimension (tangentes), le modèle réduit la complexité effective du problème, facilitant la généralisation malgré la sur-paramétrisation massive.
Compréhension de la Géométrie du Langage : L'article suggère que la géométrie des embeddings est dictée par la fréquence des tokens et la structure syntaxique, plutôt que par une distribution sémantique purement isotrope.
Implications pour l'Interprétabilité : Il démontre que l'analyse des circuits neuronaux et des concepts doit tenir compte de cette dynamique géométrique précoce. Les directions dominantes ne sont pas aléatoires mais sont le résultat d'un biais d'optimisation géométrique.
Futur de la Recherche : Cela ouvre la voie à de nouvelles méthodes de régularisation ou d'initialisation qui pourraient exploiter ou contrôler ce biais tangent pour améliorer l'efficacité de l'apprentissage ou la qualité des représentations sémantiques.

En résumé, l'article fournit une explication géométrique et dynamique unifiée de l'anisotropie, reliant la fréquence des données, la courbure des variétés de représentation et les dynamiques d'optimisation des Transformers.