🤖 machine learning

Trajectory Geometry of Transformer Representations Across Layers

Cet article introduit un cadre géométrique sans sonde pour l'interprétabilité mécaniste qui caractérise les représentations des transformeurs comme des trajectoires discrètes à travers les couches, révélant une dynamique universelle en trois phases et démontrant comment la courbure, la convergence et la bifurcation encodent la complexité computationnelle, la similitude sémantique et l'ambiguïté à travers diverses familles de modèles.

Auteurs originaux : Vishal Pandey, Gopal Singh

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vishal Pandey, Gopal Singh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Transformer IA (comme ceux qui alimentent les chatbots) non pas comme une boîte noire qui transforme magiquement du texte en réponses, mais comme un randonneur marchant à travers un vaste paysage invisible.

Cet article propose une nouvelle façon d'observer ce randonneur. Au lieu de s'arrêter à chaque pas pour demander : « Quelle parole spécifique es-tu en train de penser en ce moment ? » (ce qui est la méthode habituelle des chercheurs), les auteurs ont décidé de cartographier l'intégralité du chemin que le randonneur emprunte, du début du sentier jusqu'à la fin. Ils appellent ce chemin une « trajectoire ».

Voici ce qu'ils ont découvert sur la forme de ce chemin, en utilisant des analogies simples :

1. L'effet « Aimant » (Convergence Sémantique)

L'analogie : Imaginez que vous lâchiez trois balles de couleurs différentes (représentant trois phrases différentes sur les « chiens ») dans un entonnoir. En haut, elles sont éloignées les unes des autres. En tombant, elles sont attirées vers le centre de l'entonnoir jusqu'à ce qu'elles s'agglutinent en un tas serré au fond.
La découverte : Les chercheurs ont découvert que lorsque l'IA traite des phrases ayant des significations similaires, leurs « chemins » internes partent de points éloignés mais s'incurvent progressivement vers le même endroit au milieu et dans les étapes tardives du réseau. Ils appellent ces points des « attracteurs ». C'est comme si l'IA possédait un aimant intégré qui rapproche les idées similaires à mesure qu'elle réfléchit plus profondément.

2. La « Route sinueuse » vs la « Ligne droite » (Courbure)

L'analogie : Pensez à deux conducteurs.

Le Conducteur A change simplement la couleur de sa voiture (ex : « Le chat » vs « Le chien »). Il conduit en une ligne parfaitement droite et ennuyeuse.
Le Conducteur B résout un puzzle complexe ou un problème de mathématiques. Il doit virer, tourner brusquement et naviguer sur une route sinueuse et tortueuse.
La découverte : L'article a montré que les « routes sinueuses » (haute courbure) surviennent lorsque l'IA réalise un raisonnement complexe ou des analogies. Les « lignes droites » (faible courbure) surviennent lorsque l'IA effectue de simples changements de surface sur les mots. La « torsion » du chemin est une mesure directe de l'intensité de la réflexion de l'IA.

3. Le « Carrefour » (Désambiguïsation)

L'analogie : Imaginez un randonneur debout devant un carrefour. Au début, il se tient simplement à la base de la fourche, incertain de la direction à prendre. À mesure qu'il fait quelques pas, il s'engage lentement sur le chemin de gauche, et la distance entre le « chemin de gauche » et le « chemin de droite » s'élargit de plus en plus jusqu'à ce qu'ils soient séparés par des kilomètres.
La découverte : Lorsque l'IA rencontre un mot à double sens (comme « banque » de rivière vs « banque » pour l'argent), les deux sens possibles partent exactement du même point. Mais à mesure que l'IA traite la phrase, le chemin se divise. Environ 20 à 25 % du parcours dans le réseau, les chemins commencent à se séparer nettement, et à la fin, ils sont complètement distincts. L'IA ne décide pas instantanément ; elle s'engage progressivement vers un sens au fil de son voyage.

4. Les trois étapes du voyage (Structure en trois phases)

L'analogie : Le voyage n'est pas aléatoire ; il se déroule toujours en trois chapitres distincts, quel que soit le modèle d'IA utilisé :

Chapitre 1 : La Carte (Encodage) : Le randonneur observe le terrain et comprend où il se trouve. Le chemin change de direction rapidement.
Chapitre 2 : La Randonnée (Élaboration) : Le randonneur marche régulièrement à travers la forêt. C'est ici que l'effet « aimant » et les « routes sinueuses » pour les problèmes difficiles se produisent. Le chemin est stable mais effectue le travail de fond.
Chapitre 3 : La Destination (Préparation de la sortie) : Le randonneur voit la ligne d'arrivée et ajuste sa foulée pour se préparer à s'arrêter. Le chemin change de direction une dernière fois pour préparer la réponse finale.

Comment ils savent que c'est réel

Les auteurs n'ont pas simplement deviné. Ils ont mené des « expériences de contrôle » pour s'assurer qu'ils ne voyaient pas des choses inexistantes :

Si l'on mélangeait l'ordre des couches (comme si l'on mélangeait les chapitres d'un livre), les motifs disparaissaient.
Si l'on utilisait un modèle avec des poids aléatoires et non entraînés (comme un randonneur sans carte), les motifs s'évanouissaient.
Si l'on attribuait des significations de manière aléatoire aux mots, l'effet « aimant » disparaissait.

L'essentiel

Cet article soutient que nous pouvons comprendre comment l'IA réfléchit en observant la géométrie de son voyage. Nous n'avons pas besoin de nous arrêter pour demander à l'IA ce qu'elle pense à chaque étape. Au lieu de cela, nous pouvons simplement observer la forme de son chemin :

Lignes droites = Tâches faciles.
Routes sinueuses = Réflexion intense.
Chemins qui s'agglutinent = Idées similaires qui convergent.
Chemins qui se divisent = Choix entre plusieurs sens.

C'est un nouveau prisme qui permet de voir le « flux » de l'intelligence sans avoir besoin d'installer d'outils supplémentaires ou de demander à l'IA de s'expliquer.

Résumé Technique : Géométrie de la Trajectoire des Représentations de Transformers à travers les Couches

Énoncé du Problème

L'interprétabilité mécaniste actuelle des modèles de transformers opère largement dans deux régimes : le traçage de circuits de calcul spécifiques (ex: têtes d'induction, couches MLP) ou le sondage des plongements (embeddings) par couche pour des caractéristiques linguistiques pré-spécifiées. Ces deux paradigmes traitent les couches du réseau comme des instantanés indépendants, négligeant la structure géométrique continue de l'évolution des représentations à travers la profondeur du réseau. Cet article aborde le problème ouvert de comprendre comment les représentations des transformers évoluent à travers les couches, plutôt que de simplement déterminer ce qu'elles encodent à un point statique.

Méthodologie

Les auteurs reformulent la passe directe (forward pass) du transformer comme une trajectoire de population discrète à travers une variété de représentation de haute dimension ( $\mathbb{R}^d$ ). Inspirée par les analyses de trajectoires de population en neurosciences computationnelles, l'étude évite la réduction de dimensionnalité pour le calcul métrique, opérant entièrement dans l'espace ambiant complet afin d'éviter les artefacts de projection.

Cadre Fondamental

Extraction de la Trajectoire : Pour une séquence d'entrée, les états cachés sont extraits à chaque couche $l$ (des plongements d'entrée $h^{(0)}$ aux sorties finales $h^{(L)}$ ). Les représentations au niveau de la séquence sont obtenues via un pooling moyen sur les tokens non-padding.
Métriques Géométriques : Cinq métriques sont définies directement dans $\mathbb{R}^d$ $R^{d}$ :
- Longueur de Trajectoire ( $L$ ) : Déplacement euclidien total à travers les couches.
- Courbure ( $\kappa$ ) : L'angle de rotation entre les vecteurs de déplacement consécutifs ; la courbure moyenne ( $\bar{\kappa}$ ) mesure la non-linéarité.
- Indice de Convergence Sémantique (CI) : Mesure la compression des prompts sémantiquement liés par rapport aux non-liés ( $D_{entre} - D_{intra}$ ).
- Similitude Cosinus par Couche (SIM) : Similitude angulaire entre couches adjacentes pour détecter les transitions de phase.
- Stabilité Représentationnelle : Similitude entre un prompt et sa perturbation lexicale pour mesurer l'abstraction de la forme de surface.
Design Expérimental :
- Modèles : Trois familles de modèles decoder-only (GPT-2 Small, TinyLlama-1.1B, Qwen2.5-1.5B).
- Prompts : 150 prompts sémantiquement contrôlés répartis en cinq familles : Catégories Sémantiques, Variations Lexicales, Raisonnement Analogique, Raisonnement Multi-étapes et Concepts Ambigus.
- Contrôles : Quatre contrôles rigoureux (Labels Aléatoires, Plongements Aléatoires, Ordre des Couches Mélangé, Multiples Méthodes de Projection) pour distinguer le calcul appris des artefacts géométriques.

Principales Contributions

L'article introduit un cadre de géométrie de trajectoire pour l'interprétabilité des transformers qui est indépendant de tout sondage (probe-free) et agnostique au modèle. Il définit cinq métriques de haute dimension pour caractériser la dynamique des représentations sans nécessiter de classificateurs ou de fine-tuning. Les auteurs publient un pipeline open-source permettant cette analyse pour n'importe quel modèle de langage causal.

Résultats Clés

À travers les trois architectures et validé par les contrôles, l'étude rapporte quatre conclusions principales :

Convergence Sémantique vers des Bassins d'Attraction : Les prompts sémantiquement liés subissent une convergence statistiquement significative dans les couches moyennes à tardives. L'indice de convergence augmente brusquement, passant de près de zéro dans les premières couches à des valeurs de pointe de 0,41–0,58 dans les couches ultérieures ( $p < 0,001$ ). Cet effet disparaît sous les contrôles de labels aléatoires, suggérant une dynamique de type attracteur pilotée par la sémantique apprise.
La Courbure comme Indicateur de Complexité : Les tâches de raisonnement et d'analogie produisent des trajectoires avec une courbure moyenne significativement plus élevée que les variations lexicales.
- Raisonnement (Multi-étapes/Analogie) : 0,71–0,83 rad.
- Variations Lexicales : 0,27–0,31 rad.
- Cette différence est constante à travers les modèles ( $p < 0,001$ ), suggérant que la courbure moyenne encode la complexité computationnelle. Les pics de courbure surviennent dans une "zone d'inflexion computationnelle" (environ 20–45 % de la profondeur du réseau), s'alignant sur les couches connues de récupération des têtes d'induction et des MLP.
La Désambiguïsation comme Bifurcation de Trajectoire : Les tokens ambigus (ex: "bank" dans différents contextes) présentent une bifurcation de trajectoire mesurable. Les représentations pour différents contextes partent de points presque identiques à la couche 0 mais se séparent progressivement, atteignant un ratio de séparation de 5,6× à la couche finale. Le début de cette bifurcation est constant à ~20–25 % de la profondeur du réseau à travers les architectures, indiquant un calendrier universel de désambiguïsation progressive plutôt qu'une résolution instantanée.
Structure Computationnelle Universelle en Trois Phases : La similitude cosinus par couche révèle une structure cohérente en trois phases à travers tous les modèles :
- Phase I (Encodage) : Changement représentationnel rapide (faible similitude).
- Phase II (Élaboration) : Similitude stabilisée, coïncidant avec la convergence sémantique et une courbure élevée.
- Phase III (Préparation de la Sortie) : Une chute secondaire de la similitude alors que les représentations se recalibrent vers le vocabulaire de sortie.
  Cette structure s'effondre sous les contrôles d'embeddings aléatoires, confirmant qu'elle est le produit du calcul entraîné.

Signification et Revendications

L'article soutient que la passe directe du transformer n'est pas une séquence arbitraire d'états mais un flux géométriquement structuré. La portée de ce travail réside dans :

Interprétabilité Sans Sondage (Probe-Free) : Fournir un prisme pour analyser le comportement du modèle sans pré-spécifier de caractéristiques ou entraîner des classificateurs.
Pont avec les Systèmes Dynamiques : Connecter les concepts des neurosciences computationnelles (variétés, attracteurs, courbure) au deep learning, offrant une vue unifiée de la manière dont les représentations évoluent.
Perspectives Actionnables : Les résultats suggèrent que les interventions pour la désambiguïsation ou le pilotage (steering) devraient cibler des phases de trajectoire spécifiques (ex: avant le début de la bifurcation) plutôt que des couches arbitraires.
Universalité : La cohérence de ces motifs géométriques à travers des modèles de différentes échelles, architectures et corpus d'entraînement suggère que la géométrie de la trajectoire peut être dictée par la structure même du langage.

Les auteurs restent modestes quant à la causalité, notant que bien que la structure géométrique soit corrélée aux propriétés sémantiques et computationnelles, l'article établit une corrélation et non une causalité. Ils identifient la vérification causale via le patching d'activation comme la prochaine étape nécessaire.