🤖 machine learning

Geometric and Behavioral Stratification in Transformer Residual Streams

Cet article identifie la direction de prédiction comme une ancre privilégiée et définie par le contenu dans les flux résiduels des transformers, laquelle stratifie géométriquement et comportementalement le calcul de haute dimension en une interface étroite, structurée et proche de la prédiction, et un complément vaste et dépendant de l'échelle, révélant comment la lecture linéaire coexiste avec des représentations internes complexes.

Auteurs originaux : Nelson Guda

Publié 2026-08-14

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nelson Guda

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment fonctionne le cerveau d'un robot géant et super intelligent. Ce cerveau est construit à partir d'un type de technologie appelé « transformer », qui est le moteur derrière de nombreux chatbots d'IA et outils de rédaction que nous utilisons aujourd'hui. Ces robots ne pensent pas comme les humains ; ils traitent l'information à travers un immense « flux résiduel » à haute dimension. Imaginez ce flux comme une gigantesque rivière de nombres qui tourbillonne et coule à travers les couches du robot. À chaque étape, le robot ajoute de nouvelles informations à cette rivière, et à la toute fin, il doit décider quel mot dire ensuite.

Pendant longtemps, les scientifiques ont pensé que si l'on rendait le robot plus grand (en ajoutant plus de paramètres ou en élargissant la rivière), la façon dont il déciderait des mots deviendrait simplement plus grande et plus complexe de la même manière. Ils supposaient que la partie « prise de décision » du cerveau s'étendrait pour occuper tout le nouvel espace. Cette nouvelle recherche pose une question différente : et si le robot gardait son canal de prise de décision étroit et fixe, tout en utilisant l'espace supplémentaire pour autre chose ? L'auteur cherche essentiellement à cartographier la géographie de cette rivière pour voir où se déroule la « vraie » pensée et où le robot ne fait que stocker ses notes. Il veut savoir si la carte interne du robot est organisée de manière aléatoire ou si elle suit une règle cachée et spéciale.

La grande découverte de l'article : l'« Ancre de prédiction »

Dans cette étude, les chercheurs Nelson Guda et ses collègues ont examiné 18 modèles d'IA différents, allant de petits modèles (7 milliards de paramètres) à des modèles massifs (120 milliards de paramètres). Ils voulaient voir comment ces modèles organisent leur « rivière » interne de données. Ils ont découvert que les modèles ne flottent pas simplement de manière aléatoire ; ils organisent tout autour d'une cible spécifique et mouvante : la direction de prédiction.

Imaginez que le robot essaie de deviner le mot suivant dans une phrase. Il a une « cible » dans son esprit — la direction spécifique dans son cerveau qui pointe vers ce mot. Les chercheurs ont découvert que le robot traite cette cible comme une ancre spéciale. Tout dans son cerveau est mesuré par rapport à cette ancre.

La « Porte étroite » contre le « Grand entrepôt »

La découverte la plus surprenante est que la partie du cerveau qui décide réellement du mot suivant est incroyablement petite et conserve la même taille, peu importe la taille du robot. L'auteur appelle cela l'interface de prédiction.

L'analogie : Imaginez un immense entrepôt à plusieurs étages (le cerveau du modèle). À l'intérieur de cet entrepôt, il y a une porte minuscule et étroite (l'interface de prédiction) qui mène vers le monde extérieur (le mot suivant).
Le constat : Que l'entrepôt soit de la taille d'une maison ou de la taille d'une ville, cette porte reste exactement de la même taille. Les chercheurs ont découvert que cette « porte » n'utilise que 4 à 10 dimensions (une infime tranche de l'espace total du cerveau).
Le reste du cerveau : Le reste de l'entrepôt — le « complément distal de prédiction » — est immense. À mesure que les modèles grandissent, cet entrepôt devient de plus en plus grand, mais la porte, elle, ne change pas. L'espace supplémentaire n'est pas utilisé pour élargir la porte ; il est utilisé pour construire une zone de stockage massive autour de la porte.

Pourquoi cela importe : le jeu du « Signal vs Bruit »

Pourquoi un robot garderait-il une porte aussi étroite ? L'article suggère que c'est pour garder le signal clair. Si la porte était large et désordonnée, tout le bruit de l'immense entrepôt se mélangerait à la décision. En gardant la porte étroite et l'entrepôt immense, le robot peut effectuer tous ses calculs complexes dans l'entrepôt, mais il ne laisse passer que le « signal » pur et clair à travers la petite porte pour prendre sa décision.

Les chercheurs ont découvert que l'« entrepôt » (le complément) effectue en réalité une grande partie du travail de force. Même s'il est éloigné de la porte de décision, si vous modifiez la direction des données dans l'entrepôt, la sortie du robot devient immédiatement folle. Cependant, si vous réduisez simplement la taille des données dans l'entrepôt (sans changer leur direction), le robot ne rencontre aucun problème. Cela suggère que le robot se soucie de là où les données pointent, et non de la taille de ces données.

Le mystère de l'« Anti-regroupement »

Voici un tournant étrange que les chercheurs ont découvert. Lorsqu'ils ont observé comment le robot regroupe des requêtes similaires (comme des questions sur les mathématiques versus des questions sur l'histoire), ils s'attendaient à ce que l'« entrepôt » soit désordonné. Au lieu de cela, ils ont trouvé quelque chose de surprenant : l'entrepôt fait exactement l'inverse de ce qu'on attendrait.

La Porte (Interface de prédiction) : Cette partie est très efficace pour distinguer les différents groupes de requêtes. Elle garde les questions de mathématiques loin des questions d'histoire.
L'Entrepôt (Complément) : Cette partie est « anti-discriminatoire ». Elle repousse en fait les requêtes du même groupe pour les éloigner davantage et rapproche celles de groupes différents.

Imaginez une fête. La « porte » est le videur qui vérifie les identités et sépare les VIP des clients réguliers. L'« entrepôt » est la piste de danse. Sur la piste de danse, les VIP pourraient danser en cercle de manière chaotique, tandis que les clients réguliers sont regroupés. L'entrepôt semble effectuer un type spécial d'équilibre pour s'assurer que, même si la « porte » voit des choses différentes, le résultat final (le mot suivant) ait toujours du sens.

Le « Cadre de la tâche » contre la « Ligne narrative »

Les chercheurs ont également testé ce qui se passe lorsqu'ils « brouillent » différentes parties du cerveau. Ils ont trouvé une hiérarchie claire dans la façon dont le robot se comporte :

La couche de « Posture » (la plus proche de la porte) : Si vous perturbez la partie du cerveau la plus proche de la porte de décision, le robot oublie immédiatement ce qu'il est censé faire. Il peut arrêter d'écrire une histoire pour donner des conseils de grammaire, ou passer d'un assistant utile à un critique grincheux. Cela change instantanément le cadre de la conversation.
La couche de « Trajectoire » (un peu plus loin) : Si vous perturbez la couche suivante, le robot conserve le même cadre (il reste un assistant utile), mais il change le contenu de l'histoire. Il peut commencer à parler d'un chat au lieu d'un chien, mais il raconte toujours une histoire.
La couche « Dynamique » (la partie mouvante) : Les chercheurs ont également découvert que le vaste entrepôt possède une partie « statique » (comme un échafaudage permanent) et une partie « dynamique » (comme une enveloppe mobile qui se met à jour chaque seconde). Si vous figez la partie dynamique et ne la laissez pas se mettre à jour, le robot plante immédiatement. Il a besoin de cette mise à jour constante pour continuer à générer du texte.

Ce que cela signifie pour l'avenir

L'article suggère qu'à mesure que les modèles d'IA deviennent plus grands et plus intelligents, ils ne deviennent pas plus « larges » dans leur prise de décision. Au lieu de cela, ils deviennent meilleurs pour emballer des calculs plus complexes dans le vaste entrepôt entourant cette petite porte fixe.

Cela change la façon dont nous pourrions évaluer ces modèles. Si nous regardons seulement la réponse finale (ce qui sort de la porte), nous risquons de manquer 99 % de ce que le modèle fait réellement à l'intérieur de l'entrepôt. Le modèle pourrait effectuer des raisonnements incroyablement complexes dans cet espace vaste et caché, mais parce que la porte est si étroite, nous ne pouvons pas le voir. L'auteur suggère que pour véritablement comprendre l'IA, nous devons regarder à l'intérieur de l'entrepôt, et pas seulement à la porte.

En résumé, l'article révèle que ces cerveaux d'IA géants sont organisés comme une forteresse dotée d'une porte étroite et immuable. La magie opère dans la vaste cour cachée derrière la porte, là où le vrai travail est accompli, et la porte elle-même ne fait que veiller à ce que le message final sorte de manière claire et nette.

Résumé technique : Stratification géométrique et comportementale des flux résiduels des Transformers

Énoncé du problème

Des recherches récentes ont établi que les modèles transformers entraînés développent des « bases privilégiées » — des axes de coordonnées spécifiques possédant des propriétés statistiques distinctes du reste du flux résiduel. Cependant, le rôle fonctionnel et la nature géométrique de ces directions privilégiées restent obscurs. Alors que des travaux antérieurs avaient identifié ces axes comme des ensembles de coordonnées anomales, ils n'expliquaient pas quelle direction spécifique est sélectionnée, ni comment elles organisent le calcul de haute dimension du modèle.

Cet article comble la lacune entre la nature de haute dimension du calcul des transformers (des milliers de dimensions) et la nature de basse dimension de la lecture linéaire (une projection unique sur les logits du vocabulaire). L'auteur examine si la direction de prédiction — le vecteur d'unembedding du jeton que le modèle prédit actuellement — sert d'ancre privilégiée définie par le contenu qui organise la géométrie et le comportement du flux résiduel.

Méthodologie

L'auteur introduit la PDSF (Décomposition de sous-espaces ancrée sur la prédiction), un système de coordonnées qui partitionne l'état du flux résiduel ( $h$ ) à chaque couche en quatre composantes strictement orthogonales, ordonnées par leur proximité avec la direction de prédiction actuelle du modèle ( $\hat{u}$ ) :

P (Prédictive) : La projection de rang 1 de $h$ sur le vecteur d'unembedding normalisé $\hat{u}$ du jeton argmax actuel.
D (Discriminative) : Les directions PCA de top- $k$ du résiduel après retrait de $P$ .
S (Situationnelle) : Les directions PCA de top- $k$ du résiduel après retrait de $P$ et $D$ .
F (Framework/Complément) : Le reste orthogonal, représentant la vaste majorité des dimensions du flux résiduel.

La région combinée $P + D + S$ est appelée l'interface de prédiction, tandis que $F$ est le complément distal de la prédiction.

Configuration expérimentale :

Banc d'essai : 18 modèles transformers issus de 6 familles d'architectures (Llama, Gemma, Mistral, Mixtral, Qwen, GPT-OSS), couvrant de 7B à 120B de paramètres, incluant des variantes de base et d'instruction-tuning.
Ensembles de prompts : Trois ensembles structurés conçus pour sonder différentes variations :
- SpecA : Prompts contraints avec des réponses fixes mais des formes de surface variées (224 prompts).
- SpecB : Continuations narratives ouvertes (80 prompts).
- Diverse : Prompts à travers 8 régimes linguistiques (narratif, code, mathématiques, etc.) (84 prompts).
Interventions : L'auteur emploie des interventions ciblées, incluant des perturbations à passage unique, des rotations de type mélange aléatoire persistant (rotations de mesure de Haar appliquées à environ 70 % de la profondeur), et l'atténuation de magnitude, pour tester les rôles causaux.

Contributions clés et résultats

1. Une interface de prédiction invariante à l'échelle

La dimensionnalité effective des sous-espaces proximaux à la prédiction ( $D$ et $S$ ) est faible et invariante à l'échelle.

Sur les prompts contraints, le rang effectif de $D$ est systématiquement de un chiffre (moyenne $\approx 4$ ) pour tous les modèles, indépendamment de la dimension cachée ( $d_{model}$ allant de 2 880 à 8 192).
La dimensionnalité de l'interface est déterminée par la complexité sémantique du prompt, et non par la largeur du modèle.
L'instruction-tuning affine l'organisation interne de l'interface (augmentant la discrimination et réduisant la sensibilité au paraphrase) mais ne l'élargit pas.
Conclusion : Le passage à l'échelle augmente la taille du complément distal de la prédiction ( $F$ ), et non l'interface de prédiction.

2. Stratification géométrique : Orthogonalité et complexité de la variété

Orthogonalité : La direction de prédiction est presque orthogonale (angle moyen $\approx 84^\circ$ – $86^\circ$ ) aux axes de variance principaux du flux résiduel. Les directions de haute variance sont déplacées loin de l'axe de lecture.
Gradient de complexité de la variété : Il existe un gradient abrupt de complexité de la variété le long de l'axe de proximité de la prédiction.
- Proximal à la prédiction ( $D$ ) : Géométrie hautement repliée et structurée (haute densité d'information).
- Distal à la prédiction ( $F$ ) : Géométrie plate et uniforme.
- Ce gradient est nettement plus raide lorsqu'il est mesuré par rapport à la direction de prédiction comparativement aux contrôles PCA ordonnés par variance standard, particulièrement sur des prompts linguistiquement hétérogènes.

3. Anti-discrimination dans le complément

Contrairement à l'attente selon laquelle la discrimination de groupe s'estompe avec la distance de la direction de prédiction, le complément ( $F$ ) présente une anti-discrimination.

Les prompts d'un même groupe sémantique sont systématiquement plus éloignés dans l'espace $F$ que les prompts de groupes différents.
Cela suggère que $F$ porte une configuration spécifique au prompt qui compense les variations des états proximaux à la prédiction pour obtenir des résultats de lecture similaires.

4. Direction plutôt que Magnitude (Hypothèse de la coque mince)

L'article valide l'hypothèse de la « coque mince » (thin-shell) : la variation du flux résiduel est pilotée par la direction, et non par la magnitude.

Perturber la direction du complément ( $F$ ) via une rotation provoque une divergence immédiate et sévère de la sortie.
Réduire la magnitude de $F$ (atténuation) tout en préservant la direction a un effet négligeable.
Cela confirme que le complément agit comme un substrat directionnel essentiel pour le calcul, malgré son faible alignement avec la lecture.

5. Stratification comportementale

Les interventions de rotation persistantes révèlent une hiérarchie comportementale alignée sur l'axe de proximité de la prédiction :

Sous-espace $D$ (Cadrage immédiat) : La perturbation provoque une divergence immédiate (moyenne du premier jet divergeant $\approx 1,2$ ) et des changements de cadre de tâche fréquents (ex: passer de la réponse à un méta-commentaire).
Sous-espaces $S$ et $F$ -topK (Trajectoire) : La perturbation provoque une divergence retardée (moyenne du premier jet divergeant $\approx 5,6$ pour $S$ , $\approx 6,5$ pour $F$ -topK) et une substitution de contenu au sein d'un cadre de tâche préservé.
Cela indique que $D$ contrôle le cadrage initial de la réponse, tandis que $S$ et la partie de haute variance de $F$ contrôlent la trajectoire ultérieure.

6. Partition Statique/Dynamique du complément

Le complément $F$ est davantage organisé par la dynamique temporelle :

Il se sépare en un échafaudage statique (moyenne temporelle) et une enveloppe dynamique (mises à jour jeton à jeton).
L'enveloppe dynamique est causalement supportante de charge : injecter un $F$ « obsolète » (décalé d'un pas) provoque une divergence universelle dès le premier jeton.
La rotation des directions de l'enveloppe dynamique provoque un échec catastrophique (taux d'échec de 92,3 %), distinct de la redirection causée par la rotation de $D$ ou $S$ .

Signification et affirmations

L'article affirme établir la direction de prédiction comme une ancre privilégiée, définie par le contenu, qui organise la géométrie du flux résiduel d'une manière distincte des axes de coordonnées décrits précédemment.

Contrainte architecturale : Les conclusions suggèrent que la lecture linéaire impose une contrainte de « rapport signal sur bruit », forçant le modèle à isoler la structure pertinente à la prédiction dans une interface étroite et invariante à l'échelle, tout en étendant le substrat de calcul ( $F$ ) de manière orthogonale.
Aveuglement de l'évaluation : Comme la majeure partie du flux résiduel (le complément) est faiblement alignée avec la lecture, les métriques d'évaluation basées sur la sortie (logits, précision du jeton suivant) sous-estiment probablement le calcul interne et les changements structurels se produisant dans le modèle lors de sa montée en échelle.
Interprétabilité : La stratification géométrique offre un cadre pour l'interprétabilité au niveau des caractéristiques, suggérant que le cadrage de la tâche réside dans $D$ , tandis que la trajectoire et le maintien de l'état résident dans $S$ et $F$ .
Géométrie vs Variance : L'article soutient que l'organisation géométrique n'est pas simplement une ombre de la structure de variance ; l'ancrage à la direction de prédiction révèle des principes organisationnels (comme l'anti-discrimination de $F$ et la hiérarchie comportementale) que les analyses basées uniquement sur la variance ne parviennent pas à capturer.

L'auteur conclut que les flux résiduels des transformers sont mieux compris non pas comme des activations diffuses de haute dimension, mais comme des géométries stratifiées présentant une interface de prédiction fixe enchâssée dans un substrat dynamiquement maintenu et causalement supportant de charge.