🤖 machine learning

A Geometric Perspective on Next-Token Prediction in Large Language Models: Three Emerging Phases

En réutilisant les lentilles de représentation comme outils de diagnostic géométrique pour suivre l'évolution des sous-espaces de lecture prédictive à travers les couches, cette étude révèle que les grands modèles de langage traitent la prédiction du prochain token à travers trois phases géométriques distinctes — Multiplexage d'ensemencement, Surcharge de levage et Convergence focale — où l'augmentation de la profondeur du modèle améliore principalement la désambiguïsation des candidats plutôt que d'étendre la capacité de représentation.

Auteurs originaux : Gianfranco Lombardo, Giuseppe Trimigno, Stefano Cagnoni

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gianfranco Lombardo, Giuseppe Trimigno, Stefano Cagnoni

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle de langage de grande taille (LLM) comme une immense usine à plusieurs étages où un élément d'information (un mot) voyage du rez-de-chaussée jusqu'au toit. À chaque étage, une équipe d'ouvriers ajoute un peu de nouvelle information au paquet avant de le transmettre vers l'étage supérieur. Le grand mystère résolu par cet article est : Comment l'usine décide-t-elle quel mot produire ensuite, et où cette décision a-t-elle réellement lieu ?

Les auteurs n'ont pas seulement demandé ce que le modèle prédit à chaque étage ; ils ont demandé où la prédiction réside à l'intérieur de la machinerie de l'usine et comment elle se déplace en montant.

Voici l'histoire de leur découverte, décomposée en concepts et analogies simples.

L'Outil : La "Lentille de Représentation"

Habituellement, si vous jetez un coup d'œil à l'intérieur de l'usine aux étages intermédiaires, les ouvriers semblent confus. Ils tiennent un mélange confus de possibilités, et si vous essayez de deviner le mot final en fonction de ce qu'ils tiennent, vous vous trompez. Cela est dû au fait que les ouvriers détiennent l'information dans une "superposition" — comme un magicien tenant un jeu de cartes face cachée où toutes les cartes sont mélangées.

Les chercheurs ont utilisé un outil spécial appelé une Lentille de Représentation. Imaginez cela comme une paire de lunettes magiques capables de faire pivoter et de focaliser la vision des ouvriers. Au lieu de simplement regarder le tas désordonné de cartes, la lentille trouve l'angle spécifique où la "carte gagnante" (le mot suivant correct) est en fait visible, même si elle est ensevelie sous d'autres cartes.

La Découverte : Une Pièce en Trois Actes

En suivant le déplacement de la "carte gagnante" à travers l'usine à l'aide de ces lunettes, les auteurs ont découvert que le processus n'est pas aléatoire. Il suit une danse géométrique stricte en trois étapes qui se produit dans presque tous les modèles qu'ils ont testés (des petits modèles de 1 milliard de paramètres aux énormes modèles de 32 milliards).

Phase 1 : Le "Multiplexage de Semis" (Le Rassemblement de la Foule)

Ce qui se passe : Lorsque l'information entre dans l'usine, les ouvriers commencent à lancer plusieurs mots suivants possibles à la fois. Ils ne choisissent pas encore de gagnant.
L'Analogie : Imaginez une pièce bondée où tout le monde crie différentes idées. La pièce est remplie de bruit, mais l'idée "correcte" est déjà là, simplement mélangée à des centaines d'autres.
La Géométrie : L'usine étend son "rang" (sa capacité à contenir de nombreuses idées différentes). Le mot correct est présent, mais ce n'est qu'une voix parmi un chœur. Il est visible par la lentille magique, mais ce n'est pas encore la voix la plus forte.

Phase 2 : Le "Surélevage de Remplacement" (Le Filtre Silencieux)

Ce qui se passe : C'est la partie la plus longue du voyage (environ 60 % de la hauteur de l'usine). Les ouvriers cessent d'ajouter de nouvelles idées. Au lieu de cela, ils commencent à baisser silencieusement le volume des mauvaises idées et à augmenter le volume de la bonne.
L'Analogie : Imaginez un ingénieur du son dans une salle de contrôle. Il n'apporte pas de nouveaux chanteurs ; il atténue simplement lentement le bruit de fond et booste le chanteur principal. Le chanteur principal est toujours entouré par la foule, mais il devient le point focal clair.
La Géométrie : Le "rang" (le nombre d'idées actives) reste stable. Les ouvriers sont très précis ici, effectuant des ajustements minuscules, presque invisibles, qui ne changent pas la forme de la pièce, mais qui changent qui est entendu. C'est ici que le modèle effectue l'essentiel du travail : la désambiguïsation (déterminer lequel des nombreux candidats est réellement correct).

Phase 3 : La "Convergence Focale" (Le Projecteur)

Ce qui se passe : Dans le dernier tronçon, l'usine effectue un mouvement massif et décisif. Elle déverse toute son énergie dans une seule direction.
L'Analogie : L'ingénieur du son coupe soudainement l'alimentation de tout le monde dans la pièce. Le projecteur se verrouille instantanément sur le chanteur principal. La foule se tait, et le chanteur est maintenant la seule chose qui compte.
La Géométrie : Les ouvriers cessent d'être doux. Ils effectuent des mises à jour énormes et puissantes qui s'alignent parfaitement avec la direction de la sortie finale. Le "rang" diminue car ils concentrent toute leur énergie sur un seul gagnant. La lentille magique peut maintenant voir la réponse clairement sans aucune aide.

La Grande Conclusion : Des Modèles Plus Grands = Meilleurs Filtres, Pas Meilleurs Démarrages

La découverte la plus surprenante concerne l'impact de la taille du modèle sur ce processus.

Les auteurs ont découvert que lorsque vous rendez l'usine plus grande (en ajoutant plus d'étages/couches) :

Phase 1 (La Foule) reste à peu près de la même taille.
Phase 3 (Le Projecteur) reste à peu près de la même taille.
Phase 2 (Le Filtre Silencieux) devient beaucoup plus longue.

La Métaphore : Si vous avez une petite usine, la salle de "filtrage" est petite. Si vous avez une usine géante, la salle de "filtrage" est immense.

Cela signifie que lorsque nous construisons des modèles d'IA plus grands et plus intelligents, nous ne les rendons pas nécessairement meilleurs pour commencer avec les bonnes idées ou pour terminer le travail. Nous leur donnons une salle beaucoup plus grande et plus détaillée pour trier la confusion et déterminer laquelle des nombreuses possibilités est la bonne. La puissance supplémentaire des grands modèles est principalement utilisée pour la désambiguïsation des candidats — transformer un tas désordonné de "peut-être ceci, peut-être cela" en un unique et confiant "oui".

Résumé

L'article révèle que la prédiction du prochain token n'est pas un éclair soudain d'intuition à la fin. C'est un voyage géométrique :

Semer : Jeter tout dans le mélange.
Surélever : Filtrer silencieusement le bruit (c'est là que le modèle devient plus grand).
Converger : Se verrouiller sur le gagnant avec une énergie élevée.

La "magie" des modèles de langage de grande taille réside dans cette phase intermédiaire, où ils ont l'espace et le temps de séparer soigneusement le signal du bruit.

Résumé Technique : Une Perspective Géométrique sur la Prédiction du Prochain Token dans les Grands Modèles de Langage

Énoncé du Problème

Comprendre comment les Grands Modèles de Langage (LLM) traitent et affinent les informations prédictives à travers leur profondeur reste un défi central en interprétabilité mécaniste. Bien que l'architecture transformer applique des mises à jour additives à un flux résiduel partagé, l'évolution géométrique de l'information requise pour la prédiction du prochain token reste floue. Les méthodes de sondage standard, telles que le LogitLens, souffrent d'une « dérive représentative », où les états intermédiaires sont désalignés par rapport à la base de désembedding finale, les rendant « aveugles » aux signaux prédictifs présents dans les premières couches. De plus, le principe de superposition suggère que les caractéristiques prédictives peuvent exister dans des directions se chevauchant, cachées au sein du flux résiduel de haute dimension. Cet article aborde la question suivante : Où réside l'information prédictive dans le flux résiduel, et comment sa structure géométrique évolue-t-elle au fur et à mesure qu'elle se propage à travers la profondeur du réseau ?

Méthodologie

Les auteurs proposent un cadre qui réutilise les lentilles de représentation (des applications affines apprises, entraînées pour prédire le prochain token à partir de flux résiduels intermédiaires) en tant qu'outils de diagnostic géométrique plutôt que de simples mécanismes de décodage.

Lentilles de Représentation : Suivant l'approche TunedLens, les auteurs entraînent des corrections affines par couche $(A_\ell, b_\ell)$ pour aligner les représentations intermédiaires avec la distribution de sortie finale via une distillation KL.
Sous-espace de Lecture Prédictive : Au lieu d'analyser la matrice de correction complète, les auteurs effectuent une Décomposition en Valeurs Singulières (SVD) sur la matrice de correction $A_\ell$ . Ils définissent le sous-espace de lecture prédictive $S^{(k)}_\ell$ comme le sous-espace de dimension $k$ engendré par les $k$ vecteurs singuliers droits principaux. Ce sous-espace représente les directions dominantes du flux résiduel où l'information prédictive est concentrée.
Trajectoire sur la Variété de Grassmann : La séquence de sous-espaces $\{S^{(k)}_\ell\}_{\ell=1}^L$ est traitée comme une trajectoire sur la variété de Grassmann $Gr(k, d)$. L'évolution de cette trajectoire est quantifiée à l'aide de la Similarité des Sous-espaces de Lecture (RSS), définie comme le cosinus moyen des angles principaux entre les sous-espaces consécutifs.
Analyse de Résolution : Les auteurs font varier le paramètre de résolution $k$ (de 1 % à 50 % de la dimension cachée $d$ ) pour tracer une frontière de Pareto entre la Visibilité (discriminabilité géométrique entre les couches) et la Rétention d'Énergie (fidélité spectrale). Ils identifient un régime intermédiaire ( $k \in \{5\%, 10\%, 15\%\}$ ) qui équilibre ces métriques.
Détection de Phases : Le profil RSS présente une forme unimodale (montée, plateau, descente). En utilisant un critère Kneedle en deux étapes sur le profil lissé, les auteurs détectent deux points de rupture ( $\hat{b}_1, \hat{b}_2$ ) qui partitionnent la profondeur du réseau en trois phases géométriques distinctes.
Configuration Expérimentale : Le cadre est appliqué à huit modèles issus de deux familles (QWEN2.5 et OLMO2) allant de 1 à 32 milliards de paramètres, entraînés sur le jeu de données SlimPajama. Les métriques incluent le rang effectif des états cachés, l'orthogonalité des mises à jour ( $|\cos(\Delta_\ell, h_{\ell-1})|$ ), et le rapport des normes de mise à jour des FFN par rapport aux MHA.

Contributions Clés

L'article apporte deux contributions principales :

Un Cadre Géométrique pour l'Analyse par Profondeur : Une méthode pour suivre la trajectoire de l'information prédictive sur la variété de Grassmann, révélant que l'information prédictive est présente dès les premières couches mais cachée en superposition, nécessitant une projection de basse dimension pour le décodage.
Identification de Trois Phases Géométriques Émergentes : L'analyse révèle une structure tripartite cohérente dans le passage avant des modèles autoregressifs, caractérisée par des comportements géométriques distincts concernant le rang, l'orthogonalité des mises à jour et la stabilité des sous-espaces.

Résultats et Caractérisation des Phases

Pour tous les modèles et toutes les échelles, le profil de similarité suit une distribution unimodale, définissant trois phases :

Phase 1 : Multiplexage de Semis

Comportement Géométrique : Le sous-espace prédictif se réoriente et se stabilise (RSS croissante). Le rang effectif des états cachés augmente, atteignant un pic vers la fin de cette phase.
Mises à jour : Les mises à jour sont approximativement orthogonales au flux résiduel. Dans QWEN2.5, les contributions des FFN dominent ; dans OLMO2, les contributions sont plus équilibrées.
État Prédictif : Le token final est présent parmi les meilleurs candidats (Hit@1 $\approx$ 20-33 %) mais n'est pas dominant. Le LogitLens reste inefficace, indiquant que le signal est superposé.
Mise à l'échelle : La durée de cette phase évolue faiblement avec la profondeur du modèle (pente $\le$ 0,26), suggérant un coût fixe pour le semis des candidats.

Phase 2 : Surélévation et Remplacement

Comportement Géométrique : Le sous-espace prédictif reste très stable (RSS en plateau quasi constant). Le rang effectif des états cachés se stabilise.
Mises à jour : Les mises à jour sont maximales par rapport à l'orthogonalité avec le flux résiduel (plus faible $|\cos(\Delta_\ell, h_{\ell-1})|$ ). Le rang des mises à jour atteint son pic dans cette phase.
État Prédictif : La distribution des candidats se concentre progressivement (Hit@1 augmente jusqu'à $\approx$ 56 %, le rapport Hit@5/Hit@1 diminue). Le LogitLens reste faible, impliquant que la désambiguïsation se produit à l'intérieur du sous-espace sans alignement explicite avec la base finale.
Mise à l'échelle : Cette phase s'étend linéairement avec la profondeur du modèle (pente $\approx$ 0,6–1,0), indiquant que la capacité supplémentaire du modèle est principalement absorbée par la désambiguïsation des candidats.

Phase 3 : Convergence Focale

Comportement Géométrique : Le sous-espace prédictif se réoriente brusquement vers la direction de désembedding (RSS décroissante). Le rang effectif des mises à jour diminue, se concentrant sur moins de directions.
Mises à jour : Les mises à jour deviennent fortement alignées avec le flux résiduel (plus élevée $|\cos(\Delta_\ell, h_{\ell-1})|$ ). Les normes de mise à jour augmentent brusquement (jusqu'à 10 $\times$ ), et les contributions des FFN dominent dans toutes les familles.
État Prédictif : La distribution des candidats s'effondre vers une prédiction dominante. Les performances du LogitLens s'améliorent considérablement (Hit@1 $\approx$ 30-50 %), indiquant que le token final est désormais directement lisible.
Mise à l'échelle : La largeur de cette phase reste à peu près constante ou évolue très faiblement avec la profondeur.

Importance et Revendications

L'article revendique que la capacité supplémentaire des LLM plus profonds est largement utilisée pour la désambiguïsation des candidats (Phase 2) plutôt que pour le semis initial des candidats (Phase 1) ou la convergence finale (Phase 3). Cela suggère que la charge computationnelle centrale de la prédiction du prochain token dans les transformers profonds réside dans la résolution de représentations superposées au sein d'un sous-espace géométrique stable.

Les résultats s'alignent avec, tout en les étendant distinctement, les théories de champ moyen de la dynamique des transformers (par exemple, Bruno et al.), en cartographiant les phases d'« alignement », de « chaleur » et d'« appariement » sur la progression géométrique observée. Ce travail établit que l'information prédictive n'est pas générée tardivement dans le réseau, mais est présente tôt, cachée en superposition, et géométriquement affinée par un processus de mises à jour orthogonales et de concentration de sous-espaces.

Limites : Les auteurs notent que l'analyse est restreinte aux architectures denses, uniquement décodeur, avec des connexions résiduelles standard. Les interprétations sont basées sur des preuves corrélationnelles, et des interventions causales (par exemple, le patching d'activation) sont suggérées comme travail futur pour fournir une base mécaniste plus solide.