🤖 machine learning

Understanding the Emergence of Seemingly Useless Features in Next-Token Predictors

Ce papier propose une méthode pour identifier les composantes du signal de gradient responsables de l'émergence de caractéristiques abstraites apparemment redondantes dans les modèles de prédiction du prochain token, et l'applique pour révéler les origines de modèles du monde, de caractéristiques syntaxiques et de capacités de raisonnement formel.

Auteurs originaux : Mark Rofin, Jalal Naghiyev, Michael Hahn

Publié 2026-03-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mark Rofin, Jalal Naghiyev, Michael Hahn

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Secret des "Super-Pouvoirs" Cachés des IA

Imaginez que vous apprenez à un enfant à jouer aux échecs en lui disant : "Ta seule mission est de prédire le prochain coup que ton adversaire va faire."

Normalement, on s'attendrait à ce que l'enfant ne se souvienne que de ce qui est immédiatement nécessaire pour faire ce coup. Il ne devrait pas perdre de temps à mémoriser la couleur des pièces, la température dans la pièce, ou l'histoire de la famille du joueur.

Pourtant, les chercheurs ont découvert quelque chose de bizarre avec les grands modèles de langage (comme ceux qui écrivent du code ou des histoires) : même s'ils sont entraînés uniquement pour prédire le mot suivant, ils développent des connaissances complexes et abstraites qui semblent inutiles pour le coup immédiat. Ils apprennent à "voir" le monde, à comprendre la grammaire, ou même à simuler un jeu d'échecs complet dans leur tête, alors que ce n'était pas demandé !

Ce papier cherche à répondre à une question cruciale : Comment et pourquoi ces IA apprennent-elles ces choses "inutiles" ?

Les auteurs ont découvert que l'IA ne fonctionne pas comme un simple robot qui regarde une seule case devant lui. Elle utilise trois mécanismes secrets pour apprendre. Voici l'analogie pour comprendre :

1. Les Trois Mécanismes d'Apprentissage

Imaginez que l'IA est un chef cuisinier qui prépare un repas (la prédiction du mot suivant).

L'Apprentissage Direct (Le "Coup de Couteau") :
C'est le mécanisme évident. Le chef regarde l'assiette devant lui et coupe l'ingrédient dont il a besoin tout de suite pour le plat en cours. C'est ce qui permet de prédire le mot suivant.
- En IA : C'est la prédiction immédiate du prochain token.
Le "Pré-stockage" (Le "Préparatif pour Demain") :
Le chef sait que dans 10 minutes, il aura besoin d'un ingrédient très spécifique pour le dessert. Même s'il ne le met pas dans l'assiette maintenant, il le prépare et le laisse sur le comptoir pour plus tard. Il anticipe.
- En IA : C'est ce que les auteurs appellent le Pré-caching. L'IA prépare des informations dans sa mémoire (ses "couches cachées") pour les utiliser plusieurs mots plus tard. C'est comme si elle lisait la fin du livre pendant qu'elle écrit le début.
Le "Partage de Circuit" (Le "Système de Renseignement") :
Le chef utilise les mêmes couteaux et les mêmes techniques de coupe pour tous les plats. Si une technique de coupe est très utile pour le dessert (qui vient plus tard), le chef va l'appliquer aussi à la salade (qui est devant lui maintenant), même si ce n'est pas strictement nécessaire pour la salade. Parce que les outils sont les mêmes, l'IA apprend des choses à un endroit et les applique partout.
- En IA : C'est le Partage de circuit. Les mêmes paramètres du modèle sont utilisés à chaque position, donc ce qui est appris pour le futur influence ce qui est appris pour le présent.

2. L'Expérience du Jeu d'Othello (Le Jeu de Plateau)

Pour prouver leur théorie, les chercheurs ont entraîné une IA à jouer à Othello (un jeu de plateau).

Le problème : Parfois, la position d'une pièce sur le plateau ne change pas les coups possibles immédiatement pour le prochain tour. C'est donc "inutile" pour prédire le prochain coup.
La découverte : L'IA apprenait quand même à représenter ces pièces "inutiles" !
Pourquoi ? Grâce au Pré-stockage et au Partage. L'IA savait que cette pièce serait cruciale 5 tours plus tard, alors elle la mémorisait dès maintenant.

Ils ont même créé une version "myope" de l'IA (qui ne peut pas regarder au-delà du prochain coup). Résultat ? Cette IA "myope" échouait à comprendre le jeu de manière cohérente. Elle ne pouvait pas construire de "modèle du monde". Cela prouve que l'anticipation (le pré-stockage) est essentielle pour avoir une intelligence profonde.

3. La Découverte sur les Grands Modèles (Gemma 2)

Enfin, ils ont regardé un modèle très puissant (Gemma 2) et ont cherché à voir quels types de connaissances étaient "pré-stockés".
Ils ont découvert une chose fascinante : Les choses les plus "pré-stockées" sont souvent liées au code informatique et aux mathématiques.

L'analogie : Imaginez que vous écrivez un roman. Vous n'avez pas besoin de préparer la structure d'une phrase complexe pour le mot suivant. Mais si vous écrivez du code, chaque parenthèse et chaque boucle doit être parfaitement alignée avec ce qui vient plus tard.
Conclusion : Pour écrire du code ou faire des raisonnements formels, l'IA doit anticiper loin dans le futur. Elle ne peut pas juste regarder le mot suivant. Elle doit "pré-stockage" la structure logique du programme.

🎯 En Résumé

Ce papier nous dit que les IA ne sont pas de simples machines à compléter des phrases.

Elles apprennent des choses qui ne servent pas tout de suite (comme un chef qui prépare le dessert pendant le dîner).
Elles le font grâce à l'anticipation (Pré-stockage) et à la généralisation (Partage).
C'est ce mécanisme qui leur permet de devenir intelligentes, de comprendre des jeux complexes, et surtout, de maîtriser des domaines rigides comme la programmation.

Sans cette capacité à "regarder au-delà du nez", l'IA resterait une machine bête, incapable de construire un monde cohérent.

1. Problématique et Contexte

Les modèles de langage (LLM) sont généralement pré-entraînés avec l'objectif de prédiction du prochain token (Next-Token Prediction - NTP). Intuitivement, on pourrait s'attendre à ce que les représentations internes (features) d'un tel modèle ne contiennent que les informations strictement nécessaires pour prédire le token immédiat suivant ( $x_{t+1}$ ).

Cependant, des travaux récents montrent que les Transformers apprennent souvent des fonctionnalités abstraites "inutiles" pour le NTP immédiat (NTP-useless). Par exemple, ils reconstruisent des modèles du monde (comme dans OthelloGPT), infèrent des structures syntaxiques complexes, ou prédisent des tokens plusieurs étapes à l'avance. La question centrale de l'article est : Comment et pourquoi les Transformers entraînés pour le NTP apprennent-ils ces fonctionnalités qui ne semblent pas aider à la prédiction immédiate ?

Les approches existantes adoptent une perspective téléologique (analyser le rôle d'une fonctionnalité dans l'algorithme final), mais elles négligent la dynamique de l'apprentissage : quels signaux de gradient spécifiques poussent le modèle à développer ces fonctionnalités ?

2. Méthodologie : Décomposition du Flux d'Information

Les auteurs proposent un cadre théorique basé sur la structure du flux d'information dans les Transformers masqués causalement. Ils décomposent le signal de gradient total en trois composantes distinctes qui contribuent à l'apprentissage des paramètres à une position $i$ et une couche $k$ :

Apprentissage Direct (Direct Learning) : Le gradient provenant de la perte de prédiction du token immédiat ( $x_{i+1}$ ). C'est la source principale pour les fonctionnalités "utiles" au NTP.
Pré-caching (Pre-caching) : Le gradient provenant des pertes de prédiction aux positions futures ( $x_j$ où $j > i+1$ ). Grâce aux mécanismes d'attention, les tokens futurs peuvent influencer les représentations des tokens précédents. Cela permet d'apprendre des fonctionnalités qui seront utiles plus tard dans la séquence.
Partage de Circuit (Circuit Sharing) : Le gradient provenant des positions $j$ qui ne passent pas par la représentation spécifique $r^k_{\theta,i}$ . Comme les blocs Transformer utilisent les mêmes paramètres pour toutes les positions, un signal de gradient appris à une position $j$ (où une fonctionnalité est utile) peut être transféré à la position $i$ (où elle est inutile) via le partage de poids.

Techniques Expérimentales :
Pour valider cette décomposition, les auteurs utilisent deux méthodes :

Ablation (Entraînement Myope et "m-untied") :
- Myopic training : Bloque les gradients entre les positions $i$ et $j$ ( $j \neq i$ ) pour éliminer le pré-caching.
- m-untied training : Utilise des paramètres disjoints pour les positions avant et après un seuil $m$ pour éliminer le partage de circuit (tout en permettant le pré-caching via l'attention).
Attribution (Estimation d'Influence) : Ils définissent une métrique d'influence ( $I$ ) qui quantifie à quel point chaque composante de gradient (direct, pré-caché, partagé) réduit l'écart ("mismatch") entre la représentation actuelle du modèle et la représentation finale optimale pour une fonctionnalité donnée.

3. Contributions Clés

Explication Théorique : Une décomposition formelle du signal de gradient expliquant l'émergence de fonctionnalités NTP-inutiles via le pré-caching et le partage de circuit.
Méthode d'Attribution : Une approche pratique pour tracer l'origine des fonctionnalités dans un modèle entraîné, en quantifiant la contribution relative de chaque composante de gradient.
Nouvelles Découvertes Empiriques :
- Une explication de la fragilité du "modèle du monde" dans OthelloGPT.
- La distinction entre les rôles du pré-caching pour la génération de texte cohérente versus l'apprentissage de la syntaxe.
- L'identification de fonctionnalités liées au raisonnement formel (code) dans un LLM pré-entraîné (Gemma 2) comme étant fortement influencées par le pré-caching.

4. Résultats Expérimentaux

A. Tâches Jouets (Majority et Conditioned Majority)

Résultat : Les modèles "myopes" (sans pré-caching) et "untied" (sans partage de circuit) échouent à apprendre des fonctionnalités NTP-inutiles durant la phase d'entrée de la séquence.
Conclusion : Le pré-caching et le partage de circuit sont essentiels pour l'émergence de ces fonctionnalités. Sans eux, le modèle ne reçoit aucun signal pour apprendre ce qui n'est pas utile immédiatement.

B. OthelloGPT (Modèle du Monde)

Observation : Les fonctionnalités représentant les cases du plateau qui n'affectent pas les coups légaux suivants (NTP-inutiles) sont apprises, mais moins robustement que les cases utiles.
Analyse : L'influence directe est nulle pour les cases inutiles, mais l'influence pré-cachée et partagée est positive. Cela explique pourquoi le modèle apprend ces cases (grâce au signal indirect) mais pourquoi la représentation est fragile (manque de signal direct).

C. Petits Modèles de Langage (TinyStories)

Syntaxe vs Cohérence : L'apprentissage des tags syntaxiques (POS, dépendances) se fait principalement via l'apprentissage direct et ne nécessite pas de pré-caching (les modèles myopes apprennent aussi bien la syntaxe).
Cohérence : En revanche, la génération de texte cohérent nécessite le pré-caching. Les fonctionnalités positionnelles à haut niveau (liées à la structure de l'histoire) sont apprises grâce au pré-caching.

D. Grand Modèle de Langage (Gemma 2 2B)

Méthode : Utilisation de Sparse Autoencoders (SAE) et d'une métrique $Q(w)$ estimant le ratio d'influence pré-cachée vs directe sur un modèle statique.
Découverte Majeure : Les fonctionnalités avec un $Q(w)$ $Q (w)$ extrême (très élevé ou très faible) sont fortement corrélées à des domaines de raisonnement formel (code, structures de programmation, mathématiques).
- Les fonctionnalités avec un pré-caching élevé (haut $Q(w)$ ) sont souvent liées au code et aux structures formelles.
- Le "look-ahead" (prédiction de tokens futurs) n'est pas causé exclusivement par ces fonctionnalités pré-cachées ; en fait, les fonctionnalités directes semblent plus utiles pour le look-ahead immédiat, soutenant l'hypothèse que le look-ahead provient de similarités de features plutôt que d'une planification implicite.

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'interprétabilité des modèles de langage :

Du Statique au Dynamique : Il passe d'une analyse statique des circuits finaux à une analyse développementale de la façon dont les gradients façonnent l'apprentissage au fil du temps.
Compréhension des "Inutiles" : Il démontre que ce qui semble être du bruit ou des fonctionnalités inutiles pour la tâche immédiate est en réalité une conséquence nécessaire de la structure de l'entraînement (pré-caching et partage de circuit).
Implications pour le Raisonnement : La corrélation entre le pré-caching et les tâches de raisonnement formel (code) suggère que la capacité des LLMs à raisonner sur des structures complexes pourrait dépendre de la manière dont ils "pré-cachent" l'information pour des étapes futures, au-delà de la simple prédiction du mot suivant.

En résumé, l'article fournit un cadre mathématique et expérimental pour comprendre comment les contraintes de l'entraînement NTP, combinées à l'architecture Transformer, forcent l'émergence de représentations riches et abstraites qui dépassent la simple prédiction locale.