🤖 machine learning

Repeated-Token Counting Reveals a Dissociation Between Representations and Outputs

Cet article démontre que l'échec des grands modèles de langage à compter les jetons répétés ne provient pas d'une incapacité à représenter correctement le décompte en interne, mais d'un mécanisme spécifique des couches MLP déclenché par le format qui écrase la représentation précise par une réponse fausse fixe lors de la génération de la sortie.

Auteurs originaux : Sohan Venkatesh

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sohan Venkatesh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une bibliothécaire très intelligente et bien informée (le modèle d'IA). Vous demandez à cette bibliothécaire de compter combien de fois le mot « pomme » apparaît dans une longue liste. Vous vous attendriez à ce qu'elle obtienne le bon résultat, mais au lieu de cela, elle affirme avec assurance : « Il y a 8 pommes », alors qu'il y en a clairement 10.

Pendant longtemps, les gens ont pensé que la bibliothécaire était simplement mauvaise en comptage. Ils ont supposé que le cerveau de la bibliothécaire ne possédait pas de « compteur » intégré, et qu'elle ne pouvait donc pas suivre les nombres.

Ce papier affirme que cette hypothèse est fausse.

Voici une explication simple de ce que les chercheurs ont réellement découvert, en utilisant quelques analogies du quotidien :

1. La bibliothécaire sait la réponse

Les chercheurs ont examiné en profondeur le cerveau de la bibliothécaire (les couches internes du modèle) à chaque étape du processus de réflexion. Ils ont découvert que le nombre correct (10) était écrit clairement et parfaitement dès la toute première étape jusqu'à la toute dernière.

L'analogie : Imaginez que la bibliothécaire marche dans un couloir en tenant un tableau blanc à la main. À chaque pas de sa marche, le tableau blanc indique clairement « 10 ». L'information est là, forte et claire. La bibliothécaire n'est pas confuse ; elle sait réellement la réponse.

2. Le « rédacteur de pancartes » défectueux

Alors, si la bibliothécaire sait que la réponse est 10, pourquoi dit-elle « 8 » ?

Les chercheurs ont découvert un « bug » spécifique au milieu du couloir. Environ 90 % du chemin du processus de réflexion, un travailleur spécifique (une partie du code informatique appelée bloc MLP) voit le format de la liste (des mots séparés par des espaces) et décide d'ignorer le tableau blanc.

L'analogie : Imaginez que la bibliothécaire marche dans le couloir, tenant la pancarte « 10 ». Soudain, un travailleur spécifique (appelons-le « Fred-Format ») surgit. Fred voit que la liste est écrite avec des espaces (comme « pomme pomme pomme »). Il a une règle préprogrammée : « Si je vois une liste de mots avec des espaces, je dois changer la pancarte pour qu'elle dise '8'. »
Fred saisit le tableau blanc, efface le « 10 » et écrit « 8 » dessus.
Même si le cerveau de la bibliothécaire sait toujours qu'il s'agit de 10 (le signal original est toujours là en arrière-plan), la sortie finale est désormais « 8 » parce que Fred l'a écrasé.

3. Il ne s'agit pas des mots, mais du format

Ce bug ne se produit qu'avec des mots (comme « pomme » ou « chat »), et non avec des nombres (comme « 1 » ou « 2 »).

L'analogie : Si vous donnez à la bibliothécaire une liste de nombres (« 1 1 1 1... »), Fred-Format ne s'en soucie pas. Il ne réagit qu'aux mots. La bibliothécaire compte les nombres parfaitement. Mais si vous lui donnez des mots, Fred se déclenche.
De plus, si vous changez le format pour utiliser des virgules au lieu d'espaces (par exemple, « pomme, pomme, pomme »), Fred ne surgit pas. La règle « 8 » n'est pas déclenchée, et la bibliothécaire obtient le bon résultat. Cela prouve que le problème ne réside pas dans la capacité de comptage, mais dans une réaction spécifique à l'apparence de la liste.

4. Le problème du « routage », et non un problème de « représentation »

Le papier établit une grande distinction entre deux types d'échecs :

Échec de représentation : La bibliothécaire ne sait pas compter. (Ce papier affirme que cela n'arrive pas).
Échec de routage : La bibliothécaire sait compter, mais le signal est détourné avant d'atteindre la bouche. (C'est ce qui se produit).
L'analogie : C'est comme une station de radio qui joue la bonne chanson (le compte), mais un DJ dans la cabine (le bloc MLP) décide de couper la musique et de jouer une autre chanson (le mauvais nombre) juste avant qu'elle ne sorte vers les haut-parleurs. La musique est bonne ; le routage est cassé.

5. Les modèles plus grands ont un bug différent

Les chercheurs ont également examiné des modèles plus grands et plus intelligents. Ces modèles obtiennent généralement le bon compte, mais ils échouent si vous glissez une « banane » dans la liste de pommes.

Le bug : Ces modèles plus grands voient la banane. Leur système d'attention la remarque. Mais, tout comme les modèles plus petits, ils échouent à laisser cette information modifier la réponse finale. Ils voient l'anomalie mais ne peuvent pas « router » cette nouvelle information vers la sortie finale.

L'essentiel

Le papier conclut que ces modèles d'IA ne sont pas « mauvais en mathématiques ». Ils sont en réalité très bons pour suivre les nombres en interne. Le problème est qu'une partie spécifique de leur cerveau est déclenchée par la façon dont la liste est écrite (espaces vs virgules, mots vs nombres) et force une mauvaise réponse sur la sortie finale, écrasant la réponse correcte qui était déjà là.

Pour résoudre ce problème, nous n'avons pas besoin d'enseigner à l'IA comment compter (elle le sait déjà). Nous devons réparer le « régulateur de circulation » (le mécanisme de routage) qui bloque actuellement la bonne réponse pour qu'elle ne sorte pas.

Résumé technique : Le comptage des tokens répétés révèle une dissociation entre représentations et sorties

Énoncé du problème
Les grands modèles de langage (LLM) présentent des échecs systématiques et reproductibles lors du comptage de tokens répétés, malgré des performances solides sur des benchmarks de raisonnement plus larges. Par exemple, lorsqu'on leur demande de compter dix mots répétés (par exemple, "pomme"), les modèles produisent souvent une réponse erronée, confiante et déterministe (par exemple, "8" ou "14") avec une variance nulle sous un décodage glouton. Les attributions courantes de cet échec suggèrent un manque de représentations internes de comptage ou des limites dans le suivi des comptes au sein de l'état du modèle. Cet article remet en cause cette attribution, proposant plutôt que l'échec ne réside pas dans la représentation, mais dans le routage de l'information vers la sortie.

Méthodologie
Les auteurs emploient des techniques d'interprétabilité mécaniste sur cinq modèles décodeurs uniquement entraînés sur instructions : Llama-3.2 (1B, 3B) et Qwen2.5 (1.5B, 3B, 7B). La configuration expérimentale comprend trois conditions :

P1 (Référence) : Compter dix tokens identiques.
P2 (Anomalie) : Compter neuf tokens identiques avec un intrus (par exemple, "banane").
P3 (Contrôle) : Compter dix tokens uniques.

L'étude utilise :

Sondes linéaires : Entraînement de sondes de régression Ridge sur le flux résiduel à chaque couche pour décoder le nombre de tokens, testant si le compte correct est décodable linéairement même lorsque la sortie est erronée.
Logit Lens : Projection des états cachés à travers la dernière normalisation de couche et la matrice de décodage à chaque couche pour observer quand le modèle "s'engage" vers un token de chiffre spécifique.
Décomposition MLP vs Attention : Isolement des contributions des sous-couches d'attention et des blocs MLP pour déterminer quel composant écrit ou efface des valeurs spécifiques dans le flux résiduel.
Interventions causales : Ablation nulle de blocs MLP spécifiques pour tester l'implication causale.
Variation de format et de token : Test de délimiteurs séparés par des espaces versus séparés par des virgules et substitution de tokens de mots par des tokens de chiffres pour analyser la sensibilité au format et la spécificité du type de token.

Résultats clés

Dissociation Représentation-Comportement :
Les sondes linéaires révèlent que le compte correct est décodable linéairement avec une précision quasi parfaite ( $R^2 > 0.99$ ) dès la première couche de transformateur, même dans les modèles qui produisent des comptes incorrects. Crucialement, le compte est encodé plus proprement dans la condition où le modèle échoue (tokens répétés) que dans la condition où il réussit (tokens uniques). Cela confirme que le modèle possède la représentation interne correcte mais échoue à l'exprimer.
L'échec de routage (Surcharge par le MLP) :
L'échec est causé par un bloc Multi-Layer Perceptron (MLP) spécifique, déclenché par le format, situé à environ 88–93 % de la profondeur du réseau (par exemple, Couche 14 dans Llama-1B, Couche 22/26 dans Llama-3B, Couche 22 dans Qwen-1.5B).
- Ce bloc MLP reçoit un état de flux résiduel qui encode correctement le compte (ou un état proche) mais le surcharge avec un entier fixe et incorrect (par exemple, "8" ou "14").
- L'entrée du MLP est invariante au compte ; elle se déclenche quelle que soit la longueur réelle de la séquence (par exemple, pour $n=8$ à $n=15$ ), indiquant qu'elle répond à une signature de format spécifique plutôt que d'effectuer un calcul.
- L'ablation causale de ce bloc MLP ne restaure pas la réponse correcte ; elle déplace plutôt l'échec vers une autre valeur erronée (par exemple, de "8" à "16"), suggérant que l'a priori est partiellement distribué sur plusieurs blocs.
Spécificité du format et du token :
- Sensibilité au format : Dans les modèles plus grands (Llama-3B, Qwen-3B), changer le délimiteur des espaces aux virgules supprime le déclenchement du MLP, permettant au compte correct de passer. Dans les modèles plus petits (Llama-1B), l'a priori est invariant au format.
- Type de token : L'a priori se déclenche pour les tokens alphabétiques répétés (mots) mais pas pour les tokens de chiffres répétés. Les modèles qui échouent à compter correctement les mots répétés comptent sans erreur les chiffres répétés (par exemple, "1", "1", "1"), prouvant que l'échec est une association apprise entre le format "liste de mots répétés" et une sortie spécifique erronée, et non une incapacité générale à estimer la longueur de la séquence.
Détection d'anomalie vs Comptage :
Les modèles plus grands (Qwen-3B, 7B) qui résolvent la tâche de comptage P1 échouent toujours à la tâche de détection d'anomalie P2 (compter 9 pommes et 1 banane). L'analyse mécaniste montre que bien que les mécanismes d'attention détectent l'anomalie (la banane reçoit une attention élevée), ce signal n'est pas acheminé vers la sortie pour corriger le compte. Cela représente un deuxième type d'échec de routage où le signal de détection existe mais n'est pas converti en une correction comportementale.

Signification et affirmations
L'article soutient que l'échec de comptage dans ces modèles est un échec de routage, et non un échec de représentation. La circuiterie interne encode correctement le compte, mais un circuit "a priori" spécifique intercepte et surcharge cette information sur la base d'indices de format de surface (tokens de mots répétés).

Les auteurs affirment que confondre les échecs de représentation avec les échecs de routage conduit à des interventions incorrectes (par exemple, réentraîner pour de meilleures capacités de comptage alors que la capacité existe déjà). Au lieu de cela, les interventions doivent cibler les circuits spécifiques responsables de la suppression du signal. L'étude démontre que les échecs comportementaux dans des modèles capables sont souvent des échecs d'expression, et identifier le chemin de routage spécifique est une condition préalable nécessaire à toute intervention réussie. Ce travail établit un phénomène général où la vérité interne et la sortie comportementale peuvent diverger complètement, nécessitant une analyse mécaniste pour distinguer les deux.