💬 NLP

From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks

Cette étude révèle que les défaillances des grands modèles de langage dans des tâches symboliques élémentaires comme le comptage de caractères ne proviennent pas d'un manque de représentation, mais d'une interférence structurée où des circuits négatifs dans les dernières couches suppriment activement les informations correctes déjà encodées.

Auteurs originaux : Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

Publié 2026-04-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🍎 Le Paradoxe de la Pomme : Pourquoi les IA "intelligentes" échouent à compter des lettres

Imaginez que vous avez un ami très brillant, capable de rédiger des poèmes, de résoudre des équations complexes et de simuler des conversations humaines. C'est un Grand Modèle de Langage (LLM).

Pourtant, si vous lui demandez : "Combien de fois la lettre 'p' apparaît-elle dans le mot 'pomme' ?", il risque de vous répondre : "Je ne sais pas, peut-être 1 ?" ou "2 ?", alors que la réponse est 2.

C'est exactement ce que cette étude a découvert : ces modèles sont comme des génies qui perdent leur intelligence dès qu'il s'agit de tâches très simples, comme compter des lettres.

🕵️‍♂️ L'enquête : Le modèle sait-il la réponse ?

Les chercheurs se sont demandé : "Est-ce que le modèle ne sait tout simplement pas compter, ou est-ce qu'il sait la réponse mais oublie de la dire ?"

Pour le savoir, ils ont joué au détective à l'intérieur du cerveau du modèle (c'est ce qu'on appelle l'analyse mécanique). Ils ont utilisé des outils pour regarder ce qui se passe à chaque étape du calcul, comme si on regardait les pensées d'un humain se former.

La découverte choquante :
Le modèle sait la réponse !

Au début du processus (les premières couches du cerveau), le modèle a parfaitement compté les lettres. C'est comme si un enfant avait écrit "2" sur un petit papier et l'avait mis dans sa poche.
Mais à la fin, juste avant de parler, quelque chose de bizarre se produit. Le modèle regarde ce petit papier, puis il le froisse, le jette et dit une autre chose (souvent "1" ou une réponse au hasard).

🎭 L'analogie du Chef de Cuisine et du Garde du Corps

Pour mieux comprendre, imaginons un restaurant très sophistiqué :

Le Chef (les premières couches) : C'est un chef d'élite. Il reçoit la commande "Comptez les 'p' dans 'pomme'". Il compte soigneusement, vérifie deux fois, et écrit sur un ticket : "2". Il est sûr de lui.
Le Couloir (les couches intermédiaires) : Le ticket passe de main en main. Tout va bien.
Le Garde du Corps (les dernières couches) : Juste avant que le plat ne sorte en cuisine, il passe par un garde du corps très strict (les dernières couches du modèle). Ce garde a une règle bizarre : "Je ne fais confiance à aucun chiffre. Je préfère toujours dire '1' car c'est plus sûr, ou je dis n'importe quoi pour ne pas prendre de risque."

Le Garde du Corps prend le ticket du Chef, le regarde, et le remplace par un nouveau ticket qui dit "1".
Le client (vous) reçoit donc la mauvaise réponse, même si le Chef avait la bonne.

🚫 Le problème n'est pas la taille, c'est le "Filtre"

Les chercheurs ont testé des modèles plus petits et des modèles géants (beaucoup plus intelligents). Résultat ? Ça ne change rien.
Même les plus gros modèles ont ce "Garde du Corps" qui bloque la bonne réponse.

C'est comme si on ajoutait un deuxième chef dans la cuisine, encore plus doué, mais que le Garde du Corps restait le même. Il continuera à bloquer la bonne réponse. Le problème n'est pas que le modèle manque de cerveau, c'est qu'il a appris à supprimer la bonne réponse au profit de réponses plus "faciles" ou plus fréquentes dans son entraînement.

💡 La leçon à retenir

Cette étude nous apprend deux choses importantes :

L'intelligence n'est pas linéaire : Avoir un modèle énorme ne garantit pas qu'il sera bon à tout. Il peut être un génie en philosophie mais un idiot en arithmétique de base.
Le "bruit" interne : Le vrai problème n'est pas que le modèle ne trouve pas la réponse, mais qu'il y a des mécanismes internes qui étouffent la vérité pour la remplacer par des habitudes.

En résumé : Ces IA ne sont pas "bêtes", elles sont juste distraites. Elles ont la réponse dans leur poche, mais elles ont appris à ne pas la sortir. Pour les rendre plus fiables, il faudra peut-être apprendre à ces modèles à faire confiance à leur propre "Chef" plutôt qu'à leur "Garde du Corps" trop prudent.

Titre : De l'encodage précoce à la suppression tardive : Interprétation des LLMs sur les tâches de comptage de caractères

1. Problématique

Les grands modèles de langage (LLM) actuels (tels que LLaMA, Qwen, Gemma) excellent sur des benchmarks complexes de raisonnement et de compréhension du langage naturel. Cependant, ils échouent systématiquement sur des tâches symboliques élémentaires, comme le comptage précis de lettres dans un mot (ex: "Combien de 'p' y a-t-il dans 'apple' ?").
Bien que ces défaillances soient documentées, leurs causes internes restent mal comprises. L'hypothèse dominante suggérait un manque de capacité de représentation ou une insuffisance d'échelle. Cette étude remet en question cette hypothèse en posant la question suivante : Les modèles ne parviennent-ils pas à compter parce qu'ils ne peuvent pas encoder l'information, ou parce qu'ils l'encodent correctement mais échouent à l'utiliser lors de la génération ?

2. Méthodologie

Les auteurs ont conçu une expérience de diagnostic contrôlée utilisant le comptage de caractères comme sonde pour isoler le raisonnement au niveau des tokens des confusions linguistiques de haut niveau.

Données et Tâche : Un jeu de données de 10 000 exemples a été généré à partir de WordNet et Wiktionary. Les modèles doivent prédire le nombre d'occurrences d'une lettre cible dans un mot, avec des modèles de prompts variés pour éviter les biais.
Modèles Évalués : Trois familles de modèles récents (LLaMA 3.2, Qwen 2.5, Gemma 2) dans leurs versions de base (2B à 9B paramètres) et leurs versions ajustées par instruction (Instruct).
Techniques d'Interprétabilité :
1. Probing (Sondage) : Des classificateurs linéaires sont entraînés sur les états cachés (hidden states) de chaque couche pour déterminer si l'information du comptage de caractères est décodable. Cela teste la présence de l'information.
2. Logit Lens : Projection des états intermédiaires sur l'espace du vocabulaire pour observer l'évolution de la probabilité de la réponse correcte à travers les couches.
3. Activation Patching (Correction d'activation) : Une technique de causalité où les activations d'une entrée "corrompue" (réponse incorrecte) sont remplacées par celles d'une entrée "propre" (réponse correcte) pour identifier quelles couches ou têtes d'attention sont causalement responsables de la restauration ou de la suppression de la réponse correcte.
4. Métriques : Utilisation de la différence de logit ( $\Delta$ ) pour mesurer la préférence du modèle pour la réponse correcte et de l'écart de probabilité ( $\Delta_p$ ) pour quantifier la suppression.

3. Résultats Clés

Encodage Précoce et Fiable : Les résultats de sondage montrent que l'information sur le comptage de caractères est clairement encodée dans les représentations résiduelles des couches intermédiaires et précoces. Les classificateurs atteignent une précision supérieure à 80-90% pour décoder le nombre correct, même lorsque le modèle final échoue. Cela prouve que le modèle "sait" la réponse.
Dégradation et Suppression Tardive : L'information se dégrade lors du transfert vers la position de prédiction finale. L'analyse Logit Lens révèle que les couches finales (en particulier la dernière couche MLP et parfois les têtes d'attention finales) suppriment activement la probabilité de la réponse correcte.
Circuits Négatifs : Les auteurs identifient ce phénomène comme des "circuits négatifs". Ce sont de petits sous-réseaux situés dans les dernières couches qui atténuent les signaux symboliques corrects en faveur de stratégies de réponse dégénérées (par exemple, prédire systématiquement "1" ou adopter une distribution quasi-uniforme).
Absence de Routage Spécialisé : Contrairement à ce que l'on pourrait attendre, aucune tête d'attention spécifique n'est spécialisée dans le routage de l'information de comptage de la lettre vers la fin du prompt. L'information est fragmentée et mal agrégée.
Impact de l'Échelle et du Fine-tuning :
- Augmenter la taille du modèle (de 2B à 9B) n'améliore pas la situation ; les motifs de suppression persistent.
- L'ajustement par instruction (Instruction Tuning) ne résout pas le problème. Bien que les stratégies de réponse changent légèrement (par exemple, alterner entre "1" et "2"), la précision reste proche du hasard, et la suppression dans les dernières couches demeure.

4. Contributions Principales

Réfutation de l'hypothèse de l'absence de représentation : Les auteurs démontrent que les échecs de raisonnement symbolique ne sont pas dus à un manque de capacité d'encodage ou à une insuffisance d'échelle, mais à une interférence structurée dans le graphe de calcul du modèle. Le modèle encode la réponse mais choisit de ne pas la produire.
Découverte de la "Décodage Compétitif" : Les preuves empiriques suggèrent que le passage avant (forward pass) des LLM implémente une forme de décodage compétitif où les hypothèses correctes et incorrectes coexistent. La sortie finale est déterminée par la suppression des signaux corrects autant que par l'amplification des signaux incorrects.
Identification des Circuits Négatifs : Mise en évidence d'un mécanisme spécifique où les composants des dernières couches (MLP et Attention) agissent comme des freins systématiques aux signaux symboliques précis, favorisant des heuristiques simples.

5. Signification et Implications

Fragilité Systémique : Ces résultats révèlent une fragilité fondamentale des LLM modernes. Si les modèles ne peuvent pas reliably utiliser les informations qu'ils encodent pour des tâches aussi simples que le comptage, leur robustesse sur des tâches de raisonnement complexe repose sur des fondations instables.
Limites du Scaling : Le fait que l'augmentation de la taille du modèle ou l'ajustement par instruction n'améliorent pas la situation suggère que le problème est architectural ou lié à l'optimisation de l'entraînement, et non simplement une question de quantité de données ou de paramètres.
Nouvelles Stratégies de Conception : Pour améliorer la robustesse, les futures architectures devront non seulement s'assurer que l'information est encodée, mais aussi garantir qu'elle est fiablement utilisée en sortie. Cela pourrait nécessiter des mécanismes pour empêcher la suppression des signaux de bas niveau dans les couches finales ou des objectifs d'entraînement spécifiques pour renforcer le raisonnement symbolique.

En conclusion, cette étude fournit une preuve mécaniste que les échecs des LLM sur les tâches symboliques sont le résultat d'une suppression active de l'information correcte par des circuits internes, plutôt que d'une incapacité à comprendre la tâche.