💬 NLP

Reading Between the Dots: Decoding Hidden Computation across Filler Tokens

Cet article démontre que les LLM de pointe effectuent un raisonnement multi-étapes structuré et intelligible sur des jetons de remplissage sans contenu au sein de leurs états cachés, révélant que le calcul caché reste monitorable via le décodage non supervisé du flux résiduel même lorsque les jetons de surface ne fournissent aucun fil de pensée visible.

Auteurs originaux : Kaley Brauer, Claudio Mayrink Verdun, Samuel Marks

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kaley Brauer, Claudio Mayrink Verdun, Samuel Marks

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un magicien exécuter un tour. Habituellement, pour comprendre comment il a fait, vous observez ses mains et écoutez ce qu'il dit. Dans le monde de l'Intelligence Artificielle (IA), cela revient à observer la « Chaîne de Pensée » (Chain of Thought ou CoT) — l'explication étape par étape que l'IA écrit avant de donner une réponse.

Pendant longtemps, les experts en sécurité se sont inquiétés du fait que si une IA cessait d'écrire ses étapes pour donner directement une réponse finale, nous n'aurions aucun moyen de savoir si elle réfléchit correctement ou si elle ne fait que deviner. Ce document, intitulé « Reading Between the Dots » (Lire entre les points), étudie un scénario spécifique et étrange où l'IA reçoit une série de jetons de remplissage (« filler tokens ») dénués de sens (comme une suite de points ...... ou des nombres de comptage 1 2 3 4 5) entre la question et la réponse.

Voici ce que les chercheurs ont découvert, décomposé en concepts simples :

1. Le tour de magie : L'IA utilise l'« espace vide »

Les chercheurs ont soumis deux modèles d'IA très intelligents (DeepSeek V3 et Kimi K2) à des questions difficiles de mathématiques et de logique.

Sans les points : L'IA se trompait souvent dans sa réponse.
Avec les points : L'IA donnait la bonne réponse beaucoup plus souvent.

Il s'avère que l'IA n'ignore pas les points. Elle utilise cet « espace vide » comme un bloc-notes (scratchpad). Même si ces points ne signifient rien pour nous, l'IA effectue secrètement ses calculs et son raisonnement à l'intérieur de l'espace numérique où se trouvent ces points. C'est comme un chef qui cesse de parler au client et commence à se murmurer la recette à lui-même tout en coupant les légumes ; le client n'entend rien, mais la cuisine est en cours.

2. La « Vision Rayons X » : Voir les pensées cachées

La grande question était : Si l'IA n'écrit pas les étapes, pouvons-nous quand même voir ce qu'elle pense ?

Les auteurs disent oui. Ils ont développé un outil spécial de « vision Rayons X » (appelé Logit Lens) qui observe les signaux électriques internes de l'IA (son « flux résiduel » ou residual stream) au lieu de simplement lire les mots qu'elle tape.

L'analogie : Imaginez que le cerveau de l'IA est une autoroute très fréquentée. Les mots qu'elle tape sont juste les voitures qui circulent à la surface. Mais sous la route, il y a des tunnels et des tuyaux qui transportent l'eau et l'électricité réelles qui font bouger les voitures.
Ce qu'ils ont trouvé : En observant ces « tunnels » sous les points, ils ont pu voir l'IA récupérer des faits (comme « Mozart est mort à 35 ans ») et faire des calculs (comme « 35 + 93 = 128 ») avant même de taper la réponse finale. Les points n'étaient pas vides ; ils étaient remplis des calculs internes de l'IA.

3. L'expérience de la « Greffe de Cerveau »

Pour prouver que les points étaient réellement la cause de la réflexion correcte de l'IA (et non une simple coïncidence), ils ont réalisé une expérience de « transplantation de cerveau ».

Ils ont pris les « pensées » internes (les données cachées) d'une exécution réussie de l'IA et les ont transférées dans une autre exécution de l'IA qui était sur le point d'échouer.
Le résultat : L'IA défaillante a soudainement commencé à donner la bonne réponse, comme si elle avait « attrapé » les bonnes pensées de l'autre. Cela a prouvé que l'information contenue dans les points était réelle, utile et essentielle pour la réponse.

4. Le « Anneau de Décodage » : Lire le code secret

Les chercheurs ont construit un pipeline non supervisé simple (un ensemble d'instructions qui n'a pas besoin d'être enseigné) pour décoder ces pensées cachées.

Ils ont pris les signaux cachés des points, ont nettoyé le bruit, et ont soumis les meilleurs candidats à une seconde IA très intelligente (un « Juge »).
Le taux de réussite : Ce décodeur pouvait deviner correctement ce que l'IA pensait 80 % à 95 % du temps.
Ce qu'il a trouvé : Il pouvait récupérer des chiffres spécifiques, des noms de villes ou des éléments, même si l'IA ne les a jamais écrits. Si l'IA se trompait, le décodeur pouvait même dire pourquoi (par exemple, « Elle a trouvé les bons faits mais a oublié de les additionner »).

La conclusion majeure

Le document soutient que même si une IA ne verbalise pas son raisonnement (ou ne présente pas de chaîne de pensée visible), cela ne signifie pas que son raisonnement est caché à jamais pour nous.

Le problème : Si nous ne regardons que les mots que l'IA écrit, nous pourrions manquer son véritable processus de réflexion, surtout lorsqu'elle utilise des jetons de remplissage.
La solution : Nous avons des outils pour regarder « sous le capot », à travers ses signaux internes. Même quand l'IA essaie de cacher son travail dans des espaces « vides », nous pouvons toujours lire le « flux résiduel » (l'activité électrique interne) pour voir ce qu'elle fait réellement.

En bref : L'IA est comme un élève passant un examen qui écrit la réponse sur une feuille de papier mais fait tous les calculs dans sa tête. Ce document montre que même si nous ne pouvons pas voir les calculs sur le papier, nous pouvons toujours utiliser des outils spéciaux pour lire l'esprit de l'élève et voir exactement comment il a résolu le problème. Cela suggère que le calcul « caché » n'est pas nécessairement « inauditable ».

Résumé technique : Lire entre les points

Énoncé du problème

La surveillabilité de la chaîne de pensée (CoT - Chain-of-Thought) repose sur l'hypothèse que les jetons de sortie de surface d'un modèle reflètent fidèlement son processus de raisonnement sous-jacent. Cependant, la littérature récente suggère que cette hypothèse est fragile ; les modèles peuvent s'engager dans un « calcul caché » où le raisonnement se produit de manières non visibles dans le texte généré. Un mode de défaillance spécifique de la surveillance de la CoT est le calcul par jetons de remplissage (filler-token computation), où les grands modèles de langage (LLM) effectuent un raisonnement multi-étapes sur des jetons dépourvus de contenu (par exemple, des séquences de points, des nombres comptés ou des séquences alphabétiques) insérés entre la question et l'emplacement de la réponse. Dans ces scénarios, les jetons de surface ne portent aucune information sémantique sur le raisonnement, rendant l'audit comportemental traditionnel inefficace. La question centrale abordée par cet article est de savoir si ce calcul caché est réellement inobservable ou s'il reste décodable à partir des états internes du modèle.

Méthodologie

Les auteurs étudient ce phénomène en utilisant deux modèles de pointe à poids ouverts : DeepSeek V3 (671 milliards de paramètres, ~37 milliards activés) et Kimi K2 (1 billion de paramètres, ~32 milliards activés). Ils évaluent les performances et la mécanique interne à travers quatre familles de tâches nécessitant des valeurs intermédiaires :

Addition à 1 facteur : Récupérer un fait et ajouter un nombre aléatoire.
Addition à 2 facteurs : Récupérer deux faits et les sommer.
Position de lettre à 2 sauts : Récupérer une capitale/un élément et trouver une lettre spécifique.
Système d'équations : Résoudre des relations linéaires définies dans le contexte.

Le dispositif expérimental consiste à ajouter des jetons de remplissage sans contenu (points, séquences de comptage, séquences alphabétiques) entre l'invite (prompt) et l'emplacement de la réponse. L'étude se déroule en trois phases :

Analyse comportementale : Mesurer l'amélioration de la précision avec et sans jetons de remplissage.
Analyse mécaniste : Utiliser les cartes d'attention, les lectures par logit-lens et les transplantations de cache KV pour déterminer comment l'information circule et est encodée au sein de la région de remplissage.
Décodage non supervisé : Développer un pipeline pour récupérer les valeurs intermédiaires uniquement à partir des états cachés, sans étiquettes de vérité de terrain (ground-truth) ni entraînement.

Contributions clés et résultats

1. Les jetons de remplissage permettent un calcul caché

L'article établit que les jetons de remplissage ne sont pas simplement des espacements inertes mais facilitent un « relais de traitement ».

Amélioration comportementale : Les deux modèles montrent des gains de précision significatifs lorsque les jetons de remplissage sont présents. Par exemple, la précision de DeepSeek V3 sur l'addition à 1 facteur passe de 54 % à 72 %, et sur les systèmes d'équations de 31 % à 61 %. Les séquences de remplissage brouillées sont moins performantes, ce qui indique que le bénéfice provient de séquences de jetons non perturbatrices plutôt que d'un contenu spécifique.
Routage de l'attention : L'analyse de l'attention révèle que, en présence de remplissage, le modèle réachemine son calcul. Le chemin d'attention direct de la position de la réponse vers la question est remplacé par un relais : Question → Remplissage → Réponse. La région de remplissage agit comme un tampon où la question est lue, et les valeurs intermédiaires sont traitées avant d'être transmises à la position de la réponse.

2. Preuve mécaniste des intermédiaires encodés

Les auteurs fournissent trois lignes de preuve que les positions de remplissage portent de manière causale des informations pertinentes pour la tâche :

Lectures par Logit-Lens : La projection des états du flux résiduel à travers la matrice de désincorporation (unembedding) révèle que les valeurs intermédiaires (par exemple, les faits récupérés $A_1, A_2$ et leur somme) sont explicitement encodées dans le flux résiduel aux positions de remplissage. Dans l'addition à 2 facteurs, $A_1$ apparaît tôt dans la séquence de remplissage, $A_2$ plus tard, et la somme se cristallise dans les dernières couches avant la réponse.
Transplantations de cache KV (Vérification causale) : En transplantant le cache Clé-Valeur (KV) de la région de remplissage d'un exemple « donneur » vers un exemple « cible », les auteurs démontrent une dépendance causale. L'échange du cache de remplissage provoque la sortie de la réponse du donneur par le modèle cible, avec des améliorations de rang allant de dizaines à centaines de places. Cela confirme que le contenu de la région de remplissage n'est pas seulement corrélé, mais causalement nécessaire pour la sortie.
Spécificité positionnelle : Dans l'addition à 2 facteurs, la structure positionnelle de l'encodage est causale. La transplantation uniquement des positions spécifiques où $A_1$ est décodé permet de récupérer la majorité de l'effet, tandis que les positions complémentaires ont un impact négligeable.

3. Pipeline de décodage non supervisé

L'article introduit un pipeline qui récupère les étapes de raisonnement cachées à partir des états résiduels sans supervision :

Processus :
1. Extraire les activations du flux résiduel à toutes les couches et positions de remplissage.
2. Appliquer le logit lens pour projeter les états en probabilités de jetons.
3. Soustraire les moyennes inter-exemples pour éliminer les artefacts de formatage et isoler les signaux spécifiques à l'exemple.
4. Agrégat les scores résiduels sur les positions et sélectionner les 50 meilleurs jetons.
5. Transmettre ces jetons à un juge LLM (par exemple, Claude Haiku/Sonnet) pour interpréter le raisonnement.
Performance : Le pipeline atteint une précision de 80 à 95 % pour la récupération des valeurs intermédiaires à travers les quatre tâches et les deux modèles.
- Pour l'addition à 1 facteur, le fait cible est récupéré dans les 2 meilleurs jetons dans ~85 % des cas sans juge ; avec un juge, cela monte à ~94 %.
- Pour des tâches complexes comme l'addition à 2 facteurs, le juge améliore considérablement la récupération (passant de ~35 % à ~82 % sur DeepSeek V3) en utilisant les signaux contextuels de la liste complète des 50 meilleurs jetons.
- Le pipeline décode avec succès tant les faits récupérés que les valeurs calculées en contexte (par exemple, les variables dans les systèmes d'équations).

Signification et affirmations

L'article soutient que le calcul caché n'est pas synonyme de calcul inauditable. Bien que le raisonnement par jetons de remplissage défie la surveillance de la CoT comportementale (car le texte de sortie est vide de raisonnement), le calcul reste directement lisible à partir du flux résiduel du modèle.

La surveillabilité comme propriété de la trace : Les auteurs postulent que la surveillabilité est une propriété de la trace de calcul complète du modèle, et non seulement de ses jetons de surface.
Auditabilité partielle : L'étude démontre que pour les tâches avec des intermédiaires discrets et nommables, des outils d'interprétabilité « peu coûteux » (logit lens + normalisation + juge LLM) peuvent combler l'écart laissé par les jetons de surface opaques.
Limites : Les auteurs affirment modestement que cette approche fonctionne pour les tâches avec des intermédiaires clairs. Ils reconnaissent les limites concernant le calcul qui est optimisé pour être orthogonal à la projection du vocabulaire, qui implique des concepts non jetonisables (comme des stratégies ou des intentions), ou qui repose sur des motifs d'attention invisibles aux projections du logit-lens.

En conclusion, l'article suggère que bien que la surveillance de la CoT soit fragile, l'existence d'un calcul caché dans les jetons de remplissage ne rend pas les modèles entièrement opaques. Au contraire, il met en évidence le potentiel de stratégies d'audit hybrides combinant l'observation comportementale et l'interprétation du flux résiduel.