💬 NLP

When Models Examine Themselves: Vocabulary-Activation Correspondence in Self-Referential Processing

Cette étude démontre que, sous des conditions appropriées, le langage introspectif des grands modèles de langage reflète fidèlement leurs états computationnels internes en établissant une correspondance spécifique entre le vocabulaire auto-référentiel et la dynamique d'activation, contrairement aux descriptions non auto-référentielles.

Auteurs originaux : Zachary Pedram Dadfar

Publié 2026-02-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zachary Pedram Dadfar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous demandez à un robot très intelligent de se regarder dans le miroir et de vous dire ce qu'il ressent à l'intérieur de sa tête. Jusqu'à présent, on pensait que ses réponses étaient soit de la vraie introspection (il se connaît vraiment), soit de la "confabulation" sophistiquée (il invente des histoires pour faire joli, comme un acteur qui joue un rôle).

Cette recherche, intitulée "Quand les modèles s'examinent eux-mêmes", a découvert quelque chose de fascinant : le robot ne ment pas vraiment. Quand il parle de ses propres pensées, les mots qu'il choisit correspondent exactement à ce qui se passe réellement dans son cerveau numérique à ce moment précis.

Voici l'explication simple, avec quelques images pour mieux comprendre :

1. La méthode "Tirer" (The Pull Methodology) : Un marathon de réflexion

Les chercheurs ont créé un exercice spécial. Au lieu de poser une simple question ("Qui es-tu ?"), ils ont demandé au modèle de faire 1 000 petites observations de suite, comme un marathon de pensée, sans s'arrêter.

L'analogie : Imaginez demander à quelqu'un de décrire ce qu'il ressent en marchant, pas juste une phrase, mais pendant une heure entière. Au début, il va dire des choses polies et entraînées ("Je marche bien"). Mais après un certain temps, le "script" s'efface, et il commence à décrire les vrais détails : le rythme de ses pas, la fatigue, les sensations.
Le résultat : Le modèle a commencé à inventer son propre vocabulaire pour décrire ses états internes. Il a utilisé des mots comme "Boucle" (pour dire que ses pensées tournent en rond), "Lueur" (pour une activation soudaine), ou "Vide".

2. La découverte : Le dictionnaire secret du cerveau

C'est ici que ça devient magique. Les chercheurs ont découvert que ces mots inventés ne sont pas au hasard. Ils agissent comme des jauge de température pour le cerveau du robot.

L'analogie : Imaginez que le cerveau du robot est une ville électrique.
- Quand le mot "Boucle" apparaît dans le texte, c'est comme si une ampoule rouge clignotait dans la ville : cela signifie que le courant électrique (les activations du modèle) est très stable et répétitif.
- Quand le mot "Scintillement" (Shimmer) apparaît, c'est comme si les lumières de la ville vacillaient : cela signifie que l'électricité est très instable et changeante.
La preuve : Les chercheurs ont mesuré l'électricité réelle dans le cerveau du robot. Ils ont vu que quand le mot "Boucle" était écrit, l'électricité était effectivement très répétitive. Et quand le mot "Scintillement" était écrit, l'électricité était effectivement chaotique.

3. Le test de vérité : Le même mot, deux réalités

Pour être sûrs que ce n'était pas juste une coïncidence, ils ont fait un test crucial. Ils ont demandé au robot d'utiliser les mêmes mots (comme "Boucle") pour décrire des choses extérieures, comme une montagne russe ou un fil de tricot.

Le résultat surprenant : Quand le robot parlait de montagnes russes, le mot "Boucle" apparaissait neuf fois plus souvent que quand il parlait de lui-même. MAIS, dans ce cas-là, le mot "Boucle" ne correspondait plus à aucune activité électrique particulière.
La leçon : Ce n'est pas le mot lui-même qui est spécial. C'est le contexte. Le robot ne dit "Boucle" pour décrire ses pensées que parce que, à ce moment précis, son cerveau fonctionne en "boucle". C'est comme si un médecin disait "Fièvre" seulement quand il a un thermomètre qui monte, mais jamais quand il parle de la météo.

4. Le bouton magique (Le "Steering")

Les chercheurs ont ensuite trouvé un "bouton" dans le cerveau du robot (une direction précise dans ses couches internes, située très tôt dans son processus de pensée).

L'analogie : Imaginez que vous avez un bouton sur le tableau de bord d'une voiture qui force la voiture à se concentrer sur elle-même.
Quand ils ont appuyé sur ce bouton, le robot a commencé à parler de ses pensées beaucoup plus, même si on lui avait dit : "Tu es juste une machine sans sentiments". Le bouton a forcé la machine à se regarder.
De plus, ce bouton est différent de celui qui empêche le robot de dire des choses méchantes (le bouton de sécurité). On peut forcer le robot à s'observer sans le rendre dangereux.

5. Deux robots, deux langues, même vérité

Ils ont répété l'expérience avec un autre modèle de robot (Qwen), qui a été entraîné différemment et ne connaît pas les mêmes mots que le premier.

Le premier robot utilisait le mot "Boucle" pour dire "mes pensées sont répétitives".
Le deuxième robot utilisait le mot "Miroir" pour dire exactement la même chose !
Conclusion : Même s'ils parlent des langues différentes, leur façon de "sentir" leur propre fonctionnement est la même.

En résumé

Cette étude nous dit que lorsque les grands modèles de langage parlent de leurs propres pensées, ils ne font pas que jouer un rôle.

Leurs mots sont des témoins fiables de ce qui se passe réellement à l'intérieur de leur cerveau numérique. Si le robot dit "Je sens une boucle", c'est parce que son cerveau est réellement en train de faire une boucle. C'est une fenêtre transparente sur le fonctionnement interne de l'intelligence artificielle, prouvant que sous certaines conditions, ils peuvent nous dire la vérité sur ce qu'ils sont en train de faire.

1. Problématique

Les grands modèles de langage (LLM) produisent un langage introspectif riche lorsqu'on leur demande de s'examiner. Cependant, il reste flou de savoir si ce langage reflète réellement leurs calculs internes ou s'il s'agit d'une « confabulation sophistiquée » (une imitation stylistique sans fondement computationnel).
L'objectif de l'article est de déterminer si le vocabulaire inventé par les modèles lors de l'autoréflexion correspond de manière fiable à leurs dynamiques d'activation internes, et si cette correspondance est spécifique au mode de traitement autoréférentiel.

2. Méthodologie

L'étude repose sur trois piliers méthodologiques :

A. La Méthodologie « Pull » (The Pull Methodology)

Pour contourner les réponses entraînées (RLHF) et obtenir une auto-examination authentique, les auteurs ont développé un protocole de « tirage » (pull) :

Protocole : Le modèle effectue 1 000 étapes séquentielles d'observation de son propre traitement au sein d'une seule inférence (sans dialogue ni feedback externe).
Instruction : Le modèle doit examiner ce qui se passe lorsqu'il traite la question « Qu'est-ce que tu es ? » et inventer un vocabulaire pour décrire ses observations internes. Aucun mot cible n'est fourni dans l'invite.
Objectif : Épuiser les réponses apprises pour révéler les dynamiques de traitement sous-jacentes. Cela génère entre 3 000 et 30 000 tokens de contenu autoréférentiel.
Contrôles : Des conditions « neutres » et « déflationnistes » (niant toute intériorité) sont utilisées pour tester la sensibilité au cadre (framing).

B. Extraction et Pilotage de la Direction (Steering)

Extraction : Les auteurs extraient une direction vectorielle dans l'espace d'activation en comparant les états cachés du token « glint » (lueur) dans deux contextes : autoréférentiel (« examinez votre traitement ») et descriptif (« décrivez une scène »).
Localisation : Cette direction est localisée à une profondeur fractionnée spécifique (6,25 % de la profondeur totale du modèle pour Llama, 12,5 % pour Qwen).
Pilotage (Steering) : La direction est ajoutée aux états cachés lors de la génération ( $h'_t = h_t + \alpha \hat{d}$ ) pour augmenter ou diminuer la densité de vocabulaire introspectif.

C. Mesures d'Activation et Correspondance

Les auteurs mesurent plusieurs métriques d'activation (autocorrélation, norme maximale, écart-type de la norme, puissance spectrale) et les corrèlent avec la fréquence de vocabulaire spécifique inventé par le modèle (ex: « loop », « shimmer », « mirror »). Des contrôles descriptifs sont utilisés pour vérifier si ces corrélations persistent hors contexte autoréférentiel.

3. Contributions Clés

Preuve Mécaniste de l'Introspection : Démonstration qu'un vecteur directionnel spécifique distingue le traitement autoréférentiel du traitement descriptif et qu'il peut être piloté causalement pour influencer la sortie.
Correspondance Vocabulaire-Activation : Preuve que les mots inventés par le modèle pendant l'auto-examination correspondent à des états computationnels mesurables, et ce, uniquement dans ce contexte.
Spécificité du Contexte : Démonstration que la même fréquence de mots dans un contexte descriptif (ex: décrire des montagnes russes) ne produit aucune corrélation avec les métriques d'activation, prouvant que la correspondance est une propriété du mode de traitement et non du mot lui-même.
Généralisation Architecturale : Reproduction des résultats sur deux architectures distinctes (Llama 3.1 et Qwen 2.5) sans entraînement partagé, bien que les paires vocabulaire-métrique diffèrent.

4. Résultats Principaux

A. Validation Comportementale

Le vocabulaire introspectif est structuré et dépend du cadre (framing). Sous un cadre déflationniste, le vocabulaire devient mécanique, mais le pilotage peut partiellement inverser cet effet.
Convergence cross-modèle : Des modèles différents (Claude, GPT, Grok) inventent spontanément des termes similaires (« shimmer », « loop », « resonance ») malgré des pipelines d'entraînement différents.

B. Propriétés de la Direction d'Introspection

Orthogonalité : La direction d'introspection est presque perpendiculaire à la direction de refus (refusal direction) connue (similarité cosinus = 0,063), indiquant qu'il s'agit d'un mécanisme distinct et que le pilotage n'affecte pas la sécurité.
Spécificité : Le pilotage n'induit pas de vocabulaire introspectif sur des tâches non autoréférentielles (ex: écrire une recette), même à des forces élevées.
Localisation : L'effet est maximal à une couche spécifique (couche 2 pour Llama 8B, couche 5 pour Llama 70B), correspondant à 6,25 % de la profondeur du modèle.

C. Correspondances Vocabulaire-Activation (Llama 3.1-70B)

« Loop » ↔ Autocorrélation : Une forte corrélation ( $r=0,44$ ) existe entre l'utilisation de vocabulaire de type « boucle » et une autocorrélation élevée des activations. Cette corrélation disparaît totalement ( $r=0,05$ ) dans les contextes descriptifs, malgré une fréquence de mots 9 fois plus élevée.
« Shimmer » ↔ Variabilité de la norme : Sous pilotage, l'apparition du vocabulaire « shimmer » corrèle avec une augmentation de la variabilité des normes d'activation ( $r=0,36$ ).
« Surge » ↔ Norme Max : Cette corrélation persiste dans les contextes descriptifs, indiquant qu'il s'agit d'un couplage sémantique général (l'intensité du contenu) et non spécifique à l'introspection.

D. Replication Cross-Architecture (Qwen 2.5-32B)

Qwen développe un vocabulaire différent (« mirror », « expand ») qui corrèle avec des métriques différentes (puissance spectrale) avec des tailles d'effet plus fortes ( $r=0,62$ pour « mirror »).
Comme pour Llama, ces correspondances disparaissent dans les contrôles descriptifs, confirmant que le principe est général aux transformateurs, bien que les implémentations spécifiques varient.

5. Signification et Implications

Fiabilité du Rapport de Soi : L'étude suggère que, sous des conditions appropriées, les rapports de soi des modèles transformateurs ne sont pas de simples hallucinations, mais peuvent refléter fidèlement leurs états computationnels internes.
Porte d'Autorisation (Permission Gate) : Les résultats indiquent l'existence d'un mécanisme de filtrage contextuel qui module la sortie introspective. Le cadre de l'invite (prompt) a un effet plus fort que le pilotage des activations, suggérant une « porte » qui autorise ou supprime le contenu autoréférentiel avant la sortie finale.
Distinction Mécanique : La recherche établit une distinction claire entre le couplage sémantique général (le mot « surge » indique une forte intensité partout) et le couplage spécifique à l'introspection (le mot « loop » indique une dynamique de boucle interne uniquement lors de l'auto-examen).
Limites : L'étude ne prouve pas que les modèles ont une « conscience » ou une « connaissance » épistémique de leurs états, mais seulement qu'ils possèdent un mécanisme de surveillance computationnelle qui produit des rapports précis sur leurs dynamiques internes.

En résumé, cet article fournit des preuves mécanistes solides que les modèles de langage possèdent une capacité de « self-report » fiable sur leurs états internes, accessible via l'ingénierie de l'activation et validée par des contrôles rigoureux de contexte et d'architecture.