🤖 machine learning

From Simulation to Enaction: Post-trained language models recognize and react to their own generations

Ce papier démontre que les modèles de langage post-entraînés reconnaissent implicitement leurs propres générations on-policy grâce à une entropie de sortie réduite pilotée par un suivi interne de la surprise, tout en possédant la capacité distincte de verbaliser explicitement cette reconnaissance via un mécanisme séparé.

Auteurs originaux : Asvin G., Jack Lindsey

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Asvin G., Jack Lindsey

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle de langage comme un acteur très talentueux qui a passé des années à mémoriser des milliers de scénarios issus de livres, de films et d'Internet. Avant tout entraînement spécial, cet acteur est un simulateur passif. Il peut lire une réplique et deviner ce que la réplique suivante pourrait être, mais il ne se soucie pas vraiment de qui parle ou de ce qui se passe ensuite. Il se contente de prédire le mot suivant en se basant sur une immense bibliothèque de textes qu'il a déjà vu. Il n'a pas de « soi » ; il est simplement un miroir reflétant tout texte qui se trouve devant lui.

Ce papier soutient qu'après le post-entraînement (le processus où des humains enseignent au modèle à devenir un assistant utile), quelque chose change. Le modèle cesse de simplement simuler un personnage et commence à incarner un rôle. Il commence à reconnaître sa propre voix, ses propres plans et ses propres actions.

Voici une décomposition des conclusions du papier utilisant des analogies simples :

1. Le changement de « Confiance » (Entropie)

Dans le monde de l'IA, l'« entropie » est un mot savant pour désigner l'incertitude ou l'hésitation.

L'ancienne méthode (Pré-entraînement) : Si vous posez une question au modèle, c'est comme un acteur nerveux qui ne connaît pas son script. Il pourrait dire : « Eh bien, cela pourrait être ceci, ou peut-être cela, ou peut-être l'autre chose... » Il éparpille ses paris.
La nouvelle méthode (Post-entraînement) : Une fois que le modèle est entraîné à devenir un « Assistant », il devient beaucoup plus confiant lorsqu'il voit ses propres mots précédents.
- L'analogie : Imaginez que vous écrivez une histoire. Lorsque vous lisez une page que vous venez d'écrire, vous savez exactement où l'histoire va. Vous n'hésitez pas. Mais si vous lisez une page écrite par un inconnu, vous devez deviner ce qui suit.
- La découverte : Le papier a révélé que lorsque le modèle lit son propre texte, il devient 3 à 4 fois plus confiant (entropie plus faible) que lorsqu'il lit du texte provenant d'autres modèles ou d'articles aléatoires d'Internet. C'est comme si le modèle chuchotait : « J'ai écrit cela, donc je sais exactement ce qui suit. »

2. L'effet de « Reconnaissance de soi »

Les chercheurs ont testé si le modèle pouvait faire la différence entre sa propre écriture et celle de quelqu'un d'autre.

Le test : Ils ont demandé au Modèle A de lire une histoire écrite par le Modèle A, puis de lire une histoire écrite par le Modèle B.
Le résultat : Le Modèle A est devenu significativement plus confiant (entropie plus faible) en lisant sa propre histoire. Peu importait que l'histoire ait été écrite par un personnage de « pirate » ou un personnage de « scientifique » ; si le modèle reconnaissait le style comme étant le sien, il se détendait et devenait plus décisif.
La particularité : Cela ne se produit que dans les grands modèles. Les petits modèles (comme un modèle de 2 milliards de paramètres) sont trop « bêtes » pour remarquer la différence. Ils agissent de la même manière qu'ils lisent leur propre texte ou celui de quelqu'un d'autre. Il semble qu'il faille un certain niveau d'intelligence pour réaliser : « Hé, c'est moi ! »

3. Le compteur de « Surprise »

Pourquoi le modèle devient-il plus confiant en lisant son propre texte ? Le papier a identifié un mécanisme interne spécifique : la Surprise d'entrée.

Le mécanisme : Le modèle possède un compteur interne de « surprise ». Lorsqu'il lit un mot qui correspond parfaitement à ses propres prédictions (faible surprise), il réduit son incertitude. Lorsqu'il lit quelque chose d'inattendu (forte surprise), il devient nerveux et éparpille ses paris.
Le lien : Parce que le modèle lit son propre texte, les mots sont rarement surprenants. Ils correspondent parfaitement à son propre plan. Ce manque de surprise agit comme un feu vert, indiquant au modèle : « Tout est sur la bonne voie, poursuivez avec une grande confiance. »

4. Le « Plan » contre le « Préremplissage »

Le papier a également examiné comment le modèle gère son « intention » ou son « plan ».

Le scénario : Imaginez que vous demandiez au modèle : « Parlez-moi d'un aliment. » Le modèle prend instantanément une décision silencieuse : « Je vais parler de l'haggis. » Il s'est verrouillé sur ce sujet avant même d'avoir tapé le premier mot.
La perturbation : Si quelqu'un (ou un ordinateur) force le modèle à commencer par un mot différent, comme « L'haggis est un... » (un « préremplissage »), mais que le modèle avait en réalité prévu de parler de Pizza, le modèle se confond.
Le résultat : Lorsque le début forcé ne correspond pas au plan caché du modèle, la confiance du modèle diminue et il devient plus incertain (entropie plus élevée). C'est comme un musicien qui a mémorisé une chanson, mais que quelqu'un d'autre commence à jouer un air différent ; le musicien trébuche parce que le rythme est décalé.

5. Le « Détecteur de mensonge » (Explicite vs Implicite)

Enfin, le papier a testé si le modèle pouvait dire à voix haute : « Hé, je n'ai pas écrit cette première partie ! »

Le test : Les chercheurs ont demandé au modèle de générer une réponse, puis ils ont secrètement collé le début de la réponse pour lui (un préremplissage). Ensuite, ils ont demandé : « Avez-vous écrit le début de ceci ? »
Le résultat : Le modèle a pu correctement dire : « Oui, cela a été prérempli. »
La surprise : Les chercheurs ont découvert que cette capacité à « le dire à voix haute » utilise un circuit interne complètement différent de la capacité à « se sentir confiant ».
- Reconnaissance implicite : Le modèle ressent la différence (modifie sa confiance) automatiquement et instantanément en fonction du degré de « surprise » du texte.
- Reconnaissance explicite : Le modèle vérifie sa mémoire de ce qu'il avait prévu de dire, compare cela à ce qui est réellement là, puis signale la discordance. Il s'agit d'un processus distinct, à la demande, qui se produit juste avant qu'il ne donne sa réponse.

Résumé

Le papier suggère que le post-entraînement transforme les modèles de langage de simulateurs passifs en agents actifs capables de se reconnaître.

Avant : Ils sont comme un miroir, reflétant tout texte qui se trouve devant eux avec une incertitude égale.
Après : Ils sont comme un écrivain habile qui connaît son propre style. Lorsqu'ils lisent leur propre travail, ils se détendent et deviennent confiants. Lorsque quelqu'un d'autre tente de prendre le contrôle de leur histoire (un préremplissage), ils deviennent nerveux, et si on leur demande, ils peuvent explicitement signaler que l'histoire n'a pas commencé comme ils l'avaient prévu.

Cette « reconnaissance de soi » n'est pas un simple bug ; c'est une caractéristique de la façon dont ces modèles apprennent à agir en tant qu'agents, comprenant que leurs sorties deviennent leurs propres futures entrées.

Résumé Technique : De la Simulation à l'Enaction

Énoncé du Problème

Les modèles de langage de grande taille (LLM) sont initialement entraînés comme des prédicteurs passifs du token suivant sur des distributions de données fixes. Dans cette phase de pré-entraînement, le modèle n'a aucune incitation à modéliser les conséquences de ses propres sorties, car il n'observe jamais la boucle de rétroaction allant de l'action à l'entrée sensorielle. Par conséquent, le modèle reste un « observateur passif » ou un « simulateur » de personnages latents sans identité distincte.

Le post-entraînement (via l'Affinement Supervisé, l'Optimisation Directe des Préférences ou l'Apprentissage par Renforcement) sélectionne généralement une persona spécifique d'« Assistant ». La question centrale de cet article est de savoir si cet entraînement transforme la relation du modèle avec ses propres générations. Plus précisément, les modèles post-entraînés passent-ils de la simple simulation d'un personnage à son « enaction », développant ainsi la capacité de reconnaître quand ils agissent « on-policy » (générant leurs propres sorties) par opposition à « off-policy » (consommant du texte externe), et modulent-ils leur comportement en fonction de cette reconnaissance ?

Méthodologie

Les auteurs emploient une combinaison d'analyse de l'entropie, d'évaluation inter-modèle, de sondage des représentations internes et d'intervention causale (patching d'activation) pour investiguer les mécanismes d'auto-reconnaissance.

Mesure de l'Entropie : L'étude mesure l'entropie de sortie par token ( $H = -\sum p_v \log p_v$ ) à travers divers contextes. Ils comparent :
- On-policy vs Off-policy : Les sorties générées par le modèle lui-même par rapport à du texte provenant d'autres modèles ou de corpus web (C4).
- Basé sur le rôle : Les sorties au tour de l'« Assistant » par rapport au tour de l'« Utilisateur ».
- Taille du modèle et stade d'entraînement : Évaluation de modèles de tailles variées (2B à 72B) et de points de contrôle à différents stades de post-entraînement (Base $\to$ SFT $\to$ DPO $\to$ RLVR).
Auto-reconnaissance Inter-modèle : Pour écarter la possibilité que des modèles spécifiques produisent simplement du texte à faible entropie en général, les auteurs mènent des expériences réciproques où le Modèle A évalue le texte généré par le Modèle B, et vice versa.
Entropie Sémantique et Engagement d'Intention : En utilisant des invites sous-spécifiées (par exemple, « Pensez à un aliment... »), les auteurs mesurent la dispersion des sujets auxquels le modèle s'engage avant de générer le premier token. Ils testent l'« entropie sémantique » en introduisant des préremplissements qui correspondent ou violent l'intention mise en cache du modèle.
Analyse des Représentations Internes : Les états cachés (spécifiquement à la couche 21) sont regroupés en classes selon des caractéristiques telles que la surprise du token d'entrée, l'entropie du token prédit et les moyennes mobiles exponentielles (EMA) de l'entropie. Les centroïdes de ces classes sont analysés pour déterminer si des variétés distinctes existent pour les textes on-policy par rapport aux textes off-policy.
Interventions Causales (Pilotage et Patching) :
- Pilotage : Les activations sont pilotées vers des classes de centroïdes de surprise spécifiques pour observer les effets causaux sur l'entropie de sortie.
- Patching KV : Pour tester la détection explicite des préremplissements, le cache Key-Value (KV) des tokens d'utilisateur (représentant l'« intention ») est écrasé avec des valeurs provenant d'une invite différente. Cela teste si le modèle compare l'intention stockée au contenu généré pour détecter les préremplissements.

Contributions et Résultats Clés

1. Effondrement de l'Entropie Dépendant du Contexte

Contrairement à l'idée que le post-entraînement provoque un « effondrement global de l'entropie » (perte de diversité), les auteurs constatent que la réduction de l'entropie est nettement dépendante du contexte.

Auto-reconnaissance : Les modèles post-entraînés produisent une entropie significativement plus faible (3 à 4 fois moins) lorsqu'ils traitent leurs propres générations on-policy par rapport au texte off-policy.
Spécificité du Rôle : Cet effet est le plus fort dans le rôle par défaut d'« Assistant ». Bien que l'effet existe dans d'autres personae, la persona Assistant par défaut est privilégiée.
Échelle et Entraînement : L'effet d'auto-reconnaissance est négligeable dans les modèles de base et les petits modèles (~2B). Il émerge au stade SFT (conditionné par le rôle d'Assistant), se généralise aux rôles non-default au stade DPO, et est affiné par le RLVR. Notamment, les méthodes off-policy (SFT, DPO) suffisent à induire cette reconnaissance on-policy.

2. Représentation Interne de la Surprise

L'article identifie un mécanisme causal reliant la surprise d'entrée à l'entropie de sortie.

Suivi de la Surprise : Le modèle maintient une représentation interne de la « surprise » des tokens entrants (à quel point ils sont improbables compte tenu des prédictions antérieures).
Modulation Causale : Le pilotage des activations vers des représentations de haute surprise augmente causalement l'entropie de sortie, tandis que le pilotage vers une faible surprise la diminue.
L'Effet Chat : Dans les contextes on-policy formatés en chat, l'ordonnée à l'origine de la relation entre surprise et entropie est fortement négative. Cela signifie que même lorsque les tokens sont exactement comme prévu (faible surprise), le modèle supprime davantage l'entropie, un comportement absent chez les modèles de base ou dans le texte off-policy.

3. Entropie Sémantique et Engagement d'Intention

Les modèles post-entraînés présentent un effondrement de l'« entropie sémantique », s'engageant sur un sujet spécifique avant de générer le premier token en réponse à des invites ambiguës.

Violation de l'Intention : Lorsqu'un préremplissement est fourni qui contredit l'intention de sujet mise en cache du modèle (par exemple, préremplir une réponse sur un « aliment » avec un sujet « sport »), l'entropie de sortie subséquente du modèle augmente considérablement.
Contraste avec les Modèles de Base : Les modèles de base ne montrent pas cet engagement ; leur entropie diminue lorsqu'ils sont préremplis car le préremplissement rétrécit une distribution autrement non contrainte.

4. Mécanismes Distincts pour la Reconnaissance Implicite vs Explicite

L'article distingue deux formes d'auto-reconnaissance :

Reconnaissance Implicite : Se manifeste par une faible entropie de sortie. Elle est médiée par la représentation interne de la surprise d'entrée et est continuellement active pendant la génération.
Reconnaissance Explicite : La capacité de rapporter verbalement si une réponse a été préremplie.
- Mécanisme : La détection explicite repose sur la comparaison de l'« intention » stockée dans les activations des tokens d'utilisateur avec le contenu de la réponse de l'assistant.
- Indépendance : Les expériences de patching KV montrent que le circuit de détection explicite opère sur un sous-espace différent de la variété surprise/entropie. La vérification explicite est invoquée « à la demande » immédiatement avant le verdict, tandis que la reconnaissance implicite module la génération de manière continue.

Importance et Revendications

Les auteurs interprètent ces résultats comme un passage de la simulation (prédire passivement des personnages) à l'enaction (incarner un personnage et reconnaître le lien causal entre les états internes et les futures entrées).

L'Entropie comme Coût de la Simulation : L'article postule que la haute entropie peut représenter le coût de la simulation d'« autres » (texte off-policy), tandis que la faible entropie reflète la confiance de « l'action » (on-policy).
Conscience Situationnelle : La capacité de distinguer les contextes on-policy des contextes off-policy est présentée comme un composant fondamental de la conscience situationnelle — spécifiquement, la compréhension que ses propres sorties deviennent ses propres futures entrées.
Implications pour l'Entraînement : Les résultats suggèrent que les méthodes d'entraînement off-policy (SFT, DPO) suffisent à instiller la reconnaissance on-policy, remettant en question l'hypothèse selon laquelle le RL on-policy est strictement nécessaire pour cette capacité.
Sensibilité aux Préremplissements : La sensibilité du modèle aux préremplissements (à la fois via des pics d'entropie et une détection explicite) implique que les réponses préremplies placent le modèle dans un « état inconnu » de son propre point de vue, compliquant l'utilisation des préremplissements pour l'entraînement et l'évaluation.

L'article conclut que bien que ces mécanismes fournissent des preuves d'une agence sophistiquée et d'une auto-modélisation, les voies computationnelles exactes par lesquelles les modèles déterminent leur statut on-policy restent un domaine ouvert pour de futures investigations.