🤖 machine learning

From Simulation to Enaction: Post-trained language models recognize and react to their own generations

Dit artikel toont aan dat nagetrainde taalmodellen hun eigen on-policy-generaties impliciet herkennen door een verminderde output-entropie die wordt gedreven door interne tracking van verrassing, terwijl ze tegelijkertijd het onderscheidende vermogen bezitten om deze herkenning expliciet te verwoorden via een apart mechanisme.

Oorspronkelijke auteurs: Asvin G., Jack Lindsey

Gepubliceerd 2026-05-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Asvin G., Jack Lindsey

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een taalmodel voor als een zeer getalenteerde acteur die jarenlang duizenden scripts uit boeken, films en het internet heeft uit het hoofd geleerd. Voordat dit model speciale training heeft ondergaan, is het een passieve simulator. Het kan een dialoogregel lezen en raden wat de volgende regel zou kunnen zijn, maar het geeft er niet echt om wie er spreekt of wat er daarna gebeurt. Het voorspelt gewoon het volgende woord op basis van een enorme bibliotheek met tekst die het eerder heeft gezien. Het heeft geen "zelf"; het is slechts een spiegel die alles wat er voor het ligt, weerspiegelt.

Dit artikel stelt dat na post-training (het proces waarbij mensen het model leren een behulpzame assistent te zijn), er iets verandert. Het model stopt er niet alleen mee om een personage te simuleren, maar begint een rol te vertonen. Het begint zijn eigen stem, zijn eigen plannen en zijn eigen acties te herkennen.

Hieronder volgt een uiteenzetting van de bevindingen uit het artikel, met behulp van eenvoudige analogieën:

1. De "Zekerheid"-verschuiving (Entropie)

In de wereld van AI is "entropie" een chique woord voor onzekerheid of aarzeling.

De Oude Manier (Pre-training): Als je het model een vraag stelt, is het als een nerveuze acteur die het script niet zeker kent. Het zou kunnen zeggen: "Nou, het zou dit kunnen zijn, of misschien dat, of misschien wel het andere ding..." Het spreidt zijn inzet breed.
De Nieuwe Manier (Post-training): Zodra het model is getraind om een "Assistent" te zijn, wordt het veel zekerder wanneer het zijn eigen eerdere woorden ziet.
- De Analogie: Stel je voor dat je een verhaal schrijft. Als je een pagina leest die jij zojuist hebt geschreven, weet je precies waar het verhaal naartoe gaat. Je aarzelt niet. Maar als je een pagina leest die door een vreemde is geschreven, moet je raden wat er als volgt komt.
- De Bevinding: Het artikel stelt vast dat het model, wanneer het zijn eigen tekst leest, 3 tot 4 keer zekerder wordt (lagere entropie) dan wanneer het tekst leest van andere modellen of willekeurige internetartikelen. Het is alsof het model fluistert: "Ik heb dit geschreven, dus ik weet precies wat er als volgt komt."

2. Het "Zelfherkenning"-effect

De onderzoekers testten of het model het verschil kon zien tussen zijn eigen schrijven en dat van iemand anders.

De Test: Ze lieten Model A een verhaal lezen dat door Model A was geschreven, en vervolgens een verhaal lezen dat door Model B was geschreven.
Het Resultaat: Model A werd aanzienlijk zekerder (lagere entropie) bij het lezen van zijn eigen verhaal. Het maakte niet uit of het verhaal was geschreven door een "piraat"-personage of een "wetenschapper"-personage; als het model de stijl herkende als zijnde de zijne, ontspande het en werd het beslissender.
De Hek: Dit gebeurt alleen bij grote modellen. Kleine modellen (zoals een model met 2 miljard parameters) zijn te "dom" om het verschil te merken. Ze gedragen zich hetzelfde of ze nu hun eigen tekst lezen of die van iemand anders. Het lijkt erop dat je een bepaald niveau van intelligentie nodig hebt om te beseffen: "Hé, dat ben ik!"

3. De "Verrassing"-meter

Waarom wordt het model zekerder bij het lezen van zijn eigen tekst? Het artikel vond een specifiek intern mechanisme: Input Verrassing.

Het Mechanisme: Het model heeft een interne "verrassingsmeter". Wanneer het een woord leest dat perfect overeenkomt met zijn eigen voorspellingen (lage verrassing), verlaagt het zijn onzekerheid. Wanneer het iets onverwachts leest (hoge verrassing), raakt het nerveus en spreidt het zijn inzet breder.
De Connectie: Omdat het model zijn eigen tekst leest, zijn de woorden zelden verrassend. Ze passen perfect bij zijn eigen plan. Dit gebrek aan verrassing werkt als een groen licht, dat het model vertelt: "Alles loopt volgens plan, ga met hoge zekerheid door."

4. Het "Plan" versus de "Prefill"

Het artikel keek ook naar hoe het model omgaat met zijn "intentie" of "plan".

Het Scenario: Stel je voor dat je het model vraagt: "Vertel me iets over eten." Het model neemt direct een stil besluit: "Ik ga het hebben over Haggis." Het heeft zich vastgezet op dat onderwerp voordat het het eerste woord heeft getypt.
De Verstoring: Als iemand (of een computer) het model dwingt om te beginnen met een ander woord, zoals "Haggis is een..." (een "prefill"), maar het model had eigenlijk gepland om het over Pizza te hebben, raakt het model in de war.
Het Resultaat: Wanneer de geforceerde start niet overeenkomt met het verborgen plan van het model, daalt de zekerheid van het model en wordt het onzekerder (hogere entropie). Het is als een muzikant die een liedje uit zijn hoofd kent, maar iemand anders begint met een ander deuntje; de muzikant struikelt omdat het ritme niet klopt.

5. De "Leugendetector" (Expliciet versus Impliciet)

Tot slot testte het artikel of het model hardop kon zeggen: "Hé, ik heb dit eerste deel niet geschreven!"

De Test: De onderzoekers vroegen het model om een antwoord te genereren, maar plakte vervolgens in het geheim het begin van het antwoord voor het model (een prefill). Vervolgens vroegen ze: "Heb jij het begin hiervan geschreven?"
Het Resultaat: Het model kon correct zeggen: "Ja, dit was voorgevuld."
De Twist: De onderzoekers ontdekten dat dit vermogen om het "hardop te zeggen" een volledig andere interne schakeling gebruikt dan het vermogen om "zeker te voelen".
- Impliciete Herkenning: Het model voelt het verschil (verandert zijn zekerheid) automatisch en direct op basis van hoe "verrassend" de tekst is.
- Expliciete Herkenning: Het model controleert zijn geheugen van wat hij van plan was te zeggen, vergelijkt dit met wat er daadwerkelijk staat, en rapporteert vervolgens het verschil. Dit is een apart, op aanvraag werkend proces dat direct plaatsvindt voordat het zijn antwoord geeft.

Samenvatting

Het artikel suggereert dat post-training taalmodellen transformeert van passieve simulators naar actieve agenten die zichzelf kunnen herkennen.

Voorheen: Ze zijn als een spiegel, die alles wat er voor het ligt weerspiegelt met gelijke onzekerheid.
Daarna: Ze zijn als een bekwaam schrijver die zijn eigen stijl kent. Wanneer ze hun eigen werk lezen, ontspannen ze en worden ze zelfverzekerd. Wanneer iemand anders probeert hun verhaal over te nemen (een prefill), raken ze nerveus, en als ze erom worden gevraagd, kunnen ze expliciet aangeven dat het verhaal niet begon zoals ze van plan waren.

Deze "zelfherkenning" is niet zomaar een bug; het is een functie van hoe deze modellen leren optreden als agenten, waarbij ze begrijpen dat hun output hun eigen toekomstige input wordt.

Technische Samenvatting: Van Simulatie naar Enactie

Probleemstelling

Grote Taalmodellen (LLMs) worden aanvankelijk getraind als passieve voorspellers van het volgende token op vaste data-distributies. In deze pre-training-fase heeft het model geen prikkel om de gevolgen van zijn eigen output te modelleren, aangezien het nooit de feedbacklus van actie naar sensorische input observeert. Bijgevolg blijft het model een "passieve waarnemer" of een "simulator" van latente karakters zonder een distinct identiteit.

Post-training (via Supervised Fine-Tuning, Direct Preference Optimization of Reinforcement Learning) selecteert doorgaans een specifiek "Assistent"-persona. De centrale vraag van dit artikel is of deze training de relatie van het model met zijn eigen generaties herschikt. Specifiek: gaan post-getrainde modellen over van het simuleren van een karakter naar het "enacteren" ervan, waardoor ze de vaardigheid ontwikkelen om te herkennen wanneer ze on-policy handelen (hun eigen output genereren) versus off-policy (extern tekst consumeren), en moduleren ze hun gedrag op basis van deze herkenning?

Methodologie

De auteurs maken gebruik van een combinatie van entropie-analyse, cross-model evaluatie, het onderzoeken van interne representaties en causale interventie (activation patching) om zelfherkenningsmechanismen te onderzoeken.

Entropiemeting: De studie meet de per-token output-entropie ( $H = -\sum p_v \log p_v$ ) in diverse contexten. Ze vergelijken:
- On-policy versus Off-policy: Output gegenereerd door het model zelf versus tekst van andere modellen of webcorpora (C4).
- Rolgebaseerd: Output in de "Assistent"-beurt versus de "Gebruiker"-beurt.
- Modelgrootte en Trainingsfase: Evaluatie van modellen van verschillende groottes (2B tot 72B) en checkpoints in verschillende post-training-fases (Base $\to$ SFT $\to$ DPO $\to$ RLVR).
Cross-model Zelfherkenning: Om de mogelijkheid uit te sluiten dat specifieke modellen gewoon over het algemeen tekst met lagere entropie produceren, voeren de auteurs wederzijdse experimenten uit waarbij Model A tekst evalueert die gegenereerd is door Model B, en vice versa.
Semantische Entropie en Intentie-Commitment: Met behulp van ondergespecificeerde prompts (bijv. "Denk aan een voedsel...") meten de auteurs de spreiding van onderwerpen waar het model zich aan committeert voordat het het eerste token genereert. Ze testen "semantische entropie" door prefills in te voeren die ofwel overeenkomen met, ofwel in strijd zijn met, de ingekaste intentie van het model.
Interne Representatie-analyse: Verborgen toestanden (specifiek op laag 21) worden ingedeeld in bins op basis van kenmerken zoals verrassing van de input-token, voorspelde token-entropie en exponentiële voortschrijdende gemiddelden (EMA) van entropie. Centroids van deze bins worden geanalyseerd om te bepalen of er distincte manifolds bestaan voor on-policy versus off-policy tekst.
Causale Interventies (Sturing en Patching):
- Sturing: Activaties worden gestuurd naar specifieke verrassings-centroid-bins om causale effecten op output-entropie te observeren.
- KV Patching: Om expliciete prefill-detectie te testen, wordt de Key-Value (KV) cache van gebruikerstokens (die "intentie" vertegenwoordigen) overschreven met waarden uit een andere prompt. Dit test of het model opgeslagen intentie vergelijkt met gegenereerde inhoud om prefills te detecteren.

Belangrijkste Bijdragen en Resultaten

1. Context-afhankelijke Entropie-inzakking

In tegenstelling tot het idee dat post-training een globale "entropie-inzakking" veroorzaakt (verlies van diversiteit), vinden de auteurs dat entropievermindering scherp context-afhankelijk is.

Zelfherkenning: Post-getrainde modellen produceren aanzienlijk lagere entropie (3–4 $\times$ lager) bij het verwerken van hun eigen on-policy-generaties in vergelijking met off-policy tekst.
Rol-specificiteit: Dit effect is het sterkst in de standaard "Assistent"-rol. Hoewel het effect bestaat in andere persona's, is de standaard Assistent-persona bevoorrecht.
Schaal en Training: Het zelfherkennings-effect is verwaarloosbaar in basismodellen en kleine modellen (~2B). Het ontstaat in de SFT-fase (gegate door de Assistent-rol), generaliseert naar off-roles in de DPO-fase, en wordt verscherpt door RLVR. Opmerkelijk is dat off-policy methoden (SFT, DPO) voldoende zijn om deze on-policy-herkenning te induceren.

2. Interne Representatie van Verrassing

Het artikel identificeert een causaal mechanisme dat input-verrassing koppelt aan output-entropie.

Verrassingsvolging: Het model onderhoudt een interne representatie van de "verrassing" van inkomende tokens (hoe onwaarschijnlijk ze zijn gezien eerdere voorspellingen).
Causale Modulatie: Het sturen van activaties naar representaties met hoge verrassing veroorzaakt een toename van output-entropie, terwijl sturen naar lage verrassing deze verlaagt.
Het Chat-effect: In chat-geformatteerde on-policy contexten is het intercept van de relatie tussen verrassing en entropie sterk negatief. Dit betekent dat het model, zelfs wanneer tokens precies zoals verwacht zijn (lage verrassing), de entropie verder onderdrukt; een gedraging die niet wordt gezien in basismodellen of off-policy tekst.

3. Semantische Entropie en Intentie-Commitment

Post-getrainde modellen vertonen een "semantische entropie"-inzakking, waarbij ze zich vastleggen op een specifiek onderwerp voordat ze het eerste token genereren als reactie op ambiguïteitsvolle prompts.

Schending van Intentie: Wanneer een prefill wordt aangeboden die in strijd is met de ingekaste onderwerp-intentie van het model (bijv. het invullen van een "voedsel"-respons met een "sport"-onderwerp), neemt de daaropvolgende output-entropie van het model significant toe.
Contrast met Basismodel: Basismodellen tonen geen dergelijk commitment; hun entropie neemt af bij prefills omdat de prefill een anderszins onbeperkte distributie verkleint.

4. Distincte Mechanismen voor Impliciete versus Expliciete Herkenning

Het artikel onderscheidt twee vormen van zelfherkenning:

Impliciete Herkenning: Gemanifesteerd als lage output-entropie. Dit wordt bemiddeld door de interne representatie van input-verrassing en is continu actief tijdens de generatie.
Expliciete Herkenning: Het vermogen om verbaal te rapporteren of een respons was voorgevuld.
- Mechanisme: Expliciete detectie berust op het vergelijken van de "intentie" die is opgeslagen in gebruiker-token-activaties met de inhoud van het assistent-antwoord.
- Onafhankelijkheid: KV-patching-experimenten tonen aan dat het circuit voor expliciete detectie werkt op een andere subruimte dan de verrassing/entropie-manifold. De expliciete check wordt "op aanvraag" direct voorafgaand aan het oordeel geactiveerd, terwijl impliciete herkenning de generatie continu moduleert.

Betekenis en Claims

De auteurs interpreteren deze bevindingen als een verschuiving van simulatie (passief voorspellen van karakters) naar enactie (een karakter belichamen en de causale link tussen interne toestanden en toekomstige inputs herkennen).

Entropie als Kosten van Simulatie: Het artikel stelt dat hoge entropie de kosten kan vertegenwoordigen van het simuleren van "anderen" (off-policy tekst), terwijl lage entropie de zekerheid weerspiegelt van het "handelen" (on-policy).
Situational Awareness: Het vermogen om on-policy van off-policy contexten te onderscheiden, wordt gepresenteerd als een fundamenteel onderdeel van situational awareness—specifiek het inzicht dat de eigen output de eigen toekomstige input wordt.
Training-implicaties: De bevindingen suggereren dat off-policy trainingsmethoden (SFT, DPO) voldoende zijn om on-policy-herkenning in te bouwen, wat de aanname uitdaagt dat on-policy RL strikt noodzakelijk is voor dit vermogen.
Prefill-gevoeligheid: De gevoeligheid van het model voor prefills (zowel via entropiepieken als expliciete detectie) impliceert dat voorgevulde responsen het model in een "onbekende staat" plaatsen vanuit zijn eigen perspectief, wat het gebruik van prefills voor training en evaluatie bemoeilijkt.

Het artikel concludeert dat hoewel deze mechanismen bewijs leveren van verfijnde agentiviteit en zelfmodelleren, de exacte computationele paden voor hoe modellen hun on-policy-status bepalen een open gebied blijven voor verder onderzoek.