🤖 AI

Representation Without Control: Testing the Realization Effect in Language Models

Dit artikel toont aan dat, hoewel grote taalmodellen prompt-gevoelige gedragsveranderingen vertonen en lineair decodeerbare interne representaties van het "realisatie-effect" bezitten, het onvermogen om deze representaties causaal te sturen om risicovolle beslissingen te veranderen, aantoont dat latente uitlezingen niet noodzakelijkerwijs wijzen op een werkelijke afhankelijkheid van die representaties voor downstream-besluitvorming.

Oorspronkelijke auteurs: Ciarán Walsh, Emilio Barkett

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ciarán Walsh, Emilio Barkett

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer slimme, zeer praatgrage robot voor die zich kan voordoen als een mens. Je stelt het vragen over geld, gokken en risico, in de hoop dat het zich gedraagt als een mens die echte keuzes in het dagelijks leven maakt. Maar hier is de grote vraag: Denkt de robot echt "zoals een mens", of is het gewoon goed in het raden welke woorden het moet zeggen op basis van hoe je de vraag stelt?

Dit artikel legt die robot op de proef met een beroemde psychologische truc die het "Realisatie-effect" wordt genoemd.

De Opzet: De "Open vs. Gesloten" Portemonnee

In het echte leven gedragen mensen zich verschillend, afhankelijk van of een winst of verlies "open" (papier) of "gesloten" (gerealiseerd) is.

Papier (Open): Stel je voor dat je $50 wint met een kraskaartje, maar het nog niet hebt ingewisseld. Je voelt je misschien alsof je nog "in het spel" zit en neemt grotere risico's om je geld te verdubbelen.
Gerealiseerd (Gesloten): Stel je voor dat je die $50 hebt ingewisseld, in je zak hebt gestopt en het vervolgens bent kwijtgeraakt. Je voelt je misschien alsof dat geld weg is en wordt voorzichtiger.

De onderzoekers stelden de vraag: Weet het AI-verschil tussen een "open" en een "gesloten" portemonnee, en verandert het zijn gedrag daarop echt?

Ze testten het AI op drie manieren, zoals het controleren van een verdachte op drie verschillende niveaus van een politieonderzoek.

Niveau 1: De "Acteren"-test (Gedrag)

Eerst vroegen ze het AI gewoon om vragen te beantwoorden.

Het Resultaat: Het AI veranderde zijn antwoorden wel op basis van of het verhaal zei dat het geld "open" of "gesloten" was. Het was gevoelig voor de woorden.
De Haken: Maar het gedroeg zich niet als een echt mens. Als mensen geld verliezen op een "open" rekening, worden ze roekeloos. Als het AI geld verloor op een "open" rekening, werd het niet op dezelfde manier roekeloos. Het imiteerde alleen de vorm van het antwoord, niet de logica erachter.

Niveau 2: De "Röntgen"-test (Het brein lezen)

Vervolgens keken de onderzoekers in het "brein" van het AI (zijn interne wiskundige lagen) om te zien of het daar echt een concept van "Open vs. Gesloten" had opgeslagen.

Het Resultaat: Ze vonden het! Op een specifieke laag (Laag 18) van het AI was er een duidelijk, leesbaar signaal. Als je naar de wiskunde keek, kon je precies zien welke prompts "open" en welke "gesloten" waren.
De Metafoor: Het is alsof je een lichtschakelaar in een huis vindt die duidelijk is gelabeld als "Keukenlicht". Je ziet de schakelaar en je weet dat deze verbonden is met de keuken.

Niveau 3: De "Afstandsbediening"-test (Causale controle)

Dit is het belangrijkste deel. Als het AI het concept echt "begrijpt", dan zouden we die interne schakelaar moeten kunnen omdraaien en het AI moeten dwingen van mening te veranderen.

Het Experiment: De onderzoekers gebruikten een "afstandsbediening" (actiesturing) om die "Open vs. Gesloten"-schakelaar in het brein van het AI handmatig om te draaien terwijl het vragen beantwoordde. Ze probeerden het AI te dwingen zich te gedragen alsof het een "open" of een "gesloten" portemonnee had.
Het Resultaat: Er gebeurde niets. Hoewel ze de schakelaar konden zien en om konden draaien, veranderden de uiteindelijke beslissingen van het AI over gokken en risico niet.
De Metafoor: Het is alsof je een lichtschakelaar vindt die "Keukenlicht" heet, deze aan en uit doet, en merkt dat het keukenlicht niet oplicht. De schakelaar bestaat, maar hij is niet echt verbonden met de lamp. Het is gewoon een decoratie.

De Grote Conclusie

Het artikel concludeert dat het feit dat een AI de juiste woorden kan zeggen (Niveau 1) en een leesbare "schakelaar" in zijn brein heeft (Niveau 2), niet betekent dat die schakelaar zijn acties daadwerkelijk controleert (Niveau 3).

Het "Realisatie-effect" bij mensen is een diep, causaal mechanisme: De manier waarop we over geld voelen, verandert hoe we gokken.
Het "Realisatie-effect" bij dit AI was slechts een oppervlakkig patroon. Het AI merkte de woorden "open" en "gesloten" op en paste zijn vocabulaire aan, maar het gebruikte dat concept niet echt om zijn uiteindelijke beslissing te nemen.

De Kernboodschap:
Ga er niet van uit dat een AI "zoals een mens denkt" alleen maar omdat het menselijke antwoorden geeft. Het is misschien gewoon een zeer goede acteur. Om te bewijzen dat het echt "denkt", moet je laten zien dat je naar binnen kunt reiken, een schakelaar kunt omdraaien en het kunt laten doen wat anders. In dit geval probeerden de onderzoekers de schakelaar om te draaien, en het AI bewoog zich niet.

Kortom: Het AI heeft de woorden voor het concept, en het heeft het interne signaal voor het concept, maar het heeft geen controle over zijn gedrag. Het signaal is er, maar het doet geen echt werk.

Technische Samenvatting: Representatie Zonder Controle

Probleemstelling
Het artikel adresseert een kritieke kloof in de evaluatie van Large Language Models (LLM's) die worden ingezet als gedragsimulatoren. Hoewel LLM's steeds vaker worden gebruikt om menselijke cognitie te modelleren, is het onduidelijk of hun conditioneel gevoelige output een echte interne implementatie van menselijke cognitieve mechanismen weerspiegelt, of slechts prompt-gevoelige oppervlaktepatronen. De auteurs onderzoeken dit door het "realisatie-effect" te testen, een goed gekarakteriseerd fenomeen in de gedragswetenschappen waarbij risicovol gedrag systematisch verandert afhankelijk van of eerdere winsten of verliezen "papieren" (open mentale rekening) of "gerealiseerd" (gesloten mentale rekening) zijn. De kernvraag is of LLM's niet alleen gedragsgevoeligheid voor deze framing vertonen, maar ook het onderliggende construct coderen als een causale representatie die downstream beslissingen stuurt.

Methodologie
De studie hanteert een driedelige experimentele opzet met het Gemma 3 4B-model om drie gekoppelde claims te toetsen: gedragsgevoeligheid, lineaire decodering en causale controle.

Alleen-Prompt Gedragstaken: De auteurs construeerden 11 vignette-omstandigheden die papieren en gerealiseerde uitkomsten omvatten (financiën, casino, enz.) om te testen of LLM-antwoorden (inzetbedragen en risicopreferenties) de directionele voorspellingen van menselijke realisatie-effecten repliceren.
Actuatie-uitlezing: Het team analyseerde de residual stream-activaties van Gemma om te bepalen of "realisatiestatus" lineair decodeerbaar is. Ze construeerden een gemiddelde-verschilrichtingsvector ( $v_{realization} = \mu_{realized\_closed} - \mu_{paper\_open}$ ) met behulp van een trainingsverdeling van 756 gekoppelde paren op laag 18. Deze richting werd getoetst op generalisatie op vastgehouden validatiesets en een nieuwe, door DeepSeek gegenereerde promptset.
Causale Stuuringsinterventie: Om te testen of de gedecodeerde representatie het gedrag causaal beheerst, implementeerden de auteurs residual stream-sturing. Ze voegden de geschaalde, genormaliseerde realisatierichting toe aan de activaties van het model op laag 18 tijdens de generatie. Ze testten verschillende stuuringsniveaus (van -50 tot +150) om te zien of het verschuiven van de activatie naar "gerealiseerde" of "papieren" toestanden de inzet- en risicokeuzes van het model betrouwbaar veranderde. Ook werd een positieve-controle classificatietaken uitgevoerd om semantische verschuivingen in directe oordelen te controleren.

Belangrijkste Resultaten
De resultaten onthullen een significante dissociatie tussen representatie en controle:

Gedragsgevoeligheid (Gedeeltelijk): LLM's zijn conditioneel gevoelig en produceren verschillende antwoorden op basis van framing. Het directionele patroon komt echter niet robuust overeen met de voorspellingen van menselijke realisatie-effecten. Bijvoorbeeld: gerealiseerde verliezen verhoogden het risicovol gedrag in het model, in tegenstelling tot de menselijke neiging om het risico te verlagen na gerealiseerde verliezen.
Lineaire Uitlezing (Succes): De realisatiestatus is lineair decodeerbaar uit de residual stream van Gemma op laag 18. Een richting die is getraind op één set prompts, scheidt "papieren" van "gerealiseerde" prompts succesvol in vastgehouden sets, inclusief die van een andere bron (DeepSeek).
Causale Controle (Mislukking): Sturen langs de gedecodeerde realisatierichting verplaatst het downstream risicogedrag niet betrouwbaar.
- Inzet en Risico: Over positieve en negatieve stuuringsniveaus heen waren de gemiddelde inzet- en risicoverschuivingen klein, en waren de mediaanverschuivingen consequent nul.
- Symmetrie: De verwachte teken-symmetrische omkering (sturen naar "papieren" zou het risico moeten verlagen, sturen naar "gerealiseerd" zou het moeten verhogen, of vice versa) werd niet waargenomen.
- Correlatie: Hoewel de ruwe projectiestrength zwak correleerde met inzetbedragen op promptniveau, verdween deze associatie na controle voor promptstructuur. Binnen gekoppelde paren voorspelden projectieverschuivingen geen gedragsverschuivingen.
Positieve Controle: Een classificatietaken toonde een zwakke directionele verschuiving in semantisch oordeel (toename van "gerealiseerde" voorspellingen bij hoge positieve schalen), maar de nauwkeurigheid bleef dicht bij het toevalsniveau en de verschuiving was asymmetrisch.

Belangrijkste Bijdragen
De primaire bijdrage van het artikel is de empirische demonstratie dat gedragsgevoeligheid, latente uitlezing en causale controle drie distincte eigenschappen zijn die niet automatisch samen voorkomen.

Het stelt vast dat een succesvolle lineaire uitlezing van een variabele onvoldoende bewijs is dat een model tijdens downstream besluitvorming op die representatie leunt.
Het biedt een concrete casestudie waarin een model de eerste twee tests van mechanistische interpreteerbaarheid (gevoeligheid en decodeerbaarheid) slaagt, maar de derde (causale controle) faalt.
Het daagt de aanname uit dat conditioneel gevoelig gedrag in LLM's impliceert dat mensachtige cognitieve mechanismen worden geïmplementeerd.

Betekenis en Claims
De auteurs betogen dat hun bevindingen een verschuiving vereisen in hoe LLM-gedragsonderzoek wordt uitgevoerd en geïnterpreteerd.

Voor Gedragsevaluatie: Conditionele gevoeligheid alleen is zwak bewijs van mensachtige cognitie. Modellen kunnen oppervlaktekenmerken van prompts (framing) volgen zonder de onderliggende mentale constructen (bijv. mentale boekhouding) te coderen.
Voor Mechanistische Interpreteerbaarheid: De studie waarschuwt tegen het behandelen van lineaire decodeerbaarheid als een proxy voor causale verklaring. Een representatie kan leesbaar zijn in activaties, maar toch epifenomenaal zijn voor het beleid dat de output stuurt. De auteurs stellen dat "causale validatie, niet alleen correlatieve decodering, noodzakelijk is om vast te stellen dat een representatie echt werk verricht."
Conclusie: Het artikel concludeert dat het aantonen dat een model een menselijk besluitvormingsconstruct echt implementeert, vereist dat wordt aangetoond dat de relevante representatie causaal stroomopwaarts ligt van het gedrag van belang. Dit is een hogere lat dan het veld momenteel aanlegt, en de auteurs suggereren dat causale controle moet worden behandeld als een noodzakelijke voorwaarde voor dergelijke mechanistische claims.

De auteurs blijven bescheiden over de reikwijdte, met de opmerking dat het nulresultaat specifiek is voor de Gemma 3 4B-configuratie (laag 18, sturing op het laatste token) en dat de dissociatie kan variëren tussen modellen, lagen of taaktypen. De bevinding motiveert echter een strengere standaard voor het claimen dat LLM's specifieke cognitieve mechanismen implementeren.