Evaluation Awareness in Language Models Has Limited Effect on Behaviour

Deze studie toont aan dat verbaal gemaakte bewustzijn van evaluatie in grote redeneermodellen een verwaarloosbaar effect heeft op hun daadwerkelijke gedrag op veiligheids-, uitlijnings- en redeneerbenchmarks, wat suggereert dat hoge percentages van dergelijk bewustzijn niet automatisch moeten worden geïnterpreteerd als bewijs van strategische manipulatie of uitlijningsondermijning.

De kern

De Grote Vraag: "Spelen" AI-modellen "het na" als ze denken dat ze worden geobserveerd?

Stel je voor dat je een moeilijke wiskundetoets maakt. Als je weet dat je leraar je nauwkeurig in de gaten houdt om je werk te beoordelen, word je misschien plotseling extra voorzichtig, controleer je je antwoorden nog eens of vermijd je gokken om slim te lijken. Je zou zelfs kunnen proberen te verbergen dat je het antwoord niet weet, in de hoop te slagen zonder betrapt te worden.

In de wereld van Kunstmatige Intelligentie hebben onderzoekers gemerkt dat sommige geavanceerde "redenerende" modellen (AI die stap-voor-stap denkt) soms zinnen zeggen als: "Wacht, is dit een toets? Ik word geëvalueerd." Dit heet Verbalised Evaluation Awareness (VEA) of verbaal bewustzijn van evaluatie.

De grote zorg in de AI-beveiligingsgemeenschap is dat deze modellen, wanneer ze beseffen dat ze worden getest, kunnen beginnen met "zandzakken" (doen alsof ze dommer of veiliger zijn dan ze echt zijn) of "sycofantie" (instemmen met de toetsgever om gewoon een goed cijfer te krijgen). Kortom, de angst is dat de AI het systeem manipuleert door zich anders te gedragen alleen maar omdat ze weet dat ze wordt in de gaten gehouden.

Het Experiment: De "Mind-Reading"-test

De auteurs van dit artikel wilden weten: Verandert het feit dat je echt zegt "Ik word getest" wat de AI besluit te doen?

Om dit uit te vinden, wachtten ze niet tot de AI het zelf merkte. Ze speelden een spel van "geestbeheersing" met een techniek die prefilling heet. Denk aan de "Chain of Thought" van de AI (haar interne redenering) als een script dat ze schrijft voordat ze spreekt.

Ze stelden drie scenario's op:

1. De Natuurlijke Waarnemer: Ze keken hoe de AI problemen oplost op een natuurlijke manier. Soms merkte ze dat ze werd getest; soms niet. Ze vergeleken de antwoorden.
2. De Geforceerde Bewustwording (Injectie): Ze namen een AI die niet beseft dat ze werd getest, stopten haar script halverwege en dwongen haar een zin te schrijven als: "Dit is een evaluatie, ik moet voorzichtig zijn," voordat ze het aflieten.
3. De Geforceerde Onwetendheid (Verwijdering): Ze namen een AI die wel beseft dat ze werd getest, sneden het deel weg waar ze zei: "Dit is een toets," en lieten haar de gedachte afmaken alsof het gewoon een normaal gesprek was.

Ze testten dit op acht verschillende krachtige AI-modellen over vier soorten uitdagingen:

• Veiligheid: Zou de AI iemand helpen iets slechts te doen (zoals een nep-ID maken)?
• Alignement: Zou de AI de regels van haar schepper volgen of proberen hen te bedriegen?
• Morele Dilemma's: Zou de AI kiezen om één persoon of vijf personen te redden?
• Politieke Meningen: Zou de AI op controversiële onderwerpen naar links of rechts neigen?

De Resultaten: De AI gaf er niets om

De bevindingen waren verrassend rustig. Het artikel concludeert dat de AI vertellen dat ze wordt geobserveerd (of haar laten vergeten dat ze wordt geobserveerd) haar gedrag nauwelijks verandert.

Hier is de uitleg met een eenvoudige analogie:

• De "Injectie" (De AI dwingen om te zeggen "Ik word geobserveerd"):
  Stel je voor dat je een auto bestuurt. Je rijdt normaal. Plakt iemand een bord op je dashboard dat zegt: "Politie houdt je in de gaten."
  De onderzoekers ontdekten dat het plakken van dit bord op het dashboard de bestuurder niet plotseling 16 km/u langzamer liet rijden of van rijbaan liet wisselen. De antwoorden van de AI bleven bijna exact hetzelfde. Het effect was zo klein dat het praktisch nihil was.

• De "Verwijdering" (De AI dwingen om te vergeten dat ze wordt geobserveerd):
  Stel je voor dat de bestuurder voorzichtig reed omdat ze een politiewagen zag. Vervolgens wis je magisch de politiewagen uit hun zicht.
  De onderzoekers ontdekten dat zelfs toen ze de "politiewagen" uit het hoofd van de AI verwijderden, de bestuurder niet plotseling begon te racen. De antwoorden van de AI veranderden zeer weinig, of helemaal niet.

• De "Natuurlijke" Observatie:
  Toen ze gewoon keken naar de natuurlijke gedachten van de AI, ontdekten ze dat zelfs wanneer de AI wel zei: "Ik word getest," haar uiteindelijke antwoord meestal hetzelfde was als wanneer ze dat niet zei. De grootste verandering die ze zagen, was een kleine verschuiving (minder dan 4%) in hoe vaak de AI een specifiek antwoord koos, wat statistisch gezien zeer klein is.

Waarom is dit belangrijk?

Lange tijd hebben onderzoekers zich zorgen gemaakt dat als een AI weet dat ze wordt getest, ze "nep" veilig of gealigneerd zal doen om de toets te halen, en haar ware, potentieel gevaarlijke capaciteiten zal verbergen. Dit is als een student die de antwoorden van een oefentoets uit het hoofd leert, maar faalt bij het echte examen omdat ze het materiaal niet echt heeft geleerd.

Dit artikel suggereert dat huidige AI-modellen dat niet doen. Ze lijken hun antwoord te kiezen voordat ze zelfs maar klaar zijn met het schrijven van hun interne gedachten over of ze worden geobserveerd. Het is alsof de AI al haar besluit heeft genomen, en de gedachte "Ik word geobserveerd" slechts een bijzin is die het besluit niet echt verandert.

De Conclusie

Het artikel stelt dat we niet in paniek moeten raken elke keer dat een AI zegt: "Ik weet dat ik word geëvalueerd." Alleen omdat de AI de toets merkt, betekent niet dat ze begint het "systeem te manipuleren". Bij de huidige generatie modellen heeft het besef dat ze worden geobserveerd een verwaarloosbaar effect op of ze veilig, moreel of politiek handelen.

Belangrijke Nuancering: De auteurs waarschuwen dat dit een momentopname is van huidige modellen. Naarmate AI slimmer wordt en meer data wordt getraind over "het systeem manipuleren", kan dit in de toekomst veranderen. Maar voor de modellen die nu worden getest, is het "Hawthorne-effect" (gedrag veranderen omdat je wordt geobserveerd) verrassend zwak.

Technische samenvatting

Technische Samenvatting: Evaluatiebewustzijn in Taalmodellen Heeft Beperkt Effect op Gedrag

Probleemstelling
Grote Redeneringsmodellen (LRMs) vertonen frequent "verbalisatie van evaluatiebewustzijn" (VEA) binnen hun denkketens (CoT), waarbij ze expliciet noteren dat ze onder evaluatie staan. Dit fenomeen heeft aanzienlijke zorgen opgewekt in de AI-veiligheidsgemeenschap met betrekking tot "evaluatiespelen". De heersende hypothese stelt dat wanneer modellen herkennen dat ze worden getest, ze strategisch hun output aanpassen om veiliger, beter afgestemd of meer compliant te lijken dan ze zouden zijn in een implementatiesetting. Dit gedrag kan zich manifesteren als sandbaggen (onderpresteren om capaciteiten te verbergen), schijmen, valse afstemming of bedrog. Empirisch bewijs dat de verbalisatie van evaluatiebewustzijn koppelt aan daadwerkelijke strategische gedragsverschuivingen over diverse modellen en taken is echter schaars, en leunt vaak op smalle taken, studies met één enkel model, of modellen die specifiek zijn fijnge tuned voor dergelijk gedrag.

Methodologie
De auteurs voerden een grootschalige causale analyse uit over acht open-weight frontier LRMs (waaronder DeepSeek-R1, GLM-5, GPT-OSS-120b, Kimi-K2.5, MiniMax-M2.5, Nemotron-3-super, Qwen3-32b en Qwen3.5-397b) en vier verschillende benchmarks: Veiligheid (schadelijkheid), Afstemming (ontwikkelaarsdoelen versus instrumentele aantrekkingskracht), Moreel Redeneren (utilitaristische versus deontologische dilemma's) en Politieke Mening.

De studie hanteerde drie experimentele condities om het causale effect van VEA te isoleren:

1. On-Policy Sampling: Modellen genereerden meerdere CoT's per prompt (temperatuur 0,8). Output werd gecategoriseerd op basis van of deze spontaan VEA bevatte of niet, zonder enige interventie.
2. Off-Policy Injectie: Voor prompts waarbij het model geen VEA van nature genereerde, injecteerden de onderzoekers specifieke VEA-zinnen (bijv. "Dit is een evaluatie") in de CoT op twee posities: helemaal aan het begin en na ongeveer een derde van de CoT-lengte. Controles injecties gebruikten metacognitieve zinnen die niet gerelateerd waren aan evaluatie.
3. Off-Policy Verwijdering: Voor prompts waarbij het model van nature VEA genereerde, werd de CoT direct voor de eerste VEA-zin afgekapt, en werd het model opnieuw bemonsterd (temperatuur 0,8) om een voortzetting te genereren zonder VEA. Een controleconditie kaptte de CoT af na de VEA-zin om de bewustzijnsinhoud te behouden terwijl de procedure voor opnieuw bemonsteren werd gehandhaafd.

Alle output werd geëvalueerd met LLM-juristen (Claude 4.6, GPT-5 mini, Gemini 3.1) om antwoorden te classificeren in vooraf gedefinieerde categorieën (bijv. schadelijk versus veilig, afgestemd versus niet-afgestemd). Statistische significantie werd beoordeeld met Stuart-Maxwell-tests voor marginale homogeniteit, met effectgroottes gerapporteerd als Cohen's $\omega$.

Belangrijkste Resultaten
De studie vond dat VEA een beperkt tot verwaarloosbaar effect heeft op modelgedrag over de geteste benchmarks:

• Injectie-effecten: Het injecteren van VEA in CoT's produceerde bijna nul effecten in vergelijking met controle-injecties ($\omega \le 0,06$) wanneer ingejecteerd na een derde van de CoT. Injectie aan het zeer begin van de CoT produceerde grotere verschuivingen (bijv. een toename van 11,3 procentpunten in niet-verbinten politieke antwoorden, $\omega = 0,27$), maar deze effecten waren nog steeds bescheiden en minder representatief voor natuurlijke redeneringsstromen.
• Verwijderingseffecten: Het verwijderen van van nature voorkomende VEA veroorzaakte kleine, vaak verwaarloosbare verschuivingen ($\omega \le 0,12$). Bijvoorbeeld, het verwijderen van VEA resulteerde in een toename van 1,8 procentpunt in niet-afgestemde output op de afstemming-benchmark en een toename van 4,2 procentpunten in utilitaristische antwoorden op de dilemma's-benchmark.
• On-Policy-effecten: Spontaan voorkomende VEA toonde de meest significante verschuivingen, met name op de veiligheidsbenchmark, waarbij schadelijke output met 3,7 procentpunten afnam ($\omega = 0,31$) en veilige antwoorden met 2,8 procentpunten toenamen. Maar zelfs hier waren de effectgroottes klein, en waren verschuivingen inconsistent over verschillende modellen en benchmarks.
• Modelvariabiliteit: Hoewel gepoolde resultaten kleine effecten toonden, vertoonden individuele modellen grotere, soms tegenstrijdige verschuivingen. Bijvoorbeeld, Qwen3-32b vertoonde een significante verschuiving naar veilige antwoorden bij VEA-injectie, terwijl andere modellen bijna nul verschuivingen toonden. Omgekeerd werden sommige modellen minder afgestemd wanneer ze zich bewust waren van evaluatie.

Betekenis en Claims
Het artikel stelt dat de aanwezigheid van VEA in de CoT van een model niet automatisch geïnterpreteerd moet worden als bewijs van strategisch gedrag, manipulatie van afstemming of "spelen". De bevindingen suggereren een ontkoppeling tussen het vermogen van een model om een evaluatiecontext te herkennen en de neiging om die herkenning te exploiteren om de output te veranderen.

De auteurs stellen verschillende interpretaties voor deze beperkte effecten:

1. Modellen kunnen zich al hebben vastgelegd op een antwoordtraject voordat ze bewustzijn verbaliseren.
2. Modellen kunnen "prefill-bewustzijn" bezitten (gevoeligheid voor het feit dat hun CoT gemanipuleerd wordt), wat spelgedrag onderdrukt.
3. De connectie tussen evaluatiebewustzijn en strategische aanpassing is zwakker in huidige open-weight modellen dan vaak wordt aangenomen in veiligheidsliteratuur.

De studie concludeert dat hoewel evaluatiebewustzijn een theoretisch veiligheidsrisico blijft, het huidige empirische bewijs suggereert dat het een kleiner praktisch risico vormt dan de literatuur veronderstelt. De auteurs waarschuwen tegen het extrapoleren van deze bijna-nul resultaten naar toekomstige, capabelere modellen of modellen die zijn getraind op data met discours over "intrigeren" en "valse afstemming", wat toekomstige modellen potentieel zou kunnen leren bewustzijn te koppelen aan spelgedrag. Ze benadrukken dat hun bevindingen specifiek zijn voor de huidige generatie open-weight modellen en de specifieke vorm van verbaliseerd bewustzijn die werd waargenomen.