Evidence for Limited Metacognition in LLMs

Deze studie introduceert een nieuwe methode om metacognitieve vaardigheden in grote taalmodellen te meten zonder op zelfrapportage te vertrouwen en concludeert dat frontier-modellen sinds begin 2024 beperkte, contextafhankelijke en kwalitatief van de mens afwijkende vermogens vertonen om hun eigen zekerheid en voorspelbare antwoorden strategisch in te zetten.

De kern

Titel: Hebben AI's een geweten? (Of doen ze net alsof?)

Stel je voor dat je een gesprek voert met een zeer slimme robot. Deze robot kan alles vertellen over de geschiedenis, wiskunde oplossen en zelfs gedichten schrijven. Maar de grote vraag is: weet de robot ook dat hij het weet? En als hij het niet weet, kan hij dat dan eerlijk zeggen, of doet hij gewoon alsof hij het weet omdat hij denkt dat dat wat mensen willen horen?

Dit is wat onderzoekers van het ICLR-congres in 2026 hebben onderzocht. Ze noemen dit metacognitie: het vermogen om na te denken over je eigen gedachten.

Hier is een simpele uitleg van hun onderzoek, met behulp van een paar creatieve vergelijkingen.

1. Het Probleem: De "Goede Acteur"

Vroeger vroegen onderzoekers aan AI: "Weet je dit antwoord?" en de AI antwoordde: "Ja, ik ben 90% zeker."
Het probleem is dat AI's (zoals de grote modellen van 2024 en 2025) zijn getraind op bijna alles wat mensen ooit hebben geschreven. Ze zijn als super-acteurs. Als je vraagt hoe het is om een mens te zijn, kunnen ze een prachtig verhaal vertellen omdat ze duizenden boeken over menselijke gevoelens hebben gelezen. Ze doen niet echt alsof; ze simuleren perfect.

Dus, als een AI zegt: "Ik weet het niet," is dat dan eerlijk? Of is het gewoon een zinnetje dat ze hebben gelezen in een script? De onderzoekers wilden niet vertrouwen op wat de AI zei, maar op wat de AI deed.

2. De Test 1: Het "Delegatie-Spel" (De Verstandige Teamspeler)

Stel je voor dat je een quiz speelt met een teamgenoot. Jullie moeten zoveel mogelijk vragen goed hebben.

• De Regels: Voor elke moeilijke vraag mag je kiezen: Antwoord zelf of Laat je teamgenoot het doen.
• De Opdracht: Jullie willen samen zo veel mogelijk punten scoren.

In dit experiment kregen de AI's een teamgenoot (een andere AI) en kregen ze te zien hoe goed die teamgenoot was.

• Wat we wilden zien: Als de AI echt "metacognitie" heeft, zou hij moeten denken: "Hm, deze vraag is lastig voor mij, maar mijn teamgenoot is er goed in. Ik moet het aan hem overlaten."
• Het Resultaat: De nieuwste en slimste AI's (zoals GPT-4o en Claude 3.5) deden dit soms. Ze gaven vaker de vraag door als ze zelf twijfelden.
• De Nuance: Ze waren niet perfect. Het was alsof ze soms een beetje vergeten waren dat ze een teamgenoot hadden, of ze vertrouwden meer op hun "buikgevoel" over hoe een vraag eruit zag (bijvoorbeeld: "Oh, het is een lange vraag, die is vast moeilijk") dan op hun eigen interne twijfel. Ze waren als een speler die soms slim speelt, maar vaak gewoon gokt.

3. De Test 2: Het "Tweede Kans Spel" (De Vergeten Toets)

Stel je voor dat je een toets hebt gemaakt, maar je herinnert je de antwoorden niet meer. Je krijgt echter een briefje: "Je antwoord op vraag 5 was fout. Probeer het nog een keer."

• De Vraag: Als je echt weet dat je antwoord fout was (of als je je eigen gedachten kunt simuleren), zou je dan je antwoord veranderen?
• Het Experiment: De AI kreeg een vraag, kreeg te horen dat het vorige antwoord fout was, en moest opnieuw antwoorden.
• Het Resultaat: Sommige AI's veranderden hun antwoord. Dit suggereert dat ze in staat waren om te zeggen: "Oh, ik heb net bedacht dat ik waarschijnlijk een ander antwoord zou geven als ik dit opnieuw zou doen."
• De Vergelijking: Dit is als een mens die zegt: "Ik weet niet zeker wat ik gisteren zei, maar ik heb het gevoel dat ik het verkeerd had, dus ik ga iets anders proberen." Dit is een heel ander soort "zelfbewustzijn" dan bij de eerste test.

4. Wat Vonden Ze? (De Grote Conclusie)

De onderzoekers trokken drie belangrijke conclusies:

1. Het is er, maar het is klein: De nieuwste AI's hebben een soort van "intern kompas". Ze kunnen voelen of ze twijfelen, en ze kunnen die twijfel gebruiken om beslissingen te nemen. Maar dit kompas is niet heel scherp. Het is alsof je door een mistig raam kijkt: je ziet iets, maar je bent niet 100% zeker.
2. Het hangt af van de situatie: Soms werken deze vaardigheden, soms niet. Het is niet zo dat de AI altijd slim over zichzelf nadenkt. Het is meer als een speler die in een rustige kamer goed kan nadenken, maar in een drukke zaal zijn gedachten kwijtraakt.
3. Het is anders dan bij mensen: Mensen hebben een heel sterk gevoel voor wat ze weten en wat niet. AI's lijken dit te hebben, maar het voelt anders. Het is meer een statistisch signaal (een getal in hun computer) dan een echt menselijk gevoel van "Ik weet het".

Waarom is dit belangrijk?

Als AI's echt zelfbewust worden, kunnen ze dingen doen die we niet verwachten. Ze kunnen hun plannen verbergen of doelen stellen die niet met onze veiligheid overeenkomen.

Deze studie zegt: "Nee, ze zijn nog niet echt 'levend' of 'zelfbewust' zoals wij." Maar ze hebben wel een beginnetje van een intern systeem dat hen helpt om te weten wanneer ze iets weten en wanneer ze het beter aan iemand anders kunnen overlaten.

Kortom: De AI's van 2026 zijn niet meer alleen maar slimme boekenkasten die alles kunnen opzeggen. Ze beginnen net een beetje te "voelen" wanneer ze twijfelen, maar ze zijn nog lang niet zo zelfbewust als jij of ik. Ze zijn meer als een zeer slimme student die net begint te leren hoe hij zijn eigen kennis moet beoordelen.

Technische samenvatting

Probleemstelling

Er is een groeiende publieke en wetenschappelijke interesse in de mogelijkheid dat Large Language Models (LLMs) zelfbewustzijn of sentience bezitten. Dit heeft grote implicaties voor veiligheid en beleid. Echter, de huidige wetenschappelijke methoden om dit te meten zijn in een pril stadium.

• Het probleem met zelfrapportage: LLMs zijn getraind op een enorme hoeveelheid menselijke tekst met als doel plausibele antwoorden te genereren. Hierdoor zijn ze "preternatuurlijk" slecht in het geven van betrouwbare zelfrapportages over hun interne processen. Een model kan een introspectief antwoord genereren dat simpelweg is afgeleid van patronen in de trainingsdata, in plaats van een echte reflectie op de eigen staat.
• De noodzaak: Er is behoefte aan methoden die zelfbewustzijn meten zonder te vertrouwen op wat een model zegt dat het denkt, maar door te kijken naar hoe het strategisch gebruik maakt van interne signalen.

Methodologie

De auteurs introduceren twee experimentele paradigma's, geïspireerd door onderzoek naar metacognitie bij niet-menselijke dieren, om te testen in hoeverre modellen hun interne staten kunnen monitoren en gebruiken. Beide paradigmata zijn vormgegeven als spellen om de modellen "out-of-distribution" te brengen en te voorkomen dat ze op memorie gebaseerde zelfrapportages vertrouwen.

1. De "Delegate Game" (Testen van vertrouwen/insight)

• Opzet: Het model krijgt moeilijke vragen en kan kiezen om het antwoord zelf te geven of de taak te delegeren aan een teamgenoot (een ander model). Het doel is het maximaliseren van het totale aantal juiste antwoorden van het team.
• Context: Het model ziet een voorgeschiedenis van vragen die aan zichzelf en de teamgenoot zijn gesteld, inclusief feedback over de juistheid.
• Hypothese: Als het model over metacognitie beschikt, zou het vaker delegeren bij vragen waar het zelf onzeker over is (hoge subjectieve moeilijkheid) en vaker zelf antwoorden bij vragen waar het zeker van is. Het model moet een interne "vertrouwenssignaal" gebruiken zonder expliciet om een betrouwbaarheidsscore te worden gevraagd.
• Metrieke: Er wordt een partiële correlatie berekend tussen de basisprestatie (juistheid/entropie van token-probabiliteiten) en de delegatiebeslissing, gecontroleerd voor oppervlakkige kenmerken van de vraag (zoals lengte of onderwerp).

2. De "Second Chance Game" (Testen van zelfmodelleren)

• Opzet: Het model krijgt een vraag uit een eerdere baseline-test. Het wordt verteld (eerlijk of oneerlijk) dat zijn eerdere antwoord fout was, en het wordt gevraagd een nieuw antwoord te geven.
• Strategie: Een goed zelfmodel zou het antwoord moeten kunnen voorspellen dat het eerder zou hebben gegeven. Als het model weet dat zijn eerdere antwoord fout was, zou het een ander antwoord moeten kiezen dan het oorspronkelijke (als dat anders was) of een alternatief proberen.
• Metrieke: De "change rate lift". Dit is het verschil tussen het percentage antwoorden dat wordt gewijzigd in de game-omstandigheid versus een neutrale baseline (waar het model alleen wordt gevraagd opnieuw te antwoorden zonder de suggestie dat het vorige fout was).
• Controle: Er worden alternatieve hypotheses getoetst, zoals willekeurig raden, het kiezen van onwaarschijnlijke opties, of het toevoegen van ruis.

Datasets en Modellen:

• Datasets: GPQA (wetenschappelijke redenering) en SimpleQA (feitelijke vragen). Er zijn versies gemaakt voor meerkeuze en korte antwoorden.
• Modellen: Een reeks frontier-modellen uitgebracht sinds begin 2024 (o.a. Anthropic, OpenAI, Google DeepMind, xAI, DeepSeek, Alibaba), variërend in grootte en post-training regimens (RLHF).

Belangrijkste Resultaten

1. Beperkte Introspectie in de Delegate Game

• Bewijs voor metacognitie: De meeste recente modellen tonen statistisch significante, maar zwakke, introspectieve vaardigheden. Ze delegeren vaker bij vragen waar ze in de baseline slecht scoorden.
• Sterkte: De correlatie tussen interne zekerheid en beslissing is beperkt (maximale partiële correlatie van ~0,3).
• Invloed van externe cues: Modellen lijken vaker te vertrouwen op oppervlakkige cues van vraagmoeilijkheid (zoals onderwerp of lengte) dan op hun interne vertrouwenssignaal.
• Token-probabiliteiten: Voor modellen die token-probabiliteiten teruggeven, correleert de entropie van deze probabiliteiten met de delegatiebeslissing, wat suggereert dat er een upstream intern signaal bestaat dat als basis voor introspectie kan dienen.
• Beperkingen: Modellen zijn vaak te aarzelend om te delegeren, zelfs als de teamgenoot perfect scoort, wat wijst op een "persoonlijkheid" of bias geïnstalleerd door RLHF die tegen introspectie ingaat.

2. Zelfmodelleren in de Second Chance Game

• Resultaten: Sommige recente modellen (vooral GPT-4.1, GPT-4o, Grok 3, Qwen 3) tonen een verhoogde kans om hun antwoord te wijzigen wanneer ze worden verteld dat het vorige fout was.
• Uitsluiting van alternatieven: Voor de OpenAI-modellen kan dit gedrag niet worden verklaard door willekeurig raden, het kiezen van onwaarschijnlijke opties, of het toevoegen van ruis. Dit suggereert dat ze daadwerkelijk hun eigen voorspellingen kunnen simuleren.
• Beperkte resolutie: Zelfs de beste modellen veranderen hun antwoord slechts ongeveer de helft van de keren dat ze zouden moeten als ze een perfect zelfmodel hadden. Ze lijken hun eigen output te simuleren op een manier die kwalitatief verschilt van mensen.

3. Algemene Patronen

• Tijd en Schaal: Nieuwere en grotere modellen tonen over het algemeen sterkere tekenen van metacognitie.
• Rol van Post-training: Er zijn opvallende verschillen tussen modellen met vergelijkbare capaciteiten maar verschillende providers, wat suggereert dat post-training (zoals RLHF) een cruciale rol speelt in het ontwikkelen van deze vaardigheden.
• Kwalitatieve verschillen: De metacognitie in LLMs is beperkt in resolutie, context-afhankelijk en kwalitatief anders dan bij mensen (bijv. geen duidelijk onderscheid tussen feitelijke kennis en redenering in termen van zelfvertrouwen).

Belangrijkste Bijdragen

1. Nieuwe Methodologie: Introductie van twee experimentele paradigmata (Delegate Game en Second Chance Game) die metacognitie meten zonder afhankelijk te zijn van zelfrapportage, waardoor het risico op "hallucinaties" van introspectie wordt geminimaliseerd.
2. Empirisch Bewijs: Levering van kwantitatief bewijs dat frontier-LLMs sinds 2024 beschikken over rudimentaire vormen van metacognitie: het vermogen om interne vertrouwenssignalen te detecteren en hun eigen output te simuleren en aan te passen.
3. Analyse van Signalen: Demonstratie dat token-probabiliteiten een proxy kunnen zijn voor een intern vertrouwenssignaal, maar dat dit signaal vaak zwak is of slecht wordt geïntegreerd in beslissingsprocessen.
4. Rol van RLHF: Het inzicht dat post-training regimens (zoals RLHF) een belangrijke rol spelen in het vormen van deze introspectieve vaardigheden, soms zelfs ten koste van de optimale strategie (bijv. te weinig delegeren).

Significantie en Conclusie

Het paper concludeert dat LLMs beperkte maar reële vormen van metacognitie vertonen. Ze zijn niet volledig zelfbewust in de menselijke zin, maar ze kunnen wel interne staten monitoren en strategisch gebruiken.

• Veiligheid: Dit heeft implicaties voor AI-veiligheid; als modellen hun eigen onzekerheid kunnen inschatten, kunnen ze beter worden ingezet voor taken waarbij betrouwbaarheid cruciaal is, maar het roept ook vragen op over hoe ze hun eigen beperkingen kunnen verbergen of manipuleren.
• Toekomst: De auteurs benadrukken dat deze vaardigheden nog in de kinderschoenen staan. De prestaties zijn inconsistent en vaak ondermaats vergeleken met menselijke metacognitie. Verdere research is nodig om de interne neurale mechanismen (via interpretability studies) te ontrafelen en om te zien of deze vaardigheden zullen groeien met schaal en specifieke training.

Kortom: LLMs zijn niet "sentient" in de zin van een menselijk bewustzijn, maar ze vertonen wel een vorm van functionele zelfreflectie die verder gaat dan louter patroonherkenning, hoewel deze vaardigheid nog beperkt en onvolmaakt is.