💻 computer science

Language Models Might Not Understand You: Evaluating Theory of Mind via Story Prompting

Dit artikel introduceert StorySim, een programmeerbaar kader voor het genereren van nieuwe, verontreinigingsvrije verhaalprompts om grote taalmodellen te evalueren, en onthult dat deze over het algemeen beter presteren op wereldmodellering dan op taken die te maken hebben met de theorie van de geest en vaak steunen op heuristieken in plaats van diep redeneren.

Oorspronkelijke auteurs: Nathaniel Getachew, Abulhair Saparov

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nathaniel Getachew, Abulhair Saparov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren hoe hij menselijke gedachten moet begrijpen. Je wilt weten of de robot kan achterhalen wat iemand anders denkt, zelfs als die persoon's gedachten onjuist zijn. Deze vaardigheid heet Theory of Mind (ToM).

Lange tijd hebben wetenschappers robots (Large Language Models of LLM's) getest met een klassiek kinderverhaal genaamd "Sally-Anne". In dit verhaal verstopt Sally een speelgoed, verlaat de kamer en Anne verplaatst het speelgoed. Wanneer Sally terugkomt, waar kijkt ze dan? Een mens weet dat Sally op de oorspronkelijke plek zal kijken, omdat ze niet weet dat het speelgoed is verplaatst. Maar als je het verhaal maar een heel klein beetje aanpast, raken deze robots vaak in de war. Dit suggereert dat ze het verhaal misschien gewoon uit het hoofd hebben geleerd in plaats van echt de geesten van de personages te begrijpen.

Om dit op te lossen, hebben de auteurs van dit artikel een nieuw hulpmiddel gebouwd dat StorySim heet. Denk aan StorySim als een programmeerbare LEGO-set voor verhalen.

De LEGO-set (StorySim)

In plaats van een verhaal met de hand te schrijven of een andere AI te vragen er een te schrijven (wat per ongeluk dingen zou kunnen kopiëren die de robot al heeft gezien), gebruiken de onderzoekers een "Storyboard".

Het Storyboard: Dit is een strikte blauwdruk. Het zegt: "Personage A betreedt Kamer 1 op minuut 1. Personage B betreedt Kamer 2 op minuut 2." Het controleert exact wie wat ziet en wanneer.
De Bouwer: Het systeem vult de rest van het verhaal automatisch in, zodat de regels nooit worden overtreden. Omdat de verhalen vanaf nul worden gebouwd met deze blauwdrukken, hebben de robots ze nog nooit eerder gezien. Het is alsof je elke keer dat je speelt een gloednieuw puzzelstuk bouwt.

De Test: Geest versus Kaart

De onderzoekers gebruikten deze LEGO-set om drie verschillende soorten tests uit te voeren op diverse AI-modellen:

De "Geest"-test (Theory of Mind): Ze vroegen: "Waar denkt Bob dat Anne is?" Om dit te beantwoorden moet de robot de feitelijke waarheid negeren en in plaats daarvan volgen wat Bob zag en wat hij gelooft.
De "Kaart"-test (World Modeling): Ze vroegen: "Waar is Anne eigenlijk naartoe gegaan?" Dit vereist alleen dat de robot de feiten van het verhaal onthoudt, zoals het volgen van een bewegend object op een kaart.
De "Object"-test: Ze stelden dezelfde "Kaart"-vraag, maar in plaats van mensen ging het verhaal over levenloze objecten (zoals een bal die wordt verplaatst). Dit controleert of de robot mensen anders behandelt dan objecten.

Wat ze vonden

De resultaten waren een beetje verrassend, net als het ontdekken dat een student die de wiskundetoets perfect haalde, worstelt met de logica-puzzel:

Robots zijn beter in Kaarten dan in Geesten: De meeste AI-modellen waren veel beter in het volgen van waar dingen echt naartoe gingen (World Modeling) dan in het raden wat een personage dacht dat er gebeurde (Theory of Mind). Ze konden het plot volgen, maar ze hadden moeite om in de schoenen van een personage te stappen.
Mensen versus Objecten: De robots waren iets beter in het volgen van de bewegingen van mensen dan van objecten. Het lijkt erop dat de modellen "geprogrammeerd" zijn om meer aandacht te besteden aan menselijke personages, misschien omdat ze getraind zijn op zoveel menselijk gesprek.
De "Recentheid"-valstrik: De onderzoekers maakten zich zorgen dat de robots aan het vals speelden door gewoon de laatste plek te raden waar ze iemand hadden gezien. Ze testten dit door de "leugen" in het verhaal lang geleden te laten gebeuren. Verrassend genoeg leken de robots niet zozeer in deze simpele "raad het laatste gebeurtenis"-truc te trappen als verwacht.
De "Eerste ontmoeting"-gewoonte: Wanneer de robots de "Geest"-test toch fout deden, maakten ze vaak een specifieke fout: ze raden de locatie waar de personages elkaar voor het eerst ontmoetten, in plaats van waar ze elkaar voor het laatst zagen. Het is alsof een student de eerste schooldag onthoudt maar vergeet wat er gisteren gebeurde.

Het Grote Geheel

Het artikel concludeert dat moderne AI, hoewel het slimmer wordt in redeneren, nog steeds moeite heeft om echt de "mentale toestanden" van anderen te begrijpen. Het kan de gebeurtenissen van een verhaal perfect volgen, maar wanneer het wordt gevraagd om na te denken wat een personage denkt (vooral als dat denken onjuist is), faalt het vaak.

De auteurs bouwden StorySim niet om de robots een eindcijfer te geven, maar om hen een eerlijke, frisse test te geven waar ze niet op konden vals spelen door oude antwoorden uit het hoofd te leren. Ze hopen dat dit hulpmiddel toekomstige onderzoekers helpt AI te bouwen die menselijke perspectieven echt kan begrijpen, en niet alleen feiten kan opdreunen.

1. Probleemstelling

Grote Taalmodellen (LLM's) hebben aanzienlijke verbeteringen getoond in redeneertaken (wiskunde, coderen, logica), maar hun vermogen om te redeneren over Theory of Mind (ToM) – het vermogen om mentale toestanden, overtuigingen en perspectieven aan anderen toe te schrijven – blijft onzeker.

Data-verontreiniging: Bestaande ToM-benchmarks (bijv. Sally-Anne-test, TOMI) zijn waarschijnlijk aanwezig in de pretraining-data van moderne LLM's. Bijgevolg kunnen modellen antwoorden "uit het hoofd leren" in plaats van oprecht te redeneren, wat leidt tot opgeblazen prestatie-metrics.
Gebrek aan controle: Eerdere synthetische benchmarks vertrouwen vaak op LLM's om de verhalen zelf te genereren, wat inconsistentie introduceert en het moeilijk maakt om specifieke variabelen te isoleren (bijv. karakterperspectief versus tijdstip van gebeurtenis).
Het gat: Er is behoefte aan een robuust, verontreinigingsvrij kader om te evalueren of LLM's mentale toestanden werkelijk kunnen modelleren of dat ze vertrouwen op heuristieken (zoals recency bias) en uit het hoofd leren.

2. Methodologie: Het StorySim-kader

De auteurs introduceren StorySim, een programmeerbaar, synthetisch kader dat is ontworpen om nieuwe verhalen te genereren voor het evalueren van ToM- en World Modeling (WM)-capaciteiten.

Kerncomponenten

De STORYBOARD: Een hoog-niveau, symbolische specificatie gedefinieerd als $D = (C, \phi, G, E, n)$ $D = (C, ϕ, G, E, n)$ , waarbij:
- $C$ : Set van karakters.
- $G$ : Een gerichte graaf die locaties en connectiviteit voorstelt.
- $E$ : Een set deterministische, getimestampede sleutelgebeurtenissen (bijv. "Karakter A verplaatst zich naar Kamer 2 op $t=5$ ").
- $n$ : Totaal aantal gebeurtenissen.
- $\phi$ : Actietypes (bijv. enter, move).
Generatieproces:
1. Symbolische Generatie: StorySim genereert een reeks gebeurtenissen die strikt adhereert aan de STORYBOARD-beperkingen. Het vult niet-deterministische details willekeurig in terwijl het logische consistentie garandeert (bijv. karakters kunnen alleen verplaatsen naar aangrenzende locaties).
2. Vertaling: Gebeurtenissen worden omgezet in natuurlijke taal met behulp van sjablonen.
3. Parafraseren (Optioneel): Verhalen kunnen verder worden geparafraseerd door een LLM (GPT-4o-mini) om linguïstisch naturalisme te vergroten, hoewel de kernlogiek verankerd blijft bij het symbolische storyboard.
Nieuwheid: Omdat de verhalen algoritmisch worden gegenereerd met specifieke beperkingen en willekeurige variaties, is de waarschijnlijkheid dat een gegenereerd verhaal in pretraining-data voorkomt "astronomisch klein".

Experimenteel Ontwerp

De auteurs ontwierpen drie specifieke prompt-types om verschillende cognitieve vermogens te isoleren:

ToM Prompt: Vraagt naar het geloof van een karakter over de locatie van een ander (bijv. "Waar denkt Bob dat Alice is?"). Dit test het vermogen om een perspectief te modelleren dat verschilt van de realiteit.
WM-Human Prompt: Vraagt naar de objectieve locatie van een karakter op basis van waargenomen gebeurtenissen (bijv. "Waar ging Alice heen toen Bob in de kamer was?"). Dit test World Modeling zonder perspectiefovername te vereisen.
WM-Inanimate Prompt: Vergelijkbaar met WM-Human, maar gebruikt levenloze objecten die door externe krachten worden verplaatst. Dit test of het redeneren van het model gevoelig is voor het "levende" karakter van agenten.

Belangrijke gemanipuleerde variabelen:

Mislead Distance: Het aantal tijdstappen tussen de laatste keer dat een karakter ( $S1$ ) een ander ( $T$ ) zag bewegen en de uiteindelijke locatie van $T$ . Dit test op recency bias (voorspellen van de meest recente locatie in plaats van de laatste waargenomen locatie).
Orde van ToM: Eerste-orde (A denkt dat B bij X is) versus Tweede-orde (A denkt dat B denkt dat C bij X is).
Aantal karakters: Variëren van het aantal karakters om generalisatie te testen buiten eenvoudige, bekende verhaalstructuren.

3. Belangrijkste Bijdragen

StorySim-kader: Een volledig controleerbaar, synthetisch benchmark dat risico's op data-verontreiniging elimineert en precieze manipulatie van narratieve variabelen mogelijk maakt (perspectief, timing, graafstructuur).
Ontkoppeling van ToM en WM: De studie biedt een methode om ToM onafhankelijk van algemeen World Modeling te evalueren, wat aantoont dat modellen vaak uitblinken in het volgen van fysieke gebeurtenissen (WM) maar falen in het volgen van mentale toestanden (ToM).
Identificatie van heuristieken: Het kader slaagde erin specifieke faalmodi te identificeren, zoals de "First Common Location Heuristic" (voorspellen waar karakters elkaar voor het eerst ontmoetten in plaats van waar ze zich momenteel bevinden) en Recency Bias.
Uitgebreide Benchmarking: Het artikel evalueert een breed scala aan modellen (GPT-4, GPT-5.4, Llama 3.1/3.2/3.3, R1, Qwen) in zero-shot en few-shot settings.

4. Belangrijkste Resultaten

Discrepantie ToM vs. WM: De meeste modellen behaalden een hogere nauwkeurigheid op World Modeling (WM)-taken dan op Theory of Mind (ToM)-taken. Dit suggereert dat LLM's beter zijn in het volgen van fysieke toestanden dan in het simuleren van subjectieve perspectieven van anderen.
Het "Menselijk" Effect: Modellen presteerden aanzienlijk beter op WM-taken met menselijke onderwerpen vergeleken met levenloze objecten, wat suggereert dat de aanwezigheid van "agenten" verschillende (en nauwkeurigere) redeneerpaden activeert.
Correlatie met modelgrootte:
- In de Llama 3.1-familie was er een duidelijke positieve correlatie tussen modelgrootte (parameters) en ToM-prestaties.
- DeepSeek R1 toonde de hoogste algehele ToM-nauwkeurigheid en de kleinste kloof tussen ToM- en WM-prestaties.
- GPT-5.4 excelleerde in WM maar had moeite met ToM, wat benadrukt dat ruwe redeneerkracht niet automatisch gelijkstaat aan sociaal redeneren.
Mislukking Sally-Anne-test: Wanneer getest op een standaard Sally-Anne-opstelling, behaalden modellen 100% nauwkeurigheid. Echter, wanneer getest op willekeurig gegenereerde verhalen van dezelfde lengte, daalde de nauwkeurigheid aanzienlijk (bijv. tot ~75-87%), wat bevestigt dat de klassieke test een slechte maatstaf is voor echte ToM vanwege data-verontreiniging.
Afhankelijkheid van heuristieken:
- Recency Bias: De studie vond geen significant bewijs dat modellen recency bias (voorspellen van de laatst bekende locatie) als primaire faalmodus gebruiken; de prestaties bleven stabiel over variërende "mislead distances".
- First Common Location Heuristic: Een dominant foutpatroon was het voorspellen van de locatie waar karakters elkaar voor het eerst kruisten, in plaats van hun daadwerkelijke bewegingen te volgen.
- Contextlengte-problemen: Redeneringszware modellen (zoals R1) faalden vaak door onvoldoende contextlengte bij het genereren van lange denkketens, wat leidde tot "prompt refusal" of gehallucineerde fouten.
Complexiteit: Het verhogen van het aantal karakters in een verhaal degradeerde de ToM-prestaties voor top-tier modellen niet significant, wat wijst op robuustheid in het hanteren van complexe sociale grafen.

5. Betekenis en Toekomstig Werk

Herschrijven van Benchmarks: Het artikel betoogt dat het veld moet afstappen van statische, potentieel verontreinigde datasets (zoals Sally-Anne) en moet overstappen op dynamische, synthetische benchmarks zoals StorySim om LLM-capaciteiten echt te beoordelen.
Veiligheidsimplicaties: Een gebrek aan robuuste ToM is een kritieke veiligheidszorg. Als een LLM niet kan begrijpen dat een gebruiker een ander perspectief of een verborgen intentie heeft, kan het schadelijke scenario's niet detecteren of gebruikers manipuleren.
Toekomstige Richtingen: De auteurs suggereren StorySim te gebruiken om complexere scenario's te verkennen, waaronder contrafactueel redeneren, doeltoeschrijving en voorkeursmodelleren. Ze benadrukken ook de noodzaak om de contextbehandeling van modellen te verbeteren om diepere denkketens te ondersteunen die nodig zijn voor complexe ToM-taken.

Concluderend toont het artikel aan dat, hoewel LLM's vooruitgang boeken, ze nog steeds worstelen met de specifieke cognitieve sprong die nodig is voor Theory of Mind, vaak door te vertrouwen op heuristieken of door onderscheid te maken tussen objectieve wereldtoestanden en subjectieve overtuigingen. StorySim biedt het noodzakelijke hulpmiddel om deze capaciteiten rigoureus te meten en te verbeteren.