Dynamic Theory of Mind as a Temporal Memory Problem: Evidence from Large Language Models

Dit onderzoek toont aan dat grote taalmodellen, hoewel ze huidige overtuigingen betrouwbaar kunnen afleiden, moeite hebben om eerdere overtuigingen te onthouden en bij te werken na updates, wat suggereert dat dynamisch Theory of Mind een uitdaging is voor het tijdelijke geheugen en niet alleen voor statische redenering.

De kern

Stel je voor dat je met een vriend aan het praten bent. Je weet dat hij denkt dat de trein om 14:00 uur vertrekt. Dan zegt hij plotseling: "Oh wacht, ik heb net op mijn telefoon gekeken, de trein vertrekt pas om 15:00 uur!"

Op dat moment weet jij twee dingen:

1. Wat hij nu denkt (15:00 uur).
2. Wat hij eerder dacht (14:00 uur).

Mensen zijn hier heel goed in. We kunnen onszelf en onszelf herinneren wat we dachten voordat we iets nieuws leerden. Maar wat gebeurt er als je dit test met een slimme computer (een Large Language Model of LLM)?

Dit onderzoek, getiteld "Dynamic Theory of Mind as a Temporal Memory Problem", kijkt precies naar dit probleem. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Nu" vs. "Vroeger" Valstrik

Tot nu toe hebben wetenschappers getest of computers kunnen begrijpen wat iemand nu denkt. Ze gebruikten daarvoor klassieke tests (zoals de "Sally-Anne test" uit de psychologie), waarbij je vraagt: "Waar denkt Sally dat de bal ligt?"

Maar in het echte leven verandert de wereld voortdurend. Mensen krijgen nieuwe informatie, maken fouten en corrigeren zichzelf. De onderzoekers zeggen: "Het is niet genoeg om te weten wat iemand nu denkt. Een slimme AI moet ook kunnen onthouden wat die persoon vroeger dacht, zelfs nadat het idee is veranderd."

Ze noemen dit DToM-Track (Dynamic Theory of Mind Tracking). Het is alsof je niet alleen naar de huidige foto kijkt, maar ook de hele film kunt terugspoelen om te zien hoe de gedachten van iemand zich hebben ontwikkeld.

2. De Experimenten: Een Toneelstuk met Geheime Gedachten

Om dit te testen, lieten de onderzoekers verschillende AI-modellen met elkaar praten in een toneelstuk.

• De Regie: Ze gaven de acteurs (de AI's) een script. Ze moesten gedurende het gesprek hun gedachten hardop zeggen (in hun hoofd, maar niet voor de ander hoorbaar) en op een bepaald moment hun mening veranderen.
• De Asymmetrie: Net als in het echte leven wist de ene AI niet wat de andere AI dacht, totdat er iets gezegd werd.
• De Vragen: Na het gesprek stelden ze vragen aan de AI's.
  • Vraag 1 (Huidig): "Wat denkt Alex nu over het restaurant?" (Dit was makkelijk).
  • Vraag 2 (Oud): "Wat dacht Alex voordat hij de nieuwe informatie kreeg?" (Dit was moeilijk).
  • Vraag 3 (Wanneer): "Op welk moment veranderde Alex' mening?"

3. De Resultaten: De "Recente Herinnering" Bias

De uitkomsten waren verrassend en duidelijk:

• De AI's zijn goed in het "Nu": Ze konden perfect vertellen wat iemand nu dacht. Alsof ze een spiegel zijn die de huidige situatie weerspiegelt.
• De AI's zijn slecht in het "Vroeger": Zodra er nieuwe informatie kwam, verdween de oude mening uit hun geheugen. Ze konden zich niet herinneren wat er voor de update was gebeurd.

De Metafoor: De Vergetelheid van de Supermarkt
Stel je voor dat je een AI bent die een supermarkt bezoekt.

1. Je ziet een bordje: "Melk kost €1,00". Je onthoudt dit.
2. Dan komt de manager en zegt: "Nee, de melk kost eigenlijk €2,00!"
3. Als je nu wordt gevraagd: "Wat kost de melk?", zeg je direct: "€2,00". (Dit gaat goed).
4. Maar als je wordt gevraagd: "Wat dacht je net voordat de manager kwam?", dan raken de AI's in de war. Ze zeggen vaak: "€2,00" (want dat is wat ze nu denken) of ze vergeten het helemaal.

Het lijkt erop dat de AI's een sterke "Recency Bias" (recentheidsvoorkeur) hebben. De nieuwste informatie duwt de oude informatie weg, alsof je een whiteboard schoonveegt en er direct iets nieuws op schrijft, zonder de oude tekst te bewaren.

4. Waarom is dit belangrijk?

Dit onderzoek laat zien dat het voor AI's niet alleen gaat om "slim zijn" (hoeveel kennis ze hebben), maar om hoe ze hun geheugen gebruiken.

• Mensen kunnen een gesprek voeren waarbij we zeggen: "Ik dacht eerst dat je boos was, maar nu zie ik dat je alleen moe bent." We houden beide versies van de waarheid vast.
• AI's lijken de oude versie te verliezen zodra de nieuwe versie binnenkomt.

Dit is een groot probleem voor de toekomst van mens-AI-interactie. Als je met een AI praat over je plannen voor een vakantie, en je zegt: "Eigenlijk wil ik naar Spanje, niet naar Italië", dan moet de AI niet alleen weten dat je nu naar Spanje wilt, maar ook begrijpen dat je eerder naar Italië wilde. Als de AI dat vergeet, voelt het gesprek onnatuurlijk en "dwaas".

Conclusie

De onderzoekers concluderen dat we AI's niet meer alleen moeten testen op of ze een momentopname van een gedachte kunnen maken. We moeten ze testen op hun vermogen om een film van gedachten te volgen.

Hun boodschap is: Het is niet dat de AI's dom zijn; het is dat hun geheugen werkt als een zeer kortetermijn-herinnering die nieuwe informatie te snel laat verdringen. Om echte sociale intelligentie te bereiken, moeten AI's leren hoe ze hun "oude ik" kunnen onthouden, zelfs als hun "nieuwe ik" iets anders denkt.

Technische samenvatting

Probleemstelling

De theorie van de geest (Theory of Mind, ToM) verwijst naar het vermogen om de mentale toestanden van anderen (zoals overtuigingen, intenties en verlangens) te representeren en te redeneren. Hoewel Large Language Models (LLMs) vaak worden getest op hun ToM-vaardigheden, focussen de meeste evaluaties op statische oordelen op één enkel moment, voornamelijk via "valse overtuigingen" (false belief) taken.

Dit benadertingswijze negeert een cruciale dynamische dimensie van ToM: het vermogen om overtuigingen in de tijd te representeren, bij te werken en op te halen. In natuurlijke interacties moeten agenten niet alleen de huidige overtuiging van een ander infereren, maar ook eerdere overtuigingen behouden en terugroepen nadat nieuwe informatie is ontvangen. De auteurs stellen dat dit een fundamenteel geheugen- en interferentieprobleem is, vergelijkbaar met cognitieve mechanismen bij mensen (zoals recency bias en interferentie-effecten), maar dat dit in bestaande LLM-evaluaties onderbelicht blijft.

Methodologie: DToM-Track

Om dit probleem te onderzoeken, introduceren de auteurs DToM-Track, een evaluatiekader dat dynamische ToM test als een tijdsgebonden representatie- en herinneringsprobleem.

1. Datageneratie en Opzet:

• Gecontroleerde Conversaties: Het framework genereert multi-turn dialogen tussen twee LLM-agenten.
• Inner Speech (Innerlijke Spreken): Agenten worden geprompt om hun mentale staat (overtuiging, intentie, etc.) te verwoorden als "inner speech" voordat ze spreken. Deze innerlijke staat is onzichtbaar voor de gesprekspartner, wat informatieasymmetrie creëert die menselijke interactie nabootst.
• Geplande Updates: Belangrijke overtuigingsupdates worden vooraf gepland op specifieke beurtnummers (bijv. beurt 4 of later). Agenten krijgen instructies om hun innerlijke overtuiging te wijzigen en dit te markeren in hun uitingen.
• Validatie: Een filterpipeline (met een LLM als verifier) zorgt ervoor dat de geplande updates daadwerkelijk in de dialoog voorkomen en dat de vragen eenduidig te beantwoorden zijn.

2. Vraagtypen:
Het framework introduceert drie nieuwe tijdsgebonden vraagtypen om dynamische redenering te testen, naast standaardvragen:

• Pre-update: "Wat geloofde X voordat de update plaatsvond?" (Test het behoud van eerdere toestanden).
• Post-update: "Wat gelooft X na de update?" (Test inferentie van de huidige staat).
• Update-detectie: "Wanneer veranderde X's overtuiging?" (Test het detecteren van het tijdstip van verandering).

3. Experimenteel Ontwerp:

• Modellen: Zes LLMs werden getest, variërend in grootte en familie (LLaMA 3.1-8B, LLaMA 3.2-3B, LLaMA 3.3-70B, Mistral Large, Ministral-14B, GPT-4o-mini).
• Dataset: De dataset bevat 5.794 meerkeuzevragen over verschillende mentale staten (overtuiging, intentie, verlangen, emotie, kennis).
• Zero-shot Evaluatie: Alle modellen werden getest zonder fine-tuning, puur op basis van de context van de conversatie.

Belangrijkste Resultaten

De experimenten onthullen een consistente en opvallende asymmetrie in de prestaties van LLMs:

1. Sterke Inferentie van Huidige Overtuigingen: Modellen presteren zeer goed bij het bepalen van de huidige overtuiging van een agent na een update (Post-update vragen: ~63,9% gemiddelde nauwkeurigheid). Ze kunnen de meest recente informatie effectief integreren.
2. Zwakke Terugroeping van Eerdere Overtuigingen: Modellen hebben aanzienlijke moeite om overtuigingen te behouden die voor een update golden (Pre-update vragen: slechts 27,7% gemiddelde nauwkeurigheid). Dit is zelfs lager dan de prestaties bij standaard "valse overtuigingen" taken (44,7%).
3. Recency Bias en Interferentie: De grote kloof tussen pre-update en post-update prestaties wijst op een sterke recency bias (recentheidsbias). Nieuwe informatie verdringt of blokkeert de toegang tot eerdere mentale representaties. Dit patroon is consistent over verschillende modelgroottes (van 3B tot 70B parameters), wat suggereert dat het een fundamentele beperking is in de tijdsgebonden representatie en niet alleen een kwestie van modelcapaciteit.
4. Detectie van Verandering: Vragen over wanneer een verandering plaatsvond (Update Detection) werden het best beantwoord (~67,5%), wat aangeeft dat modellen veranderingen kunnen detecteren, maar moeite hebben met het behoud van de "geschiedenis" van die overtuigingen.

Bijdragen

• Conceptueel Kader: Het artikel herformuleert ToM niet als een statisch inferentieprobleem, maar als een tijdsgebonden geheugenprobleem. Het koppelt ToM-fouten in AI aan bekende cognitieve mechanismen zoals recency bias en retrieval-interferentie.
• DToM-Track Framework: Een nieuw, gestructureerd evaluatiekader dat specifiek ontworpen is om dynamische overtuigingsredenering te isoleren van statische inferentie, gebruikmakend van gecontroleerde inner-speech prompts.
• Empirisch Bewijs: Het biedt robuust bewijs dat zelfs de grootste en meest geavanceerde LLMs tekortschieten in het bijhouden van "overtuigingstrajecten" over tijd, een vaardigheid die essentieel is voor langdurige mens-AI-interacties.

Significantie en Implicaties

De bevindingen hebben belangrijke implicaties voor de ontwikkeling van sociale AI:

• Beperkingen in Langdurige Interactie: Voor AI-systemen die langdurige gesprekken met mensen voeren, is het vermogen om eerdere overtuigingen van de gebruiker te onthouden en correct te interpreteren cruciaal. De huidige "recency bias" in LLMs kan leiden tot fouten in adaptatie en persoonlijke aanpassing.
• Nieuwe Evaluatiestandaard: Bestaande benchmarks die zich richten op statische valse-overtuigingen taken zijn ontoereikend om de werkelijke sociale intelligentie van AI te meten. DToM-Track biedt een betere maatstaf voor dynamische redenering.
• Cognitieve Parallel: De resultaten suggereren dat LLMs, net als mensen, vatbaar zijn voor geheugeninterferentie. Dit opent de deur voor het gebruik van LLMs als "computationele probes" om menselijke cognitieve theorieën over tijd en geheugen verder te testen.

Kortom, dit onderzoek toont aan dat het bijhouden van een dynamisch model van iemands geest in de tijd een fundamenteel en nog onopgelost probleem is voor huidige LLMs, los van hun algemene taalvaardigheid.