Technische Samenvatting: LLM's en hun beperkte Theory of Mind

Probleemstelling

Effectieve menselijke teamprestaties rusten op een Shared Mental Model (SMM), een consistent begrip tussen teamleden met betrekking tot taken, doelen en latente overtuigingsstaten. Terwijl mensen impliciet de subtekst van gesitueerde dialoog begrijpen (aannames, intenties en kennis), blijft het onduidelijk of Large Language Models (LLM's) accuraat de interne overtuigingsstaten kunnen afleiden op basis van louter interactieve dialogen. Huidige evaluaties van Theory of Mind (ToM) in LLM's vertrouwen vaak op statische, gedecontextualiseerde taken (bijv. meerkeuzevragen) die er niet in slagen de dynamische, realtime redenering te vatten die vereist is voor gesitueerde coördinatie. Dit artikel adresseert de kloof in het evalueren van het vermogen van LLM's om overtuigingsstaten te traceren in interactieve, gegronde teamcontexten en het detecteren van discrepanties tussen geïnferred mentale modellen en de grondwaarheid.

Methodologie

De auteurs stellen een nieuw, tweestaps raamwerk voor om LLM's te evalueren als generatoren van mentale model-traces en als automatische detectoren van discrepanties.

1. Dataset en Opzet

• Corpus: De studie maakt gebruik van de Cooperative Remote Search Task (CReST) corpus, bestaande uit gesitueerde taakgebaseerde interacties tussen een "zoeker" (fysiek aanwezig in een omgeving) en een "regisseur" (op afstand, kijkend naar een incomplete kaart).
• Grondwaarheid: Zes dialogen met bijbehorende video-opnames (headcam van de zoeker en scherm van de regisseur) werden geselecteerd om grondwaarheid mentale model-traces vast te stellen.
• Trace Generatoren: Drie onafhankelijke LLM's (OpenAI o3-mini, Anthropic Claude Sonnet 4, Google Gemma 8.5B) en twee groepen menselijke annotatoren kregen de taak om mentale model-traces te genereren voor de zes dialogen.
  • Naïeve Conditie: LLM's en één paar mensen ontvingen alleen het audio-transcript (geen video).
  • Grondwaarheid Conditie: Een tweede paar mensen ontving de transcripten plus video-bewijs om de grondwaarheid traces vast te stellen.
• Annotatieschema: Traces werden gegenereerd als JSON-objecten die de overtuigings-, doel- en commitmentstaten per uiting bijwerken, gebruikmakend van een specifieke werkwoordenschat om vergelijkbaarheid te garanderen.

2. Discrepantie Analyse Raamwerk

Een aparte "LLM-rechter" vergeleken de audio-only traces (van LLM's en naïeve mensen) met de video-gegronde waarheidstraces. Het raamwerk definieert vier specifieke discrepantietypen:

1. Belief Contradictions (Overtuigingscontradicties): Onderling uitsluitende proposities die door agenten worden vastgehouden in de trace versus de grondwaarheid.
2. False Beliefs (Onjuiste overtuigingen): Proposities in de trace die verschillen van de grondwaarheid (zelfs als het geen directe negaties zijn).
3. Unsupported Beliefs (Niet-onderbouwde overtuigingen): Proposities in de trace die geen bewijslast missen in de grondwaarheid (hallucinaties).
4. Omissions (Omissies): Ontbrekende overtuigings-/doelupdates die aanwezig zijn in de grondwaarheid maar afwezig zijn in de trace.

Een gewogen discrepantiescore ($S_{m,d}$) werd berekend, genormaliseerd naar [0, 1], om de afstemming met de grondwaarheid te kwantificeren, waarbij rekening wordt gehouden met de dialooglengte en de ernst van de fouten.

Belangrijkste Bijdragen

• Eerste Studie van zijn Soort: Naar weten van de auteurs is dit de eerste studie die real-world, taakgebaseerde dialoog overtuigingsstaat-traces gebruikt als een lens voor het evalueren van ToM in LLM's.
• Nieuw Raamwerk: Introductie van een reproduceerbare, tweestaps evaluatiepipeline voor SMM-coherentie die onderscheid maakt tussen ontbrekende perceptuele informatie en inferentiële fouten.
• Dataset Release: Creatie van een dataset met menselijke en LLM mentale model-traces, samen met grondwaarheid traces afgeleid van video, wat toekomstig onderzoek naar gesitueerde ToM mogelijk maakt.
• Discrepantie Taxonomie: Definitie en operationalisering van vier verschillende fouttypen (Contradictions, False Beliefs, Unsupported Beliefs, Omissions) met een ernst-ranking.

Resultaten

De evaluatie over zes dialogen (1.142 uitingen) onthulde significante prestatiekloven tussen modellen en mensen:

• Modelprestaties:
  • Claude Sonnet 4 vertoonde de hoogste totale discrepanties (meer dan 700 in Dialoog 3) en de laagste genormaliseerde scores. Het genereerde frequent unsupported beliefs en belief contradictions, wat wijst op een neiging tot speculatieve redenering en overgeneralisatie.
  • o3-mini en Gemma 8.5B produceerden aanzienlijk minder discrepanties. Ze vertoonden echter verschillende profielen: o3-mini had hoge omission rates, terwijl Gemma bijna nul omissies had maar hogere rates van belief contradictions.
  • False Beliefs waren opvallend schaars over alle modellen, wat aangeeft dat fouten vaak voortkomen uit ongegronde extrapolatie in plaats van zelfverzekerde misidentificatie.
• Mens vs. LLM:
  • Naïeve menselijke annotatoren presteerden beter dan LLM's in het beperken van unsupported beliefs (hallucinaties), maar vertoonden vergelijkbare of hogere rates van belief contradictions en omissions.
  • Statistische analyse (Two-way ANOVA) bevestigde een sterk hoofdeffect van het model ($p < 2e-16$), waarbij Claude significant verschilde van zowel Gemma als o3-mini.
• Foutpatronen: Kwalitatieve analyse gaf aan dat LLM's systematisch fouten maken in scenario's die ruimtelijk redeneren of de disambiguering van transcriptie-niveau disfluenties vereisen. Fouten klonterden samen in beurten waar omgevingsgronding cruciaal maar niet beschikbaar was in de tekst alleen.

Betekenis en Claims

Het artikel claimt dat hoewel LLM's beperkte, meetbare ToM-achtige gedragingen kunnen simuleren (het behouden van intern consistente overtuigingsstructuren), ze een gebrek hebben aan gegronde situationele redenering.

• Beperkte ToM: LLM's lijken overtuigingen af te leiden uit linguïstische regelmaat in plaats van een geïntegreerd ruimtelijk, temporeel en epistemisch begrip. Ze produceren traces die coherent zijn bij eenvoudige natuurlijke taaltaken, maar falen wanneer ruimtelijke beperkingen of omgevingsgronding vereist zijn.
• Validatie via Proxy-taak: De studie stelt gesitueerde dialoog trace-generatie voor als een levensvatbare proxy-taak voor het peilen van ToM-capaciteiten in AI-systemen, bewegend voorbij statische benchmarks.
• Implicaties: De bevindingen onderstrepen dat huidige LLM's meer worden gedreven door linguïstische patronen dan door de dynamische, realtime redenering die ten grondslag ligt aan menselijke ToM. Deze beperking is cruciaal voor toepassingen waarbij mens-AI-teams betrokken zijn en een nauwkeurig gedeeld mentaal model essentieel is voor coördinatie.

De auteurs blijven bescheiden en erkennen beperkingen zoals de niet-deterministische aard van LLM-outputs, de specifieke schaal van de CReST-subset, en het gebrek aan een conditie waarbij LLM's toegang hebben tot video (multimodale input), wat zij identificeren als een richting voor toekomstig werk.