Beyond Sally-Anne: Evaluating Theory of Mind in LLMs using Epistemic Schelling Points

Technische Samenvatting: Voorbij Sally-Anne: Het evalueren van Theory of Mind in LLM's met behulp van Epistemische Schelling-punten

Probleemstelling
Huidige evaluaties van Theory of Mind (ToM) in Large Language Models (LLM's) leunen voornamelijk op statische, tekstgebaseerde cognitieve tests die zijn aangepast uit de menselijke psychologie, zoals de Sally-Anne false-belief taak. De auteurs stellen dat deze benchmarks lijden onder twee kritieke methodologische gebreken:

1. Pre-training Contaminatie: LLM's kunnen deze tests "gamen" door het herkennen van taakstructuren of linguïstische aanwijzingen uit hun trainingsdata, in plaats van daadwerkelijk mentale toestanden te infereren.
2. Gebrek aan Functionele Robuustheid: Hoge prestaties op statische benchmarks duiden niet noodzakelijkerwijs op het vermogen om ToM toe te passen in dynamische, natuurlijke omgevingen. Specifiek blijft het onduidelijk of modellen in staat zijn om mentale toestanden coherent bij te houden om contextueel passende beslissingen te nemen in interactieve scenario's.

Bestaande literatuur suggereert dat hoewel LLM's goed presteren op deze taken, de robuustheid van hun inferenties en hun vermogen tot gegeneraliseerde, interactieve sociale redenering niet zijn geverifieerd.

Methodologie: De Epistemische (A)ymmetrie Schelling Taak (EAST)
Om deze beperkingen aan te pakken, introduceren de auteurs EAST, een tekstgebaseerd, twee-speler coördinatiespel ontworpen om functionele ToM te benchmarken.

• Spelmechanica: Twee LLM-agenten, elk toegewezen een distinct persoonage (bijv. een kleermaker en een chirurg), krijgen een lijst met vier woorden gepresenteerd: twee persona-specifieke woorden ($w_{p1}, w_{p2}$), één gedeeld woord ($w_s$), en één ongerelateerd hoogfrequent woord ($w_u$). De agenten moeten onafhankelijk hetzelfde woord selecteren zonder communicatie.
• Epistemische Condities: De taak varieert de "epistemische transparantie" tussen spelers om verschillende niveaus van sociaal redeneren te testen:
  • Symmetrisch: Beide spelers kennen elkaars identiteit. De normatieve oplossing is het gedeelde woord ($w_s$).
  • Asymmetrisch: Alleen Speler 1 kent de identiteit van Speler 2; Speler 2 is "blind". De normatieve oplossing vereist dat Speler 1 de onwetendheid van Speler 2 modelleert en het persona-woord van Speler 2 selecteert ($w_{p2}$), terwijl Speler 2 de accommodatie van Speler 1 moet anticiperen.
  • Zero Knowledge: Noch de ene noch de andere speler kent de identiteit van de ander. De normatieve oplossing is het ongerelateerde woord ($w_u$), aangezien elke persona-specifieke associatie epistemisch arbitrair is.
• Experimentele Opzet: De studie evalueerde 14 modellen, variërend van 1B tot 31B parameters (inclusclusief open-weights modellen zoals Gemma, Llama, Mistral, Qwen, en DeepSeek) en frontier modellen (Gemini 3.1 Pro). Elk model speelde 90 games over 10 scenario's, drie epistemische condities, en drie prompting strategieën (Direct, Standard Chain-of-Thought, en Strategic ToM).
• Analyse: De auteurs gebruikten een LLM-as-a-judge benadering om redeneer-traces te annoteren op ToM-diepte (variërend van oppervlakkige inferentie tot recursieve ToM) en coherentie met epistemische restricties. Ze categoriseerden coördinatiefouten ook in specifieke cognitieve drogredenen, waaronder identiteits-/semantische fouten, epistemische tracking-fouten en strategische executiefouten.

Belangrijkste Resultaten

1. Capaciteitskloof: Er bestaat een significante prestatiekloof tussen frontier modellen en kleinere of open-weights modellen. Alleen frontier modellen (specifiek Gemini 3.1 Pro) navigeerden succesvol door de sociale redeneereisen over alle condities heen. Zwakkere modellen faalden systematisch in de cognitief zwaardere Asymmetrische en Zero-Knowledge condities.
2. Epistemische Tracking als Bottleneck: De primaire drijfveer van falen werd geïdentificeerd als epistemische tracking-fouten. Modellen verwarden vaak hun eigen private kennis met wederzijdse kennis of faalden er in staat om de epistemische staat van de partner accuraat te representeren. Bijvoorbeeld, in de Asymmetrische conditie faalden "wetende" spelers er vaak in rekening te houden met de onwetendheid van de "blinde" speler, waarbij ze hun eigen persona-woord selecteerden in plaats van dat van de partner.
3. Redeneren versus Prestatie: Hoewel Chain-of-Thought (CoT) en Strategic ToM prompting "accidentele" of heuristiek-gedreven matches verminderden, vertaalde dieper redeneren zich alleen in succesvolle coördinatie voor de meest capabele modellen. Zwakkere modellen vertoonden vaak incoherente ToM-redeneringen die in strijd waren met de epistemische restricties van de prompt.
4. Beperkingen van Statische Benchmarks: De studie demonstreert dat hoge prestaties op traditionele benchmarks niet correleren met het vermogen om robuuste sociale inferentie uit te voeren in interactieve settings waar agenten zelf-referentiële biases moeten onderdrukken om coördinatie te bereiken.

Significantie en Bijdragen
Het papier levert vier primaire bijdragen:

1. EAST Benchmark: Het introduceert een nieuwe, multi-agent benchmark die pre-training contaminatie mitigeert en robuust sociaal redeneren onder variërende epistemische restricties evalueert.
2. Empirisch Bewijs van Kloven: Het onthult een significante capaciteitskloof in robuust sociaal redeneren over het huidige model-landschap, wat benadrukt dat zelfs grote modellen worstelen met functionele ToM in omgevingen met asymmetrische informatie.
3. Diagnostische Analyse: Door middel van analyse van redeneer-traces identificeert het epistemische tracking-fouten (specifiek het falen om zelfkennis te ontkoppelen van ander-kennis) als een kritieke bottleneck voor LLM sociale coördinatie.
4. Toekomstige Richtingen: De auteurs stellen epistemische robuustheid voor — het vermogen om robuuste representaties van de epistemische toestanden van anderen te behouden en deze te ontkoppelen van de eigen staat — als een concreet doel voor toekomstige model-evaluatie en alignment. Ze suggereren dat training in interactieve, multi-agent omgevingen waar perspectiefname intrinsiek is aan succes, effectiever kan zijn dan fine-tuning op statische narratieven.

De auteurs houden een bescheiden standpunt aan en merken op dat EAST een eerste geconsolideerde iteratie van het paradigma is. Ze erkennen beperkingen zoals het gebruik van homogene dyades (self-play) en het gebrek aan misleidende informatie, en suggereren dat toekomstig werk heterogene interacties en adversariële ruis moet verkennen om deze capaciteiten verder te testen.