Technische Samenvatting: EnactToM

Probleemstelling

Huidige benchmarks voor Theory of Mind (ToM) bij Large Language Models (LLMs) evalueren voornamelijk letterlijke ToM: het vermogen om, wanneer gevraagd, expliciet de overtuigingen, verlangens of intenties van een ander agent te rapporteren. Deze evaluaties meten echter geen functionele ToM, gedefinieerd als het vermogen om optimaal te handelen op basis van afgeleide mentale toestanden in verankerde, multi-agent omgevingen. Bestaande benchmarks missen drie kritieke eigenschappen:

1. Functioneel: Ze meten het rapporteren van overtuigingen in plaats van het uitvoeren van acties op basis van die overtuigingen.
2. Verankerd: Ze opereren in uitsluitend tekstuele of volledig waarneembare settings, zonder de ruimtelijke beperkingen en informatieasymmetrie die inherent zijn aan belichaamde samenwerking.
3. Resistent tegen verzadiging: Statische benchmarks worden triviaal naarmate modellen verbeteren, en ze missen mechanismen om de taakmoeilijkheid te laten evolueren op basis van specifieke faalpatronen van modellen.

Gevolg hiervan is dat frontier-modellen vaak een hoge nauwkeurigheid tonen bij het testen van overtuigingen, maar falen in effectieve coördinatie in gedeelde fysieke omgevingen, wat leidt tot redundante acties, genegeerde beperkingen en veiligheidsrisico's.

Methodologie: Het EnactToM-kader

De auteurs introduceren EnactToM, een evoluerende benchmark bestaande uit 300 belichaamde multi-agent taken gesitueerd in een 3D-huishoudelijke omgeving (HSSD). Het kader is ontworpen om functionele ToM te isoleren door middel van gedeeltelijke waarneembaarheid, privé-informatie en beperkte communicatie.

1. Taakrepresentatie en Epistemische Diepte

Taken worden geformaliseerd als tuples $T = (S, A, \phi, \delta, M, \Sigma, C)$, waarbij:

• $S$: Een 3D-scène.
• $A$: Een set agenten met spawn-posities.
• $\phi$: Een PDDL-doelformule die fysische predicaten (bijv. is_on_top) combineert met epistemische operatoren ($K$).
• $\delta$: Een natuurlijke taal-taakbeschrijving die door alle agenten wordt gedeeld.
• $M$: Mechanieken die realwereldbeperkingen modelleren (bijv. kamerbeperkingen, beperkte bandbreedte, beperkte communicatiegrafen).
• $\Sigma$: Privégeheimen die aan elke agent worden toegewezen (bijv. specifieke object-ID's, toegangsbeperkingen tot kamers) die informatieasymmetrie creëren.
• $C$: Taakcategorie (Coöperatief of Gemengde motieven).

De benchmark maakt gebruik van epistemische diepte ($d$) om de complexiteit van ToM te kwantificeren:

• Diepte 1 (Zelfbewust): Een agent herkent zijn eigen informatiekloof.
• Diepte 2 (Anderbewust): Een agent handelt op basis van wat een partner weet.
• Diepte 3 (Recursief): Een agent redeneert over wat een partner weet dat een andere agent weet.
  De benchmark beperkt de generatie tot diepte 3, aangezien diepere recursie zelfs voor mensen breekbaar is.

2. Agente Taakgeneratie-pijplijn

Om benchmarkvervaging aan te pakken, maakt EnactToM gebruik van een autonome coderingsagent om taken te genereren. De pijplijn omvat:

• Auteur: De agent schrijft eerst de formele PDDL-doelstelling, en leidt vervolgens het verhaal en de geheimen af, zodat de doelstelling de bron van waarheid blijft.
• Verificatie:
  • PDDL-parsing: Controleert syntactische geldigheid en K-diepte-uitlijning.
  • LLM-rechterraad: Twee modellen (Kimi-K2.5 en GPT-5.2) scoren taken onafhankelijk op criteria zoals agentnoodzaak, geheimkwaliteit (geen strategielek) en gebruik van mechanieken.
  • Structurele kalibrator: Voert een basissimulatie uit waarbij alle geheimen aan alle agenten worden onthuld. Als de taak zelfs met volledige informatie faalt, wordt deze afgewezen als fysiek onoplosbaar. Dit zorgt ervoor dat succes in de standaardsetting afhangt van epistemisch redeneren en niet alleen van belichaamde navigatie.
• Evolutie: De generatie-agent gebruikt "zaadtaken" die zijn bevooroordeeld ten opzichte van de faalpatronen van huidige frontier-modellen (bijv. GPT-5.4, O3). Naarmate modellen verbeteren, verschuift de zaadpool naar moeilijkere faalpatronen, waardoor de benchmarkmoeilijkheid evolueert zonder de generatorinfrastructuur te wijzigen.

3. Evaluatieprotocol

De benchmark evalueert zeven frontier-modellen op twee splits: Standaard ($\rho=0.8$ zaadfaalratio) en Moeilijk ($\rho=0.9$).

• Functionele metriek: Succes wordt gedefinieerd door het voltooien van de fysische predicaten in $\phi$. De primaire metriek is Pass^3, waarbij succes vereist is in alle drie de onafhankelijke runs om geluk uit te sluiten.
• Letterlijke metriek: Aan het einde van elke episode worden agenten bevraagd over specifieke overtuigingen (bijv. "Wat denkt agent_0 dat de toestand van de koelkast is?"). Dit meet de nauwkeurigheid van letterlijke ToM onafhankelijk van actie.

Belangrijkste Resultaten

De evaluatie onthult een scherpe actie-rapportkloof tussen letterlijke en functionele ToM:

• Functioneel falen: Op de Moeilijke split behaalden alle zeven geëvalueerde frontier-modellen 0,0% Pass^3 voor functionele taakvoltooiing. Geen enkel model kon reproduceerbaar coördineren over drie runs.
• Letterlijk succes: Dezelfde modellen scoorden gemiddeld 45,0% op letterlijke overtuigingsproeven op dezelfde taken. Bijvoorbeeld, Gemini-Pro behaalde 63,3% letterlijke nauwkeurigheid maar slechts 6,7% functionele nauwkeurigheid op de moeilijke split.
• Foutanalyse: Een handmatige audit van 40 fouten identificeerde dat 93% te wijten was aan epistemische coördinatiebreuken, gecategoriseerd in vijf patronen:
  1. Terughoudendheid van kritieke informatie: Agenten bezitten beslissende feiten maar communiceren ze te laat.
  2. Epistemische ketenbreuk: Agenten voeren fysische acties uit maar slagen er niet in vast te stellen dat partners het resultaat weten.
  3. Sabotage/onthulling van privédoelen: In taken met gemengde motieven onthullen agenten ofwel te vroeg privédoelen of saboteren ze gedeelde doelen.
  4. Verkeerde toewijzing van schaarse berichten: Agenten verspillen beperkte bandbreedte aan onbereikbare partners of inhoud met lage prioriteit.
  5. Negeren van partnerbeperkingen: Agenten delegeren taken aan partners die de benodigde kamer-toegang of middelen missen.

Betekenis en Claims

De auteurs stellen dat EnactToM de eerste rigoureuze, evoluerende meting van functionele ToM in belichaamde settings biedt. De betekenis hiervan ligt in:

1. Blootleggen van een kritieke kloof: Aantonen dat hoge prestaties op tekstuele overtuigingsvragen niet vertalen naar het vermogen om die overtuigingen te gebruiken voor coördinatie in beperkte omgevingen.
2. Definiëren van een nieuwe benchmarkstandaard: Het vestigen van een kader dat belichaamd is (3D-omgeving), functioneel (succes gebaseerd op actie) en evoluerend (resistent tegen verzadiging via generatie gedreven door falen).
3. Verschaffen van concrete doelen: Door fouten te ontleden in specifieke epistemische coördinatiebreuken, biedt de benchmark duidelijke, actieerbare doelen voor toekomstig onderzoek in multi-agent uitlijning en redenering.

De auteurs concluderen dat frontier-modellen, hoewel ze vaak kunnen stellen wat partners weten, momenteel het beleid missen om die kennis te gebruiken om betrouwbaar te handelen onder communicatie- en informatiebeperkingen. De benchmark dient als meetinstrument om de voortgang in het dichten van deze kloof te volgen.