Technische Samenvatting: OmniToM

Probleemstelling

Huidige benchmarks voor het evalueren van Theory of Mind (ToM) in Large Language Models (LLMs) vertrouwen voornamelijk op eindpunt-vraag-en-antwoord (QA). In dit paradigma wordt een model een verhaal voorgelegd en uitsluitend beoordeeld op basis van of het het juiste eindantwoord op een sociaal redeneerquery produceert (bijvoorbeeld: "Waar zal Bob zoeken?"). De auteurs betogen dat deze benadering het onderliggende cognitieve proces verbergt: een model kan correct antwoorden door gebruik te maken van shortcut-strategieën of benchmark-artefacten, zonder daadwerkelijk de noodzakelijke multi-actor mentale-standsrepresentaties te construeren.

Specifiek faalt eindpunt-QA om aan het licht te brengen of een model kan bijhouden:

• Wat elke acteur als waar beschouwt versus wat objectief realiteit is.
• Hoe informatie is verdeeld (wie toegang heeft tot wat).
• Het recursieve karakter van overtuigingen (bijvoorbeeld: "Bob gelooft dat Alice denkt...").
• Het onderscheid tussen expliciete uitspraken en impliciete inferenties.

Bijgevolg kunnen bestaande benchmarks niet diagnosticeren waarom een model faalt – of het nu een relevante acteur over het hoofd heeft gezien, een overtuiging onjuist heeft bijgewerkt, toegang tot informatie verkeerd heeft geïdentificeerd, of de bron van een mentale staat verkeerd heeft gelabeld.

Methodologie

Formulering van de OmniToM-benchmark

OmniToM adresseert deze kloof door de evaluatie te verschuiven van eindantwoorden naar expliciete modellering van geloofsstructuren. De benchmark operationaliseert ToM-redenering als een tweestapsproces:

1. Fase 1: Extractie van overtuigingen

   • Taak: Gegeven een verhaal $S$, moet het model een gestructureerde set geloofsproposities $B$ extraheren.
   • Structuur: Elke propositie is een tuple $(a_i, b_i, o_i)$, waarbij $a_i$ de acteur is (of "wereld" voor verhaalde feiten), $b_i$ de minimale geloofsinhoud is, en $o_i$ de recursieve orde is ($0$ voor wereldfeiten, $1$ voor overtuigingen van de eerste orde, $2+$ voor overtuigingen van hogere orde).
   • Doel: De volledige set van actor-specifieke overtuigingen die relevant zijn voor de sociale dynamiek van het verhaal te herstellen, inclusief wereldfeiten, overtuigingen van de eerste orde over de wereld, en overtuigingen van hogere orde over de mentale staten van andere acteurs.

2. Fase 2: Labeling van overtuigingen

   • Taak: Gegeven de geëxtraheerde proposities, wijst het model een schema-label met zeven dimensies toe aan elke propositie.
   • Schema: Gebaseerd op ATOMS (Abilities in Theory of Mind Space), decomponeert het schema elke propositie in:
     • Orde: Recursieve diepte ($0$–$3$).
     • Waarheidsstatus: Uitlijning met de verhaalconcrete realiteit (Waar, Onwaar, Onbekend).
     • Kennis-toegang: Verdeling van informatie (Privé, Gedeeld, Publiek).
     • Representatie: Expliciet versus Impliciet (gesteld versus afgeleid).
     • Inhoudstype: Onderwerp (Locatie, Epistemisch, Verlangen, Emotie, enz.).
     • Mentale Bron: Aanschaffingsmethode (Narratie, Perceptie, Geheugen, Getuigenis, Inferentie, Fantasie).
     • Context: Kaderingsvoorwaarden (Bedrieglijk, Tijdelijk, Contrfactueel, Neutraal).

Constructie van de benchmark

• Brondata: Afgeleid van ToMBench, met behoud van 895 verhalen uit zeven categorieën met een hoog volume (bijvoorbeeld: Valse Overtuiging Taak, Faux-pas Herkenning, Hinting Taak).
• Annotatie-pijplijn: Vanwege de hoge kosten van handmatige annotatie voor 22.343 geloofsproposities, pasten de auteurs een mens-gekalibreerde, LLM-ondersteunde pijplijn toe.
  • Een kalibratiesubset (21 verhalen) werd handmatig geannoteerd door domeinexperts.
  • Semantische Judge: GPT-5 werd geselecteerd als de semantische judge voor de evaluatie van Fase 1 op basis van zijn hoge overeenstemming (72,03%) met menselijke beslissingen over semantische uitlijning.
  • Annotatiemodel: Claude-Sonnet-4.5 werd geselecteerd als het primaire annotatiemodel na het behalen van de sterkste kalibratieprestaties (72,88% F1 voor Fase 1, 93,62% nauwkeurigheid voor Fase 2).
• Schaal: De uiteindelijke benchmark bevat 895 verhalen en 22.343 gelabelde geloofsproposities, met in totaal 156.401 schema-labels.

Evaluatieprotocol

• Fase 1 (Extractie): Gemeten via de F1-score met behulp van een metrieke voor semantische uitlijning (MatchCount) in plaats van strikte string-overeenkomst. Dit houdt rekening met parafraseren en samengestelde overtuigingen.
• Fase 2 (Labeling): Gemeten via exact-match-nauwkeurigheid voor de schema-labels met zeven dimensies.
• Basislijnen: Geëvalueerd over diverse open- en closed-source modellen (bijvoorbeeld Llama-3.3, Mistral-Large, GPT-5, Gemini-2.5 Flash) onder zero-shot-condities met behulp van TELeR Level 3-prompten.

Belangrijkste Resultaten

De evaluatie onthult een consistente actor-specifieke bottleneck in informatietracking over alle modellen heen:

1. Extractieprestaties (Fase 1):

   • Het best presterende model behaalde een macro F1 van 57,69%.
   • De prestaties dalen aanzienlijk bij de overgang van Orde 0 (wereldfeiten) naar Orde 1 en Orde 2+ (actor-overtuigingen). Modellen hebben moeite om verhaalfeiten te koppelen aan specifieke actor-perspectieven.

2. Labelingprestaties (Fase 2):

   • De algehele labelingnauwkeurigheid bereikte 85,95%.
   • Echter, fouten zijn niet uniform. De laagste nauwkeurigheden worden gevonden in Kennis-toegang (56,13–74,59%) en Representatie (54,33–87,58%).
   • Overtuigingen van Orde 1 zijn het moeilijkst correct te labelen (71,2% algehele nauwkeurigheid), met name wat betreft wie toegang heeft tot informatie en of een overtuiging expliciet of afgeleid is.

3. Identificatie van de bottleneck:

   • De primaire faalmodus is geen gebrek aan algemeen taalbegrip, maar een falen in het bijhouden van informatiecondities: bepalen welke feiten elke acteur kent, hoe die kennis is verworven (perceptie versus inferentie), en hoe deze zich in de tijd ontwikkelt.
   • Modellen maken vaak geen onderscheid tussen wat waar is in de wereld en wat een actor gelooft dat waar is, vooral wanneer die overtuiging verouderd of onwaar is.

Betekenis en Claims

Het artikel claimt dat OmniToM een noodzakelijke verschuiving biedt van outcome-gebaseerde naar proces-gebaseerde evaluatie van ToM in LLM's.

• Diagnostische kracht: Door mentale-standsrepresentaties inspecteerbaar te maken, stelt OmniToM onderzoekers in staat om specifieke redeneerfouten te pinpointen (bijvoorbeeld: "het model slaagde er niet in de overtuiging bij te werken omdat het de toegang tot informatie verkeerd identificeerde") in plaats van simpelweg een verkeerd antwoord te observeren.
• Blootlegging van beperkingen: De benchmark legt een beperking bloot die eindpunt-QA kan verbergen: robuuste ToM-redenering vereist het bijhouden van de informatiecondities die mentale staten doen ontstaan, een capaciteit waarmee huidige LLM's worstelen.
• Reikwijdte: De auteurs presenteren OmniToM bescheiden als een evaluatiemiddel voor gecontroleerde, tekstgebaseerde scenario's. Zij stellen expliciet dat de benchmark geen realwereld sociale intelligentie, interpersoonlijke betrouwbaarheid of veiligheid in hoog-risico situaties (bijvoorbeeld klinische of juridische domeinen) certificeert.
• Toekomstig werk: De auteurs suggereren dat toekomstige richtingen omvatten uitbreiding naar rijkere verhalen, grotere door mensen geauditeerde extractiesets, en het hanteren van geloofsnesting voorbij orde 3, terwijl ze de huidige beperkingen in multimodaal redeneren en tracking op lange termijn erkennen.

Kortom, OmniToM demonstreert dat hoewel LLM's vaak verhaalfeiten kunnen herstellen, ze momenteel het robuuste mechanisme missen om die feiten om te zetten in accurate, actor-specifieke en temporair evoluerende mentale-standsrepresentaties.