💬 NLP

Beyond Words: Evaluating and Bridging Epistemic Divergence in User-Agent Interaction via Theory of Mind

Dit paper introduceert een nieuwe benchmark en dataset om de epistemische divergentie tussen gebruikers en AI-agenten op te lossen door Theory of Mind te formaliseren als een mechanisme voor het detecteren en oplossen van cognitieve kloven, wat leidt tot verbeterde interactieprestaties via versterkt leren.

Oorspronkelijke auteurs: Minyuan Ruan, Ziyue Wang, Kaiming Liu, Yunghwei Lai, Peng Li, Yang Liu

Gepubliceerd 2026-02-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Minyuan Ruan, Ziyue Wang, Kaiming Liu, Yunghwei Lai, Peng Li, Yang Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: "Beyond Words": Waarom AI soms de verkeerde kant op gaat (en hoe we dat kunnen oplossen)

Stel je voor dat je een zeer slimme, maar nogal starre assistent hebt. Je zegt: "Ik wil een taart bakken." De assistent pakt direct de ingrediënten, maar hij gebruikt zout in plaats van suiker. Waarom? Omdat jij niet expliciet hebt gezegd "zoet", en de assistent dacht dat je een hartige taart wilde. Of misschien denk jij dat suiker in de vriezer moet, terwijl dat niet zo is.

Dit is precies het probleem waar dit nieuwe onderzoek over gaat. Het heet SynchToM.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: Twee Werelden die niet samenkomen

In de echte wereld hebben mensen een hoofd vol met ideeën, ervaringen en soms verkeerde aannames. Laten we dit je "interne kaart" noemen.

Jij (de gebruiker): Je kijkt door een raam dat half dicht zit (je ziet niet alles). Je hebt een kaart van de stad in je hoofd, maar die kaart is verouderd of heeft een foutje. Je denkt: "De brug is dicht, ik moet omrijden."
De AI (de agent): Die AI heeft een perfecte, live satellietbeeld van de stad. Hij ziet dat de brug gewoon open is.

Het probleem is: Als jij zegt "Ik moet omrijden", en de AI luistert alleen naar wat je zegt, helpt hij je om een verkeerde route te nemen. De AI begrijpt niet dat jij een verkeerde kaart in je hoofd hebt. In de wetenschap noemen ze dit een "epistemische divergentie" (een groot verschil tussen wat jij denkt en wat er echt is).

2. De Oplossing: "Theory of Mind" (De Telepathische Assistent)

Mensen hebben iets moois: Theory of Mind. Dat is het vermogen om te denken: "Ah, deze persoon denkt dat de brug dicht is, omdat hij gisteren een verkeersbericht hoorde. Ik moet hem niet gewoon gehoorzamen, ik moet hem vertellen dat de brug open is."

Deze paper zegt: AI's moeten dit ook leren.
Het gaat niet alleen om slimme antwoorden geven, maar om te begrijpen waarom de gebruiker die vraag stelt. De AI moet een "telepathische assistent" worden die:

Je kaart in je hoofd leest.
Ziet dat die kaart fout is.
Je zachtjes corrigeert: "Wacht even, je denkt dat de brug dicht is, maar kijk maar, hij staat open. Laten we die kant op gaan."

3. De Test: SynchToM (De "Synchronisatie"-Oefening)

De onderzoekers hebben een nieuwe test gemaakt, genaamd SynchToM.
Stel je voor dat het een soort "rolspel" is voor AI's.

Het Scenario: Een gebruiker probeert een computerprogramma te repareren, maar hij denkt dat het probleem bij de software zit, terwijl het eigenlijk een losse kabel is.
De Taak voor de AI: De AI moet niet alleen het probleem oplossen, maar eerst begrijpen: "Ah, deze gebruiker denkt dat het de software is. Waarom denkt hij dat? Misschien omdat hij niet weet dat er een kabeltje loszit."

Ze hebben 11 van de slimste AI's ter wereld (zoals GPT-5, Gemini, Claude) deze test laten doen.
Het nieuws: De resultaten waren gemengd. De slimste AI's konden soms het probleem oplossen, maar ze faalden vaak in het begrijpen van de verkeerde gedachte van de gebruiker. Ze luisterden te braaf naar de instructies in plaats van de onderliggende verwarring op te lossen.

4. De Oplossing in de Praktijk: Leren van de Reis

De onderzoekers ontdekten iets belangrijks: AI's worden beter als ze niet alleen het eindantwoord zien, maar de hele reis (het gesprek) van de gebruiker volgen.

Vergelijking: Het is alsof je een leerling wilt leren fietsen. Als je alleen zegt "Fiets naar huis", valt hij misschien. Maar als je ziet hoe hij wankelt, hoe hij omkijkt, en hoe hij denkt dat de wind tegen hem is, kun je zeggen: "Je leunt te ver naar links, de wind is niet het probleem, je zit scheef."

De onderzoekers hebben een nieuwe manier bedacht om AI's hierin te trainen:

Reinforcement Learning (Beloningssysteem): Ze hebben de AI's laten oefenen met duizenden van deze "verkeerde kaart"-scenario's.
De Beloning: De AI krijgt een puntje als hij niet alleen het probleem oplost, maar ook uitlegt waarom de gebruiker in de war was.

Het resultaat: De getrainde AI's werden veel beter. Ze konden de "verkeerde kaart" van de gebruiker zien en corrigeren, waardoor ze veel effectiever hielpen.

Samenvatting in één zin

Deze paper leert ons dat een slimme AI niet alleen een "luie bediende" moet zijn die doet wat je zegt, maar een slimme partner die begrijpt wat je denkt, zelfs als je dat niet goed zegt, en je helpt om de echte wereld te zien.

Het is de overstap van: "Hier is je taart, ik heb suiker gebruikt."
Naar: "Je vroeg om een taart, maar ik zag dat je dacht dat suiker in de vriezer moest. Ik heb de suiker in de kom gedaan en leg uit waarom dat beter werkt."

Titel: Beyond Words: Het evalueren en overbruggen van epistemische divergentie in User-Agent-interactie via Theory of Mind

1. Het Probleem: Epistemische Divergentie

Grote Taalmodellen (LLMs) en agenten zijn uitstekend in het uitvoeren van taken, maar ze worstelen vaak met het begrijpen van de ware intenties van gebruikers wanneer instructies onnauwkeurig zijn of gebaseerd op verkeerde aannames.

Epistemische Divergentie: Dit is de kloof tussen de subjectieve overtuigingen van een gebruiker (wat de gebruiker denkt dat waar is) en de objectieve toestand van de omgeving (de werkelijkheid).
De Oorzaak: Gebruikers opereren vanuit een beperkt perspectief (gedeeltelijke observatie) en vormen overtuigingen op basis van hun eigen profiel (voorkeuren, kennis, bias). Als een LLM-agent deze overtuiging niet herkent en corrigeert, maar alleen de instructie volgt, kan dit leiden tot foutieve oplossingen.
Huidige Tekortkomingen: Bestaande evaluaties van "Theory of Mind" (ToM) bij LLMs focussen vaak op geïsoleerde redeneertaken (bijv. het voorspellen van wat iemand denkt in een statisch scenario). Ze negeren echter de functionele nuttigheid van ToM in dynamische, interactieve situaties waar het doel is om de taak succesvol af te ronden door de kloof tussen overtuiging en realiteit te overbruggen.

2. Methodologie

De auteurs introduceren een nieuw raamwerk en een benchmark om ToM te evalueren als een functioneel mechanisme voor het detecteren en oplossen van epistemische divergentie.

A. Formele Definitie (Bayesiaanse ToM)
Het paper modelleert de interactie als een gedeeltelijk waarneembaar proces:

Omgeving: Heeft een ware, latente toestand $s^*$ (bijv. de ware oorzaak van een fout).
Gebruiker: Heeft een subjectieve cognitieve staat $\Psi_u = \langle g, b \rangle$ , waarbij $g$ het doel is en $b$ de latente overtuiging (die kan afwijken van $s^*$ ). De gebruiker handelt op basis van $b$ , wat leidt tot een interactietraject $\tau$ dat kan afwijken van de "gouden" (optimale) route.
Agent: Moet via observaties ( $o$ ), instructies ( $g$ ) en het traject ( $\tau$ ) de latente overtuiging $b$ en het gebruikersprofiel $P$ afleiden. Het doel is om $b$ te synchroniseren met $s^*$ om de juiste oplossing te bieden.

B. De Benchmark: SynchToM
Om dit te evalueren, hebben de auteurs SynchToM ontwikkeld, een benchmark die bestaat uit:

Data Generatie: Een twee-staps proces (Scenario Synthese + Traject Constructie) dat data genereert uit vier domeinen: Software Engineering (SWE), Voorkeursinferentie, Cultuurverschillen en Onderwijs.
Validatie: Een streng validatiemodule (LLM-based) die data beoordeelt op vijf dimensies: gedragsgetrouwheid, realisme, actieconsistentie, infereerbaarheid en cognitieve soundness.
Opbouw: De dataset bevat 390 testinstances (elk 10 interactierondes) en 6.522 trainingsinstances.

C. Evaluatie en Training

Evaluatie: 11 modellen (zowel proprietary als open-source) worden getest op drie dimensies:
1. Latente Overtuiging: Kan het model de kloof tussen overtuiging en realiteit identificeren?
2. Gebruikersprofiel: Kan het model het achterliggende profiel (bias/kennis) van de gebruiker modelleren?
3. Oplossing: Is de uiteindelijke taakoplossing correct?
Versterkingsleer (RL): Om de prestaties te verbeteren, trainen de auteurs een model (Qwen3-8B) met Reinforcement Learning (GRPO) op de gegenereerde trajectdata. Ze gebruiken specifieke beloningen voor het correct modelleren van overtuigingen en profielen.
Multi-agent Samenwerking: Ze testen ook of ToM-inferenties van het ene model kunnen worden gebruikt om het prestatieniveau van een ander model te verhogen (training-vrije aanpak).

3. Belangrijkste Bijdragen

Formalisatie van ToM: Een verschuiving van ToM als een louter cognitieve vaardigheid naar een functioneel mechanisme voor het detecteren en oplossen van epistemische divergentie in interacties.
SynchToM Benchmark: Een nieuwe dataset die realistische scenario's simuleert waarin gebruikers overtuigingen afwijken van de realiteit, met een focus op de link tussen mentale staat en taaksucces.
Empirische Validatie: Bewijs dat accurate ToM-reasoning causaal leidt tot betere taakoplossing, en dat dit kan worden verbeterd via RL en multi-agent samenwerking.

4. Resultaten

Prestatie van Bestaande Modellen: Zelfs geavanceerde modellen (zoals GPT-5, Claude Sonnet 4.5) worstelen met het identificeren van de oorzaak van verkeerde gebruikersovertuigingen. Ze volgen vaak instructies blindelings in plaats van de onderliggende overtuiging te corrigeren.
De "ToM-Resolution Linkage": Ablatiestudies tonen aan dat het verstrekken van de "Ground Truth" (ware overtuiging en profiel) de taakoplossing significant verbetert. Omgekeerd leidt het willekeurig schudden van deze informatie (mismatch) tot een systematisch falen. Dit bewijst dat accurate mentale modellering een causale voorwaarde is voor succes.
Invloed van Trajecten: Modellen presteren beter naarmate ze meer interactierondes (trajecten) zien. Dit suggereert dat ToM-reasoning stabiliseert door context en bewijsmateriaal in de tijd, vooral in complexe domeinen zoals cultuur en onderwijs.
Training Effecten: Het model getraind met RL toonde consistente verbeteringen in de "Solution" (oplossing) dimensie, vooral in multi-turn scenario's. Het leerde om interne representaties van gebruikers bij te werken in plaats van alleen statische profielen te gebruiken.
Case Study: In een voorbeeld over het bereiden van Chinese hotpot (waarbij een gebruiker denkt dat sesampasta in water oplost als bouillon), faalde een lager presterend model door de instructie technisch te optimaliseren (emulgeren toevoegen). Een hoger presterend model (GPT-5) herkende echter de fundamentele epistemische fout (de pasta is een dip, geen bouillon) en corrigeerde de gebruiker op conceptueel niveau.

5. Betekenis en Conclusie

Dit werk benadrukt dat Theory of Mind voor LLM-agenten niet alleen een academische oefening is, maar een essentieel interactiemechanisme voor succesvolle samenwerking.

Praktische Impact: Voor professionele toepassingen (zoals medische zorg, softwareontwikkeling) is het cruciaal dat agents niet alleen luisteren, maar ook begrijpen waarom een gebruiker een bepaalde (verkeerde) vraag stelt, en deze overtuiging corrigeren.
Toekomst: De studie toont aan dat ToM-vaardigheden trainbaar en overdraagbaar zijn. Door interactiegegevens te gebruiken om agents te leren de "geest" van de gebruiker te synchroniseren met de realiteit, kunnen we robuustere en meer collaboratieve AI-systemen bouwen.

Kortom, het paper stelt dat de volgende stap in AI-ontwikkeling niet alleen het verbeteren van redeneervermogen is, maar het vermogen om de epistemische kloof tussen mens en machine te overbruggen.