Infusing Theory of Mind into Socially Intelligent LLM Agents

Dit paper introduceert ToMAgent, een LLM-agent die Theory of Mind en dialoogvoorspelling combineert om strategischere, doelgerichte en sociaal intelligenter gesprekken te voeren dan bestaande methoden.

De kern

Stel je voor dat je op een feestje bent waar iedereen praat, maar jij bent de enige die alleen luistert naar wat er gezegd wordt, zonder te begrijpen wat de anderen denken of voelen. Je zegt misschien precies wat je zelf wilt, maar je merkt dat de sfeer snel bederft of dat je je doel (bijvoorbeeld een nieuwe vriend maken) niet haalt.

Dit is precies wat er vaak gebeurt met slimme chatbots (AI) die we vandaag de dag gebruiken. Ze zijn heel goed in het vormen van zinnen, maar ze missen vaak het vermogen om echt in te schatten wat de ander in zijn hoofd heeft.

Deze paper introduceert TOMA (Theory of Mind Agent), een nieuwe manier om AI-agenten slimmer te maken in sociale situaties. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Blinde" Chatbot

Stel je voor dat je een chatbot vraagt om een gesprek te voeren over het delen van één deken in de kou.

• De oude chatbot denkt alleen aan zichzelf: "Ik heb het koud, ik wil de deken." Het zegt direct: "Geef me de deken."
• Het resultaat: De ander voelt zich aangevallen, wordt boos en weigert. De chatbot faalt.

De oude chatbot mist Theory of Mind (ToM). Dat is het menselijke vermogen om te begrijpen dat anderen hun eigen gedachten, wensen en gevoelens hebben die anders kunnen zijn dan die van jou.

2. De Oplossing: De "Reisplanner" voor Gesprekken

De auteurs van dit onderzoek hebben een methode bedacht genaamd TOMA. Ze laten de AI niet zomaar praten, maar laten haar eerst een soort repetitie doen.

Stel je voor dat je een toneelspeler bent die een belangrijke scène moet spelen. Voordat je het publiek (de echte gesprekspartner) ziet, doe je dit:

1. Hypothese maken: Je denkt na: "Wat denkt de ander? Is hij boos? Is hij bang? Wil hij delen?" Je maakt een paar mogelijke scenario's in je hoofd.
2. Antwoorden bedenken: Voor elk van die gedachten bedenkt de AI een antwoord.
3. De "Toekomst" simuleren: De AI speelt het gesprek in haar hoofd verder af. "Als ik dit zeg, wat zal hij dan zeggen? En als hij dat zegt, wat doe ik dan?"
4. De beste keuze: De AI kijkt naar al die gesimuleerde gesprekken en kiest alleen het pad dat het beste eindigt: een gesprek waar beide partijen blij zijn en hun doel bereiken.

3. Het Oefenen: Van Theorie naar Praktijk

In plaats van dat de AI dit elke keer in het echt moet proberen (wat veel tijd kost en fouten kan maken), laten de onderzoekers de AI dit duizenden keren oefenen in een virtuele wereld.

• De AI leert: "Als ik denk dat de ander het koud heeft, en ik stel een compromis voor, dan is de kans groot dat we allebei winnen."
• Daarna wordt de AI getraind op deze "slimme" gesprekken. Ze leert niet alleen wat ze moet zeggen, maar ook waarom ze dat zegt, gebaseerd op wat ze denkt dat de ander voelt.

4. Het Resultaat: Een Slimmer Gesprekspartner

De tests (gebaseerd op een benchmark genaamd Sotopia) laten zien dat deze nieuwe AI-agenten veel beter zijn:

• Ze halen hun doel: Ze krijgen wat ze willen (bijvoorbeeld de deken delen) vaker dan de oude bots.
• Ze zijn aardiger: Ze maken de relatie met de gesprekspartner niet kapot. Ze zijn strategisch, maar niet manipulatief of bot.
• Ze denken vooruit: Ze kunnen lange gesprekken aan, waarbij ze hun strategie aanpassen als de ander verandert.

De Grootste Les

De kernboodschap van dit onderzoek is simpel: Om echt slim te zijn in een gesprek, moet je niet alleen goed kunnen praten, je moet ook kunnen "lezen" tussen de regels door.

Door AI te leren om eerst even in de schoenen van de ander te staan (of beter: in hun gedachten), worden ze niet alleen effectiever in het bereiken van doelen, maar ook veel menselijker en veiliger in hun interacties. Het is alsof we de AI een spiegel geven, zodat ze niet alleen naar zichzelf kijkt, maar ook naar de ander.

Technische samenvatting

Titel: Infusie van Theory of Mind in sociaal intelligente LLM-agenten

Auteurs: EunJeong Hwang, Yuwei Yin, Giuseppe Carenini, Peter West, Vered Shwartz (UBC & Vector Institute)

---

1. Het Probleem

Sociale intelligentie bij mensen wordt grotendeels bepaald door het vermogen om de mentale toestanden van anderen te begrijpen, een cognitief vermogen dat bekendstaat als Theory of Mind (ToM). Hoewel Large Language Models (LLMs) vaak worden ingezet in sociale contexten (zoals klantenservice of interviews), missen ze doorgaans een expliciete integratie van ToM. Bestaande methoden evalueren ToM vaak in statische vraag-antwoordopstellingen, in plaats van in dynamische sociale interacties waar het nut ervan voor het bereiken van doelen cruciaal is.

De kernvraag van dit onderzoek is: Hoe kunnen we LLMs uitrusten met Theory of Mind-vaardigheden die hun sociale redenering effectief verbeteren om hun doelen te bereiken in dialogen?

2. Methodologie: ToMAgent (TOMA)

De auteurs introduceren ToMAgent (TOMA), een trainingsframework dat ToM combineert met "look-ahead" (vooruitkijken) simulaties om de meest effectieve dialoogtrajecten te selecteren. Het proces verloopt in drie hoofdfasen (gevisualiseerd in Figuur 1 van het paper):

A. Steekproeven en Context (Seeding)

• Het framework gebruikt het Sotopia-Pi dataset, dat diverse sociale scenario's bevat met conflicterende of gedeelde doelen tussen agenten.
• Er worden dialogen geselecteerd die zijn gestopt voordat de doelen zijn bereikt, om als startpunt te dienen.

B. Generatie en Scoring van Hypotheses (Look-Ahead)

Dit is de kern van de methode. Voor een gegeven context genereert het model:

1. Mentale Staten Hypotheses ($M$): Het model genereert $K$ mogelijke hypotheses over de mentale staat van de tegenpartij (en zichzelf). Deze hypotheses omvatten dimensies zoals overtuigingen, verlangens, intenties, emoties en kennis.
2. Uitingen ($U$): Op basis van elke mentale staat worden $J$ mogelijke volgende uitingen gegenereerd.
3. Simulatie: Voor elk paar $(M, U)$ wordt een korte dialoog gesimuleerd (tot 4 beurten) waarbij een partner-agent reageert.
4. Scoring: Een LLM-judge (GPT-5-mini) scoort de gesimuleerde dialoog op de mate van doelbereiking (0-10) voor beide agenten.
5. Selectie: Alleen de paren $(M, U)$ die leiden tot een hoge gezamenlijke score (≥9) worden behouden. Dit zorgt ervoor dat het model leert welke mentale inferenties en uitingen daadwerkelijk leiden tot succes.

C. Fine-tuning

Het model wordt vervolgens gefine-tuned op de geselecteerde, hoogscorende paren. De trainingsdoelstelling bestaat uit twee delen:

1. Mental State Prediction: Het voorspellen van de mentale staat $m$ op basis van de context $H$.
2. Utterance Prediction: Het genereren van de uitdrukking $u$ op basis van de context $H$ én de voorspelde mentale staat $m$.

De loss-functie is een gecombineerde cross-entropy loss:
$$L_{CE}(\phi) = -\log P_\phi(m^* | H) - \log P_\phi(u^* | H, m^*)$$
Hierdoor leert het model om latent mentale toestanden te koppelen aan strategische uitingen die empirisch bewezen effectief zijn.

3. Belangrijkste Bijdragen

• ToMA Framework: Een nieuw trainingsprotocol dat ToM-explicitie maakt door mentale staten te koppelen aan doelgerichte dialoogsimulaties.
• Look-Ahead Training: In plaats van alleen uitingen te optimaliseren, simuleert het framework de toekomstige gevolgen van een uitdrukking gebaseerd op mentale inferenties om de beste trainingsdata te selecteren.
• Expliciete ToM in Training: Het bewijs dat het expliciet genereren van mentale staten (intenties, overtuigingen) tijdens de training leidt tot superieure sociale prestaties, in tegenstelling tot methoden die alleen op uitingen focussen.

4. Resultaten

De methode is geëvalueerd op de Sotopia benchmark (een interactieve omgeving voor sociale intelligentie) met verschillende basismodellen (Qwen2.5-3B/7B, LLaMA3.1-8B).

• Verbeterde Doelbereiking: TOMA presteerde significant beter dan baselines (zowel de ruwe base-modellen als modellen met alleen prompt-based ToM).
  • Op de "hard" set werden verbeteringen van 18,9% (Qwen2.5-3B) en 6,9% (Qwen2.5-7B) behaald in de gemiddelde score ten opzichte van de beste base-variant.
  • TOMA concurreerde met GPT-5-nano, ondanks het gebruik van veel kleinere modellen.
• Relatiebeheer: Modellen die ToM gebruiken (TOMA, Base+MS) behaalden hogere scores op het behoud van relaties dan modellen die alleen op uitingen waren getraind. Dit suggereert dat het begrijpen van de tegenpartij essentieel is voor een positieve sociale interactie.
• Lange-termijn Adaptatie: In tegenstelling tot baselines die hun prestaties lieten dalen bij langere dialogen (door herhaling), verbeterde TOMA zijn doelbereiking naarmate het aantal beurten toenam. Dit wijst op strategisch, langetermijnplannen.
• Strategisch Redeneren: Analyse toonde aan dat TOMA vaker compromissen aanging en oplossingen bood in conflictsituaties, terwijl het model meer gebruikmaakte van eerste-orde mentale staten (wat de ander denkt) dan de baselines.

5. Significantie en Conclusie

De studie demonstreert dat sociale intelligentie in LLMs niet alleen kan worden bereikt door het optimaliseren van algemene redeneerbenchmarks, maar vereist expliciete modellering van mentale toestanden.

• Praktische Impact: Door agenten te leren om de intenties en emoties van anderen te simuleren voordat ze reageren, kunnen ze veiliger, eerlijker en effectiever interageren in complexe sociale scenario's (zoals onderhandelingen of counseling).
• Toekomstige Richting: De auteurs benadrukken dat dit een stap voorwaarts is naar het bouwen van echt sociaal intelligente AI-systemen, hoewel ethische overwegingen (zoals manipulatie) belangrijk blijven.

Kortom, TOMA bewijst dat het integreren van een "look-ahead" simulatie van Theory of Mind in het trainingsproces de sociale competentie van LLM-agenten aanzienlijk verhoogt, zelfs met beperkte modelgroottes.