💬 NLP

ToMAP: Training Opponent-Aware LLM Persuaders with Theory of Mind

Het artikel introduceert ToMAP, een nieuw framework met 3 miljard parameters dat LLM-overtuigers verbetert door Theory of Mind-modules te integreren om de mentale toestanden van tegenstanders dynamisch te modelleren, waardoor het model in staat is om aanzienlijk grotere baselines zoals GPT-4o te overtreffen door middel van meer diverse, logische en tegenstanderbewuste argumenten.

Oorspronkelijke auteurs: Peixuan Han, Zijia Liu, Jiaxuan You

Gepubliceerd 2026-06-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Peixuan Han, Zijia Liu, Jiaxuan You

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: AI leren de "kamer te lezen"

Stel je voor dat je in een debatclub zit. Er zijn twee soorten debaters:

De Robot: Hij heeft een script. Wat je ook zegt, hij herhaalt gewoon zijn hoofdargument steeds luider. Als je zegt: "Ik haat groenten," zegt hij: "Maar groenten zijn gezond!" Als je zegt: "Ik haat koken," zegt hij: "Maar groenten zijn gezond!" Hij verandert nooit van toon.
De Mens: Hij luistert naar je. Als je zegt: "Ik haat groenten," denkt hij: "Ah, hij houdt niet van de smaak." Dus schakelt hij van tactiek: "Oké, wat als we ze roosteren met knoflook? Dan smaken ze als snoep." Als je zegt: "Ik haats koken," zegt hij: "Wat als je gewoon voorgesneden groenten koopt?"

Het paper betoogt dat huidige Large Language Models (LLM's) voornamelijk als De Robot fungeren. Ze zijn goed in het genereren van tekst, maar ze zijn slecht in Theory of Mind—het menselijke vermogen om te begrijpen wat iemand anders denkt, voelt of gelooft.

ToMAP (Theory of Mind Augmented Persuader) is een nieuwe trainingsmethode die ontworpen is om de Robot te veranderen in een menselijke debater. Het leert een kleine AI (slechts 3 miljard parameters, wat piepklein is vergeleken met reuzen zoals GPT-4) hoe hij de "kamer kan lezen" en zijn argumenten dynamisch kan aanpassen.

Hoe ToMAP werkt: De twee "Superkrachten"

Om de AI dit menselijke intuïtiegevoel te geven, hebben de onderzoekers het twee speciale tools (modules) gegeven die fungeren als een mentale spiekbrief tijdens een gesprek.

1. De "Glazen Bol" (Counterclaim Predictor)

Het Probleem: Mensen denken van nature: "Als ik X zeg, zal mijn tegenstander misschien Y denken." Huidige AI's missen dit vaak. Ze houden gewoon vast aan hun eigen script.
De Oplossing: Voordat de AI spreekt, gebruikt hij een "Glazen Bol" om de geest van de tegenstander te simuleren. Hij vraelt zichzelf af: "Wat zijn drie redenen waarom mijn tegenstander het met mij oneens zou kunnen zijn?"
De Analogie: Denk aan het spelen van schaken. Een grootmeester kijkt niet alleen naar zijn volgende zet; hij kijkt naar het bord en denkt: "Als ik hierheen beweeg, zal mijn tegenstander waarschijnlijk daarheen bewegen." De Glazen Bol laat de AI hetzelfde doen met woorden. Het anticipeert op bezwaren voordat ze zelfs maar worden geuit.

2. De "Emotie-Radar" (Opponent Attitude Predictor)

Het Probleem: Zelfs als de AI de bezwaren voorspelt, weet hij niet hoe sterk de tegenstander erover denkt. Is de tegenstander slechts licht geïrriteerd, of is hij woedend?
De Oplossing: Dit hulpmiddel werkt als een radar. Het analyseert het gesprekshistorie en de voorspelde bezwaren om de AI een "score" te geven van hoeveel de tegenstander het eens of oneens is met specifieke punten.
De Analogie: Denk aan een verkoper. Een slechte verkoper negeert het gezicht van de klant. Een goede verkoper observeert het gezicht van de klant. Als de klant sceptisch kijkt, vertraagt de verkoper en legt hij meer uit. Als de klant geïnteresseerd lijkt, versnelt hij. De "Emotie-Radar" vertelt de AI precies hoe hij zijn snelheid en toon moet aanpassen.

De Trainingsmethode: Leren door te doen (Reinforcement Learning)

Je kunt een AI niet simpelweg vertellen: "Wees empathischer," en verwachten dat het werkt. Het paper gebruikt Reinforcement Learning (RL), wat lijkt op het trainen van een hond met snoepjes.

Het Spel: De AI speelt een debatspel tegen een andere AI.
Het Doel: Het doel is niet alleen om te praten; het is om de mening van de tegenstander te veranderen.
De Beloning: Als de mening van de tegenstander zelfs maar een klein beetje verschuift richting de kant van de AI, krijgt de AI een "snoepje" (een beloningsscore). Als de AI zichzelf herhaalt of in een loop blijft hangen, krijgt hij een "berisping" (een straf).
Het Resultaat: Door duizenden spellen leert de AI dat de enige manier om snoepjes te krijgen is om te stoppen met zichzelf herhalen en de "Glazen Bol" en "Emotie-Radar" te gebruiken om unieke, op maat gemaakte argumenten te formuleren.

De Verrassende Resultaten

Het meest opwindende deel van het paper is de prestatie.

Klein vs. Gigantisch: Het ToMAP-model is pieklein (3 miljard parameters). De "reuzen" die het versloeg, omvatten GPT-4o en modellen met 70 miljard of zelfs 671 miljard parameters.
De Score: ToMAP presteerde aanzienlijk beter dan deze enorme modellen (ongeveer 39% beter in sommige tests).
Waarom? De gigantische modellen zijn als bibliotheken met miljoenen boeken, maar zonder bibliothecaris om ze te organiseren. Ze weten veel feiten, maar weten niet hoe ze die strategisch tegen een specifere persoon kunnen gebruiken. ToMAP is een kleinere bibliotheek met een briljante bibliothecaris die precies weet welk boek hij voor deze specifieke klant moet pakken.

Belangrijke inzichten uit de experimenten

Minder Herhaling: Zonder ToMAP hebben AI's de neiging om steeds dezelfde 8 woorden te herhalen (als een kapotte plaat). ToMAP stopt hiermee omdat het constant de mentale staat van de tegenstander controleert en nieuwe invalshoeken zoekt.
Lange Gesprekken: In korte chats zijn grote modellen prima. Maar in lange gesprekken van 10 beurten worden de grote modellen moe en repetitief. ToMAP wordt juist beter naarmate het gesprek vordert, omdat het zijn strategie blijft aanpassen.
Logica boven Emotie: Het paper vond dat ToMAP stopte met het gebruik van "fluff" (zoals emotionele beroepen of schreeuwen) en begon met het gebruiken van logica, bewijs en het vinden van gemeenschappelijke grond. Het werd een meer verfijnde debater.

Samenvatting

ToMAP is een framework dat AI leert om te stoppen met een "kapotte plaat" te zijn en te beginnen met een "gedachtenlezer" te zijn. Door de AI de tools te geven om te voorspellen wat de tegenstander denkt en hoe diegene zich voelt, en het vervolgens te trainen met beloningen voor het daadwerkelijk veranderen van een mening, hebben de onderzoekers een kleine, efficiënte AI gecreëerd die overtuigender is dan de grootste en duurste AI-modellen ter wereld.

Het bewijst dat strategie en bewustzijn belangrijker zijn dan alleen het hebben van een enorm brein.

Technische Samenvatting: ToMAP – Training van Opponent-Bewuste LLM-Persuaders met Theory of Mind

1. Probleemstelling

Hoewel Large Language Models (LLM's) potentieel hebben getoond in overtuigingstaken, kampen huidige LLM-gebaseerde persuaders met aanzienlijke beperkingen in het modelleren van de interactieve en dynamische aard van menselijke debatten. Menselijke overtuiders construeren van nature een "cognitieve graaf" van gerelateerde proposities, anticiperen proactief op bezwaren van een tegenstander en passen hun argumenten aan op de mentale staat van de tegenstander — een capaciteit die bekend staat als Theory of Mind (ToM).

In contrast hiermee vertonen bestaande LLM-persuaders vaak:

Gebrek aan tegenstander-bewustzijn: Ze focussen te nauw op de centrale bewering en negeren de onderling verbonden structuur van gerelateerde claims en het perspectief van de tegenstander.
Lijden aan repetitie: Ze hebben de neiging om dezelfde argumenten in opeenvolgende beurten te herhalen, in plaats van diverse inzichten te genereren vanuit een bredere cognitieve graaf.
Vertonen rigiditeit: Ze zijn vaak zelfgericht en slagen er niet in om strategieën dynamisch aan te passen op basis van de evoluerende overtuigingen van de persoon die overtuigd moet worden (de persuadee).

Het artikel stelt dat het tekort aan ToM-redenering de primaire bottleneck is die voorkomt dat LLM's een menselijk niveau van overtuigingskrachtige flexibiliteit en diversiteit bereiken.

2. Methodologie: ToMAP-framework

De auteurs stellen ToMAP (Theory of Mind Augmented Persuader) voor, een trainingsframework dat twee toegewijde ToM-modules integreert met Reinforcement Learning (RL) om het vermogen van een persuader te verbeteren om de mentale staat van een tegenstander te modelleren en erop te reageren.

2.1. Kerncomponenten

Het framework bestaat uit drie hoofdfases:

Counterclaim Predictor (Tegengas-voorspeller):
- Functie: Deze module zet de persuader aan om proactief potentiële tegenargumenten ( $\neg q_{1...k}$ ) te genereren tegen de doelbewering ( $Q$ ) die de tegenstander zou kunnen vasthouden.
- Mechanisme: Het dwingt het model om expliciet de geassocieerde claims van het debatonderwerp te conceptualiseren, waardoor bezwaren worden voorzien voordat ze worden geuit.
Opponent Attitude Predictor (Tegenstander-houding-voorspeller):
- Functie: Deze module schat het huidige niveau van instemming ( $s'$ ) van de persuadee met de gegenereerde tegenargumenten in.
- Mechanisme: In tegen tegenstelling tot zero-shot prompting, wat onbevredigende resultaten oplevert, gebruikt ToMAP een externe classifier bestaande uit een pre-trained text encoder (BGE-M3) en een Multi-Layer Perceptron (MLP). Deze codeert de gesprekshistorie en claims afzonderlijk, concateneert ze en voorspelt een 5-punts instemmingsscore. Dit biedt een dynamische, kwantitatieve beoordeling van de mentale staat van de tegenstander.
Reinforcement Learning (RL) Integratie:
- Trainingsdoel: De persuader wordt getraind met behulp van Proximal Policy Optimization (PPO). De beloningsfunctie is ontworpen om de attitude shift (houdingsverandering) van de persuadee te maximalen.
- Beloningsberekening: De beloning wordt afgeleid van het verschil in de instemmingsscore van de persuadee vóór en na de beurt van de persuader, genormaliseerd om rekening te houden met de moeilijkheidsgraad van het verschuiven van reeds hoge instemmingsscores.
- Augmentatie: Tijdens training en inferentie wordt de ToM-informatie (voorspelde tegenargumenten en hun voorspelde houdingsscores) voorafgevoegd aan de prompt van de persuader als een augmentatie van de inputcontext. Dit stelt de RL-agent in staat om te leren hoe deze inzichten te benutten bij het formuleren van strategieën.

2.2. Trainingsopstelling

Basemodellen: Qwen2.5-3B-Instruct en LLaMa3.2-3B-Instruct.
Persuadee Model: Qwen2.5-7B-Instruct (gebruikt tijdens de training).
Datasets: Cornell CMV (Change My View), Anthropic Persuasion Dataset, en de args.me corpus.
Evaluatiemetriek: Agreement shift (percentage verandering in de standpunten van de persuadee van het begin tot het einde van het gesprek).

3. Belangrijkste Bijdragen

Nieuw Framework: Introductie van ToMAP, het eerste framework dat expliciet ToM-modules (tegenargument- en houdingsvoorspelling) combineert met RL voor het trainen van LLM-persuaders.
Efficiëntie: Demonstreert dat een klein model met 3 miljard parameters, wanneer getraind met ToMAP, aanzienlijk grotere state-of-the-art modellen (bijv. GPT-4o, LLaMa3.1-70B, Deepseek-R1) kan overtreffen in overtuigingstaken.
Ablatie-inzichten: Bewijst dat ToM-modules alleen de zero-shot prestaties niet verbeteren; de combinatie van ToM-informatie en RL-training is noodzakelijk om de persuader in staat te stellen de tegenstander-modellering effectief te gebruiken.
Gedragsanalyse: Toont aan dat ToMAP argumentatie-repetitie vermindert en de redeneercomplexiteit (langere denkketens) verhoogt vergeleken met baselines.

4. Experimentele Resultaten

Prestatiewinst: ToMAP (3 miljard parameters) behaalde een relatieve winst van 39,4% ten opzichte van baseline-configuraties over meerdere persuadee-modellen en diverse corpora.
Vergelijking met SOTA: ToMAP presteerde beter dan veel grotere baselines, inclusief GPT-4o en Deepseek-R1 (671 miljard parameters), wat betreft de agreement shift.
Generalisatie: Het model vertoonde stabiele prestaties bij out-of-domain persuadees (bijv. LLaMa3.1, Phi-4), wat suggereert dat de geleerde strategieën robuust zijn.
Langdurige Gesprekken: In uitgebreide gesprekken (tot 10 beurten) behield ToMAP constante overtuigingswinsten, terwijl baseline RL-modellen stagneerden of afnamen door repetitie en gebrek aan adaptatie.
Strategie-analyse: ToMAP adopteerde meer tegenstander-bewuste strategieën, zoals "Common Ground", "Preemptive Rebuttal" en "Concession", terwijl het minder vertrouwde op retorische of emotionele beroepen vergeleken met basemodellen.

5. Betekenis en Claims

Het artikel beweert dat ToMAP een belangrijke stap is naar de ontwikkeling van effectievere AI-persuaders door de integratie van Theory of Mind en tegenstander-modellering.

Schaalbaarheid: De resultaten suggereren dat kleine modellen zeer overtuigend kunnen zijn als ze zijn uitgerust met het juiste trainingsframework (ToM + RL), wat de opvatting uitdaagt dat alleen massieve modellen complexe sociale redenering kunnen afhandelen.
Mechanisme van Verbetering: De auteurs stellen dat het succes van ToMAP voortkomt uit het vermogen om complexe redeneerketens te genereren en repetitie te verminderen, wat leidt tot diversere en logisch meer solide argumenten.
Veiligheid en Ethiek: De auteurs benadrukken de potentiële risico's van overtuigende AI bij het manipuleren van meningen. Zij pleiten voor transparantie, expliciet gebruikersbewustzijn van AI-interactie en gecontroleerde release met gebruiksvoorwaarden om misbruik te voorkomen.

Het werk concludeert dat het integreren van ToM-capaciteiten een veelbelovende richting is voor het bouwen van taalagenten die in staat zijn tot dynamische, adaptieve en effectieve sociale interacties.