🤖 AI

What Do You Think I Think? Accounting for Human Beliefs Using Second-Order Theory of Mind

Dit artikel presenteert een tweede-orde Theory of Mind-raamwerk met behulp van I-POMDP's dat een agent in staat stelt menselijke cognitieve vooroordelen en onjuiste overtuigingen over de agent te detecteren en adaptief aan te pakken, waardoor de interactiekwaliteit en de bruikbaarheid van feedback worden verbeterd, zoals aangetoond in een gebruikersstudie.

Oorspronkelijke auteurs: Patrick Callaghan, Reid Simmons, Henny Admoni

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Patrick Callaghan, Reid Simmons, Henny Admoni

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een stapel speciale kaarten te sorteren. Je hebt een geheime regel in je hoofd (bijvoorbeeld: "Rode kaarten gaan in Bak 1, Blauwe kaarten gaan in Bak 2"). De robot kent de regel nog niet; hij moet hem leren door te kijken hoe jij de kaarten sorteert en te luisteren naar wat je zegt.

Het probleem is dat jij misschien fouten maakt in hoe je denkt dat de robot denkt.

Het Kernprobleem: De "Menselijke Lezing"-Kloof

In dit artikel proberen de onderzoekers een specifiek communicatieprobleem op te lossen. Mensen hebben vaak "cognitieve vooroordelen" – mentale kortwegen die ertoe leiden dat we aannames doen over anderen die niet waar zijn.

Het Scenario: Je denkt misschien: "De robot is slim; hij moet wel weten dat Rood Bak 1 betekent, omdat dat het meest voor de hand liggende patroon is."
De Realiteit: De robot is eigenlijk in de war en denkt: "Ik heb nog geen idee wat Rood betekent."
Het Gevolg: Je stopt met lesgeven omdat je denkt dat de robot het weet, of je leert op een manier die de robot in de war brengt omdat je ervan uitgaat dat hij je kortwegen begrijpt.

De Oplossing: De "Tweede-Orde" Geest

De onderzoekers bouwden een robot met een speciale mentale superkracht genaamd Tweede-Orde Theorie van de Geest (ToM-2).

Om dit te begrijpen, denk er dan aan als een spelletje "Ik weet dat jij weet dat ik weet":

Zero-Orde Robot (De Basisbot): Hij kijkt alleen naar de kaarten die je in de bakken doet. Hij denkt: "Oké, je hebt hier een rode kaart gedaan. Ik zal mijn regel updaten." Hij heeft geen idee wat jij denkt.
Tweede-Orde Robot (De Mensenlezer): Deze robot kijkt niet alleen naar de kaarten; hij simuleert een model van jouw brein. Hij vraagt zichzelf af: "Wat denkt de mens dat ik nu weet?"

Als de robot beseft: "Oh, de mens denkt dat ik weet dat de regel over Kleur gaat, maar ik denk eigenlijk dat het over Vorm gaat", dan kan hij de disconnectie opmerken.

Hoe de Robot het Gesprek Oplost

Het artikel beschrijft een spel waarbij de robot een sorteerregel moet raden. De robot gebruikt zijn "menslees"-vermogen om twee specifieke menselijke gewoonten (vooroordelen) te detecteren:

Representativiteitsheuristiek: Je concentreert je misschien alleen op de kaarten die lijken op de regel die je in je hoofd hebt, en negeert diegene die andere regels weerleggen.
Bevestigingsbias: Je besteedt misschien alleen aandacht aan de feedback van de robot als die bevestigt wat je al gelooft.

Wanneer de robot deze gewoonten detecteert, verandert hij zijn strategie. In plaats van alleen te zeggen: "Ik weet het niet zeker", geeft hij je een tweeledige duw:

Deel A (De Duw): "Het lijkt erop dat je wilt dat ik denk dat de regel over Vorm gaat, maar..."
Deel B (De Correctie): "...het is nog steeds mogelijk dat de regel over Kleur gaat."

Door expliciet te zeggen: "Ik weet wat jij denkt dat ik denk, maar ik denk eigenlijk iets anders", doorbreekt de robot de mentale lus van de mens en dwingt hem zijn lesstrategie te heroverwegen.

Het Experiment: Kaarten Lesgeven

De onderzoekers testten dit met 30 echte mensen.

De Opzet: Mensen gebruikten een computer om een virtueel agent te leren kaarten te sorteren met verschillende kleuren, vormen en aantallen.
De Vergelijking:
- Groep A leerde een "Basisbot" (Zero-Orde) die niet kon lezen wat mensen dachten.
- Groep B leerde de "Mensenlees-bot" (Tweede-Orde) die vooroordelen kon detecteren.

Wat Gebeurde Er?

Beter Lesgeven: Mensen leerden de Mensenlees-bot veel efficiënter. Omdat de bot hun misverstanden corrigeerde, stopten de mensen met het maken van overbodige bewegingen en gaven ze betere voorbeelden.
Meer Informatie: De kaarten die mensen kozen om aan de Mensenlees-bot te tonen, bevatten meer bruikbare informatie. De mensen pasten hun lesstijl onderbewust aan omdat de bot op een manier "terugpraatte" die hun verwarring verklaarde.
Het "Onbewuste" Voordeel: Interessant genoeg zeiden de mensen achteraf niet: "Wauw, die bot was geweldig in het lezen van mijn gedachten!" Ze vonden de feedback gewoon bruikbaarder. Ze realiseerden zich niet per se waarom de interactie soepeler verliep; ze wisten gewoon dat het beter werkte.

De Conclusie

Dit artikel toont aan dat als een AI kan modelleren wat jij denkt dat het weet (en beseft wanneer jij daar ongelijk in hebt), het je betere feedback kan geven. Dit helpt je het sneller en accurater te leren, zelfs als je niet volledig beseft dat de AI het zware werk doet om je mentale blinde vlekken op te lossen.

Opmerking: De onderzoekers testten dit in een eenvoudig kaartsorteerspel. Ze geven toe dat het echte leven veel complexer is, en dat hun robot slechts naar twee specifieke soorten menselijke vooroordelen keek, maar het kernidee – dat het modelleren van menselijke misvattingen teamwork verbetert – werkte in hun experiment.

Technische Samenvatting: Rekening houden met Menselijke Overtuigingen met Tweede-orde Theory of Mind

Probleemstelling
Succesvolle mens-agent interactie vereist dat de mens een nauwkeurig model heeft van de capaciteiten en overtuigingen van de agent. Echter, mensen maken vaak gebruik van cognitieve vooroordelen en heuristieken (CBH), zoals de Representativiteitsheuristiek en Bevestigingsbias, wat kan leiden tot onjuiste overtuigingen over wat een agent weet of hoe het redeneert. Deze discrepanties tussen de feitelijke kennis van een agent en de perceptie daarvan door een mens kunnen de interactie-efficiëntie belemmeren. Hoewel eerdere werken hebben onderzocht hoe agenten Theory of Mind (ToM) of tweede-orde Theory of Mind (ToM-2) kunnen bezitten, adresseert dit werk specifiek de uitdaging om te modelleren hoe CBH de inferentie van een mens over de overtuigingen van een agent beïnvloedt, waardoor de agent deze fouten kan detecteren en zijn feedback dienovereenkomstig kan aanpassen.

Methodologie
De auteurs stellen een raamwerk voor dat een Interactief Gedeeltelijk waarneembaar Markov Besluitproces (I-POMDP) gebruikt om een tweede-orde Theory of Mind (ToM-2) te implementeren. In deze architectuur onderhoudt de agent een genest model van de mens, waarbij de mens wordt gemodelleerd als een ToM-1 agent (een redeneerder van eerste orde).

Domein: Het systeem wordt geëvalueerd in een beurtelinge kaartsorteertaak. Een "regel" dicteert hoe multifactoriële kaarten (variërend in Kleur, Vulling, Aantal, Vorm) worden gesorteerd in twee bakken. De menselijke leraar demonstreert de regel door kaarten te sorteren, en de agent geeft feedback over zijn huidige overtuiging betreffende de regelkenmerken.
CBH-modellering: Het I-POMDP-raamwerk stelt de agent in staat om overtuigingen te onderhouden over meerdere menselijke modellen ( $m_{H,1}$ $m_{H, 1}$ ) die specifieke CBH-mechanismen coderen.
- Representativiteitsheuristiek (RH): Geoperationaliseerd via "Lokaal Denken" (LT), waarbij de agent benadert dat de mens zich richt op semantisch vergelijkbare kenmerken terwijl hij contrafactische voorbeelden verwaarloost die nodig zijn om andere regels uit te sluiten. Dit wordt gemodelleerd door de waarnemingsfunctie ( $\Omega$ ) aan te vullen met een gewogen cosinusgelijkenis.
- Bevestigingsbias (CB): Gemodelleerd als een neiging van de mens om feedback van de agent te verwachten die overeenkomt met hun eerdere overtuigingen over de regel, in plaats van feedback die logisch alternatieven uitsluit.
Adaptieve Feedbackgeneratie: De agent gebruikt zijn ToM-2-overtuigingen om discrepanties te detecteren tussen zijn feitelijke kennis en de benadering daarvan door de mens. Op basis van deze detectie genereert de agent twee soorten feedback:
1. Zekerheidsverklaringen (CS): Standaard feedback die onzekerheid of zekerheid over een regelkenmerk overbrengt (bijv. "Ik denk dat de Klasse Vorm is").
2. Begripsverklaringen (US): Feedback die is ontworpen om de mens uit door CBH veroorzaakt redeneren te "stoten" door expliciet te onthullen wat de agent weet over een kenmerk dat de mens wil leren, terwijl potentiële discrepanties worden benadrukt (bijv. "Het lijkt erop dat je wilt dat ik weet dat de Klasse Vorm is, maar het is nog steeds mogelijk dat de Klasse Vulling is").
  De agent gebruikt standaard CS voor informatiewinst, maar schakelt over naar een (US+CS) tandem wanneer hij door CBH veroorzaakte onjuiste overtuigingen detecteert.

Belangrijkste Bijdragen

Nieuw Raamwerk: Een ToM-2-architectuur gebaseerd op I-POMDP's die expliciet de invloed van CBH op de overtuigingen van een mens over de overtuigingen van een agent modelleert, in plaats van alleen de acties van de mens te modelleren.
Detectie en Aanpassing: Een mechanisme voor de agent om te detecteren wanneer een mens afhankelijk is van specifieke heuristieken (RH en CB) en adaptief feedback (US) te genereren om het redeneerproces van de mens te corrigeren.
Empirische Validatie: Een persoonlijk gebruikersonderzoek dat aantoont dat deze aanpak de informativiteit van menselijke leeracties verbetert en door deelnemers als nuttiger wordt ervaren.

Resultaten
Het onderzoek omvatte 30 deelnemers die een virtuele agent onderwezen onder drie voorwaarden: ToM-0 (geen ToM), ToM-0 Random (het willekeurig geven van extra feedback), en ToM-2 (adaptieve feedback gebaseerd op CBH-detectie).

Objectieve Metrieken:
- Informatiewinst: De ToM-2-leraar lokte significant meer informatieve leeracties uit (hogere relatieve informatiewinst) in vergelijking met beide baselines, zowel na feedback van één verklaring als na feedback van twee verklaringen.
- Efficiëntie: De ToM-2-leraar toonde een marginale maar significante reductie in het aantal leeracties dat nodig was om een sessie succesvol te beëindigen, in vergelijking met de standaard ToM-0-baseline.
- Detectie: Kwalitatieve simulaties toonden aan dat de ToM-2-leraar de juiste regel en het onderliggende model van de leraar (inclusief CBH) kon identificeren, terwijl de ToM-0-leraar dit niet kon.
Subjectieve Metrieken:
- Deelnemers beoordeelden de feedback van de ToM-2-leraar als significant nuttiger dan die van de baselines.
- Er was echter geen statistisch significant verschil in de zelfgerapporteerde zekerheid van de deelnemers over het begrip van de agent, hun leervertrouwen, of de aangenaamheid van de ervaring.
- Deelnemers rapporteerden vaak dat ze de leraars niet van elkaar konden onderscheiden of even makkelijk te onderwijzen vonden, wat suggereert dat de voordelen van het ToM-2-model subtiel kunnen zijn.

Betekenis en Beperkingen
Het artikel beweert dat het mogelijk maken voor een agent om de oorzaken van menselijke overtuigingsfouten (specifiek CBH) te modelleren, leidt tot effectievere interactie door gerichte feedback te genereren die het menselijke redeneren ondersteunt. De resultaten suggereren dat hoewel mensen zich mogelijk niet bewust zijn van de geavanceerde modellering van de agent, het vermogen van de agent om rekening te houden met CBH leidt tot objectief efficiëntere en informatiever interacties.

De auteurs erkennen verschillende beperkingen:

Het domein voor het bewijs van concept (kaarten sorteren) is eenvoudiger dan mens-agent interacties in de echte wereld.
Het onderzoek onderzocht slechts twee specifieke vooroordelen (RH en CB) van de vele die menselijk gedrag beïnvloeden.
De computationele complexiteit van I-POMDP's blijft een barrière voor het schalen van deze aanpak naar complexere taken en menselijke modellen, aangezien de auteurs het raamwerk strikt gebruikten voor het bijhouden van overtuigingen in plaats van het oplossen voor optimale beleidslijnen in de volledige geneste ruimte.