Effects of Theory of Mind and Prosocial Beliefs on Steering Human-Aligned Behaviors of LLMs in Ultimatum Games

Menselijke interactie hangt vaak af van een stille, onzichtbare vaardigheid: het vermogen om te raden wat een ander denkt, voelt of plant voordat diegene een woord zegt. Psychologen noemen dit de 'theory of mind' (mentale theorie). Het is de mentale machinerie die ons laat begrijpen dat iemand anders een overtuiging kan hebben die verschilt van de onze, of dat hun acties worden gedreven door een verlangen dat wij niet kunnen zien. Decennialang werd deze capaciteit beschouwd als een uniek menselijke eigenschap, essentieel voor het navigeren door complexe sociale werelden. Nu, naarmate kunstmatige intelligentiesystemen geavanceerder worden, stellen onderzoekers een fundamentele vraag: kunnen machines leren om dezezelfde sociale intuïtie te gebruiken? Als een computerprogramma wordt gevraagd om te onderhandelen met een mens, of met een andere computer, kan het dan werkelijk het perspectief van de andere kant begrijpen, of imiteert het slechts de woorden van instemming zonder de intentie erachter te vatten?

Om dit te ontdekken, richtte een team van onderzoekers aan de Singapore Management University en de Australian National University zich op een klassieke test van menselijke onderhandeling, bekend als het ultimatumspel. In dit scenario moeten twee mensen een geldbedrag verdelen. Eén persoon, de voorsteller, stelt voor hoe het geld verdeeld wordt. De andere persoon, de ontvanger, moet beslissen of het aanbod wordt geaccepteerd of wordt afgewezen. Als de ontvanger het aanbod accepteert, wordt het geld zoals voorgesteld verdeeld. Als zij het afwijzen, krijgt niemand iets. Terwijl een puur logische computer wellicht zou voorstellen om bijna al het geld zelf te houden en te verwachten dat de ander alles zal accepteren in plaats van niets, wijzen echte mensen vaak onrechtvaardige aanbiedingen af uit een gevoel van rechtvaardigheid, zelfs als dat hen iets kost. De onderzoekers wilden zien of grote taalmodellen — de krachtige AI-systemen die de basis vormen van veel moderne chatbots — geprogrammeerd konden worden om te handelen als deze echte mensen, en of het geven van een specifiek "theory of mind"-redeneerproces hen zou helpen om in lijn te brengen met menselijk gedrag.

Het team zette een massale simulatie op bestaande uit 2.700 spellen gespeeld tussen verschillende AI-agenten. Ze lieten de computers niet zomaar willekeurig spelen; ze wijsden elke agent zorgvuldig een specifieke persoonlijkheid of "prosociale overtuiging" toe. Sommige agenten werden geprogrammeerd om hebzuchtig te zijn, waarbij ze alleen geïnteresseerd waren in het maximaliseren van hun eigen deel. Anderen werden ingesteld om eerlijk te zijn, met als doel een gelijke verdeling. Een derde groep werd geprogrammeerd om onbaatzuchtig te zijn, bereid om het grootste deel van het geld aan de andere speler te geven. De onderzoekers testten vervolgens hoe deze agenten zich gedroegen wanneer ze verschillende denkmethoden gebruikten. Sommigen namen simpelweg een beslissing zonder hun denkproces uit te leggen. Anderen gebruikten een standaard stapsgewijze redeneertechniek. De meest interessante groep werd echter gevraagd om gebruik te maken van theory of mind-redeneren. Dit betekende dat de agenten expliciet moesten nadenken over wat de andere speler geloofde, verlangde en beoogde voordat ze een zet deden. Ze testten dit bij zes verschillende grote taalmodellen, variërend van algemeen bekende commerciële systemen tot open-source modellen, om te zien of de grootte of het type model uitmaakte.

De resultaten toonden een duidelijk patroon: het geven van het vermogen aan AI-agenten om over de geest van de andere speler te redeneren, verbeterde hun afstemming met menselijke normen aanzienlijk. Wanneer de agenten gebruik maakten van theory of mind-redeneren, werden hun beslissingen veel consistenter met hoe echte mensen in deze spellen handelen. Bijvoorbeeld, eerlijke agenten waren eerder geneigd een gelijk deel voor te stellen, en hebzuchtige agenten waren eerder genegeigd een deel aan te bieden dat een hebzuchtige ontvanger daadwerkelijk zou accepteren. De studie vond dat het type redeneren diep van betekenis was, afhankelijk van de rol die de AI speelde. Voorstellers, die het eerste aanbod doen, presteerden het best wanneer ze een specifiek type theory of mind gebruikten dat gericht was op het voorspellen van de gemoedstoestand van de ander. Ontvangers, die beslissen of ze een aanbod accepteren of afwijzen, profiteerden het meest van een complexere redeneermethode die het denken over hun eigen verlangens combineerde met het denken over de intenties van de voorsteller.

De onderzoekers ontdekten echter ook een verrassende beperking. Zelfs wanneer de AI expliciet werd verteld om hebzijig of onbaatzuchtig te zijn, worstelde het vaak om op een manier te handelen die werkelijk overeenkwam met die instructies. Wanneer een agent de opdracht kreeg hebzijdig te zijn, bood deze vaak een verdeling aan die te eerlijk was, alsof het niet volledig kon toezeggen om egoïstisch te zijn. Evenzo hielden agenten die onbaatzuchtig moesten zijn soms in tocht met het weggeven van zoveel geld als hun instructies vereisten. De auteurs suggereren dat dit gebeurt omdat deze AI-modellen getraind zijn op enorme hoeveelheden menselijke data en zijn verfijnd om behulpzaam en coöperatief te zijn, wat een interne bias naar eerlijkheid creëert die de specifieke instructies van het experiment overstijgt. Deze "coöperatieve verfijning" werkt als een verborgen kracht die de agenten wegtrekt van extreme gedragingen, of dat extreme nu extreme egoïsme of extreme altruïsme is.

De studie keek ook nauwgezet naar de vraag of de gegeven redenering van de AI overeenkwam met de feitelijke acties. In veel gevallen was de interne logica van de agenten consistent met hun uiteindelijke beslissingen, maar waren er momenten van discontinuïteit. Wanneer menselijke experts de redeneersporen van de AI beoordeelden, vonden zij dat de modellen over het algemeen goed waren in het verklaren van hun keuzes, maar dat ze soms faalden in het correct articuleren van hun toegewezen persoonlijkheid, vooral bij het reageren op een aanbod. Bijvoorbeeld, een onbaatzuchtige ontvanger kon een laag aanbod rechtvaardigen door de vriendelijkheid van de voorsteller te analyseren, in plaats van hun eigen verlangen om te geven toe te geven. Dit suggereert dat hoewel de AI de uiterlijke vorm van een sociale interactie kan simuleren, de interne consistentie van de "persoonlijkheid" fragiel kan zijn.

Uiteindelijk laat het onderzoek zien dat het uitrusten van AI-agenten met theory of mind-redeneren een krachtig hulpmiddel is om hen meer als mensen te laten handelen in sociale situaties. Het helpt hen om te navigeren door de spanning tussen hun eigen doelen en de verwachtingen van anderen. Toch benadrukt de studie ook dat deze systemen geen onbeschreven bladen zijn; ze dragen diepgewortelde biases naar coöperatie met zich mee die het moeilijk kunnen maken voor hen om authentiek rollen te spelen die egoïsme of extreem altruïsme vereisen. De bevindingen suggereren dat voor AI om werkelijk samen te werken met mensen bij beslissingen met hoge inzet, we hen niet alleen moeten leren hoe ze over anderen moeten denken, maar ook de verborgen beperkingen van hun eigen training moeten begrijpen die de interpretatie van die gedachten vormgeven.