Modeling the dynamics of social exchange in groups with reinforcement learning and Theory of Mind

Deze studie toont aan dat een versterkingsleermodel met een theorie van de geest de dynamiek van hulpbronnenverdeling in groepen het beste verklaart, waarbij deelnemers strategisch afwisselen tussen partners in plaats van puur op wederkerigheid of eerlijkheid te vertrouwen.

De kern

De Grote Deling: Hoe ons brein vrienden kiest en cadeaus deelt

Stel je voor dat je in een groep van drie vrienden zit. Iedereen heeft een zak met snoepjes. Elke ronde mag één persoon een snoepje weggeven aan één van de twee anderen. De vraag is: aan wie geef je het?

Geef je het aan de vriend die je gisteren een snoepje gaf (omdat je hem leuk vindt)? Of geef je het aan de ander, zodat je niet altijd aan dezelfde persoon denkt? Dit is precies wat wetenschappers onderzochten in dit nieuwe onderzoek. Ze wilden weten hoe ons brein deze beslissingen neemt in een groep.

Hier is wat ze ontdekten, vertaald in een simpel verhaal:

1. Het mysterie van de "Wisseltruc"

In het begin dachten de onderzoekers dat mensen vooral leunen op wederkerigheid: "Jij gaf mij gisteren, dus ik geef jou vandaag." Maar ze zagen iets interessants: mensen deden vaak het tegenovergestelde! Ze wisselden constant van vriend. Als ze gisteren aan Jan een snoepje gaven, gaven ze vandaag aan Piet.

Het leek alsof ze een spelletje "niet te lang bij dezelfde persoon blijven" speelden. Maar waarom? Was het uit eerlijkheid? Of was er een dieper plan?

2. De drie hypotheses (De drie denkers)

Om dit uit te leggen, bouwden de onderzoekers drie verschillende "computersimulaties" (modellen) om te kijken welk denkproces het beste paste bij het gedrag van de mensen:

• De Eerlijke Verdelers: Deze denkdenkden alleen aan eerlijkheid. "Ik moet aan iedereen evenveel geven."
• De Reciprociteits-Machines: Deze dachten alleen aan "oog om oog". "Ik geef terug aan wie mij iets gaf."
• De Mind-Readers (De ToM-model): Dit was de slimste versie. Deze denkden niet alleen naar wat er gebeurde, maar probeerden in het hoofd van de ander te kruipen. Ze dachten: "Als ik nu aan Jan geef, denkt Jan misschien: 'Ah, die geeft aan mij, dus ik geef morgen terug aan die persoon'." Ze simuleerden dus het gedrag van de ander in hun eigen hoofd.

3. Het experiment: De "Gevangene" en de "Gokker"

Om te testen welke denker het beste was, deden ze drie experimenten:

• Experiment 1: Gewoon snoepjes delen. De "Mind-Reader" won het spel. Mensen leken echt te denken: "Als ik dit doe, wat zal diegene dan doen?"
• Experiment 2: Hier deden ze iets raars. Soms werd er willekeurig een snoepje afgepakt van iemand, zonder dat iemand daar iets aan had gedaan. Als het puur om eerlijkheid ging, zouden mensen dan naar de persoon gaan die minder snoepjes had gekregen. Maar nee! Ze bleven wisselen, zelfs als dat niet eerlijker was. Dit bewees dat het geen eerlijkheidsgevoel was, maar een strategische keuze om nieuwe vrienden te verkennen.
• Experiment 3: De "Gokronde". Nu moesten de ontvangers raden: "Naar wie denk je dat de ander zijn snoepje geeft?"
  • De simpele modellen (Eerlijkheid en Reciprociteit) faalden hier. Ze konden niet voorspellen wat de ander zou doen.
  • De Mind-Reader had gelijk! Mensen konden de ander goed raden, omdat ze hun eigen strategie op de ander projecteerden. Ze dachten: "Ik wissel vaak, dus de ander zal dat ook doen."

4. De grote les: We zijn allemaal regisseurs

De belangrijkste ontdekking is dat we niet alleen reageren op wat er gebeurt. We spelen een mentaal spel.

Stel je voor dat je in een toneelstuk zit. Je kijkt niet alleen naar je eigen script, maar je probeert ook te raden wat de andere acteurs gaan doen, zodat jij je eigen rol perfect kunt spelen.

• Wederkerigheid is belangrijk (je wilt niet een slechte naam krijgen).
• Maar wisselen is ook belangrijk (je wilt nieuwe connecties maken).
• En Theory of Mind (het kunnen denken in het hoofd van een ander) is de superkracht die dit alles mogelijk maakt.

Conclusie in één zin:
Wanneer we in een groep dingen delen, zijn we niet alleen automatische robots die "dank je wel" zeggen. We zijn slimme strategen die in hun hoofd een film draaien van wat de ander gaat doen, zodat we de beste vrienden kunnen kiezen en sterke banden kunnen bouwen.

Dit onderzoek laat zien dat ons vermogen om ons in anderen in te leven (onze "mentale spiegel") essentieel is voor het vormen van vriendschappen en het delen van middelen in onze maatschappij.

Technische samenvatting

Probleemstelling

Het delen van middelen is een fundamentele vorm van sociale uitwisseling die essentieel is voor het vormen en onderhouden van sociale banden bij mensen en andere soorten. Hoewel wederkerigheid (reciprocity) al lang als een sleutelmechanisme in groepsinteracties wordt beschouwd, blijven de dynamische processen die ten grondslag liggen aan middelenallocatie in groepen slecht begrepen.

De centrale vraag is hoe individuen de afweging maken tussen het focussen op een enkele wederkerige relatie (om stabiliteit te garanderen) en het verkennen van alternatieve partners (om betere relaties te vinden), vooral in complexe groepsdynamieken. Bestaande theorieën, zoals de sociale uitwisselingstheorie, benadrukken wederkerigheid, maar missen vaak de nuance van strategisch gedrag en de rol van hogere-orde cognitieve processen, zoals het modelleren van de intenties van anderen (Theory of Mind of ToM).

Methodologie

De auteurs hebben drie experimenten uitgevoerd met een "Giving Game" (Giften-spel) in groepen van drie personen, gecombineerd met computationele modellering.

1. Experimenteel Ontwerp:

• Experiment 1: 93 deelnemers (31 triades) speelden 90 rondes. Op elke ronde werd één speler (de "Actor") willekeurig geselecteerd om een token te geven aan één van de andere twee spelers ("Receivers").
• Experiment 2: Identiek aan Exp 1, maar met een toegevoegde "random deduction" (willekeurige aftrek). Na het geven van een token werd er willekeurig een token afgetrokken van één van de ontvangers. Dit was bedoeld om te testen of het afwisselende gedrag (switching) gedreven werd door eerlijkheidszorgen (fairness) of strategische overwegingen.
• Experiment 3: Identiek aan Exp 1, maar met een "Guessing" component. De ontvangers moesten raden aan wie de Actor zou geven. Dit had geen invloed op de uitbetalingen, maar diende om te testen of deelnemers een mentale representatie van het gedrag van anderen gebruikten.

2. Computationele Modellen:
De auteurs vergeleken vier modellen om het gedrag te verklaren:

• Alternating Model: Spelers geven aan de ontvanger die in het verleden het minst van hen heeft ontvangen (strategie om middelen gelijk te verdelen).
• Reciprocity Model: Spelers geven aan de ontvanger die hen in het verleden het meest heeft gegeven (wederkerigheid).
• Alternating Reciprocity Model: Een combinatie van bovenstaande twee heuristieken.
• Mental Inference (Mental Infer) Model: Een Reinforcement Learning (RL) model dat een Theory of Mind (ToM) component bevat. Dit model gaat ervan uit dat spelers niet alleen het gedrag van anderen observeren, maar ook een mentale simulatie uitvoeren. Ze veronderstellen dat anderen zelf het Alternating Reciprocity model volgen, en gebruiken deze "mentale representatie" om de toekomstige intenties van anderen te voorspellen en hun eigen strategie aan te passen.

De modellen werden gefit met Maximum Likelihood Estimation (MLE) en vergeleken op basis van de Akaike Information Criterion (AIC).

Belangrijkste Resultaten

1. Gedragspatronen (Model-vrije analyse):

• Afwisseling (Switching): Deelnemers gaven significant vaker van de ene ontvanger naar de andere dan bij toeval (ca. 60-67% switch-kans). Dit duidt op een sterke neiging tot evenwichtige verdeling.
• Wederkerigheid: De kans om van ontvanger te wisselen daalde wanneer de vorige ontvanger de Actor had bedankt (reciprociteit).
• Eerlijkheid vs. Strategie (Exp 2): In Experiment 2 bleek dat de switch-kans positief correleerde met de hoeveelheid tokens die van de vorige ontvanger was afgetrokken. Als de vorige ontvanger meer verloor, was de Actor meer geneigd om naar de ander te switchen. Dit weerlegt de hypothese dat het gedrag puur door eerlijkheidszorgen (fairness) wordt gedreven; het is eerder een strategische balans.
• Voorspelling (Exp 3): Deelnemers konden het gedrag van anderen significant beter voorspellen dan bij toeval (54,76% nauwkeurigheid). Cruciaal: alleen het Mental Infer model kon deze voorspellende nauwkeurigheid reproduceren. De naïeve modellen (zonder ToM) faalden hierin.

2. Modellering en Vergelijking:

• Het Mental Inference model presteerde consistent het beste (laagste AIC) in alle drie de experimenten.
• Hoewel het Alternating Reciprocity model veel van het send-gedrag kon nabootsen, kon het de voorspellende capaciteit van de deelnemers in Experiment 3 niet verklaren.
• De simulaties toonden aan dat het Mental Infer model niet alleen het send-gedrag, maar ook de dynamiek van het raden (guessing) en de correlatie tussen eigen gedrag en de voorspelling van anderen nauwkeurig weergaf.

Bijdragen en Significatie

Technische Bijdrage:
De studie introduceert een geavanceerd RL-model dat een hiërarchische geloofstructuur (h-ToM) integreert in een groepscontext. Het model toont aan dat individuen niet alleen passief leren van beloningen, maar actief een mentale simulatie uitvoeren van hoe anderen hun eigen acties zullen interpreteren en daarop zullen reageren. Dit biedt een wiskundig raamwerk voor het modelleren van sociale cognitie in dynamische groepsinteracties.

Wetenschappelijke Significantie:

1. Rol van ToM: Het onderzoek levert sterk bewijs dat Theory of Mind essentieel is voor effectieve middelenverdeling in groepen. Mensen gebruiken mentale modellen van de intenties van anderen om strategische keuzes te maken, in plaats van alleen te vertrouwen op eenvoudige beloningsgeschiedenis.
2. Strategische Afwisseling: Het gedrag van het afwisselen van partners wordt niet primair gedreven door een moreel verlangen naar eerlijkheid, maar door een strategische afweging tussen het behouden van stabiele relaties en het verkennen van nieuwe opties.
3. Beyond Reciprocity: De studie breidt de sociale uitwisselingstheorie uit door aan te tonen dat exploratie (het zoeken naar nieuwe partners) een even belangrijk onderdeel is van sociale dynamiek als wederkerigheid.

Conclusie:
De auteurs concluderen dat het modelleren van sociale uitwisseling in groepen onvolledig is zonder rekening te houden met de cognitieve capaciteit van individuen om de geest van anderen te lezen. Het Mental Inference model biedt de meest accurate beschrijving van hoe mensen middelen verdelen, wat suggereert dat mentale representaties van anderen de drijvende kracht zijn achter complexe sociale beslissingen.