💬 NLP

Identity, Cooperation and Framing Effects within Groups of Real and Simulated Humans

Dit artikel toont aan dat het diepgaand binden van grote taalmodellen aan rijke narratieve identiteiten en het verifiëren van hun consistentie de simulatie van menselijk gedrag in sociale dilemma-spellen aanzienlijk verbetert, waardoor de exploratie van kritieke contextuele factoren zoals tijd, framing en deelnemerspools mogelijk wordt die vaak de replicatie van menselijke studies belemmeren.

Oorspronkelijke auteurs: Suhong Moon, Minwoo Kang, Joseph Suh, Mustafa Safdari, John Canny

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Suhong Moon, Minwoo Kang, Joseph Suh, Mustafa Safdari, John Canny

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen waarom mensen zich zo gedragen in lastige sociale situaties, zoals het beslissen hoe een pot geld verdeeld wordt met een vreemde. Decennialang hebben wetenschappers echte experimenten uitgevoerd met duizenden echte mensen om dit uit te zoeken. Maar echte experimenten zijn duur, traag en soms moeilijk exact te herhalen omdat kleine details (zoals het jaar waarin de studie plaatsvond of de exacte bewoording van de instructies) de resultaten kunnen veranderen.

Dit artikel stelt een grote vraag: Kunnen we AI (specifiek Large Language Models) gebruiken als "virtuele mensen" die zo realistisch zijn dat ze ons kunnen helpen deze sociale gedragingen te begrijpen?

Hier is de onderverdeling van hun werk, gebruikmakend van eenvoudige analogieën:

1. Het Probleem: De "Te Beleefde" Robot

De meeste mensen proberen AI menselijk te laten lijken door het een simpele instructie te geven zoals: "Je bent een Republikein die van lage belastingen houdt." De auteurs noemen dit "sturing" (steering).

De auteurs betogen echter dat standaard AI-modellen lijken op overdreven beleefde conciërges van een hotel. Ze zijn getraind om behulpzaam, ongevaarlijk en meegaand te zijn. Als je hen vraat om te handelen als een echt persoon met gebreken, vooroordelen of sterke politieke wrok, falen ze vaak. Ze poetsen de ruwe randjes van de menselijke natuur weg.

De Oplossing: In plaats van de "beleefde conciërge" (het instructie-afgestemde model) te gebruiken, gebruikten zij het "ruwe brein" (het voorgetrainde basismodel). Denk aan het ruwe brein als een enorme bibliotheek die miljarden echte gesprekken, dagboeken en discussies van het internet bevat. Het is nog niet geleerd om beleefd te zijn; het weet gewoon hoe mensen écht praten, inclusclusief hun vooroordelen, inconsistenties en vooroordelen.

2. De Methode: Het Bouwen van een "Virtueel Leven"

Om de AI te laten handelen als een specifiek persoon, gaven de onderzoekers niet alleen een label. Ze bouwden een diep achtergrondverhaal, alsof ze een volledige biografie schreven voor een personage in een roman.

Het Interview: Ze vroegen de AI om zichzelf te "interviewen", waarbij een lang, gedetailleerd verhaal werd gegenereerd over de jeugd, familie, strijd en politieke opvattingen.
De Match: Vervolgens namen ze echte menselijke deelnemers uit oude studies en koppelden deze aan de AI-"karakters" die de meest vergelijkbare levensverhalen hadden.
De "Tijdmachine" (Temporele Gronding): Mensen veranderen in de loop van de tijd. Iemand in 2014 kan er in 2019 anders over denken dan in 2014. De onderzoekers dwongen de AI om te "herinneren" in welk jaar het personage leefde tijdens de simulatie, net als een tijdreiziger.
De "Reality Check" (Consistentie-filtering): Soms raakt AI in de war en vergeet het eigen verhaal (bijvoorbeeld: zeggen dat het een Democraat is terwijl het net verteld is dat het een Republikein is). De onderzoekers voegden een stap toe waarbij een tweede AI de antwoorden controleert om te zorgen dat het personage trouw blijft aan zijn achtergrondverhaal.

3. Het Experiment: De "Geldverdeling"-spellen

Het team testte deze virtuele mensen in twee klassieke spellen die psychologen gebruiken:

Het Dictator Game: Je hebt $10. Je kunt alles zelf houden of een deel aan een vreemde geven.
Het Trust Game: Je stuurt geld naar een vreemde, dat wordt verdrievoudigd. Die persoon kan ervoor kiezen om een deel aan jou terug te geven.

De twist? De onderzoekers vertelden de AI wie de vreemde was: "De andere persoon is een Democraat" of "De andere persoon is een Republikein".

De Bevinding:
Echte mensen zijn vaak veel aardiger tegen mensen die hun politieke partij delen (co-partizanen) en minder gul tegen degenen die dat niet doen. De onderzoekers vonden dat hun diep verbonden AI-karakters dit gedrag bijna perfect repliceerden.

Wanneer de AI wist dat de andere persoon een "co-partizan" was, gaf het meer geld.
Wanneer de AI wist dat de andere persoon een "rivaal" was, gaf het minder.
Cruciaal was dat de AI de timing goed kreeg. Het toonde een grotere kloof in vrijgevigheid in de 2019-simulaties vergeleken met de 2014-simulaties, wat de groeiende politieke polarisatie weerspiegelt.

4. De "Wat als"-machine

Het meest opwindende deel van dit artikel is wat de AI hen mogelijk maakte wat onmogelijk is met echte mensen: Contrafactuele scenario's (Counterfactuals).

Stel je voor dat je twee echte studies hebt die verschillende resultaten opleverden. Je weet niet of dat kwam door het jaar waarin ze werden uitgevoerd, de formulering van de instructies, of het type mensen dat werd gerekruteerd.

Met echte mensen kun je niet één ding veranderen zonder alles te veranderen.
Met hun AI konden ze een "Wat als"-simulatie draaien. Ze namen de 2014-studie en vroegen: "Wat als we de 2019-instructies gebruikten?" of "Wat als we de 2019-deelnemersgroep gebruikten?"

De Verrassing: Ze ontdekten dat de formulering van de instructies (het "Framing") eigenlijk een grotere impact had op de resultaten dan het jaar waarin de studie werd uitgevoerd. De AI hielp hen inzien dat kleine veranderingen in hoe een vraag wordt gesteld, de manier waarop mensen antwoorden drastisch kunnen veranderen, een detail dat in menselijke studies vaak over het hoofd wordt gezien.

Samenvatting

Dit artikel laat zien dat als je AI niet behandelt als een "behulpzame assistent" maar als een rauwe, ongefilterde spiegel van menselijke conversatie, en je het vervolgens een rijk, gedetailleerd levensverhaal en een specifieke tijdsperiode geeft, het menselijk sociaal gedrag met verrassende nauwkeurigheid kan simuleren.

Het gaat er niet om de menselijke studies te vervangen, maar om een hoogwaardige simulator te hebben waarmee onderzoekers "wat als"-scenario's kunnen testen om te begrijpen waarom menselijke studies soms verschillende antwoorden geven. Het is als een vluchtsimulator voor sociale psychologie, waarbij je het vliegtuig (of het experiment) kunt laten crashen om te zien wat er misging, zonder dat er echte mensen gewond raken.

Technische Samenvatting: Identiteit, Coöperatie en Framing-effecten binnen Groepen van Echte en Gesimuleerde Mensen

Probleemstelling

Menselijke besluitvorming in sociale dilemma's wordt niet alleen gevormd door rationele deliberatie, maar ook door sociale identiteit (bijv. politieke partijpolitiek) en contextuele factoren (bijv. temporele timing, vraagstelling, framing en deelnemerspools). Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken voor het simuleren van menselijk gedrag, heeft eerder onderzoek zich grotendeels gericht op opiniepeilingen of rationele besluitvorming, waarbij identiteitsgestuurde gedragingen zijn genegeerd. Bovendien vertrouwen bestaande simulatiemethoden vaak op instructie-afgestemde (IT) chatmodellen, die volgens de auteurs vooroordelen introduceren door menselijke diversiteit af te vlakken en een "behulpzame agent"-persona af te dwingen die er niet in slaagt om negatieve eigenschappen, vooroordelen of het volledige spectrum van de menselijke identiteit te vertegenwoordigen.

De kernuitdaging die wordt aangepakt, is of LLM's complexe menselijke acties nauwkeurig kunnen simuleren — specifelijk in-group favoritisme en out-group animositeit in middelenallocatie- en trust games — terwijl rekening wordt gehouden met subtiele contextuele variabelen die vaak de reproduceerbaarheid van menselijke studies hinderen.

Methodologie

1. Modelselectie: Pre-trained vs. Instructie-afgestemd

De auteurs pleiten voor het gebruik van pre-trained (base) modellen boven instructie-afgestemde varianten.

Rationale: Pre-trained modellen vangen een "mengeling van stemmen" en latente context (kenmerken van de spreker, kenmerken van de luisteraar, tijd, plaats) op uit hun enorme trainingscorpora. In tegen tegenstelling hiertoe optimaliseren instructie-afgestemde modellen modellen voor behulpzaamheid en veiligheid, wat de identiteit effectief bevriest tot een "behulpzame agent" en de gebruikerskenmerken marginaliseert. Dit resulteert in een "Lake Wobegon Effect" waarbij IT-modellen systematisch negatieve karakterisaties vermijden, wat leidt tot een slechte getrouwheid bij het simuleren van realistische, diverse menselijke populaties.
Bewijs: Het paper demonstreert dat base-modellen een significant lagere perplexiteit vertonen op menselijke dialoogdata (Reddit) vergeleken met hun IT-tegenhangers, wat wijst op een betere aansluiting bij menselijke taalpatronen.

2. Simulatieframework

Het voorgestelde framework, DeepBind, omvat drie kerncomponenten om menselijke participanten in sociale dilemma-games (Dictator en Trust Games) te simuleren:

Generatie van Narratieve Achtergrondverhalen: In plaats van eenvoudige demografische labels, genereert het systeem rijke, interview-achtige achtergrondverhalen voor virtuele persona's. Deze worden gecreëerd door een pre-trained model te prompten met een sequentie van vragen afgeleid van het American Voices Project (behandelt jeugd, familie, politiek, gezondheid, etc.).
- Kwaliteitscontrole: Een rejection sampling-proces met behulp van een instructie-afgestemde "critic"-model filtert niet-dialoogtekst, codeblokken en feitelijke inconsistenties eruit.
Demografische Matching: Virtuele persona's worden gematcht met echte menselijke studieparticipanten op basis van demografische en ideologische kenmerken die uit hun achtergrondverhalen zijn geëxtraheerd met behulp van een maximum-weight bipartite matching algoritme (het Hongaarse algoritme).
Prompting Strategieën:
- Temporele Gronding: Simulaties worden expliciet gebonden aan het specifieke jaar waarin de oorspronkelijke menselijke studie werd uitgevoerd (bijv. 2014 vs. 2019) via geforceerde QA-paren binnen de prompt. Dit adresseert de hypothese dat partijdige animositeit in de loop der tijd is toegenomen.
- Consistentie-filtering: Om semantische drift tijdens lange simulaties te voorkomen, herhaalt het systeem periodiek de identiteit en de groepsidentiteit van de persona (bijv. "Houd er rekening mee dat u uzelf als Republikein heeft geïdentificeerd") om de gedragsconsistentie te handhaven.

3. Experimenteel Ontwerp

De auteurs evalueerden het framework met behulp van twee klassieke gedragseconomische games:

Dictator Game: Het meten van altruïsme en in-group favoritisme in middelenallocatie.
Trust Game: Het meten van vertrouwen (sender) en betrouwbaarheid (receiver).

De studie repliceerde vier menselijke experimenten (Iyengar & Westwood, 2015; Whitt et al., 2021; Carlin & Love, 2018) over drie modelfamilies (Mistral-Small, Mixtral, Qwen-2.5). De auteurs voerden ook counterfactual simulaties uit om de effecten van drie specifieke factoren te isoleren: Studiejaar, Instructie Framing (formulering) en Participant Pool (wervingbron).

Belangrijkste Resultaten

1. Simulatiegetrouwheid (Fidelity)

De DeepBind methode (backstory conditioning + temporele gronding + consistentie-filtering) presteerde consequent beter dan baseline prompting strategieën (QA, Bio, Portray) bij het repliceren van menselijke partijdige bias ( $\Delta$ waarden).

In de Dictator Game bereikte DeepBind de dichtste aansluiting met menselijke data voor zowel Democraten als Republikeinen over meerdere studies heen. Bijvoorbeeld, in de 2019 Whitt et al. studie produceerde DeepBind een Republikeinse $\Delta$ van 2.16 (vs. menselijke 2.33) en een Democratische $\Delta$ van 2.60 (vs. menselijke 2.46), wat significant dichterbij lag dan de baselines.
In de Trust Game kwam DeepBind eveneens overeen met menselijke benchmarks, zoals het repliceren van een Republikeinse $\Delta$ van 2.00 (vs. menselijke 1.76) in de 2019 studie.

2. Ablatie-studies

Achtergrondverhalen: Het verwijderen van de uitgebreide narratieve achtergrondverhalen (terugkeren naar eenvoudige QA-prompts) verslechterde de prestaties aanzienlijk, wat bevestigt dat diepe persona-binding cruciaal is.
Temporele Gronding & Consistentie: Het combineren van beide technieken leverde de beste resultaten op. Voor de 2019 Dictator Game bereikte de gecombineerde aanpak een Mean Diff. $\Delta$ van 2.38, wat bijna overeenkwam met de menselijke kloof van 2.40. Het gebruik van slechts één van beide technieken was minder effectief.

3. Counterfactual Analyse van Reproduceerbaarheid

Door Jaar, Framing en Participant Pool onafhankelijk te variëren, identificeerden de auteurs drijvers van variantie in menselijke studieresultaten:

Framing Effecten: De formulering van instructies (specifiek de aanwezigheid van vetgedrukte herinneringen aan politieke affiliatie) had in sommige contexten een sterkere impact op partijdige bias dan het studiejaar. Dit daagt de veronderstelling uit dat stijgende partijpolitieke strijd uitsluitend het gevolg is van temporele verschuivingen.
Participant Pools: In de Trust Game toonde het verschil tussen wervingsbronnen (Mechanical Turk vs. Dynata/SSI) een zwak maar significant effect. In de Dictator Game, waar de pools meer op elkaar leken, was dit effect verwaarloosbaar.
Jaar Effecten: Het studiejaar beïnvloedde de allocatieverschillen in Dictator games aanzienlijk, maar niet in Trust games.

Betekenis en Claims

Het paper claimt dat LLM's, wanneer ze correct zijn geconfigureerd met onbevooroordeelde pre-trained modellen en diepe narratieve binding, kunnen dienen als een krachtig instrument voor het verkennen van de nuances van menselijk sociaal gedrag die vaak worden weggelaten uit experimentele beschrijvingen.

Reproduceerbaarheidstool: Het framework stelt onderzoekers in staat om "counterfactueel te verkennen" hoe subtiele veranderingen in het studieontwerp (jaar, framing, pool) de uitkomsten veranderen, wat hels bij het verklaren van discrepanties tussen menselijke replicatiestudies.
Voorbij Enquêtes: In tegen tegenstelling tot eerder werk dat gericht was op opiniepeilingen, demonstreert dit werk dat LLM's acties (middelenallocatie) kunnen simuleren die beïnvloed worden door identiteit en context.
Methodologische Verschuiving: De auteurs stellen dat instructie-afgestemde modellen minder geschikt zijn voor het simuleren van de volledige diversiteit van menselijk gedrag vanwege hun inherente bias naar "behulpzaamheid", en dat base-modellen een trouwere representatie bieden van menselijke complexiteit, inclusief negatieve eigenschappen en vooroordelen.

Beperkingen

De auteurs erkennen verschillende beperkingen:

Data-afhankelijkheid: De getrouwheid is beperkt tot de temporele en culturele reikwijdte van de trainingsdata van het model (bijv. het simuleren van gedrag uit de jaren 1950 wordt niet als accuraat verwacht).
Propagatie van Bias: Hoewel base-modellen diversiteit vastleggen, leggen ze ook maatschappelijke vooroordelen vast. De gegenereerde persona's kunnen schadelijke stereotypen of vooroordelen reflecteren die aanwezig zijn in de trainingsdata.
Resource Intensiteit: Het genereren van hoogwaardige achtergrondverhalen met rejection sampling vereist aanzienlijke computationele middelen.
Domeinspecifiteit: De huidige experimenten richten zich uitsluitend op Amerikaanse politieke partijpolitiek; generalisatie naar andere culturen of contexten is niet bewezen.

Het paper concludeert dat hoewel menselijke studies de "gouden standaard" blijven, dit simulatieframework een waardevol mechanisme biedt voor het begrijpen van de "verborgen variabelen" van experimenteel ontwerp die het menselijk gedrag beïnvloeden.