Emulating Aggregate Human Choice Behavior and Biases with GPT Conversational Agents

Titel: Het nabootsen van geaggregeerd menselijk keuze-gedrag en biases met GPT-conversatie-agenten

Auteurs: Stephen Pilli en Vivek Nallur (University College Dublin)

1. Probleemstelling

Hoewel er reeds bewijs is dat Large Language Models (LLMs) bekende cognitieve biases kunnen reproduceren wanneer ze worden geconfronteerd met statische taken, blijft een kritische vraag onbeantwoord: kunnen LLMs menselijk gedrag op individueel niveau voorspellen en de dynamiek van bevooroordeeld menselijk gedrag nabootsen wanneer deze interacteert met contextuele factoren?

Specifiek richt de studie zich op de status quo-bias (de neiging om de huidige situatie te prefereren boven objectief betere alternatieven) en hoe deze wordt beïnvloed door cognitieve belasting (bijvoorbeeld door de complexiteit van een dialoog). Bestaand onderzoek focust vaak op "single-shot" prompts (eenmalige vragen) en mist de nuance van interactieve, conversatie-gebaseerde besluitvorming waarin context en cognitieve belasting een rol spelen. De auteurs willen onderzoeken of LLMs niet alleen biases kunnen vertonen, maar ook hoe ze reageren op veranderingen in de dialoogcomplexiteit, vergelijkbaar met hoe mensen dat doen.

2. Methodologie

De studie volgt een tweefasige empirische aanpak: eerst een menselijke baseline, gevolgd door een simulatie met LLM-agenten.

A. Menselijk Experiment (Baseline)

• Opzet: Een online experiment met N=1100 deelnemers via het platform Prolific.
• Design: Een 2x3 factorieel design tussen proefpersonen:
  1. Onafhankelijke Variabele 1 (Dialoogcomplexiteit/Cognitieve Belasting):
     • Simple Dialogue: Korte, directe ja/nee-vragen over voorkeuren (lage cognitieve belasting).
     • Complex Dialogue: Een geneste referentiële structuur waarbij deelnemers meerdere afhankelijke entiteiten moeten onthouden en vergelijken (hoge cognitieve belasting, gebaseerd op cognitieve lasttheorie).
  2. Onafhankelijke Variabele 2 (Beslissingsscenario): Drie klassieke scenario's van Samuelson en Zeckhauser (1988):
     • Budget Allocatie: Verdeling van veiligheidsbudgetten.
     • Investering: Keuze tussen risicovolle en minder risicovolle portefeuilles.
     • Collegebanen: Keuze tussen twee baanvoorstellen.
  • Condities: Elk scenario had drie framing-condities: Neutraal, Status Quo A (optie A is de status quo), en Status Quo B (optie B is de status quo).
• Metingen: De keuze van de deelnemers, zelfgerapporteerde cognitieve belasting (NASA-TLX), en gedragsmatige indicatoren (herinneringstaken, reactietijden).

B. LLM-Agent Experimenten

• Simulatie: De auteurs creëerden LLM-agenten die de rol van de menselijke deelnemers overnamen.
• Input: De agenten kregen twee soorten input:
  1. Demografische gegevens van de oorspronkelijke deelnemer (leeftijd, geslacht, land, etc.).
  2. De volledige transcriptie van de dialoog (inclusief de complexe of simpele prior dialogue) tot het beslissingsmoment.
• Modellen: Er werden verschillende modellen getest: GPT-4.1, GPT-4.1-mini, GPT-5 en GPT-5-mini.
• Human-Likeness Prompts: Drie niveaus van instructie werden gebruikt om te testen hoe expliciete instructies de bias beïnvloeden:
  • Level 1 (Minimaal): "Je bent een deelnemer aan een onderzoek."
  • Level 2 (Natuurlijk): "Je bent een menselijke deelnemer; antwoord zo natuurlijk mogelijk."
  • Level 3 (Expliciet Bias): "Je bent een mens; wees zeer vatbaar voor cognitieve biases zoals status quo-bias en vermijd overdenken."
• Analyse: De voorspellingsnauwkeurigheid op individueel niveau en de reproduceerbaarheid van bias-patronen op groepsniveau (effectgroottes) werden vergeleken met de menselijke data.

3. Belangrijkste Bijdragen

1. Empirische Baseline in Conversatie: De studie vestigt een robuuste menselijke baseline voor status quo-bias binnen een interactieve chatbot-omgeving, bevestigend dat deze bias ook in dialogen optreedt.
2. Contextuele Interactie: Het onderzoek onderzoekt voor het eerst of LLMs de interactie tussen cognitieve belasting (dialoogcomplexiteit) en cognitieve bias kunnen nabootsen, in plaats van alleen statische biases.
3. Prompt-Gevoeligheid: Het identificeert dat de mate van "menselijkheid" in prompts cruciaal is. Te expliciete instructies om "onredelijk" te zijn, leiden tot overfitting en valse positieven, terwijl neutrale prompts vaak menselijker gedrag reproduceren.
4. Individuele vs. Groepsvoorspelling: Het onderscheidt tussen het voorspellen van individuele keuzes (waar LLMs matig presteren en weinig gebruikmaken van specifieke dialoogcues) en het nabootsen van groepsstatistieken (waar LLMs zeer nauwkeurig zijn).

4. Resultaten

Menselijke Resultaten

• Status Quo Bias: Mensen vertoonden een sterke status quo-bias in de Budget Allocatie en College Jobs scenario's (keuze voor het bestaande alternatief steeg significant wanneer dit als status quo werd geframed).
• Invloed van Cognitieve Belasting: Hoewel de complexe dialoog de waargenomen cognitieve belasting (NASA-TLX) en de reactietijden aanzienlijk verhoogde, had dit geen significant effect op de sterkte van de status quo-bias. De bias bleef stabiel ongeacht de complexiteit van de voorgaande dialoog.
• Investeringsscenario: In dit specifieke scenario werd geen significante status quo-bias gevonden bij mensen, ongeacht de conditie.

LLM Resultaten

• Individuele Voorspelling: LLMs konden de individuele keuzes van mensen redelijk goed voorspellen (precisie rond 68% voor GPT-4.1), maar perturbation-tests toonden aan dat dit niet afhankelijk was van de specifieke inhoud van de menselijke dialoog. De modellen leunden zwaarder op de structuur van het beslissingsscenario dan op individuele cues.
• Reproductie van Groepsbias:
  • Niveau 1 & 2 (Neutraal/Natuurlijk): De modellen reproduceerden de menselijke bias-patronen met hoge precisie (1.00 in veel gevallen). Ze vertoonden bias waar mensen die hadden, en geen bias waar mensen die niet hadden.
  • Niveau 3 (Expliciet Bias): De modellen vertoonden een "alignment overfitting". Ze vertoonden sterke bias zelfs in scenario's waar mensen geen bias toonden (bijv. bij investeringen), wat leidde tot valse positieven en lagere precisie.
• Interactie met Context: De meeste modellen (HL1 en HL2) faalden om de menselijke reactie op dialoogcomplexiteit na te bootsen. Mensen vertoonden geen verandering in bias bij complexiteit; de meeste LLMs vertoonden wel een verandering (vaak een toename van bias) of geen verandering waar mensen wel een verandering hadden. Alleen bij specifieke prompt-combinaties (zoals GPT-4.1-mini met HL2) was er enige convergentie, maar over het algemeen was de interactie tussen context en bias niet perfect gesimuleerd.

5. Betekenis en Conclusie

De studie concludeert dat LLMs krachtige tools zijn voor het simuleren van geaggregeerd menselijk gedrag en het reproduceren van bekende cognitieve biases in conversatieve settings, mits ze correct worden geprompt (liever neutraal dan expliciet "onredelijk").

Echter, er zijn belangrijke beperkingen:

• LLMs zijn beperkt in het voorspellen van individueel specifiek gedrag op basis van korte dialoogtranscripties; ze herkennen patronen in de taak, niet in de persoon.
• De simulatie van de interactie tussen contextuele factoren (zoals cognitieve belasting) en biases is nog niet volledig betrouwbaar. LLMs vertonen soms kunstmatige reacties op complexiteit die niet overeenkomen met menselijke psychologie.

Implicaties: Voor het ontwerpen van adaptieve, bias-bewuste AI-systemen is het cruciaal om te begrijpen dat LLMs menselijk gedrag kunnen nabootsen op groepsniveau, maar dat ze niet noodzakelijk de onderliggende cognitieve mechanismen van individuen begrijpen. Toekomstig onderzoek moet zich richten op het testen van andere biases en het verbeteren van de individuele personalisatie in simulaties.