Technische Samenvatting: Kunnen LLM's Menselijke Overtuigingsdynamiek Emuleren?

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet om menselijke houdingen, meningen en gedragingen te simuleren in sociale-netwerkcontexten, variërend van het repliceren van enquêtes tot het modelleren van opiniedynamiek. Hoewel eerdere studies suggereren dat LLM's specifieke menselijke gedragingen kunnen reproduceren (bijvoorbeeld het organiseren van evenementen of het bereiken van wetenschappelijke consensus), bestaat er een kritieke lacune in het begrijpen hoe goed deze modellen overtuigingsdynamiek emuleren—specifiek hoe mensen initiële overtuigingen vormen, deze aanpassen als reactie op concurrerende informatie, en hun sociale netwerken herstructureren op basis van homofiele neigingen.

Het centrale probleem dat wordt aangepakt, is of LLM's, zelfs wanneer ze worden voorzien van "digitale tweeling"-persona's (demografische en persoonlijkheidsgegevens), de complexe psychologische processen die ten grondslag liggen aan menselijke overtuigingsvorming en -verandering nauwkeurig kunnen nabootsen. De auteurs stellen dat zonder rigoureuze validatie het inzetten van LLM's als menselijke proxies in sociale simulaties aanzienlijke risico's met zich meebrengt, met name met betrekking tot studies over polarisatie en persuasie.

Methodologie

De studie repliceert een gevestigd menselijk experiment over politieke overtuigingsdynamiek (Proma et al., 2025c) met behulp van een "digitale tweeling"-benadering.

• Experimenteel Ontwerp: Het oorspronkelijke menselijke onderzoek omvatte drie fasen:
  1. Reactie: Deelnemers beoordeelden hun overtuiging in een stelling (0–4 Likert-schaal).
  2. Herziening: Deelnemers werden blootgesteld aan de beoordelingen van peers en konden hun eigen beoordeling bijwerken.
  3. Selectie: Deelnemers kozen welke peers ze in volgende rondes zouden "volgen".
• LLM-simulatie: De auteurs vervingen 341 menselijke deelnemers door LLM "digitale tweelingen". Elke LLM kreeg de specifieke demografische informatie en Big-5-persoonlijkheidstrekken van de deelnemer als prompt. De modellen kregen vervolgens de opdracht om dezelfde drie fasen te doorlopen, waarbij ze dezelfde stimuli (inclusief antwoorden van peers) ontvingen als de oorspronkelijke menselijke proefpersonen.
• Geëvalueerde Modellen: De studie evalueerde 12 LLM's uit vier families en met variërende parametergroottes, waaronder zowel niet-denkende (niet-redenerende) modellen (bijvoorbeeld Llama 3, Gemma 3) als denkende (redenerende) modellen (bijvoorbeeld Qwen 3, GPT-OSS).
• Datadomein: De analyse bestreek twee politieke onderwerpen ("immigratie" en "olie en brandstof"), wat resulteerde in 1.023 totale steekproeven (3 rondes × 341 deelnemers).
• Evaluatiemetrics:
  • Fase 1 (Initiële Overtuigingen): KL-divergentie, Wasserstein-afstand, Mann-Whitney U-toetsen en Spearman-correlatie om verdelingsvormen, centrale neigingen en individuele uitlijning te vergelijken.
  • Fase 2 (Overtuigingsverandering): Analyse van de omvang van overtuigingsupdates en "Sociale Invloed" (correlatie tussen de kloof tussen initiële zelfovertuiging en het peer-gemiddelde, en de resulterende overtuigingsverandering).
  • Fase 3 (Netwerkselectie): "Volg-signaal" (gemiddelde beoordeling van geselecteerde peers) en "Overtuigingsnetwerkkloof" (absolute verschil tussen initiële overtuiging en overtuigingen van geselecteerde peers) om homofilie te meten.

Belangrijkste Resultaten

1. Mislukking in het Emuleren van Initiale Overtuigingsverdelingen

LLM's faalden systematisch om de verdeling van initiële menselijke overtuigingen te matchen.

• Verdelingsmismatch: Zowel KL-divergentie als Wasserstein-afstandswaarden voor LLM's waren significant hoger dan de baseline (mens-tegen-mens split), wat wijst op een slechte verdelingsuitlijning.
• Systematische Bias: Niet-denkende modellen neigden overtuigingsbeoordelingen te overschatten (piekend bij 2), terwijl denkende modellen neigden ze te onderschatten (piekend bij 0, wat sterke onenigheid aangeeft).
• Lage Individuele Correlatie: De Spearman-correlatie tussen individuele LLM-antwoorden en menselijke antwoorden was hooguit gemiddeld (max $\rho = 0,31$), wat suggereert dat LLM's specifieke individuele voorkeuren niet betrouwbaar kunnen voorspellen.

2. Overmatige Conformiteit in Overtuigingsupdates

LLM's vertoonden een grotere vatbaarheid voor sociale invloed dan mensen.

• Stijfheid versus Vloeibaarheid: Mensen vertoonden grotere overtuigingsstijfheid, veranderden hun meningen minder vaak en in mindere mate dan LLM's.
• Sociale Invloed-metric: De correlatie tussen "sociale invloed" (de kloof tussen zelf en peers) en overtuigingsverandering was significant hoger voor LLM's in 11 van de 12 modellen. Dit geeft aan dat LLM's meer conformistisch zijn en hun antwoorden sneller aanpassen aan het gemiddelde van hun waargenomen netwerk dan mensen doen.

3. Nuancerede Mislukking in Netwerkherstructurering (Homofilie)

Hoewel LLM's de daad van het selecteren van peers konden nabootsen, faalden ze in het vastleggen van de onderliggende homofiele logica.

• Volg-signaal: LLM's simuleerden met succes de algemene verdeling van welke peers mensen kozen om te volgen (hoge correlatie in Volg-signaal).
• Overtuigingsnetwerkkloof: Echter, de "Overtuigingsnetwerkkloof" (hoe ver de overtuigingen van geselecteerde peers verwijderd waren van die van de agent) was consequent hoger voor LLM's. Dit suggereert dat LLM's, hoewel ze peers kunnen selecteren, dit niet doen op basis van dezelfde sterke voorkeur voor gelijkenis (homofilie) die menselijke netwerkvorming kenmerkt. Hun selecties zijn minder verankerd in hun eigen initiële overtuigingen.

Belangrijkste Bijdragen en Claims

Het artikel levert drie primaire bijdragen aan de literatuur over LLM-simulatie:

1. Systematische Divergentie: Het biedt empirisch bewijs dat LLM's op fundamentele manieren afwijken van mensen wat betreft overtuigingsdynamiek, specifiek in initiële verdeling, vatbaarheid voor sociale invloed en homofiele netwerkselectie.
2. Persona-beperkingen: Het daagt de effectiviteit uit van de "digitale tweeling"-methode wanneer deze beperkt blijft tot demografische en persoonlijkheidsgegevens, en suggereert dat dergelijke beperkte persona's ontoereikend zijn voor het vastleggen van complexe overtuigingsdynamiek.
3. Anomalie in Schalingswetten: De studie merkt op dat grotere parametergroottes niet noodzakelijkerwijs leiden tot betere uitlijning met menselijke overtuigingsdynamiek, wat suggereert dat overtuigingsstijfheid en gemotiveerd redeneren verschillend zijn van redeneren en kennisopvragingstaken waar schalingswetten doorgaans gelden.

Betekenis en Implicaties

De auteurs sluiten af met een "scherpe waarschuwing" tegen het onkritisch inzetten van LLM's als menselijke proxies in sociale simulaties, met name voor studies die polarisatie, persuasie en netwerkinterventies betrekken.

• Fundamentele Asymmetrie: De bevindingen benadrukken een fundamentele asymmetrie in hoe LLM's sociale context verwerken in vergelijking met mensen. LLM's lijken de identiteit, motivatie en affectieve processen te missen die menselijke overtuigingsdynamiek aandrijven.
• Voorzichtigheid in Onderzoek: Het artikel stelt dat het gebruik van LLM's om menselijke overtuigingsnetwerken te simuleren kan leiden tot foutieve conclusies, aangezien de modellen inherent meer conformistisch en minder stijf zijn dan de menselijke populaties die ze beogen te vertegenwoordigen.
• Toekomstige Richtingen: De auteurs suggereren dat toekomstig werk uitgebreidere persona's moet verkennen (inclusief sociale-mediagebruik en levenservaringen) en moet onderzoeken of gesloten-bronmodellen of modellen met geheugen over meerdere rondes deze kloof kunnen overbruggen, hoewel ze sceptisch blijven over de huidige mogelijkheden.