Replicating Human Motivated Reasoning Studies with LLMs

Technische Samenvatting: Het Repliceren van Menselijke Gemotiveerde Redeneringsstudies met LLM's

Probleemstelling
Gemotiveerde redenering is een goed gedocumenteerd menselijk fenomeen waarbij individuen informatie verwerken om ofwel tot accurate overtuigingen te komen (accuraatheidsmotivatie) ofwel tot gewenste, vooraf bepaalde conclusies (directionele motivatie). Hoewel recent werk suggereert dat Large Language Models (LLM's) menselijk gedrag kunnen vertonen wanneer ze specifieke persona's krijgen toegewezen (bijvoorbeeld politieke affiniteit), blijft het onduidelijk of basis-LLM's—zonder persona-inductie—op dezelfde manier als mensen vatbaar zijn voor motivatie-manipulaties. Deze onzekerheid vormt een uitdaging voor de validiteit van het gebruik van LLM's als proxies voor menselijke opinieformatie en argumentevaluatie in sociaalwetenschappelijk onderzoek.

Methodologie
De auteurs repliceerden vier eerdere studies uit de politicologie over gemotiveerde redenering (Bolsen et al., 2014; Bolsen en Druckman, 2015; Druckman et al., 2013; Mullinix, 2016) met behulp van tien basis-LLM's uit vijf model-families (OpenAI, Google, Anthropic, Mistral en Qwen).

• Experimenteel Ontwerp: Het onderzoek maakte gebruik van een "one-shot"-benadering, waarbij modellen dezelfde informatie, motivatie-manipulaties (bijvoorbeeld directionele cues zoals partijsteun versus accuraatheids-cues zoals onpartijdige evaluatie) en vragen kregen als de oorspronkelijke menselijke deelnemers. Er werden geen persoonlijkheidseigenschappen of demografische gegevens geïnduceerd in de primaire experimenten om de effecten van motivatie-cues te isoleren.
• Steekproef: Om de rekenkosten te beheersen terwijl de structuur van het onderzoek behouden bleef, verkleinden de auteurs de oorspronkelijke aantallen menselijke deelnemers. Ze selecteerden de kleinste conditionele steekproefgrootte uit de oorspronkelijke studies (44) als basislijn, en genereerden proportionele aantallen antwoorden voor andere condities, wat resulteerde in 3.574 totale generaties over alle studies heen.
• Evaluatiemetrics: De auteurs vergeleken LLM-outputs met menselijke baselines met behulp van:
  • Kendall's Tau: Om de correlatie te meten tussen gemiddelde LLM- en menselijke antwoorden over condities heen.
  • Sign-Accuracy: Om te bepalen of LLM's de richting van opinie-verandering correct voorspelden ten opzichte van een controlegroep.
  • Argumentevaluatie: Het evalueren van de correlatie tussen de door LLM's waargenomen sterkte van argumenten (voor versus tegen) en hun uiteindelijke opinies.
  • Non-response-analyse: Het meten van "opt-out"-percentages (gevallen waarin modellen weigerden te antwoorden) met behulp van Chi-kwadraattoetsen om te identificeren of specifieke informatie-manipulaties non-response triggelden.
• Robuustheidstests: Aanvullende experimenten omvatten het vragen aan modellen om redenering te geven (Chain-of-Thought) en, in een subset van Studie 2, het induceren van demografische persona's om te testen of deze factoren de bevindingen veranderden.

Belangrijkste Bijdragen

1. Basis-LLM's Nabootsen Menselijke Gemotiveerde Redenering Niet: Het onderzoek levert bewijs dat basis-LLM's, zonder persona-inductie, de directionele of accuraatheidsgedreven verschuivingen in opinie die bij mensen worden waargenomen wanneer ze worden blootgesteld aan motivatie-cues, niet repliceren.
2. Misalignering in Argumentevaluatie: Wanneer ze worden voorzien van pro's en contra's van beleidsmaatregelen, vertonen LLM's vaak een misalignering tussen hun beoordeling van argumentsterkte en hun uiteindelijke opinies, waardoor ze de menselijke neiging niet nabootsen om argumenten consistent te wegen in overeenstemming met hun uiteindelijke standpunt.
3. Selectieve Non-response: Het onderzoek identificeert dat informatie-manipulaties de waarschijnlijkheid van een model om te "opt-out" van het antwoorden significant beïnvloeden. Deze non-response is niet uniform; deze varieert op basis van de specifieke studiecondities en de verstrekte informatie, wat de betrouwbaarheid van LLM's als survey-proxies in bepaalde settings beperkt.
4. Persona versus Basisgedrag: De bevindingen suggereren dat de "motivaties" die eerder in LLM's werden waargenomen, sterk afhankelijk zijn van expliciete persona-inductie in plaats van een inherente capaciteit voor gemotiveerde redenering.

Resultaten

• Correlatie met Mensen: Er waren geen sterke positieve correlaties (Kendall's Tau) tussen de gemiddelde antwoorden van enig model en menselijke gemiddelden over de vier studies heen. De meeste correlaties waren zwak, negatief of niet-significant.
• Sign-Accuracy: LLM's vertoonden een lage nauwkeurigheid bij het voorspellen van de richting van opinie-verandering ten opzichte van controlegroepen. Voor Studie 1 en Studie 3 waren de nauwkeurigheidscores over het algemeen laag, waarbij slechts een paar modellen (bijvoorbeeld Mistral 8x7B in Studie 1) een matige nauwkeurigheid vertoonden.
• Argumentsterkte: Modellen slaagden er niet in om argumentsterkte consistent te beoordelen op een manier die mensen nabootst. Hoewel sommige modellen in Studie 3 matige correlaties vertoonden, toonden alle modellen in Studie 4 zwakke of niet-significante correlaties.
• Opt-out-gedrag: Non-response-percentages waren significant en niet-uniform. Bijvoorbeeld, in Studie 1 veroorzaakten motivatie-manipulaties hoge non-response-percentages bij Gemini 2.5 Flash en Claude 4.5 Haiku, terwijl in Studie 3 controlegroepen hoge non-response bij meerdere modellen triggelden. Dit suggereert dat modellen kunnen afzien van het reageren op controversiële of specifieke informatieve cues in plaats van een menselijke opinie te simuleren.
• Robuustheid: Zelfs wanneer ze werden gevraagd om redenering te geven of wanneer ze demografische persona's kregen, bleven LLM's falen in het nabootsen van uitkomsten van menselijke gemotiveerde redenering, wat de primaire bevindingen versterkt.

Betekenis en Aanspraken
Het artikel beweert dat deze bevindingen cruciaal zijn voor onderzoekers in de sociale wetenschappen en informatica die LLM's gebruiken als survey-proxies of voor het voorspellen van publieke opinie. De resultaten geven aan dat LLM's mogelijk geen accurate voorspellers zijn van publieke opinie wanneer gemotiveerde redenering een factor is, met name in controversiële of gepolariseerde settings waar modellen zich eenvoudigweg kunnen onthouden van het reageren.

Bovendien benadrukt het werk beperkingen voor de AI- en NLP-gemeenschappen met betrekking tot taken zoals geautomatiseerde argumentevaluatie. De auteurs suggereren dat huidige basis-LLM's moeite hebben om menselijk lijkende redeneerprocessen te emuleren, en dat het vertrouwen op hen voor taken zoals opinie-replicatie of argumentevaluatie voorzichtigheid vereist. Het onderzoek benadrukt het belang van het begrijpen van de kloof tussen basis-LLM-gedrag, persona-gestuurde LLM-gedrag en daadwerkelijk menselijk gedrag, en merkt op dat het simpelweg vragen om redenering of het toevoegen van demografieën deze kloof niet overbrugt. Toekomstig werk moet zich richten op het ontwikkelen van geavanceerde systemen (bijvoorbeeld met few-shot prompting of hybride mens-LLM-beoordelingen) om de betrouwbaarheid in deze domeinen te verbeteren.