Overstating Attitudes, Ignoring Networks: LLM Biases in Simulating Misinformation Susceptibility

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker gebruikt als proxy's voor menselijk oordeel in computationele sociale wetenschappen, met name om verspreiding van desinformatie te simuleren. Echter, het is onduidelijk of deze modellen de complexe empirische patronen van menselijke kwetsbaarheid voor desinformatie (geloof in valse claims en de bereidheid om deze te delen) kunnen reproduceren. Bestaand onderzoek toont aan dat menselijke kwetsbaarheid wordt bepaald door een combinatie van demografische factoren, houdingen, gedrag en de structuur van persoonlijke netwerken. De kernvraag is of LLM-agenten deze relaties, en met name de rol van sociale netwerken, correct kunnen simuleren, of dat ze systematische vertekeningen vertonen die leiden tot misleidende conclusies over hoe desinformatie zich verspreidt.

Methodologie

De auteurs hebben een robuust experimenteel kader ontwikkeld om menselijke data te vergelijken met LLM-simulaties:

1. Datasets: Er werden drie verschillende online surveydatasets gebruikt als "ground truth" (menselijke data), afkomstig uit de VS en Zuid-Korea, die zich richten op drie domeinen: volksgezondheid, klimaatverandering en pandemie-gerelateerde politiek. Deze datasets bevatten gedetailleerde informatie over:

   • Misinformatie-kwetsbaarheid: Geloof in en bereidheid om valse claims te delen.
   • Persoonlijke netwerken: Discussiepartners, kenmerken van alter's (netwerkgroei) en netwerkdichtheid.
   • Demografie: Leeftijd, geslacht, etniciteit, inkomen, etc.
   • Houdingen en gedrag: Politieke voorkeur, vertrouwen in wetenschap, mediagebruik en gezondheidsgeletterdheid.

2. LLM-Experiment: De auteurs hebben LLM's geprompt om als synthetische surveyrespondenten op te treden. De modellen kregen gestructureerde profielen (demografie, houdingen, gedrag en netwerkkenmerken) en moesten reageren op dezelfde valse claims als de menselijke deelnemers.

   • Er werden diverse modellen getest (verschillende maten, architecturen, providers en mate van redenering).
   • Er werden robuustheidstests uitgevoerd met variaties in promptvolgorde en het gebruik van samengestelde scores in plaats van ruwe data.

3. Analyse: De resultaten werden geëvalueerd aan de hand van zes stappen:

   • Vergelijking van verdelingen (Jensen-Shannon divergentie, Earth Mover's Distance).
   • Correlatie tussen menselijke en gesimuleerde antwoorden.
   • Analyse van de relatie tussen geloof en delen.
   • Voorspellende modellering (Elastic Net regressie) om te zien welke variabelen de uitkomsten het beste verklaren.
   • Interactie-analyse om systematische afwijkingen in effectgroottes te detecteren.
   • Onderzoek naar de oorzaak van bias door analyse van "Chain-of-Thought" (CoT) redeneringen en training data (met behulp van OLMoTrace).

Belangrijkste Bijdragen

• Systematische Evaluatie: Dit is een van de eerste studies die specifiek kijkt naar de rol van persoonlijke netwerken in LLM-simulaties van desinformatie, naast de gebruikelijke demografische en attitudinale factoren.
• Ontdekking van Systematische Bias: De studie identificeert een specifiek patroon van vertekening waarbij LLM's de rol van individuele houdingen overdrijven en de rol van sociale netwerken negeren.
• Methodologisch Kader: De auteurs bieden een reproduceerbaar pipeline voor het diagnosticeren van bias in LLM-simulaties, waarbij ze verdelingsmaten, voorspellende modellen en analyse van redeneerpaden combineren.

Resultaten

De analyse leverde drie cruciale bevindingen op:

1. Overmatige Koppeling van Geloof en Delen: Hoewel LLM's de algemene verdeling van antwoorden enigszins nabootsen, vertonen ze een systematische bias waarbij ze geloof in desinformatie en de bereidheid om deze te delen veel sterker aan elkaar koppelen dan mensen doen. In menselijke data zijn deze twee constructen gerelateerd maar distinct (mensen delen soms content zonder erin te geloven); LLM's behandelen ze als bijna identiek.
2. Overdreven Voorspellende Kracht (Inflated Variance): Regressiemodellen getraind op LLM-gegevens tonen een veel hogere verklaarde variantie ($R^2$) dan modellen getraind op menselijke data. Dit suggereert dat LLM-antwoorden te deterministisch zijn en te sterk reageren op de ingevoerde profielen, zonder de natuurlijke ruis en variabiliteit van menselijk gedrag.
3. Verwaarlozing van Netwerkkenmerken:
   • In menselijke data dragen zowel houdingen/gedrag als netwerkkenmerken substantieel bij aan het voorspellen van kwetsbaarheid.
   • In LLM-simulaties domineren attitudinale en gedragsmatige variabelen (zoals vertrouwen in wetenschap en politieke voorkeur) de voorspelling volledig. Netwerkkenmerken hebben nauwelijks invloed op de gesimuleerde uitkomsten, zelfs wanneer deze expliciet in de prompt staan.
   • Analyse van de CoT-redeneringen en training data bevestigt dat LLM's veel vaker verwijzen naar individuele houdingen dan naar relationele factoren, wat wijst op een bias in de training data en de representatie van sociale dynamiek.

Betekenis en Conclusie

De studie concludeert dat LLM's op dit moment niet als vervanging voor menselijke respondenten kunnen dienen in studies waar sociale context en netwerkstructuren centraal staan. Hoewel ze nuttig kunnen zijn voor exploratief onderzoek of het diagnosticeren van systematische afwijkingen, leiden ze tot een vertekend beeld van desinformatiedynamiek door:

• De complexiteit van menselijk gedrag te vereenvoudigen.
• De invloed van sociale netwerken te minimaliseren.
• Bestaande literaire patronen (over individuele houdingen) te versterken in plaats van nieuwe inzichten te genereren.

De auteurs waarschuwen dat het gebruik van LLM-simulaties zonder deze beperkingen te erkennen, kan leiden tot modellen die sociale interactie en peer-invloed onderschatten. Toekomstig onderzoek moet gericht zijn op architecturale aanpassingen die relationele structuren beter kunnen coderen dan puur tekstuele beschrijvingen.