Technische Samenvatting: Het verminderen van geloof in complottheorieën terwijl deze zich ontvouwen met behulp van Large Language Models

Probleemstelling

Hoewel Large Language Models (LLM's) effectief zijn gebleken in het verminderen van het geloof in historische complottheorieën (bijv. de moord op JFK, 9/11) door gebruik te maken van uitgebreide, reeds bestaande trainingsdata en corrigerend bewijs, blijft hun nut bij het aanpakken van opkomende complottheorieën ongetest. Opkomende complotten ontstaan direct na maatschappelijke crises of schokkende gebeurtenissen (bijv. moordaanslagen) wanneer publieke informatie schaars, ambigu of afwezig is. In deze "ontrollende" scenario's loopt de standaard AI-debunking benadering — die vertrouwt op een grote hoeveelheid gevestigde feiten om claims te weerleggen — tegen een cruciale beperking aan: het model beschikt mogelijk niet over het noodzakelijke bewijs om een feitelijke weerlegging te construeren. De centrale onderzoeksvraag is of conversationele dialogen met een LLM effectief het geloof in deze prille complotten in de directe nasleep van een crisis kunnen verminderen, en zo ja, via welke mechanismen.

Methodologie

De auteurs voerden twee gerandomiseerde gecontroleerde experimenten uit (Studie 1 en Studie 2) met Amerikaanse volwassenen die complotistische opvattingen hadden over twee specifieke, hoogst profielrijke crisisgebeurtenissen:

1. Studie 1 (juli 2024): De moordaanslag op Donald Trump in Butler, Pennsylvania.
2. Studie 2 (september 2025): De moord op politiek activist Charlie Kirk in Utah.

Experimenteel Ontwerp:

• Deelnemers: Volwassenen geworven via CloudResearch. Deelnemers werden gescreend om te identificeren wie complotistische opvattingen hield over de specifieke gebeurtenis (met behulp van zowel open als gesloten vragen en schalen).
  • Definitieve steekproef Studie 1 ($N=472$ gelovigen).
  • Definitieve steekproef Studie 2 ($N=1.035$ gelovigen).
• Condities: Deelnemers werden willekeurig toegewezen aan een van de drie condities:
  1. Debunking Dialoog: Een gesprek met meerdere beurten met een LLM die werd geïnstrueerd om complotgeloof te verminderen via een op bewijs gebaseerde dialoog. Studie 1 maakte gebruik van Google Gemini Pro 1.5; Studie 2 maakte gebruik van een LLM (specifieke modelversie niet expliciet genoemd in de hoofdtekst, hoewel de aanvullende materialen naar Gemini Pro 2.5 verwijzen in de context van de datum van de gebeurtenis ten opzichte van de trainingsdata).
  2. Informatieve Lijst: Deelnemers bekeken een statische, door feiten gecontroleerde lijst van 15 opsommingstekens over de gebeurtenis met citaten uit belangrijke nieuwsbronnen.
  3. Irrelevantie Dialoog Controle: Deelnemers namen deel aan een gesprek met meerdere beurten met de LLM over een onderwerp dat niets met de gebeurtenis te maken had (bijv. katten versus honden).
• LLM Prompting: De LLM werd voorzien van een gecureerde "fact base" afgeleid van actuele verslaglegging.
  • In Studie 1 (Trump), waar informatie extreem schaars was, was de fact base de enige informatiebron van het model over de gebeurtenis, incluserend bevestigde feiten, weerlegde circulerende claims en expliciet gemarkeerde "open vragen" (bijv. motief) om epistemische bescheidenheid te stimuleren.
  • In Studie 2 (Kirk), werd in de instructies aanvullend web zoeken toegestaan, beperkt tot de verificatie van feitelijke informatie, aangezien er meer details beschikbaar waren (bijv. identiteit van de verdachte, ambiguïteit van het motief).
• Metingen: Geloof in complottheorieën werd voor en na de behandeling gemeten met behulp van:
  • Vertrouwen in de eigen gearticuleerde complottheorie van de deelnemer (0–100 schaal).
  • Geloof in een dekoperatie/complot rond de gebeurtenis.
  • Geloof in verborgen/niet-openbaar gemaakte factoren.
  • Vertrouwen in de officiële verklaring.
• Follow-up: Beide studies bevatten follow-up enquêtes 1–2 maanden later om de duurzaamheid van de effecten en "spillover" naar overtuigingen over daaropvolgende, ongerelateerde crisisgebeurtenissen te beoordelen (een tweede poging op Trump; een schietincident bij een LDS-kerk).
• Strategie-analyse: De auteurs gebruikten een kwalitatieve coderingsprocedure (gevalideerd door menselijke beoordelaars en uitgevoerd door LLM's) om de retorische strategieën te categoriseren die de AI in de debunking-dialogen gebruikte.

Belangrijkste Resultaten

1. Reductie in Complotgeloof

In beide experimenten resulteerde de Debunking Dialoog conditie in significant grotere reducties in complotgeloof vergeleken met zowel de Irrelevante Dialoog controle als de statische Informatieve Lijst.

• Effectgroottes: De LLM-behandeling verminderde het geloof in de door de deelnemer gearticuleerde complottheorie met ongeveer 6,9 tot 7,6 punten op een 0–100 schaal (Cohen's $d \approx 0,38$) ten opzichte van de controles.
• Dekoperatie en Verborgen Factoren: Significante reducties werden ook waargenomen in de overtuigingen met betrekking tot dekoperaties en verborgen factoren.
• Vertrouwen in Officiële Verklaringen:
  • In Studie 1 (Trump) nam het vertrouwen in de officiële verklaring niet significant toe, waarschijnlijk door het gebrek aan een duidelijk officieel narratief op dat moment.
  • In Studie 2 (Kirk) nam het vertrouwen in de officiële verklaring significant toe ten opzichte van de irrelevante dialoog controle.

2. Moderatie-effecten

• Partijdigheid: In Studie 1 was het behandelingseffect marginaal kleiner voor sterke Republikeinen vergeleken met de controlegroep, maar er werd geen significante moderatie door partij gevonden in Studie 2.
• Basisovertuiging: In Studie 2 was de behandeling effectiever voor deelnemers die een sterkere initiële complotistische overtuiging hadden.

3. Retorische Strategieën

De strategie van de AI paste zich aan de beschikbaarheid van informatie aan:

• Studie 1 (Lage Informatie): De AI vertrouwde minder op "Rationale Overtuiging" (feiten/bewijs) en meer op Epistemische Bescheidenheid (het benadrukken van onzekerheid), Socratische Vragenstelling (stimuleren van reflectie) en het verwijzen naar Geloofwaardige Bronnen.
• Studie 2 (Gemiddelde Informatie): De AI hanteerde strategieën die meer leken op die gebruikt voor historische complotten, inclusief het Benadrukken van Schade en het gebruik van feiten, hoewel het nog steeds de nadruk legde op epistemische voorzichtigheid.

4. Lange termijn en Spillover Effecten

• Follow-up Studie 1: Deelnemers die de debunking dialoog ontvingen over de eerste Trump-poging waren aanzienlijk minder geneigd om complottheorieën te geloven rondom een opvolgende moordpoging op Trump twee maanden later (Odds Ratio $\approx 0,48–0,52$).
• Follow-up Studie 2: Deelnemers die de Kirk-debunking ontvingen, vertoonden een verminderde instemming met andere populaire complottheorieën (bijv. wereldwijde controle door verborgen groepen, gemanipuleerde ziekten) één maand later. Er was ook bewijs van persistentie met betrekking tot overtuigingen over een daaropvolgend schietincident, hoewel het effect kleiner was.

Belangrijkste Bijdragen

1. Effectiviteit in Ontrollende Gebeurtenissen: Het artikel toont aan dat LLM's effectief geloof in complottheorieën kunnen verminderen, zelfs in de directe nasleep van gebeurtenissen waarbij weinig feitelijke informatie beschikbaar is, wat de aanname uitdaagt dat debunking een vooraf bestaande verzameling corrigerende bewijslast vereist.
2. Adaptieve Overtuiging: De studie identificeert dat AI strategieën dynamisch kan aanpassen op basis van het informatie Landschap — waarbij prioriteit wordt gegeven aan epistemische bescheidenheid en kritisch denken wanneer feiten schaars zijn, en het benutten van feiten wanneer ze beschikbaar komen.
3. Prebunking via Debunking: De bevindingen suggereren dat een enkele debunking interventie kan fungeren als een vorm van "prebunking", waardoor een duurzame scepsis wordt gecreëerd die beschermt tegen toekomstige en ongerelateerde complottheorieën.
4. Schaalbare Interventie: Het onderzoek benadrukt het potentieel van AI-gestuurde dialogen om te dienen als een schaalbare, cognitief gefocuste interventie tegen desinformatie tijdens hooggespannen maatschappelijke crises.

Betekenis en Claims

De auteurs stellen dat hun resultaten inzicht geven in de psychologie van opkomende complotten, waarbij zij suggereren dat prille overtuigingen vervormbaar zijn en beïnvloed kunnen worden door beroep op kritisch denken en epistemische voorzichtigheid, zelfs in de afwezigheid van definitief tegenbewijs. De studie stelt dat AI-dialogen een levensvatbaar mechanisme bieden voor real-time interventie om complotten tijdens crises tegen te gaan.

Het artikel hanteert een bescheiden toon met betrekking tot de reikwijdte, waarbij erkend wordt dat deze resultaten gebaseerd zijn op twee specifieke casestudies en dat er scenario's kunnen zijn (bijv. werkelijke complotten of gebeurtenissen met andere dynamieken) waarin AI-debunking ineffectief is. De auteurs geven expliciet aan dat hoewel hun bevindingen de positieve potentie van AI ondersteunen, dezelfde technologie theoretisch misbruikt kan worden door kwaadwillende actoren om het geloof in opkomende complotten te vergroten. Ze concluderen dat hoewel het betrekken van gebruikers bij AI over gevoelige onderwerpen een uitdaging is, het potentieel voor een betekenisvolle positieve impact aanzienlijk is.