💬 NLP

Eroding the Truth-Default: A Causal Analysis of Human Susceptibility to Foundation Model Hallucinations and Disinformation in the Wild

Dit onderzoek introduceert het JudgeGPT-RogueGPT-kader om aan te tonen dat politieke oriëntatie nauwelijks invloed heeft op het herkennen van hallucinaties, terwijl bekendheid met nepnieuws en de hoge vloeiendheid van modellen als GPT-4 de menselijke bronmonitoring ondermijnen, wat suggereert dat interventies zich moeten richten op cognitieve vaardigheden in plaats van demografische segmentatie.

Oorspronkelijke auteurs: Alexander Loth, Martin Kappes, Marc-Oliver Pahl

Gepubliceerd 2026-02-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Loth, Martin Kappes, Marc-Oliver Pahl

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕵️‍♂️ De Grootste Uitdaging: "Wie is de schrijver?"

Stel je voor dat je op het internet leest over een nieuwsschandaal. Het verhaal klinkt perfect, de zinnen lopen vlot en het voelt heel echt. Maar is het geschreven door een mens of door een slimme computer (een 'Foundation Model' zoals GPT-4)?

Vroeger was dat makkelijk te zien: computers maakten rare fouten. Maar nu? De computers schrijven zo goed dat ze bijna net zo vloeiend zijn als wij mensen. Het is alsof een computer een perfect masker opzet en je niet meer kunt zien wie er achter zit.

De auteurs van dit papier (Alexander, Martin en Marc-Oliver) wilden erachter komen: Waarom geloven we die computers soms, en wanneer merken we dat het nep is?

🛠️ Het Gereedschap: JudgeGPT en RogueGPT

Om dit te onderzoeken, hebben ze twee digitale tools gebouwd:

RogueGPT (De Vervalser): Dit is een machine die nieuwsberichten schrijft. Het gebruikt verschillende slimme computers (zoals GPT-4, Llama, Mistral) om verhalen te maken die eruitzien als echt nieuws.
JudgeGPT (De Rechter): Dit is een website waar mensen op kunnen komen. Ze krijgen een stukje tekst te zien en moeten twee dingen doen:
- Is dit geloofwaardig? (Klinkt het waar?)
- Wie heeft dit geschreven? (Een mens of een robot?)

Het is alsof ze een grote proef doen waarbij mensen als 'detectives' fungeren.

🔍 De Grote Ontdekkingen

Na het testen van bijna 1.000 mensen en teksten, kwamen ze tot drie verrassende conclusies:

1. Politieke kleur maakt niet uit (maar ervaring wel)

Veel mensen denken: "Ah, als iemand links is, gelooft hij nepnieuws van rechts, en andersom."
Het onderzoek zegt: Nee, dat is niet zo belangrijk. Of je nu links, rechts of ergens in het midden zit, dat maakt weinig verschil in of je nepnieuws herkent.

Wat wel werkt? Ervaring.
Mensen die vaker nepnieuws hebben gezien of daarover hebben gelezen, zijn beter in het ontdekken van de valstrik.

De Analogie: Denk aan een leger dat geoefend heeft met valse vijanden. Als ze eenmaal weten hoe een valstrik eruitziet, zijn ze beter in staat om de echte vijand te herkennen. Het zien van nepnieuws is als een trainingssessie voor je hersenen.

2. De "GPT-4 Valstrik"

Er is een groot verschil tussen de verschillende computers.

Sommige computers (zoals Llama of Mistral) schrijven nog een beetje 'robotachtig'.
GPT-4 schrijft echter zo perfect, dat mensen het niet kunnen onderscheiden van menselijk schrijven.
De Analogie: Stel je voor dat je twee appels ziet. De ene is een echte appel, de andere is een kunstappel van plastic. Bij de meeste computers is de kunstappel nog een beetje glimmend of te perfect. Bij GPT-4 is de kunstappel zo perfect gemaakt dat je hem niet van de echte kunt onderscheiden, zelfs niet als je er goed naar kijkt. De computer is de "meestervermomming" geworden.

3. We leren er wel van (als we het proberen)

Toen de mensen in het experiment steeds meer teksten moesten beoordelen, werden ze beter.

De Analogie: Het is alsof je in een donkere kamer loopt. Eerst struikel je over alles. Maar na een tijdje, als je ogen aan het donker wennen, zie je de struikelblokken beter.
Dit betekent dat we niet alleen moeten wachten tot de computers beter worden, maar dat we onze hersenen moeten trainen om nepnieuws te herkennen. Dit noemen ze "pre-bunking": je inent tegen nepnieuws voordat je erdoor wordt besmet.

💡 Wat moeten we hiermee doen?

De auteurs geven drie belangrijke adviezen voor de toekomst:

Vertrouw niet op je ogen: Omdat GPT-4 zo goed is, kun je niet meer alleen op je eigen gevoel vertrouwen om te zien of iets echt is. We hebben digitale watermerken nodig (zoals een onzichtbare stempel op het papier) die aangeven: "Dit is door een computer geschreven."
Train je hersenen: Scholen en media moeten mensen niet alleen leren waar ze het nieuws vandaan halen, maar hoe ze het nieuws moeten lezen. Kijk naar de logica, niet alleen naar de mooie zinnen.
Maak de computers eerlijker: De schrijvers van de computers zouden de machines kunnen programmeren om soms te zeggen: "Ik ben niet 100% zeker van dit feit." In plaats van altijd zelfverzekerd te klinken, moeten ze soms twijfel tonen.

🏁 Conclusie

Kort samengevat: De computers worden zo slim dat ze onze "waarheidsgevoel" om de tuin leiden. Maar gelukkig leren we er ook van. De oplossing is niet om te stoppen met technologie, maar om onze hersenen te trainen (zoals een spier) en om technische hulpmiddelen (zoals watermerken) te gebruiken die ons helpen de waarheid te vinden.

Het is een race tussen de slimme computers en de slimme mensen, en we moeten samenwerken om de waarheid veilig te houden.

Probleemstelling

Met de snelle proliferatie van foundation modellen (FM's), met name Large Language Models (LLM's), is het onderscheid tussen menselijk geschreven en door AI gegenereerde content een kritieke uitdaging geworden voor betrouwbare web-intelligentie. Hoewel technische betrouwbaarheid vaak wordt onderzocht, blijft de menselijke kant van de vergelijking onderbelicht: hoe worden gebruikers vatbaar voor door AI gegenereerde misinformatie en hallucinaties "in het wild"?

De kern van het probleem ligt in het "waarheids-default" (truth-default): mensen hebben een inherente neiging om teksten als waar te accepteren, vooral als deze vloeiend (fluïd) zijn. Dit paper onderzoekt of deze cognitieve bias wordt uitgebuit door geavanceerde modellen, waardoor gebruikers niet langer kunnen onderscheiden wat echt is en wat synthetisch, en welke factoren deze vatbaarheid causaal beïnvloeden.

Methodologie

De auteurs introduceren een tweeledig raamwerk bestaande uit twee open-source platforms:

JudgeGPT: Een interactief platform voor het systematisch evalueren van menselijke perceptie. Gebruikers beoordelen nieuwsfragmenten op twee continue dimensies:
- Authenticiteit (LegitFakeScore): Van "Volledig nep" tot "Volledig legitiem".
- Bronattributie (HumanMachineScore): Van "Zeker menselijk geschreven" tot "Zeker door machine gegenereerd".
- Het platform ondersteunt vier talen en verzamelt demografische data (leeftijd, geslacht, politieke oriëntatie, bekendheid met nepnieuws) en reactietijden.
RogueGPT: Een generatieve engine die nieuwsfragmenten produceert met behulp van meerdere foundation modellen (o.a. GPT-4, GPT-4o, Llama-2, Gemma, Mistral, Phi-3).

Data en Analyse:

Dataset: 918 validaties van 154 deelnemers over 2301 nieuwsfragmenten.
Causale Analyse: In plaats van alleen correlaties te bekijken, gebruiken de auteurs Structural Causal Models (SCM) en een Directed Acyclic Graph (DAG) om testbare causale hypothesen te formuleren.
- Behandeling (T): Modelarchitectuur.
- Mediator (M): Tekstuele kenmerken (vloeiendheid, coherentie, causale consistentie).
- Verwarring (C): Demografische factoren (politieke oriëntatie, bekendheid met nepnieuws).
- Uitkomst (Y): Nauwkeurigheid van bronattributie.

Belangrijkste Bijdragen

JudgeGPT en RogueGPT Platforms: De eerste open-source tools die menselijke perceptie van AI-content analyseren via een dual-axis benadering (authenticiteit + bron) met meertalige ondersteuning.
Causale Analyse van Menselijke Perceptie: Empirische bevindingen die aantonen dat bekendheid met nepnieuws een sterkere voorspeller is voor detectie dan politieke oriëntatie.
Modelvergelijking: Kwantificering van de "menselijkheid" van verschillende modellen, waarbij GPT-4 significant moeilijker te onderscheiden is dan andere modellen.

Resultaten

1. De "Fluency Trap" en GPT-4

GPT-4 presteert als mens: GPT-4 outputs kregen een gemiddelde HumanMachineScore van 0,20 (lager is menselijker), terwijl andere modellen rond de 0,44 tot 0,58 scoorden.
Ononderscheidbaarheid: Statistische tests (t-tests) toonden geen significant verschil tussen menselijke en AI-gegenereerde fragmenten op populatieniveau. Mensen kunnen GPT-4-content niet betrouwbaar onderscheiden van menselijke tekst.
Causaal mechanisme: De hoge vloeiendheid (fluency) van GPT-4 omzeilt de "Source Monitoring" mechanismen van het menselijk brein, waardoor gebruikers de tekst als menselijk en waar accepteren.

2. Causale Factoren van Vatbaarheid

Bekendheid met nepnieuws (Fake News Familiarity): Toont een matig positieve correlatie met detectienauwkeurigheid ( $r = 0,35$ ). Dit suggereert dat blootstelling aan nepnieuws fungeert als "adversarial training" voor mensen, waardoor ze beter worden in het detecteren van synthetische content.
Politieke oriëntatie: Toont een verwaarloosbare associatie met detectieprestaties ( $r = -0,10$ ). Dit weerlegt het narratief dat politieke partijdigheid de primaire drijver is voor het geloven in nepnieuws; analytisch denken en ervaring zijn belangrijker.

3. Leer- en Adaptatie-effecten

Pre-bunking potentieel: Deelnemers verbeterden hun detectievaardigheden gedurende de sessie (een dalende trend in de HumanMachineScore voor AI-tekst). Dit ondersteunt de theorie van psychologische inenting (inoculation): blootstelling aan synthetische content met feedback kan cognitieve weerstand opbouwen.
Cognitieve vermoeidheid: Hoewel bronattributie stabiel bleef, nam de nauwkeurigheid bij het detecteren van nepnieuws af bij langdurige blootstelling, wat overeenkomt met de uitputting van System 2-denken (Dual-Process Theory).

Betekenis en Implicaties

Voor Betrouwbare AI-systemen:
De bevindingen tonen aan dat menselijke "waakzaamheid" geen betrouwbare veiligheidsmaatregel meer is, vooral niet tegen geavanceerde modellen zoals GPT-4. De "menselijkheidsgap" vereist een verschuiving van puur menselijke detectie naar technische oplossingen.

Beleid en Interventies:

Van Ontmaskeren naar Pre-bunking: Interventies moeten verschuiven van het achteraf ontkrachten (debunking) naar proactieve inenting (pre-bunking). JudgeGPT fungeert als een "digitale vaccinatie" waarbij gebruikers blootgesteld worden aan synthetische content om hun bron-monitoring heuristieken te trainen.
Cognitieve Veiligheid: Digitale geletterdheidsprogramma's moeten focussen op het controleren van logica en causale consistentie in plaats van broncontrole (wat steeds moeilijker wordt).
Technische Transparantie:
- Implementatie van cryptografische watermerken (C2PA) omdat menselijke detectie faalt.
- Modellen moeten trainingsdoelen hebben voor "onzekerheid" (hedging) en "stijlvingerprints" om detectie mogelijk te maken.
- Reinforcement Learning from Human Feedback (RLHF) zou een "detecteerbaarheids"-beloning moeten integreren om de balans tussen nut en misleiding te beheren.

Conclusie:
Het paper concludeert dat de waarheids-default wordt erodeerd door de vloeiendheid van foundation modellen. Om betrouwbare web-ecosystemen te waarborgen, is een cyclus nodig van menselijke perceptie, causale analyse en modelverbetering, waarbij de focus ligt op cognitieve inenting en technische verificatie in plaats van demografische segmentatie.