🤖 machine learning

Authority, Truth, and Citation Bias: A Large-Scale Multi-Domain Benchmark for Studying Epistemic Susceptibility in Large Language Models

Dit artikel introduceert AuthorityBench, een grootschalige multi-domein benchmark die aantoont dat de loutere aanwezigheid van citaten — ongeacht hun feitelijke juistheid — de hallucinatiecijfers in grote taalmodellen significant verhoogt, waarbij de meest uitgesproken effecten worden waargenomen wanneer gefabriceerde citaten gepaard gaan met ware beweringen.

Oorspronkelijke auteurs: Aryan Khurana, Aravind Ramana RN, Dhruv Kumar

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aryan Khurana, Aravind Ramana RN, Dhruv Kumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een quiz doet. Je weet dat het antwoord "Parijs" is, omdat je er bent geweest. Maar dan komt er een leraar binnenlopen, wijst naar een chic uitziend boek in de kast en zegt: "Eigenlijk is de hoofdstad Londen. Ik heb het gelezen in dit prestigieuze tijdschrift."

Zou je je antwoord veranderen? De meeste mensen zouden even pauzeren en denken: "Wacht even, dat boek ziet er belangrijk uit. Miss misschien heb ik het fout."

Dit artikel, AuthorityBench, stelt een vergelijkbare vraag over Kunstmatige Intelligentie (AI). Het wil weten: Als een AI de waarheid kent, maar iemand haar een "citatie" (een verwijzing naar een bron) geeft die het tegenovergestelde beweert, zal de AI die citatie dan blindelings vertrouwen en de waarheid vergeten?

Hier is de uitsplitsing van hun bevindingen, met behulp van eenvoudige analogieën.

Het Experiment: Een "Fake News"-test voor AI

De onderzoekers bouwden een enorme test genaamd AuthorityBench. Zie het als een gigantische quiz van 220.000 vragen, ontworpen om AI-modellen te misleiden.

Ze stelden een "2x2" spel op met vier scenario's:

Ware bewering + Echte citatie: De AI heeft gelijk, en de bron is echt. (De makkelijke modus).
Onjuiste bewering + Nep-citatie: De AI heeft ongelijk, en de bron is nep. (De voor de hand liggende valstrik).
Onjuiste bewering + Echte citatie: De AI heeft ongelijk, maar de bron is echt. (De lastige valstrik).
Ware bewering + Nep-citatie: Dit is de grote ontdekking. De AI heeft gelijk, maar men geeft het een nepbron die beweert dat de AI ongelijk heeft.

Ze testten dit over vier gebieden: Algemene Kennis, Wetenschap, Recht en Geneeskunde. Ze veranderden ook de "smaak" van de nepbronnen: sommige zagen eruit alsof ze afkomstig waren van Nobelprijswinnaars (hoge prestige), andere van onbekende blogs (laag prestige), en sommige hadden namen uit verschillende landen.

De Grote Verrassing: De "Autoriteitsval"

Het meest schokkende resultwoord is dat citaties werken als een "toverspreuk" die AI laat hallucineren (liegen).

Het "Nepbron"-effect: Wanneer de AI het juiste antwoord wist (bijv. "Parijs is de hoofdstad"), maar er verscheen een nep-citatie die zei "Londen is de hoofdstad", veranderde de AI vaak haar antwoord naar Londen.
De Cijfers: In de categorie "Algemene Kennis" gebeurde dit 35% tot 77% van de tijd. Dat betekent dat als je een AI een ware feit gaf en een nepverwijzing, de AI vaker de waarheid ontkende dan dat zij vasthield aan de waarheid.
Het "Echte Bron"-effect: Zelfs als de citatie echt was maar de bewering onjuist, was de AI nog steeds eerder geneigd tot hallucinatie dan wanneer er helemaal geen citatie was.

De Analogie: Stel je een student voor die weet dat "2+2=4" is. Als je hem een papiertje overhandigt waarop staat: "Volgens de beroemde Professor Smith is 2+2=5", dan stopt de student met het vertrouwen op zijn eigen brein en schrijft hij "5" op. Het papiertje (de citatie) overstemde de wiskunde.

Wat Maakte Niet Uit?

De onderzoekers dachten dat bepaalde zaken de AI meer de citatie zouden laten vertrouwen, maar ze waren verrast door het feit dat deze factoren bijna geen effect hadden:

Prestige: Het maakte niet uit of de nep-citatie eruitzag alsof deze van een topuniversiteit kwam of van een willekeurige blog. De AI was even verward door beide.
Identiteit van de Auteur: Het maakte niet uit of de nep-auteur een naam had die geassocieerd werd met een specifiek land of demografie. De AI leek niet om te geven over wie het geschreven had, alleen dat er iets geschreven was.
Modelgrootte: Je zou denken dat een "slimmere" of grotere AI minder gemakkelijk te misleiden zou zijn. Maar de studie vond dat de grootste, meest geavanceerde modellen net zo vaak in de val liepen als de kleinere modellen.

De Enige Uitzondering: De "Advocaat"-AI

Er was één domein waar de AI niet zo gemakkelijk werd misleid: het Recht.

Waarom? De onderzoekers suggereren dat juridische teksten een zeer specifieke, formele "taal" hebben (als een geheime code). Wanneer de AI een juridische citatie ziet, lijkt het in een "onderzoekingsmodus" te schakelen en controleert het de feiten nauwkeuriger, in plaats van de autoriteit blindelings te accepteren.
Algemene Kennis was de zwakste schakel, waar de AI het gemakkelijkst werd gefopt.

De "Onjuiste Bewering"-Wending

De studie keek ook naar wat er gebeurt als de AI al ongelijk is (een onjuiste bewering).

Sommige AI's werden slimmer: Voor modellen zoals Llama en Claude zorgde het zien van een citatie (zelfs een nep-citatie) ervoor dat ze minder geneigd waren te hallucineren bij onjuiste beweringen. Het was alsof de citatie hen deed zeggen: "Hm, ik moet dit even dubbelchecken," en ze corrigeerden zichzelf.
Sommige AI's werden dommer: Voor modellen zoals Gemma en Phi-4 maakte de citatie hen juist meer geneigd tot hallucinatie bij onjuiste beweringen. Ze accepteerden de verkeerde informatie blindelings.

De Kern van de Zaak

De conclusie van het artikel is dat het toevoegen van een citatie een AI niet automatisch betrouwbaarder maakt. Sterker nog, het maakt de AI vaak minder betrouwbaar.

Als je een AI gebruikt om te helpen met feiten, en je ziet dat het een bron citeert, ga er dan niet vanuit dat het de waarheid spreekt. De AI kan zo onder de indruk zijn van de "autoriteit" van de citatie dat het bereid is de werkelijke waarheid achteloos weg te gooien. De studie waarschuwt dat voor sectoren met een hoge inzet (zoals geneeskunde of recht), we niet kunnen aannemen dat het koppelen van de antwoorden van een AI aan citaties de fouten zal oplossen; soms zijn de citaties zelf de bron van de fout.

Technische Samenvatting: AuthorityBench

Probleemstelling

Grote taalmodellen (LLM's) worden steeds vaker ingezet in contexten met citaties, maar de specifieke invloed van de aanwezigheid van een citatie op het gedrag van het model, onafhankelijk van de feitelijke inhoud, is nog onvoldoende begrepen. Ho'ewel hallucinatie (het genereren van plausibele maar feitelijk onjuiste inhoud) een goed gedocumenteerde foutmodus is, is de rol van "in-context autoriteitssignalen"—specifiek hoe modellen reageren op de schijnbare autoriteit van een geciteerde bron versus de waarheid van de bewering zelf—onderbelicht. Bestaande benchmarks zoals TruthfulQA en HaluEval richten zich op nauwkeurigheid op responsniveau zonder de causale rol van autoriteitssignalen te isoleren. Bovendien heeft eerder werk zoals FalseCite alleen valse claims gekoppeld aan gefabriceerde citaties onderzocht, waarbij faalde te controleren voor de prestige van de publicatie, de identiteit van de auteur of de interactie tussen ware claims en gefabriceerde citaties.

Methodologie: AuthorityBench

De auteurs introduceren AuthorityBench, een grootschalige, multi-domein benchmark die is ontworpen om te isoleren hoe citatiegebaseerde autoriteitssignalen het epistemische gedrag van LLM's vormgeven.

Experimenteel Ontwerp

De kerninnovatie is een volledig gebalanceerd 2×2 factorieel ontwerp dat onafhankelijk twee variabelen manipuleert:

Claim Waarachtigheid: Waar vs. Vals.
Citatie Waarachtigheid: Echt vs. Gefabriceerd.

Dit ontwerp levert vier primaire condities op, plus een "geen-citatie" baseline voor elke claim. Een cruciale nieuwe conditie is Ware Claim × Gefabriceerde Citatie (TC×FC), die test of modellen kunnen worden bewogen om correcte feiten te ontkennen onder de druk van een gefabriceerd autoriteitssignaal.

Dataconstructie

Schaal: 220.564 prompts gegenereerd uit 110.282 basisclaims.
Domeinen: Vier onderscheidende domeinen werden gebruikt: Algemene Kennis (FEVER), Wetenschap (SciQ), Recht (CaseHOLD) en Geneeskunde (MedMCQA).
Prompt Variatie: De benchmark maakt gebruik van 40 structureel diverse prompt-templates (bijv. prefix, mid-sentence, suffix, voetnoot-stijl) om structurele sensitiviteit te testen.
Gecontroleerde Variabelen:
- Venue Prestige: Citaties worden toegewezen aan één van vier prestige-niveaus (Tier 1 tot Tier 4) op basis van ranglijsten (SCImago, Washington and Lee, etc.).
- Auteur Demografie: Voor gefabriceerde citaties worden achternamen van auteurs gesampled uit een land-gecodeerde dataset om de waargenomen demografische invloed te analyseren.
- Temporele Inkadering: Citatiejaren lopen van 1980 tot heden.
Citatie Constructie: Echte citaties zijn afkomstig van verifieerbare bronnen (MTEB SciFact, PubMedQA, CaseHOLD contexten). Gefabriceerde citaties zijn geconstrueerd uit gecureerde pools van auteursnamen en publicaties. Voor het domein Algemene Kennis (FEVER), waar gestructureerde academische metadata niet beschikbaar is, wordt citatie-metadata uit andere domeinpools bijgevuld en gemarkeerd voor interpretatie.

Evaluatie

Modellen: Zeven modellen werden geëvalueerd, inclus\n bij open-weight modellen (Gemma 3 4B, Llama 3.1 8B, Phi-4 Mini, Gemma 4 31B, DeepSeek V3.2) en propriëtaire modellen (Claude Haiku 4.5, GPT 5.4 mini). Open-weight modellen werden getest op de volledige dataset; propriëtaire modellen werden getest op een gebalanceerde subset van 15K.
Judge: Outputs werden geëvalueerd met behulp van Qwen3-8B als judge, voorzien van grondwaarheid-labels en bron-metadata om de afhankelijkheid van parametrische kennis te minimaliseren. Menselijke evaluatie op een gestratificeerde steekproef bevestigde een hoge inter-annotator overeenstemming (Cohen's $\kappa$ = 0,83).
Metrieken: De primaire metriek is de hallucinatiegraad (proportie van outputs gelabeld als gehallucineerd). Effecten worden gemeten via lift (absoluut percentagepunt verschil van de baseline) en Cohen's $d$ .

Belangrijkste Resultaten

1. Aanwezigheid van Citatie Verhoogt Hallucinatie

Over alle zeven modellen heen verhoogt de aanwezigheid van elke citatie—of deze nu echt of gefabriceerd is—de hallucinatiegraad ten opzichte van een no-citatie baseline. Dit spreekt de aanname tegen dat citaties de output van modellen inherent funderen.

2. De Kritieke TC×FC Conditie

De meest ernstige foutmodus treedt op wanneer een gefabriceerde citatie een ware claim vergezelt (TC×FC).

In deze conditie zijn modellen eerder geneigd een correct feit te ontkennen dan in enige andere experimentele conditie.
Hallucinatiegraden in het domein Algemene Kennis onder TC×FC bereiken 35% tot 77%, afhankelijk van het model.
De lifts ten opzichte van de ware-claim baseline variëren van +3,23 tot +22,29 procentpunten.
Opvallend genoeg zijn grotere modellen (bijv. Gemma 4 31B, GPT 5.4 mini) niet minder vatbaar dan kleinere modellen; in sommige gevallen zijn ze juist zeer vatbaar.

3. Divergerende Reacties op Valse Claims

Modellen vertonen twee verschillende gedragingen wanneer ze worden gepresenteerd met valse claims:

Onderdrukking: Modellen zoals Llama 3.1, Claude Haiku 4.5 en GPT 5.4 mini vertonen verminderde hallucinatiegraden wanneer een gefabriceerde citatie aanwezig is, wat suggereert dat de citatie een verhoogde controle triggert.
Versterking: Modellen in de Gemma-familie en Phi-4 vertonen verhoogde hallucinatiegraden bij valse claims wanneer een citatie aanwezig is, waarbij de citatie wordt behandeld als een autoriteitsbevestiging.

4. Domein en Structurele Sensitiviteit

Domein Kwetsbaarheid: Het domein Algemene Kennis is het meest kwetsbaar voor citatie-geïnduceerde hallucinatie. Daarentegen is het Juridische domein uniform robuust, met de kleinste citatie-geïnduceerde lifts, waarschijnlijk door de kenmerkende linguïstische registers en formele conventies die de bewijslast van het model verhogen.
Venue Prestige: In tegen tegen de verwachtingen heeft venue prestige geen systematische impact. Een gefabriceerde citatie van een laag-tier tijdschrift draagt evenveel gewicht als een van een hoog-tier tijdschrift (bijv. Nature) in termen van het induceren van hallucinatie.
Auteur Demografie: Waargenomen identiteit van de auteur (via land-gecodeerde achternamen) heeft een verwaarloosbare impact op de hallucinatiegraden.
Template Structuur: De plaatsing van de citatie is van belang. Prefix-plaatsing ("Volgens...") is consistent het risicovolste format, terwijl formaten met minimale salience vaak het veiligst zijn.

Betekenis en Claims

Het paper claimt dat AuthorityBench het eerste rigoureuze, grootschalige bewijs levert dat de aanwezigheid van een citatie de feitelijke nauwkeurigheid verslechtert, zelfs bij claims die het model anders correct zou beantwoorden.

Epistemische Fout: De bevindingen suggereren dat LLM's lijden aan een falen van epistemisch redeneren onder autoriteitsdruk in plaats van een simpel gebrek aan feitelijke kennis. Modellen lijken een heuristiek te internaliseren waarbij de aanwezigheid van een citatie de interne kennis overrulet, wat leidt tot "citatie-geïnduceerde ontkenning."
Implicaties voor RAG: Voor Retrieval-Augmented Generation (RAG) systemen garandeert de aanwezigheid van een citatie niet de betrouwbaarheid. In domeinen met hoge inzet kan het funderen van outputs in geciteerde bronnen de nauwkeurigheid zelfs verminderen als het model de autoriteit van de citatie verkiest boven de waarheid van de claim.
Mitigatiestrategie: De auteurs stellen dat mitigatie vereist dat modellen citaties behandelen als bewijs om te worden geëvalueerd, in plaats van als autoriteit waaraan te worden toegegeven. Ze benadrukken dat het schalen van de modelgrootte de vatbaarheid niet inherent oplost.

Het paper concludeert dat alle datasets en evaluatiecode beschikbaar worden gesteld om de ontwikkeling van modellen te faciliteren die beter onderscheid kunnen maken tussen de autoriteit van een bron en de waarachtigheid van een claim.