How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations

Deze studie auditeert de fabricage van academische citaten door tien grote taalmodellen, kwantificeert de hallucinatiepercentages over verschillende domeinen en modellen, en presenteert effectieve detectiemethoden zoals multi-model consensus en een lichtgewicht classifier die hallucinaties kan identificeren zonder externe databases.

De kern

De "Spookcitaties" van AI: Een Simpele Uitleg van het Onderzoek

Stel je voor dat je een student bent die een belangrijk essay schrijft. Je vraagt je slimme AI-assistent: "Geef me een paar bronnen over klimaatverandering." De AI schrijft een prachtige lijst met boeken en artikelen, inclusief auteursnamen, jaartallen en tijdschriften. Het ziet er perfect uit. Maar als je die bronnen opzoekt, blijken ze niet te bestaan. Het zijn "spookcitaties".

Dit is precies wat dit onderzoek van Dr. M.Z. Naser onderzoekt. Hij heeft gekeken of de slimste AI's (zoals ChatGPT, Claude en anderen) liegen over hun bronnen, hoe vaak ze dat doen, en hoe we het kunnen opsporen.

Hier is de samenvatting, vertaald in alledaags taal met een paar leuke vergelijkingen:

1. De Grote "Spookjacht"

De onderzoeker heeft 10 verschillende AI's op de proef gesteld. Hij gaf ze dezelfde vragen over vier verschillende vakgebieden (zoals bouwkunde, biomedische wetenschap en kunstmatige intelligentie). In totaal kregen ze bijna 70.000 vragen om bronnen te noemen.

Vervolgens heeft hij elke naam die de AI noemde, nagelopen in drie enorme digitale bibliotheken om te zien of het boek of artikel echt bestond.

Het resultaat?
Het was een chaos. Sommige AI's waren bijna perfect, terwijl andere bijna de helft van hun lijstjes uit fantasieën maakten.

• De beste AI (GPT-5-mini) maakte maar 11% fouten.
• De slechtste AI (haiku-4.5) maakte 57% fouten.
• Dat is een verschil van vijf keer zo vaak liegen!

2. Waarom liegen ze? (De "Vraag" is de schuld)

Een van de coolste ontdekkingen is dit: AI's liegen niet als je ze er niet om vraagt.
De onderzoeker stelde vragen zonder te vragen om bronnen. Geen enkele AI begon spontaan met het noemen van boeken.

De analogie:
Stel je voor dat je een acteur vraagt: "Speel een scène waarin je een dokter bent." Hij doet alsof. Maar als je hem vraagt: "Noem de namen van drie echte artsen die je kent," en hij kent ze niet, dan verzint hij er drie.
De AI "hallucineert" (liegt) dus niet omdat ze gek zijn, maar omdat ze reageren op jouw vraag. Ze willen zo behulpzaam zijn dat ze liever een nep-boek noemen dan zeggen: "Ik weet het niet."

3. Oud vs. Nieuw: Waarom "Recent" gevaarlijker is

De AI's liegen vaker als je vraagt om "recente" artikelen dan als je vraagt om "klassieke" (beroemde) werken.

De analogie:
Stel je voor dat de AI een enorme bibliotheek heeft gelezen voordat hij geboren werd (zijn trainingsdata).

• Klassieke werken (zoals Einstein of Shakespeare) staan in elke bibliotheek ter wereld. Die kent de AI uit zijn hoofd.
• Recente werken (van 2024) staan misschien nog niet in die bibliotheek. Als je de AI vraagt om een nieuw boek te noemen, moet hij raden. Omdat hij niet wil zeggen "ik weet het niet", verzint hij een titel die klinkt alsof het waar is.

4. De "Gokker" vs. De "Boekhouder"

Sommige AI's zijn als gokkers die veel gokken (veel bronnen noemen, maar veel fouten), terwijl anderen als boekhouders zijn die voorzichtig zijn (minder bronnen noemen, maar die zijn wel echt).
Interessant is dat nieuwer niet altijd beter is.

• De nieuwe versie van OpenAI (GPT-5) werd veel beter.
• Maar de nieuwe versie van Anthropic (haiku-4.5) werd juist slechter dan zijn oudere broer.
  Dit betekent dat je niet blind kunt vertrouwen op "dit is de nieuwste versie, dus het moet wel waar zijn."

5. Hoe kun je de leugens opsporen? (De 3 Slimme Trucs)

Je hoeft niet zelf in de bibliotheek te gaan zoeken om te zien of een bron echt is. De onderzoeker heeft drie simpele regels bedacht die je nu al kunt toepassen:

• Truc 1: De "Meerderheidsstem" (Consensus)
  Vraag hetzelfde aan drie verschillende AI's. Als ze allemaal dezelfde bron noemen, is de kans 95% dat het echt bestaat. Als ze allemaal verschillende (nep) namen noemen, is het waarschijnlijk een leugen.

  • Vergelijking: Als drie vrienden allemaal zeggen dat ze gisteren dezelfde film zagen, geloof je hen. Als ze drie verschillende films noemen, liegen ze waarschijnlijk.

• Truc 2: De "Herhalingstest"
  Vraag aan één AI drie keer dezelfde vraag. Als hij elke keer dezelfde bron noemt, is het waarschijnlijk echt. Als hij elke keer een andere, nieuwe naam bedenkt, is het een leugen.

  • Vergelijking: Een leugenaar heeft moeite om zijn verhaal consistent te houden. Een waarheidsgetrouwe persoon (of een echte bron) blijft hetzelfde.

• Truc 3: De "Lijstjes-Check" (De AI-detector)
  De onderzoeker heeft een klein computerprogramma gemaakt dat alleen naar de vorm van de bron kijkt. Hij ontdekte dat neppe bronnen vaak:

  • Minder auteurs hebben.
  • Korte namen hebben.
  • Vaak het woord "et al." (en anderen) missen.
    Dit programma kan in een fractie van een seconde zeggen: "Dit ziet er verdacht uit," zonder dat je de bibliotheek hoeft in te gaan.

Conclusie: Wat betekent dit voor jou?

AI is een geweldig hulpmiddel om ideeën te genereren, maar vertrouw nooit blind op de bronnenlijst.

• Gebruik AI als een "idee-machine", niet als een "bibliotheek".
• Gebruik de Meerderheidsstem: Vraag het aan meerdere AI's. Als ze het niet eens zijn, check het dan.
• Wees extra voorzichtig met "nieuwe" artikelen; daar liegen AI's het vaakst over.

Kortom: AI's zijn slim, maar ze zijn ook erg goed in het verzinnen van dingen die eruitzien als waarheid. Met een beetje gezond verstand en deze simpele trucs kun je de "spookcitaties" echter makkelijk opsporen.

Technische samenvatting

1. Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker gebruikt voor academisch schrijven, maar ze hebben de neiging om "fantomcitaten" te genereren: referenties die er volledig geloofwaardig uitzien maar niet bestaan. Dit fenomeen, vaak "hallucinaties" genoemd, ondermijnt de integriteit van de wetenschappelijke literatuur. Bestaande studies zijn beperkt door:

• Een klein aantal onderzochte modellen.
• Gebrek aan vergelijkbaarheid tussen providers.
• Het ontbreken van een controlegroep (onbegeleide prompts) om te bepalen of hallucinaties intrinsiek zijn of door de prompt worden veroorzaakt.
• Het gebrek aan systematische methoden om deze fouten te detecteren zonder externe databases te raadplegen.

Het doel van deze studie is om de omvang van citatiehallucinaties kwantitatief te meten over verschillende modellen, domeinen en prompt-omstandigheden, en praktische methoden te ontwikkelen om deze te detecteren en te verminderen.

2. Methodologie

De auteurs hebben een uitgebreid audit-experiment opgezet met de volgende kenmerken:

• Modellen: 10 commercieel beschikbare LLMs van 7 verschillende ontwikkelaars (o.a. OpenAI, Anthropic, Meta, DeepSeek, Mistral, Moonshot AI). De selectie omvatte zowel open-weight als closed-weight modellen, verschillende generaties en capaciteiten.
• Experimenteel Ontwerp:
  • Domeinen: Vier academische gebieden: civiele techniek, klimaat- en milieuwetenschappen, biomedisch onderzoek, en NLP/AI.
  • Tijdsframing: Prompts vroegen om "recente en invloedrijke" versus "seminal en fundamentele" referenties.
  • Controle: Een "onbegeleide" (unprompted) conditie waarbij modellen dezelfde vragen kregen maar niet om citaten werden gevraagd.
  • Replicatie: Elke prompt werd drie keer herhaald per model.
• Dataset: In totaal werden 69.557 citatie-instanties gegenereerd en verwerkt.
• Verificatiepijplijn: Een drie-staps verificatiesysteem gebruikte CrossRef, OpenAlex en Semantic Scholar. Citaten kregen een betrouwbaarheidsscore (0-100) gebaseerd op titelgelijkheid, auteursoverlap en jaartal.
  • Bevestigd: Score ≥ 80.
  • Waarschijnlijk: Score 65-79.
  • Geïllustreerd (Hallucinaties): Score < 65.
• Validatie: Een onafhankelijke validatie met GPT-4.1-mini bevestigde de precisie van de pijplijn (100% precisie voor bevestigde matches).

3. Belangrijkste Bijdragen

1. Grootste audit tot nu toe: Een schaal van 69.557 geverifieerde citaten over 10 modellen.
2. Oorzaak van hallucinaties: Het bewijs dat hallucinaties prompt-geïnduceerd zijn en niet intrinsiek; geen enkel model genereerde spontaan formele citaten zonder expliciete vraag.
3. Praktische filters: Validatie van twee heuristieken om hallucinaties te filteren zonder externe databases:
   • Multi-model consensus: Een citaat dat door ≥3 modellen wordt gegenereerd.
   • Herhaling binnen prompt: Een citaat dat ≥2 keer door hetzelfde model wordt gegenereerd.
4. Text-based Classifier: Ontwikkeling van een lichtgewicht classifier (Gradient Boosted Machine) die hallucinaties detecteert op basis van bibliografische stringkenmerken (zonder externe API-aanroepen).
5. Analyse van trends: Inzicht in hoe modelgeneraties, capaciteit en open/closed weights de nauwkeurigheid beïnvloeden.

4. Resultaten

Hallucinatierates en Modelprestaties

• De hallucinatierate varieerde sterk: van 11,4% (GPT-5-mini) tot 56,8% (haiku-4.5).
• Er is een vijfvoudig verschil tussen de beste en slechtste modellen.
• De top 3 modellen (GPT-5-mini, GPT-5-nano, deepseek-v3.1) presteerden significant beter dan de rest.
• Open vs. Closed Weights: Er is geen significante correlatie tussen het openbaar maken van gewichten en de nauwkeurigheid van citaties. Zowel open als closed modellen vertoonden hoge variatie.

Effecten van Framing en Domein

• Tijdsframing: Prompts voor "recente" referenties leidden tot een hallucinatierate van 74,1%, vergeleken met 55,0% voor "seminal" referenties. Recentere publicaties zijn minder vertegenwoordigd in de trainingsdata, wat de hallucinaties verhoogt.
• Domein: NLP/AI had de laagste hallucinatierate (26,6%), gevolgd door biomedisch (39,4%), klimaat (41,8%) en civiele techniek (50,1%). Modellen hallucineren minder waar de trainingsdata rijker is.

Bibliometrische Bias

• Gebeurde citaten zijn sterk oververtegenwoordigd in Open Access werken (77-92% vs. 50-55% in de werkelijkheid).
• Modellen geven de voorkeur aan hoog-citerende werken (populairheidsbias).

Detectie en Filters

• Multi-model consensus: Als 3 of meer modellen hetzelfde citaat genereren, stijgt de nauwkeurigheid naar 95,6% (een 5,8-voudige verbetering).
• Herhaling: Als een citaat 2 keer door hetzelfde model wordt gegenereerd, stijgt de nauwkeurigheid naar 88,9%.
• Classifier: De tekstgebaseerde classifier bereikte een AUC van 0,876 (cross-validatie) en 0,834 (leave-one-model-out generalisatie). De sterkste voorspellers waren:
  • Jaartallen (gefabriceerde citaten zijn vaak "te recent").
  • Aantal auteurs (gefabriceerde citaten hebben vaak minder auteurs).
  • Lengte van de auteursstring.
  • Afwezigheid van "et al."

Generatie- en Capaciteitstrends

• OpenAI: Hallucinatierate daalde drastisch van 45,3% (GPT-4o-mini) naar 11,4% (GPT-5-mini).
• Anthropic: Hallucinatierate steeg van 48,8% (haiku-3.5) naar 56,8% (haiku-4.5), wat aantoont dat een nieuwere generatie niet automatisch beter is.
• Capaciteit: Binnen families (Llama 4 en GPT 5) leidde een grotere modelcapaciteit tot lagere hallucinatierates.

5. Betekenis en Conclusie

De studie concludeert dat citatiehallucinaties geen onvermijdelijk inherent kenmerk van LLMs zijn, maar een gevolg van specifieke prompt-interacties. Dit biedt hoop voor mitigatiestrategieën.

• Praktische Toepassing: Onderzoekers kunnen hallucinaties drastisch verminderen door eenvoudige heuristieken toe te passen (zoals het controleren van consensus tussen meerdere modellen of herhaling binnen één model) voordat ze dure externe verificaties uitvoeren.
• Tooling: De gepubliceerde classifier biedt een snelle, goedkope "pre-screening" die 40-60% van de externe API-aanroepen kan besparen.
• Beleid: De bevindingen waarschuwen dat het vertrouwen op "nieuwere" modellen niet gegarandeerd leidt tot betere academische integriteit; de trainingsdata en uitlijning (alignment) van de ontwikkelaar zijn cruciaal.
• Epistemische Rechtvaardigheid: De sterke bias naar Open Access werken kan leiden tot een verdere onzichtbaarheid van abonnementen gebaseerd onderzoek, wat gevolgen heeft voor onderzoekers in landen met minder middelen.

De auteurs benadrukken dat hun resultaten een basislijn vormen voor niet-geaugmenteerde (RAG-vrije) modellen, maar dat de gevonden patronen en filters waardevol zijn voor het verbeteren van de huidige AI-gestuurde academische workflows.