LLM hallucinations in the wild: Large-scale evidence from non-existent citations

Technische Samenvatting: LLM-hallucinaties in de praktijk

Probleemstelling
Grote Taalmodellen (LLM's) staan bekend om het genereren van plausibele maar onjuiste informatie ("hallucinaties"), maar de werkelijke omvang en gevolgen van dit fenomeen blijven slecht begrepen. Hoewel hallucinaties zijn gedocumenteerd in gesimuleerde omgevingen en anekdotische rapporten (bijvoorbeeld overheidsrapporten, gerechtelijke stukken), ontbreekt het aan systematisch, grootschalig bewijs over hun prevalentie in de toegepaste productie van wetenschappelijke kennis. Het bestuderen van hallucinaties op grote schaal is moeilijk omdat deze doorgaans zijn ingebed in ongestructureerde tekst, wat kostbare menselijke evaluatie vereist of geautomatiseerde pijplijnen die model-specifieke vertekeningen kunnen herintroduceren. Wetenschappelijke citaten bieden een unieke kans voor audit omdat ze een traceerbare, binaire grondwaarheid bieden: een geciteerde referentie bestaat wel of niet.

Methodologie
De auteurs voerden een audit op bevolkingsniveau uit van 111 miljoen referenties verspreid over 2,5 miljoen papers uit vier grote corpora: arXiv (wiskunde, natuurkunde, computationele wetenschappen), bioRxiv (biologische wetenschappen), SSRN (sociale wetenschappen, recht, geesteswetenschappen) en PubMed Central (peer-reviewed biomedische literatuur).

1. Verificatiepijplijn:

   • Extractie en Parsing: Referenties werden geëxtraheerd uit ruwe manuscriptbestanden (LaTeX, PDF via GROBID, XML of metadata).
   • Initiële Matching: Geparsed titels werden opgevraagd tegen een lokale Elasticsearch-index, opgebouwd uit Semantic Scholar en OpenAlex. String-相似iteitscriteria bepaalden geldige matches.
   • Schoonmaken: Niet-gematchte items werden via een LLM-gebaseerde schoonmaakstap (GPT-4o-mini) geleid om niet-academische bronnen uit te sluiten en de titel-extractie te verfijnen, waardoor het percentage niet-gematchte items daalde van ongeveer 4,9% naar 1,54%.
   • Eindvalidatie: Er werd een zoekopdracht uitgevoerd via de Google Scholar API van een derde partij op de resterende niet-gematchte items. Een referentie werd als geldig beschouwd als Google Scholar een overeenkomend record terugbracht of consistent bewijs leverde dat het werk elders werd geciteerd.
   • Definitie van Hallucinatie: De studie definieert "gehallucineerde citaten" niet als elke niet-gematchte referentie, maar als het overschot aan niet-gematchte citaten dat wordt waargenomen na de invoering van LLM's, vergeleken met een pre-LLM-basislijn (eind 2022). Deze aanpak controleert voor gewone bibliografische fouten en opmaakartefacten.

2. Analytisch Kader:

   • Temporele Dynamiek: Regressiemodellen werden gebruikt om het tempo van niet-gematchte citaten in de tijd te schatten, waarmee het inflectiepunt van het ontstaan van hallucinaties werd geïdentificeerd.
   • Distributieanalyse: De studie onderzocht de verdeling van gehallucineerde citaten over papers om te testen of vervuiling geconcentreerd is in enkele "rotte appels" (manuscripten) of diffuus is ingebed.
   • Auteur- en Creditanalyse: De auteurs correleerden hallucinatiepercentages met auteursproductiviteit (aantal eerdere publicaties), teamgrootte en de kenmerken van geciteerde auteurs (productiviteit, citatie-impact, geslacht en teamhiërarchie).
   • Veiligheidscontrole-evaluatie: De effectiviteit van bestaande kwaliteitscontroles werd beoordeeld door afwijzingspercentages bij arXiv-moderatie te analyseren en de persistentie van hallucinaties van preprints (bioRxiv) naar gepubliceerde versies (PMC) te onderzoeken.

Belangrijkste Resultaten

• Stijging van Hallucinaties: Een scherpe toename van niet-bestaande referenties begon medio 2024, ongeveer 18 maanden na de eerste release van ChatGPT. In augustus 2025 bereikten de hallucinatiepercentages 0,39% (arXiv), 0,21% (bioRxiv), 1,91% (SSRN) en 0,27% (PMC).
• Omvang: Door deze trends te extrapoleren, schatten de auteurs conservatief dat er in 2025 alleen al 146.932 gehallucineerde citaten zijn geïntroduceerd in deze vier corpora.
• Diffuse Vervuiling: Hallucinaties zijn niet geconcentreerd in enkele zwaar vervuilde papers. In plaats daarvan zijn ze diffuus ingebed; de toename wordt gedreven door een groeiend percentage papers dat een klein deel (0–10%) van niet-gematchte referenties bevat, in plaats van enkele papers met hoge foutpercentages.
• Correlaten van Productie:
  • Auteurervaring: Auteurs die gehallucineerde bronnen citeerden ("hallucinatie-citators") hadden significant minder eerdere publicaties voor 2023 vergeleken met controlegroepen. Echter, tegen 2025 steeg hun productiviteit sterk (een relatieve toename van 1,33x tot 3,13x), wat suggereert dat LLM's de instapdrempel hebben verlaagd voor minder ervaren onderzoekers, wat leidt tot een hoge output met ingebedde fouten.
  • Teamgrootte: Hallucinatiepercentages vertonen een inverse correlatie met teamgrootte; solo-auteur- en kleine-team-papers vertonen hogere percentages.
  • LLM-gebruik: Er is een sterke positieve correlatie (r = 0,441) tussen geschat LLM-gebruik bij het schrijven en hallucinatiepercentages, zowel op subveld- als paperniveau.
• Vertekening in Credittoewijzing:
  • Gehallucineerde citaten geven disproportioneel credit aan auteurs met hoge eerdere productiviteit en hoge citatie-impact.
  • Er is een aanzienlijke geslachtsdispariteit: gehallucineerde citaten hebben 7,6% meer kans om auteurs met mannelijke namen credit te geven.
  • Deze vertekeningen strekken zich uit tot geldige citaties binnen dezelfde papers, wat suggereert dat er een bredere herverdeling van wetenschappelijke credit plaatsvindt naar prominente geleerden.
• Falen van Veiligheidscontroles:
  • Preprint-moderatie: Hoewel arXiv-moderatoren manuscripten met hogere hallucinatiepercentages afwijzen, passeert naar schatting 78,8% van de niet-bestaande citaties nog steeds de moderatie.
  • Peer Review: 85,3% van de gehallucineerde citaties die aanwezig waren in bioRxiv-preprints, bleef behouden in hun gepubliceerde versies in PubMed Central.
  • Databasevervuiling: Gehallucineerde referenties verschijnen steeds vaker als losse items in Google Scholar, waardoor een feedbacklus ontstaat waarbij niet-bestaande werken onderdeel worden van de "grondwaarheid" voor toekomstige opvragingen.

Betekenis en Claims
Het artikel claimt de eerste grootschalige, interdisciplinaire audit van LLM-hallucinaties in real-world kenniswerk te bieden. De primaire betekenis ligt in het verschuiven van de discours van individuele nalatigheid naar een systemisch probleem. De bevindingen tonen aan dat:

1. Schaal en Persistentie: LLM-hallucinaties kennisproductie op enorme schaal infiltreren en blijven bestaan door preprint- en publicatiefases heen, en zo huidige veiligheidscontroles voorbijstreven.
2. Gelijkheidsimplicaties: De fouten zijn niet willekeurig; ze versterken bestaande ongelijkheden door credit te kanaliseren naar gevestigde, mannelijke geleerden, terwijl ze disproportioneel worden geproduceerd door onderzoekers in een vroeg stadium van hun carrière of met minder ervaring.
3. Generaliseerbaarheid: Wetenschap vertegenwoordigt een "best-case" domein voor detectie vanwege gestructureerde citaties en rijke indexering. De auteurs betogen dat als hallucinaties wetenschappelijke literatuur doordringen ondanks deze robuuste verificatiemechanismen, het probleem waarschijnlijk veel ernstiger is en moeilijker te detecteren in minder gestructureerde domeinen zoals gerechtelijke stukken, beleidsrapporten en journalistiek.
4. Feedbacklussen: De accumulatie van gehallucineerde citaties in bibliometrische databases dreigt de mechanismen te eroderen die worden gebruikt om ze te detecteren, waardoor een pad-afhankelijke degradatie van wetenschappelijke betrouwbaarheid ontstaat.

De auteurs concluderen dat hoewel geautomatiseerde verificatietools hoop bieden voor gestructureerde fouten zoals citaties, de bredere uitdaging van het detecteren van gehallucineerde claims in ongestructureerde proza een kritiek, onopgelost probleem blijft voor de integriteit van toekomstige wetenschappelijke ontdekkingen en institutionele besluitvorming.