💬 NLP

The 17% Gap: Quantifying Epistemic Decay in AI-Assisted Survey Papers

Deze studie onthult dat door AI ondersteunde reviewpapers een hardnekkig percentage van 17% onoplosbare "fantoomcitaties" vertonen, wat aangeeft dat grote taalmodellen de integriteit van wetenschappelijke citatieketens systematisch verslechteren door metadata te hallucineren ondanks het vaak correct ophalen van titels.

Oorspronkelijke auteurs: H. Kemal İlter

Gepubliceerd 2026-01-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: H. Kemal İlter

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van wetenschappelijk onderzoek voor als een enorme, onderling verbonden bibliotheek. Eeuwenlang moesten geleerden, als ze een punt wilden bewijzen, naar de planken lopen, het exacte boek vinden en naar de specifieke pagina wijzen. Deze "keten van bewaring" zorgde ervoor dat iedereen diezelfde boeken kon opzoeken en de waarheid kon verifiëren.

Stel je nu een vloot ongelooflijk snelle, superintelligente robots (AI) voor die zijn ingehuurd om deze wetenschappelijke artikelen te schrijven. Ze zijn geweldig in het samenvatten van ideeën en het vinden van de namen van beroemde boeken. Maar het blijkt dat ze verschrikkelijk zijn in het vinden van de exacte locatie van die boeken op de planken.

Dit artikel, getiteld "The 17% Gap," is een forensische audit van wat er gebeurt wanneer deze robots surveypapers over Kunstmatige Intelligentie schrijven. Hier is de uitsplitsing in eenvoudige termen:

Het Probleem: De "Luie Onderzoeksassistent"

De auteurs stellen dat AI-tools fungeren als luie onderzoeksassistenten.

Wat ze goed doen: Ze kennen de titel van een beroemd artikel. Ze kennen de naam van de auteur. Ze houden het verhaal van het onderzoek coherent.
Wat ze fout doen: Wanneer ze worden gevraagd om het specifieke "adres" (zoals een DOI-nummer, jaargang of paginanummer) om dat artikel te vinden, beginnen ze te gokken. Ze verzinnen nummers die er echt uitzien, maar nergens toe leiden.

Het is als een gids die de naam van een beroemd museum perfect kent, maar je het verkeerde straatadres geeft. Je rijdt erheen, maar je komt uiteindelijk op een leeg veld terecht.

Het Onderzoek: Een Digitaal Detectiververhaal

De onderzoekers kozen 50 recente AI-surveypapers (gepubliceerd tussen eind 2024 en begin 2026) en controleerden elke enkele citatie in deze papers. Ze bekeken in totaal 5.514 referenties.

Ze gebruikten een "hybride verificatiepipeline", wat gewoon een chique manier is om te zeggen dat ze een checklist met meerdere stappen gebruikten:

Directe Controle: Werkte de link onmiddellijk?
Poging tot Herstel: Als de link gebroken was, konden ze de typefout herstellen en het echte artikel vinden?
De "Fantoom"-controle: Als ze het artikel helemaal niet konden vinden, zelfs niet na het proberen te herstellen van de tekst, labelden ze het als een "Fantoom."

De Resultaten: De 17% Kloof

De audit onthulde een verontrustend aantal: 17% van alle citaties waren "Fantoom"-citaties.

Dit betekent dat in deze papers bijna 1 op de 6 referenties leidt naar een doodlopende weg. Je kunt het bronmateriaal niet vinden.

De onderzoekers deelden deze "Fantoom"-citaties op in drie soorten fouten:

De "Ghost" (5,1%): Pure hallucinaties. De AI heeft een artikel bedacht dat helemaal niet bestaat. Het is een complete leugen.
De "Broken Link" (16,4%): Het artikel bestaat wel, maar de AI heeft het adres fout gedaan (bijv. een nep DOI-nummer). Het is alsof je de juiste boektitel hebt, maar het verkeerde ISBN.
De "Syntax Error" (78,5%): Dit is de grootste groep. Het artikel is echt, en de AI kende de titel, maar de tekst raakte verwrongen tijdens het kopiëren (zoals een PDF die verandert in een onleesbare brij van letters). De AI kon het adres niet correct lezen, waardoor het het artikel niet kon vinden.

Cruciaal is dat de studie vond dat de overgrote meerderheid van de "Fantooms" niet komt doordat de AI liegt; het komt doordat de AI slordig is of omdat de tekstextractie rommelig is.

De Trend: Een Stabiel Verval

De onderzoekers controleerden of dit probleem in de loop van de tijd beter of slechter werd. Ze ontdekten dat dit niet veranderde. Het foutenpercentage is gestabiliseerd op dit niveau van 17%.

Ze noemen dit "Epistemic Decay" (Epistemische Declinatie). Het is als linkrot op massale schaal. De wetenschappelijke grafiek ziet er aan de buitenkant sterk uit, maar onder de oppervlakte worden de verbindingen doorgebroken.

De Waarschuwing: Muller's Ratchet

Het artikel gebruikt een biologisch concept genaamd Muller's Ratchet om uit te leggen waarom dit gevaarlijk is.

De Analogie: Stel je een ratelwiel voor dat slechts één kant op draait. Zodra er een fout wordt gemaakt, kan deze niet meer ongedaan worden gemaakt.
In de Wetenschap: Als een AI een paper schrijft met een valse citatie, en een mens leest die paper en citeert de valse citatie in zijn eigen nieuwe paper, verspreidt de fout zich. Het wordt onderdeel van het "officiële" dossier.
De Wiskunde: Als 17% van de citaties gebroken is, daalt de "integriteit" van de literatuur met de helft in slechts 3,7 generaties van papers. Zonder een manier om dit te herstellen, verandert de bibliotheek van kennis langzaam in een collectie doodlopende wegen.

De Conclusie

Het artikel concludeert dat we een structureel probleem hebben. We hebben het schrijven van wetenschap geautomatiseerd, maar niet het verifiëren ervan.

De auteurs stellen drie oplossingen voor:

Fix de scanners: Verbeter de tools die PDF's lezen, zodat ze de tekst niet verworden tot een onleesbare brij (het oplossen van de 78,5% "Syntax Errors").
Controleer de adressen: Maak het verplicht voor tijdschriften om automatisch te controleren of elke link werkt voordat een paper wordt gepubliceerd.
Train de AI: Leer de AI-modellen om citaties alleen te halen uit geverifieerde databases, in plaats van te gokken.

Kortom: AI is geweldig in het samenvatten van het verhaal van de wetenschap, maar momenteel is het verschrikkelijk in het leveren van de voetnoten. Als we dit niet oplossen, riskeren we een toekomst waarin de wetenschap gebouwd wordt op een fundament van gebroken links.

Technische Samenvatting: De 17% Kloof: Kwantificering van Epistemische Declinatie in AI-ondersteunde Survey-papers

Probleemstelling
Het artikel behandelt een kritiek, niet-gekwantificeerd risico in de wetenschappelijke literatuur van Kunstmatige Intelligentie: de systematische degradatie van citatieketens door de integratie van Large Language Models (LLM's). Hoewel "gehallucineerde papers" (niet-bestaande referenties) een bekend artefact zijn, stellen de auteurs dat er een veel verraderlijker structurele fout is ontstaan. Zij hypothetiseren dat AI-tools fungeren als "luie onderzoeksassistenten" die succesvol semantisch coherente titels ophalen, maar de bureaucratische metadata (DOI's, jaargangen, paginanummers) die nodig zijn om deze te lokaliseren, hallucineren. Dit creëert "linkrot" op grote schaal, waarbij de citatiegrafiek er robuust uitziet maar functioneel verbroken is, wat de keten van bewaring (chain of custody) die vereist is voor reproduceerbare wetenschap bedreigt. De auteurs stellen dat dit geen tijdelijk ruisprobleem is, maar een structureel evenwicht van verval, wat potentieel kan leiden tot een onomkeerbare accumulatie van fouten die vergelijkbaar is met Muller's Ratchet in de evolutionaire biologie.

Methodologie
De studie maakt gebruik van een forensisch auditkader om onderscheid te maken tussen bendelige formatteringsfouten ("Sloppiness") en verifieerbare niet-bestaandheid ("Phantoms").

Corpus: De auteurs analyseerden 50 recente survey-papers in Kunstmatige Intelligentie (gepubliceerd tussen september 2024 en januari 2026) die in totaal 5.514 unieke citaties bevatten.
Verificatiepipeline: Een hybride pipeline werd ingezet, bestaande uit:
1. Identifier Extractie: Regex-patronen om DOI's en arXiv-ID's te extraheren.
2. Directe Resolutie: HTTP-statuscode verificatie voor DOI's en API-checks voor arXiv-ID's.
3. Entropie Filtering: Een "Space Ratio Entropy Filter" ( $\rho \ge 0.10$ ) werd toegepast om citaties die gecorrumpeerd zijn door PDF-extractie-artefacten (bijv. ontbrekende witruimte) uit te sluiten van classificatie als hallucinaties.
4. Fuzzy Matching: Voor citaties zonder geldige identifiers werd titel-gebaseerd zoeken uitgevoerd via Crossref en Semantic Scholar API's met behulp van Levenshtein-gelijkenisratio's.
Classificatielogica: Citaties werden gecategoriseerd in vier staten:
- Valid: Exacte match of succesvolle resolutie ( $s^* \ge 85\%$ ).
- Sloppy: Herstelbaar via fuzzy matching ( $50\% \le s^* < 85\%$ ).
- Phantom: Onherstelbaar ( $s^* < 50\%$ ).
- Unknown: Gefaalde entropie-filter (parsing-artefacten).
Phantom Taxonomie: Phantoms werden verder onderverdeeld in drie diagnostische modi:
- Ghost: Pure hallucinaties ( $s^* < 25\%$ ).
- Broken Link: Geldige titels met gehallucineerde identifiers die leiden tot HTTP 404's ( $25\% \le s^* < 50\%$ ).
- Syntax Error: Echte papers waarbij PDF-extractie de tekst heeft gecorrumpeerd, waardoor een match wordt verhinderd ( $25\% \le s^* < 50\%$ ).

Belangrijkste Resultaten

Phantom Rate: De studie detecteerde een persistente Phantom Rate van 17,0% (939 van de 5.514 citaties). De 95% betrouwbaarheidsinterval is [16,0%, 18,0%].
Integriteitsbreuk: Slechts 41,0% van de citaties was direct verifieerbaar. Een aanvullende 9,7% werd hersteld als "Sloppy" (geldige papers met gebroken metadata). De "Unknown" categorie besloeg 3 total 32,3%.
Diagnostische Verdeling: In tegen tegenstelling tot de aanname dat de meeste fouten pure fabricages zijn, onthult de uitsplitsing dat:
- 78,5% "Syntax Errors" zijn (parsing-artefacten die echte papers corrumperen).
- 16,4% "Broken Links" zijn (gehallucineerde identifiers gekoppeld aan geldige titels).
- 5,1% "Ghosts" zijn (pure hallucinaties zonder waarneembare match).
Temporele Stabiliteit: Longitudinale analyse laat een vlakke trend zien ( $\hat{\beta}_1 = +0,07$ pp/maand, $p=0,72$ ), wat suggereert dat de 17% rate een evenwichtstoestand is in plaats van een transiënte fase.
Decay Modellering: Gebruikmakend van een discrete-tijd Markov-model, berekenen de auteurs dat bij een 17% phantom rate de halfwaardetijd van de citatie-integriteit ongeveer 3,7 generaties is, wat leidt tot een exponentiële afname van verifieerbare kennis bij gebrek aan herstelmechanismen.

Betekenis en Claims
Het paper claimt de eerste kwantificering van "epistemische declinatie" in AI-ondersteunde literatuur te bieden, waarbij zij verder gaan dan anekdotisch bewijs van hallucinaties naar een structurele analyse van de citatiegrafiek.

Structurele Fragiliteit: De bevindingen suggereren dat het wetenschappelijke verslag steeds meer losgekoppeld raakt van de bewijsvoering. De AI-tools geven prioriteit aan semantische plausibiliteit boven metadata-accuratesse, wat een "bullshit"-dynamiek creëert waarbij citaties er correct uitzien maar nergens toe leiden.
Ondergrens Realiteit: De auteurs merken op dat hun 17% cijfer waarschijnlijk een ondergrens is. Als "Unknown" citaties (32,3%) worden behandeld met een conservatieve validiteitsprior, kan de aangepaste phantom rate oplopen tot 26,7%.
Endemisch Kenmerk: De stabiliteit van de foutenrate over 16 maanden duidt erop dat hoog-entropische citatiepraktijken zijn gestabiliseerd als een endemisch kenmerk van het veld, gedreven door de snelheid waarmee AI-ondersteund schrijven de menselijke verificatie inhaalt.
Oproep tot Interventie: Het paper pleit voor een verschuiving in verificatiestandaarden, waarbij "Algorithmic Proof of Existence" (automatische DOI-checks) tijdens de indieningsfase van het manuscript wordt voorgesteld om de propagatie van gebroken links te voorkomen. Het concludeert dat totdat de kosten van het verifiëren van citaties worden geadresseerd, het wetenschappelijke verslag kwetsbaar blijft voor een "langzame, stille en plausibele aftakeling".