What Citations Get Wrong: A Full-Corpus Audit of Reference Existence and Claim Support in a Major NLP Conference
Dit artikel auditeert de ACL 2026-proceedings en stelt vast dat hoewel bijna alle geciteerde referenties bestaan, een automatische audit van bewijsvoering in één enkele run niet kon worden gereproduceerd vanwege een niet-gelogde modelconfiguratie, wat aantoont dat rigoureuze citatieverificatie strikte operationele logging vereist om reproduceerbaarheid te waarborgen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de uitgestrekte bibliotheek van de moderne wetenschap is een citatie meer dan slechts een naam in een lijst; het is een belofte. Wanneer een auteur een zin schrijft en verwijst naar een ander artikel, doet hij twee afzonderlijke toezeggingen. Ten eerste belooft hij dat het artikel waarnaar hij verwijst daadwerkelijk bestaat en gevonden kan worden. Ten tweede, en veel moeilijker te verifiëren, belooft hij dat het artikel waarnaar hij verwijst ook daadwerkelijk zegt wat de auteur beweert dat het zegt. Decennialang heeft de wetenschappelijke gemeenschap zich primair zorgen gemaakt over de eerste belofte, vooral met de opkomst van kunstmatige intelligentie. Er is een groeiende angst dat computerprogramma's nepartikelen verzinnen en referentielijsten vullen met titels en auteurs die nooit hebben bestaan, waardoor het wetenschappelijke verslag effectief wordt vervuild met fictie. Deze angst is luidruchtig geweest, maar het bewijs om dit te ondersteunen is mager gebleven. Ondertussen heeft de tweede belofte — de nauwkeurigheid van de bewering zelf — veel minder aandacht gekregen, ook al is het de oudere, meer fundamentele test om te bepalen of een wetenschapper de waarheid spreekt over zijn bronnen.
Een onderzoeker genaamd Tao An besloot beide beloften tegelijkertijd te testen, niet op een kleine steekproef, maar op een heel jaar aan artikelen van een belangrijk computerwetenschappelijk congres. Het team auditeerde elk enkel referentiepunt in de 2026-verslaglegging van de Association for Computational Linguistics, een collectie die bijna 4.500 artikelen en meer dan 200.000 referenties bevat, om te controleren of deze wezen naar echte documenten. Voor een kleinere, gesamplede subset van deze citaties controleerden ze ook of het document de zin die het citeerde daadwerkelijk ondersteunde. Het doel was om te zien of de angst voor door AI gegenereerde nep-referenties geworteld was in de realiteit, en om te meten hoe vaak een auteur de inhoud van zijn bronnen verkeerd weergeeft.
De onderzoeken begon met de eerste belofte: existentie. De onderzoekers bouwden een systeem om te controleren of elke enkele referentie wees naar een echt, vindbaar werk. Ze ontdekten dat de overgrote meerderheid van de referenties, ongeveer 91 procent, succesvol werd herleid naar echte literatuur. Het kleine aantal referenties dat niet overeenkwam, waren helemaal geen nepartikelen; het waren zaken zoals blogposts, softwaredocumentatie of parseerfouten waarbij de computer de tekst verkeerd had gelezen. Toen het team het kleine deel van de referenties dat verdacht leek handmatig beoordeelde, vonden ze slechts twee gevallen op bijna 210.000 waarbij werd bevestigd dat een artikel volledig niet bestond. Dit resultaat suggereert dat de angst op dit belangrijke platform dat AI de literatuur vult met verzonnen papers grotendeels ongegrond is. De referenties zijn bijna altijd echt.
Echter, het verhaal veranderde volledig toen de onderzoekers overgingen naar de tweede belofte: of het geciteerde artikel de bewering daadwerkelijk ondersteunde. Dit is een veel moeilijkere taak, die vereist dat het systeem het geciteerde artikel leest en het vergelijkt met de zin die er naar verwees. Het team gebruikte een proces in twee fasen waarbij computermodellen werden ingezet om citaties te markeren die de bron lijken te misrepresenteren. In hun eerste poging markeerde het systeem een zeer klein aantal fouten, wat suggereerde dat auteurs grotendeels accuraat waren. Maar toen de onderzoekers exact hetzelfde proces opnieuw uitvoerden, met dezelfde computercode en dezelfde artikelen, waren de resultaten volkomen anders. De tweede en derde runs vonden een aantal fouten dat ongeveer zes keer hoger lag dan bij de eerste run.
Deze inconsistentie werd de belangrijkste bevinding van de studie. De onderzoekers herleidden de oorzaak tot een verborgen variabele: het specifieke computermodel dat werd gebruikt om de initiële beoordeling te maken, was niet geregistreerd. In de eerste run was het systeem stilzwijgend teruggevallen op een zwakker model dat veel fouten miste. In de daaropvolgende runs werd een ander, sterker model gebruikt, dat veel meer problemen aan het licht bracht. Omdat de eerste run een model gebruikte dat nooit gelogd was, konden de onderzoekers niet met zekerheid zeggen wat die eerste resultaten eigenlijk maten. De les was treffend: een enkele automatische audit, hoe zorgvuldig deze ook handmatig wordt gecontroleerd, kan niet worden vertrouwd als het proces niet met exact dezelfde instrumenten kan worden herhaald. De meting zelf was instabiel.
Toen de onderzoekers naar de gegevens keken die wel repliceerden, ontdekten ze dat de fouten echt waren, maar niet het soort machinegegenereerde onzin waar mensen bang voor waren. De bevestigde fouten waren subtiele menselijke fouten. Een auteur had een echt artikel genomen en beweerd dat het het tegenovergestelde beweerde van wat het eigenlijk beargumenteerde, of zij hadden een brede bevinding geciteerd terwijl het artikel slechts een nauwe bevinding ondersteunde. Dit waren geen hallucinaties gecreëerd door een kunstmatige intelligentie; het waren de soorten fouten die een vermoeide onderzoeker zou kunnen maken wanneer hij haast heeft om een manuscript af te ronden. De fouten waren onzichtbaar voor elk hulpmiddel dat alleen controleert of een referentie bestaat, omdat de papers echt waren, maar de verbinding tussen de bewering en de bron gebroken was.
De studie onthulde ook dat het peer-reviewproces, waarbij andere wetenschappers artikelen controleren voordat ze worden gepubliceerd, deze ondersteuningsfouten niet leek te hebben opgemerkt. Wanneer het team de gepubliceerde conferentiepapers vergeleken met een set ongecontroleerde conceptversies, was het percentage citatiefouten statistisch gezien gelijk. Dit suggereert dat het huidige systeem van peer review niet is ontworpen om elke citatie tegen de bron te controleren, een taak die voor vrijwillige reviewers veel te veel tijd zou kosten. In plaats daarvan ligt de verantwoordelijkheid voor het waarborgen dat een citatie daadwerkelijk een bewering ondersteunt, waarschijnlijk bij de auteur zelf voordat hij zijn werk indient.
Uiteindelijk bood de audit een duidelijk beeld van waar de problemen liggen. De angst dat het wetenschappelijke verslag wordt overspoeld met nepartikelen die niet bestaan, wordt niet ondersteund door de gegevens; de referenties zijn bijna altijd echt. Het echte probleem is de nauwkeurigheid van de beweringen die aan die referenties worden gekoppeld. Deze fouten zijn subtiel, menselijk en moeilijk automatisch te detecteren omdat de instrumenten die worden gebruikt om ze te vinden nog niet stabiel genoeg zijn om een enkel, betrouwbaar getal te geven. De studie concludeert dat voordat we machines kunnen vertrouwen om de integriteit van de wetenschap te bewaken, we eerst moeten garanderen dat de machines zelf consistent zijn en dat hun eigen fouten volledig begrepen zijn. De gebreken die resteren zijn geen teken van een systeem dat bezwijkt onder het gewicht van kunstmatige intelligentie, maar eerder een herinnering aan de blijvende complexiteit van het menselijk wetenschappelijk werk.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.