Diagnosing event dependence in computer-generated-content retraction metadata, 2010–2025

In de wereld van de academische publicaties is een intrekking een publieke erkenning dat een gepubliceerd artikel niet langer als betrouwbaar kan worden beschouwd. Het is een correctie, een signaal dat er iets mis is gegaan, hetzij door een eerlijke fout, incompleet werk, of bewuste fraude. Decennialang hebben onderzoekers en bibliothecarissen het aantal intrekkingen gebruikt als een grove graadmeter voor wetenschappelijke integriteit, uitgaande van de veronderstelling dat een stijgend aantal betekent dat er meer slechte wetenschap wordt gepubliceerd. Deze aanname negeert echter een cruciaal detail: een intrekking is niet alleen een verslag van een fout; het is ook een verslag van een ontdekking. Een hoog aantal intrekkingen kan betekenen dat een tijdschrift beter is geworden in het vinden en oplossen van problemen, en niet alleen dat het er meer van publiceert. Dit onderscheid wordt bijzonder lastig bij het omgaan met door de computer gegenereerde inhoud, waarbij algoritmen nepartikelen creëren die echt lijken maar onzin bevatten. Wanneer deze artikelen worden ontdekt, worden ze vaak in grote batches verwijderd door uitgevers, wat plotselinge pieken in de data veroorzaakt die kunnen lijken op een vloedgolf van nieuwe fraude, maar in werkelijkheid een enkele schoonmaakoperatie kunnen zijn.

Een recente studie door Anton Sokolov aan het Tyche Institute onderzoekt precies dit fenomeen, met de focus op de jaren 2010 tot en met 2025. De onderzoeker bestudeerde een bevroren momentopname van de Retraction Watch-database, een gecureerde collectie van intrekkingsberichten van over de hele wereld. Van een totaal van bijna 61.000 intrekkingen isoleerde de studie 9.102 records die specifiek waren getagd als "computer-ondersteunde" of "door de computer gegenereerde" inhoud. Deze tags dekken een breed scala aan problemen, van vroege systemen die willekeurige onzin genereerden tot moderne kunstmatige intelligentie-instrumenten die volledige artikelen schrijven. Het doel was niet om te tellen hoeveel nepartikelen er in de wereld bestaan, maar om te begrijpen wat de intrekkingscijfers daadwerkelijk vertegenwoordigen. Door nauwkeurig te kijken naar wie de intrekkingen uitvaardigde, wanneer ze plaatsvonden en hoe ze gegroepeerd waren, onthult de studie dat de dramatische stijging in deze cijfers bijna volledig wordt gedreven door specifieke, grootschalige schoonmaakprogramma's die door enkele grote uitgevers worden uitgevoerd, in plaats van door een gestage, wijdverbreide toename van door AI gegenereerde fraude in de gehele wetenschap.

De data laten een duidelijke verschuiving in het landschap zien over het afgelopen decennium. Tussen 2010 en 2019 vormde door de computer gegenereerde inhoud een minuscuul deel van de intrekkingen, waarbij het in elk jaar minder dan één procent van de gevallen besloeg. De situatie veranderde snel vanaf 2020. Tegen 2023 was het aandeel van de intrekkingen getagd voor door de computer gegenereerde inhoud gestegen naar bijna 42 procent. In de daaropvolgende jaren, 2024 en 2025, bleef het aandeel hoog, namelijk ongeveer 23 en 24 procent respectievelijk. Op het eerste gezicht suggereren deze cijfers een enorme, wereldwijde explosie van door AI gegenereerde artikelen die de wetenschappelijke literatuur overspoelen. Echter, toen de onderzoeker dieper keek naar wie verantwoordelijk was voor het verwijderen van deze artikelen, kwam er een ander verhaal naar voren. De hoge aantallen waren niet het resultaat van veel verschillende uitgevers die onafhankelijk problemen ontdekten. In plaats daarvan waren ze het resultaat van enkele specifieke uitgevers die massale, gecoördineerde inspanningen lanceerden om duizenden artikelen tegelijk te verwijderen.

In 2023 leverde bijvoorbeeld één enkele uitgeverslijn 98 procent van alle intrekkingen van door de computer gegenereerde inhoud. In 2024 en 2025 bleef dat cijfer boven de 80 procent, gedreven door twee verschillende uitgeversgroepen in verschillende jaren. Wanneer de onderzoeker de records van deze vooraanstaande uitgevers uit de berekening verwijderde, daalde het jaarlijkse aandeel van de door de computer gegenereerde inhoud drastisch. In 2023 daalde het aantal van 41 procent naar slechts 0,32 procent. In 2024 en 2025 waren de resterende aandelen eveneens klein, schommelend rond de 0,6 procent en 1,4 procent. Dit patroon geeft aan dat de krantenkoppen niet een maatstaf zijn voor hoeveel slechte wetenschap er elk jaar wordt geschreven, maar eerder een maatstaf voor hoeveel artikelen een specifieke uitgever in een specifiek jaar heeft besloten terug te trekken. De studie vond dat deze gebeurtenissen vaak geconcentreerd waren in een enkel tijdschrift of zelfs in een enkele dag van metadata-invoer, wat verder bevestigt dat het georganiseerde schoonmaakcampagnes waren in plaats van een verspreid, systeembreed probleem.

Het onderzoek vergeleek deze door de computer gegenereerde inhoud gerelateerde intrekkingen ook met andere veelvoorkomende redenen voor het terugtrekken van artikelen, zoals plagiaat, gedupliceerde artikelen of aangetaste peer review. Zelfs binnen deze andere categorieën, die bekend staan om hun concentratie in bepaalde gebieden, waren de door de computer gegenereerde inhoud-tags veel meer geclusterd. Terwijl andere soorten intrekkingen verspreid waren over veel verschillende uitgevers en tijdschriften, werden de door de computer gegenereerde inhoud-tags overweldigend gedomineerd door één of twee uitgevers in een gegeven jaar. Deze extreme concentratie suggereert dat de data de administratieve acties van enkele grote organisaties weerspiegelen in plaats van de onderliggende prevalentie van door AI gegenereerde tekst in de gehele wetenschappelijke gemeenschap. De studie merkt op dat de specifieke redenen opgegeven voor de intrekkingen ook veranderden afhankelijk van welke uitgever de schoonmaak uitvoerde, waarbij sommige jaren hoge percentages van "paper mill"-tags lieten zien en andere jaren andere labels gebruikten, wat de link met specifieke uitgeversstrategieën verder versterkte in plaats van een uniforme wereldwijde trend.

Uiteindelijk concludeert de studie dat deze intrekkingscijfers met voorzichtigheid moeten worden geïnterpreteerd. Ze zijn uitstekende verslagen van handhaving en schoonmaak, die laten zien waar uitgevers erin zijn geslaagd problematisch werk te identificeren en te verwijderen. Ze zijn echter geen directe meting van hoe vaak auteurs kunstmatige intelligentie gebruiken om artikelen te schrijven, noch bewijzen ze dat de snelheid van dergelijk wangedrag overal stijgt. Een hoog aantal intrekkingen in een enkel jaar kan simpelweg betekenen dat een uitgever eindelijk een achterstand in onderzoeken heeft ingehaald of heeft besloten om duizenden artikelen in één keer te verwijderen. Om de ware staat van de wetenschappelijke integriteit te begrijpen, moet men verder kijken dan de ruwe totalen en overwegen wie de tellingen uitvoert, hoe zij de gegevens groeperen en of de pieken een nieuwe golf van fraude vertegenwoordigen of een succesvolle golf van correctie. De bevindingen herinneren ons eraan dat in de wereld van wetenschappelijke metrieken een groot getal niet altijd een groot probleem betekent; soms betekent het gewoon een grote schoonmaak.