What does Retraction Watch's "computer-generated content" reason capture? A metadata analysis of 9,161 retractions
Deze metadata-analyse van 9.161 intrekkingen onthult dat de reden "computergegenereerde inhoud" in Retraction Watch sterk geconcentreerd is bij één enkele uitgever en sterk geassocieerd is met paper mills, maar deze patronen weerspiegelende co-coderingpraktijken in plaats van definitief bewijs te leveren voor de werkelijke aanwezigheid van generatieve AI in de ingetrokken artikelen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de uitgestrekte bibliotheek van de menselijke kennis hoort elke gepubliceerde studie een bouwsteen van de waarheid te zijn. Maar soms worden er blokken weggetrokken. Wanneer een tijdschrift besluit dat een artikel gebrekkig, frauduleus of simpelweg onjuist is, plaatst het een rectificatie (retraction), waardoor het artikel effectief uit de schappen van de wetenschap wordt gehaald. Decennialang hebben onderzoekers deze rectificatieses gevolgd om te begrijpen hoe het systeem faalt. Onlangs is er een nieuwe reden verschenen op de rectificatieberichten: "computer-gegenereerde inhoud" (computer-generated content). Dit label wordt toegepast wanneer een onderzoek uitwijst dat een artikel, geheel of gedeeltelijk, door een machine is geschreven in plaats van door een mens. Naarmate kunstmatige intelligentie-instrumenten krachtiger en toegankelijker zijn geworden, is deze reden snel gegroeid, wat velen doet geloven dat dit een nieuwe golf van wangedrag signaleert die wordt gedreven door generatieve AI. De vraag is of dit label werkelijk wijst op een toename van door AI geschreven papers, of dat het iets heel anders vastlegt.
Een onderzoeker genaamd Jonas Mandalunes zette zich scharpe om precies te onderzoeken wat dit label vastlegt. Met behulp van een enorme database van meer dan 66.000 rectificatiegegevens richtte de studie zich op de 9.161 papers die de reden "computer-ondersteunde of computer-gegenereerde inhoud" droegen. Het doel was om te zien of deze papers anders gedroegen dan andere ingetrokken artikelen in termen van hoe lang ze in druk bleven voordat ze werden ingetrokken, welke andere problemen ze hadden, en hoe vaak ze werden geciteerd na hun rectificatie. De bevindingen onthullen dat het verhaal achter dit label veel complexer en specifieker is dan een eenvoudige toename van AI-misbruik.
Het eerste wat de gegevens lieten zien, was een enorme piek in aantallen, maar het was geen gestage klim door de hele wereld van de wetenschap. Vóór 2020 was deze reden bijna niet aanwezig en kwam deze op slechts 28 papers voor. Tegen 2023 maakte dit echter bijna 42 procent uit van alle geregistreerde rectificaties dat jaar. Deze plotselinge explosie leek op een vloedgolf van door AI gegenereerde fraude. Toch, toen de onderzoeker nauwkeuriger keek, kwam de golf niet overal vandaan. Het was bijna volledig geconcentreerd op één specifieke plek: een enkele uitgever bekend als Hindawi. Sterker nog, 70 procent van alle papers met dit label kwam van deze ene uitgever. Deze uitgever had onlangs een massaal intern onderzoek ondernomen naar zijn speciale uitgaveprogramma's, waarbij wijdverbreide manipulatie van het peer-reviewproces aan het licht kwam. De studie suggereert dat het label grotendeels de nasleep vastlegt van deze specifieke, grootschalige schoonmaak, in plaats van een algemene epidemie van AI-schrijven in alle wetenschappelijke velden.
Een andere veelvoorkomende aanname was dat deze computer-gegenereerde papers veel sneller werden betrapt dan ander frauduleus werk. Omdat machines tekst snel kunnen produceren, leek het logisch dat hun fouten ook snel zouden worden opgemerkt. De ruwe cijfers leken dit te ondersteunen, waarbij werd getoond dat de "computer-gegenereerde" papers een veel korter tijdsbestek hadden voordat ze werden ingetrokken, vergeleken met de rommelige, variërende tijdlijnen van andere ingetrokken papers. Deze krappe timing was echter een illusie, gecreëerd door de concentratie van de gegevens. Wanneer de onderzoeker deze papers alleen vergeleek met andere papers van dezelfde uitgever en uit dezelfde jaren, verdween het verschil in timing. De "computer-gegenereerde" papers werden niet sneller betrapt; ze maakten simpelweg deel uit van een partij papers die allemaal tegelijkertijd werden beoordeeld en ingetrokken tijdens dat specifieke onderzoek van de uitgever. Zodra de dominante uitgever uit de vergelijking werd verwijderd, verdween het idee dat deze papers een unieke, versnelde tijdlijn hebben volledig.
De studie onderzocht ook de connectie tussen dit label en "paper mills", organisaties die valse auteurschap en gefabriceerde manuscripten verkopen. Aanvankelijk toonden de gegevens een sterke link: 71 procent van de "computer-gegenereerde" papers droeg ook een paper-mill-vlag, vergeleken met slechts 9 procent van de andere ingetrokken papers. Dit suggereerde dat het label een betrouwbare marker was voor deze criminele operaties. Maar opnieuw veranderde het beeld toen de gegevens werden gesorteerd per uitgever en jaar. Vóór 2023 was de link niet aanwezig. In 2023 en 2024 werd de link zeer sterk, maar alleen binnen specifieke uitgevers. Bij andere grote uitgevers was de relatie daadwerkelijk omgedraaid, waarbij de "computer-gegenereerde" papers minder waarschijnlijk aan paper mills gekoppeld waren dan andere ingetrokken papers. Deze extreme variatie betekent dat er geen enkele, universele regel is die het label verbindt met paper mills; de associatie hangt volledig af van wie het onderzoek doet en wanneer.
Ten slotte keek de onderzoeker naar de vraag of deze papers minder vaak werden geciteerd nadat ze waren ingetrokken, wat zou aangeven dat de wetenschappelijke gemeenschap aandacht besteedt aan de waarschuwing. Op het eerste gezicht leek het erop dat de "computer-gegenereerde" papers aanzienlijk minder vaak werden geciteerd dan soortgelijke ingetrokken papers. Maar dit verschil was grotendeels te wijten aan het feit dat de controlegroep van papers al zwaarder was geciteerd voordat ze werden ingetrokken. Wanneer de onderzoeker de papers perfect matchte op basis van het aantal citaties dat ze al hadden ontvangen, verdween het verschil in post-rectificatie citaties bijna volledig. De resterende kleine kloof was niet statistisch significant, wat suggereert dat de wetenschappelijke gemeenschap deze papers niet anders behandelt dan ander ingetrokken werk zodra hun eerdere reputatie in overweging is genomen.
Misschien wel de meest veelzeggende bevinding kwam voort uit een zoektocht naar specifieke woorden in de rectificatieberichten. De onderzoeker zocht naar vermeldingen van specifieke AI-tools, zoals "ChatGPT" of "large language models", in de metadata van de papers. Van de duizenden records bevatten er slechts 21 dergelijke specifieke termen. Nog verrassender was dat geen van de papers die het label "computer-gegenereerde inhoud" droegen en ook een specifieke AI-tool vermelden, daadwerkelijk over die tool zelf gingen; het waren studies over AI, niet papers geschreven door AI. De enige paper die zelfs AI-gegenereerde figuren noemde, droeg niet eens het label "computer-gegenereerde inhoud". Dit geeft aan dat het label niet wordt toegepast omdat de rectificatieberichten expliciet zeggen "dit is door een machine geschreven". In plaats daarvan wordt het label toegepast op basis van bredere onderzoeken naar de integriteit van de paper, vaak samen met bevindingen over gecompromitteerd peer-review.
De studie concludeert dat het label "computer-gegenereerde inhoud" in de rectificatiedatabase geen betrouwbare indicator is voor het misbruik van generatieve AI. Het is een verslag van een specifiek, grootschalig onderzoek naar de speciale uitgaveprogramma's van een enkele uitgever, waarbij het label werd toegepast op een breed scala aan problemen, waaronder paper mills en falend peer-review. De gegevens tonen aan dat het label niet wijst op een uniek type paper dat sneller wordt betrapt of anders wordt behandeld door de wetenschappelijke gemeenschap. Totdat onderzoekers de feitelijke rectificatieberichten kunnen lezen en de inhoud van de papers kunnen verifiëren, zal het gebruik van dit label als maatstaf voor AI-gegenereerde fraude leiden tot een vertekend beeld van het probleem. Het echte verhaal is niet een plotselinge invasie van door AI geschreven wetenschap, maar een geconcentreerde schoonmaak van een specifieke publicatiewerkwijze die toevallig een breed label gebruikte om haar bevindingen te beschrijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.