Computer-generated content and the AI/ML retraction record, 2018– 2026: a characterization study
Deze karakterisering van 13.502 AI/ML-gerelateerde intrekkingsrecords van 2018 tot 2026 onthult dat door de computer gegenereerde inhoud de grootste afzonderlijke geïnferred gerechtigde oorzaak van intrekkingen is, goed voor 34,8% van de gevallen en voornamelijk invloed heeft op artikelen die tussen 2021 en 2023 zijn gepubliceerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van wetenschappelijke publicaties voor als een enorme, drukke bibliotheek. Jarenlang hebben bibliothecarissen (redacteuren en peer reviewers) boeken gecontroleerd voordat ze in de schappen terechtkomen om te controleren of de verhalen waar zijn en of de auteurs het werk zelf hebben gedaan.
Dit artikel is als een rapportcijfer voor de stapel "Teruggestuurd naar de afzender" van die bibliotheek tussen 2018 en 2026. Specifiek kijkt het naar de sectie gewijd aan Kunstmatige Intelligentie (AI) en Machine Learning.
Hier is het verhaal van wat de auteur, Anton Sokolov, heeft gevonden, eenvoudig uitgelegd:
1. Het nieuwe probleem: "Ghost Writers"
Vóór 2022 werd een boek in deze sectie meestal geretourneerd omdat de auteur het verhaal van iemand anders had gekopieerd (plagiaat), loog over de gegevens, of een "paper mill" (een fabriek die nepartikelen schrijft) had betaald om het werk te doen.
Maar vanaf 2022 gebeurde er iets nieuws. Large Language Models (zoals de AI waarmee je misschien chat) werden erg goed in het schrijven van vloeiende, wetenschappelijk klinkende tekst. Plotseling kreeg de bibliotheek een vloedgolf aan boeken geschreven door deze "ghost writers".
De studie keek naar 13.502 artikelen in de AI-sectie die van de planken zijn gehaald (geurtraxt/retracted). Ze vroegen zich af: Waarom werden deze boeken geretourneerd?
2. De grote ontdekking
De meest verrassende bevinding is dat de nummer 1 reden voor het terugtrekken van deze AI-papers door computers gegenereerde inhoud was.
- De cijfers: Van elke 100 ingetrokken AI-papers werden er ongeveer 35 specifiek teruggetrokken omdat de tekst werd gegenereerd door een AI (zoals een chatbot).
- De vergelijking: Dit is hoger dan "Compromised Peer Review" (22%), "Plagiaat" (18%) of "Redactionele fouten" (13%).
Denk hierbij aan een bakkerij. Jarenlang was de belangrijkste reden om brood weg te gooien dat het verbrand of oud was. Maar plotseling begon de bakkerij te ontdekken dat het deeg zelf werd gemaakt door een robot die niet wist hoe je moet bakken. Dat werd de meest voorkomende reden om brood weg te gooien.
3. De "Precisie"-filter (Het vangnet)
De auteur was voorzichtig om niet alles losjes te tellen. Hij creëerde een "vangnet" met verschillende niveaus van zekerheid:
- Hoge precisie: Papers waarvan de titel duidelijk "AI" of "Machine Learning" vermeldde. (3.243 papers).
- Breed net: Papers die algemeen over "Computer Science" gingen. (13.502 papers).
Zelfs wanneer hij alleen naar de "Hoge precisie"-groep keek (de artikelen die definitief over AI gingen), werd 41,8% ingetrokken vanwege AI-gegenereerde tekst. Dus het probleem is niet slechts een toevalstreffer door vage etikettering; het is een echt, dominant probleem in dit specifieke veld.
4. De tijdlijn: Een plotselinge golf
Het artikel volgt de jaren als een weerbericht:
- 2018–2021: Er werden zeer weinig AI-gegenereerde papers betrapt.
- 2022: De golf begon.
- 2023: De golf bereikte een piek. Dit was een "tsunami"-jaar, grotendeels omdat een grote uitgever (Hindawi/Wiley) een massale schoonmaak uitvoerde en duizenden papers tegelijk terugtrok.
- 2024–2025: De cijfers daalden vanaf de piek, maar bleven 10 keer hoger dan ze vóór 2022 waren.
De meeste van deze slechte papers werden geschreven en gepubliceerd tussen 2021 en 2023. Ze werden snel betrapt, meestal binnen een jaar na publicatie.
5. Wie was erbij betrokken?
De studie vermeldt de uitgevers en tijdschriften met de meeste ingetrokken papers.
- Hindawi (een uitgever) had de meeste, wat meer dan een derde van alle ingetrokken papers in deze lijst besloeg.
- De auteur waarschuwt echter: Dit is niet noodzakelijkerwijs een "lijst van schande". Soms heeft een uitgever veel intrekkingen omdat ze actief hun planken opruimen en slechte papers betrappen, in plaats van dat zij de "slechtste" uitgevers zijn. Het is als een winkel met een "Retour"-balie: een hoog aantal retourzendingen kan betekenen dat de winkel erg streng is op kwaliteit, in plaats van dat ze alleen maar slechte producten verkopen.
6. Wat deze studie NIET is
De auteur is zeer duidelijk over wat dit rapport niet vertelt:
- Het vertelt ons niet hoeveel AI-geschreven papers er nog steeds in de schappen liggen en nog niet zijn betrapt.
- Het bewijst niet dat AI-onderzoekers "slechte" mensen zijn.
- Het zegt niet dat AI-onderzoek vaker faalt dan andere velden (zoals biologie of natuurkunde). We hebben de data om ze nog niet te kunnen vergelijken.
De kern van de zaak
Dit paper is een "karakteriseringsstudie". Het is als het maken van een foto van de "Retour naar de afzender"-bak voor AI-papers.
De belangrijkste boodschap is simpel: Het tijdperk van AI-gegenereerde tekst is gearriveerd in de wetenschap, en het eerste grote teken hiervan is een enorme piek in intrekkingen waarbij de tekst zelf door een machine is geschreven.
De studie concludeert dat om de wetenschap dit te laten oplossen, we duidelijke, machine-leesbare labels nodig hebben op deze intrekkingen die zeggen: "Dit is door AI geschreven." Zonder die duidelijke labels kunnen we het probleem niet meten of er goed genoeg een oplossing voor vinden. De "substraten" (het fundament) voor toekomstige oplossingen is simpelweg het hebben van eerlijke, duidelijke verslagen van wat er mis is gegaan.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.