Diagnosing event dependence in computer-generated-content retraction metadata, 2010–2025

In der Welt des akademischen Publizierens ist eine Rücknahme (Retraction) ein öffentliches Eingeständnis, dass ein veröffentlichtes Papier nicht als vertrauenswürdig eingestuft werden kann. Es ist eine Korrektur, ein Signal dafür, dass etwas schiefgelaufen ist – sei es durch ehrliche Fehler, unvollständige Arbeit oder vorsätzlichen Betrug. Seit Jahrzehnten nutzen Forscher und Bibliothekare die Anzahl der Rücknahmen als groben Maßstab für die wissenschaftliche Integrität, unter der Annahme, dass ein steigender Zähler bedeutet, dass mehr schlechte Wissenschaft veröffentlicht wird. Diese Annahme übersieht jedoch ein entscheidendes Detail: Eine Rücknahme ist nicht nur ein Protokoll eines Fehlers; sie ist auch ein Protokoll einer Entdeckung. Eine hohe Anzahl an Rücknahmen kann bedeuten, dass eine Zeitschrift besser darin geworden ist, Probleme zu finden und zu beheben, und nicht bloß, dass sie mehr davon veröffentlicht. Diese Unterscheidung wird besonders knifflig im Umgang mit computergenerierten Inhalten, bei denen Algorithmen gefälschte Arbeiten erstellen, die echt aussehen, aber unsinnigen Inhalt enthalten. Wenn diese Arbeiten entdeckt werden, werden sie oft von Verlagen in großen Chargen entfernt, was plötzliche Spitzen in den Daten erzeugt, die wie eine Flut neuer Betrugsfälle aussehen können, aber tatsächlich eine einzige Bereinigungsaktion sein könnten.

Eine aktuelle Studie von Anton Sokolov am Tyche Institute untersucht genau dieses Phänomen und konzentriert sich auf die Jahre 2010 bis 2025. Der Forscher untersuchte eine eingefrorene Momentaufnahme der Retraction Watch Datenbank, einer kuratierten Sammlung von Rücknahmemeldungen aus der ganzen Welt. Von insgesamt fast 61.000 Rücknahmen isolierte die Studie 9.102 Datensätze, die spezifisch als „computergestützte“ oder „computergenerierte“ Inhalte gekennzeichnet waren. Diese Tags decken ein breites Spektrum an Problemen ab, von frühen Systemen, die zufälligen Unsinn erzeugten, bis hin zu modernen Werkzeugen der künstlichen Intelligenz, die ganze Arbeiten schreiben. Das Ziel war nicht, zu zählen, wie viele gefälschte Arbeiten es in der Welt gibt, sondern zu verstehen, was die Rücknahmezahlen tatsächlich repräsentieren. Durch eine genaue Untersuchung dessen, wer die Rücknahmen veranlasste, wann sie stattfanden und wie sie gruppiert wurden, zeigt die Studie, dass der dramatische Anstieg dieser Zahlen fast ausschließlich durch spezifische, groß angelegte Bereinigungsprogramme einiger weniger großer Verlage vorangetrieben wurde und nicht durch eine stetige, weit verbreitete Zunahme von KI-generiertem Betrug in der gesamten Wissenschaft.

Die Daten zeigen eine klare Verschiebung in der Landschaft des letzten Jahrzehnts. Zwischen 2010 und 2019 machten computergenerierte Inhalte einen winzigen Bruchteil der Rücknahmen aus und traten in weniger als einem Prozent der Fälle pro Jahr auf. Die Situation änderte sich rapide ab dem Jahr 2020. Bis 2023 war der Anteil der Rücknahmen, die für computergenerierte Inhalte markiert waren, auf fast 42 Prozent angestiegen. In den folgenden Jahren, 2024 und 2025, blieb der Anteil mit etwa 23 und 24 Prozent jeweils hoch. Auf den ersten Blick legen diese Zahlen eine massive, globale Explosion von KI-generierten Papieren nahe, die die wissenschaftliche Literatur überfluten. Doch als der Forscher tiefer in die Frage eintauchte, wer für die Entfernung dieser Arbeiten verantwortlich war, zeichnete sich ein anderes Bild ab. Die hohen Zahlen waren nicht das Ergebnis vieler verschiedener Verlage, die unabhängig voneinander Probleme fanden. Stattdessen waren sie das Resultat einiger weniger spezifischer Verlage, die massive, koordinierte Bemühungen unternahmen, um tausende Arbeiten gleichzeitig zu entfernen.

Im Jahr 2023 beispielsweise lieferte eine einzige Verlagslinie 98 Prozent aller Rücknahmen im Bereich der computergenerierten Inhalte. In den Jahren 2024 und 2025 lag dieser Wert bei über 80 Prozent, getrieben durch zwei verschiedene Verlagsgruppen in unterschiedlichen Jahren. Als die Studie die Datensätze dieser führenden Verlage aus der Berechnung entfernte, sank der jährliche Anteil der computergenerierten Rücknahmen drastisch. Im Jahr 2023 fiel die Zahl von 41 Prozent auf lediglich 0,32 Prozent. In den Jahren 2024 und 2025 waren die verbleibenden Anteile ähnlich gering und pendelten sich bei etwa 0,6 Prozent und 1,4 Prozent ein. Dieses Muster deutet darauf hin, dass die Schlagzeilen-Zahlen kein Maß dafür sind, wie viel schlechte Wissenschaft jedes Jahr geschrieben wird, sondern ein Maß dafür, wie viele Arbeiten ein spezifischer Verlag in einem bestimmten Jahr zurückgezogen hat. Die Studie fand heraus, dass diese Ereignisse oft in einer einzigen Zeitschrift oder sogar an einem einzigen Tag der Metadaten-Eingabe konzentriert waren, was weiter bestätigt, dass es sich um organisierte Bereinigungsaktionen handelte und nicht um ein diffuses, systemweites Problem.

Die Forschung verglich diese Rücknahmen von computergenerierten Inhalten auch mit anderen häufigen Gründen für das Zurückziehen von Arbeiten, wie etwa Plagiaten, Duplikaten oder beeinträchtigter Begutachtung (Peer Review). Selbst unter diesen anderen Kategorien, die bekanntlich in bestimmten Bereichen konzentriert sind, waren die Tags für computergenerierte Inhalte weita viel stärker geclustert. Während andere Arten von Rücknahmen über viele verschiedene Verlage und Zeitschriften verteilt waren, wurden die computergenerierten Tags von einem oder zwei Verlagen in jedem gegebenen Jahr massiv dominiert. Diese extreme Konzentration legt nahe, dass die Daten eher die administrativen Maßnahmen einiger weniger großer Organisationen widerspiegeln als die zugrunde liegende Verbreitung von KI-generiertem Text in der gesamten wissenschaftlichen Gemeinschaft. Die Studie stellt fest, dass sich die spezifischen Gründe für die Rücknahmen auch je nachdem änderten, welcher Verlag die Bereinigung durchführte, wobei einige Jahre hohe Raten von „Paper Mill“-Tags zeigten und andere unterschiedliche Bezeichnungen verwendeten, was die Verbindung der Daten zu spezifischen Verlagsstrategien statt zu einem einheitlichen globalen Trend weiter untermauert.

Letztendlich kommt die Studie zu dem Schluss, dass diese Rücknahmezahlen mit Vorsicht interpretiert werden sollten. Sie sind exzellente Aufzeichnungen über Durchsetzung und Bereinigung und zeigen auf, wo Verlage erfolgreich problematische Arbeiten identifiziert und entfernt haben. Sie sind jedoch kein direktes Maß dafür, wie oft Autoren künstliche Intelligenz zum Schreiben von Arbeiten verwenden, noch beweisen sie, dass die Rate dieses Fehlverhaltens überall steigt. Eine hohe Anzahl an Rücknahmen in einem einzigen Jahr kann schlichtweg bedeuten, dass ein Verlag endlich einen Rückstau an Untersuchungen aufgearbeitet oder beschlossen hat, tausende Arbeiten auf einmal zu entfernen. Um den wahren Zustand der wissenschaftlichen Integrität zu verstehen, muss man über die Rohdaten hinausblicken und berücksichtigen, wer die Zählung vornimmt, wie sie die Daten gruppieren und ob die Spitzenwerte eine neue Welle des Betrugs oder eine erfolgreiche Welle der Korrektur darstellen. Die Ergebnisse erinnern uns daran, dass in der Welt der wissenschaftlichen Kennzahlen eine große Zahl nicht immer ein großes Problem bedeutet; manchmal bedeutet sie einfach nur eine große Bereinigung.