What does Retraction Watch's "computer-generated content" reason capture? A metadata analysis of 9,161 retractions
Diese Metadatenanalyse von 9.161 Rücknahmen zeigt, dass der Grund „computergenerierte Inhalte“ bei Retraction Watch stark auf einen einzelnen Herausgeber konzentriert ist und eng mit Paper Mills assoziiert wird, aber diese Muster spiegeln Co-Coding-Praktiken wider, anstatt definitive Beweise für die tatsächliche Präsenz generativer KI in den zurückgezogenen Artikeln zu liefern.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der unermesslichen Bibliothek des menschlichen Wissens soll jede veröffentlichte Studie ein Baustein der Wahrheit sein. Doch manchmal werden Bausteine herausgezogen. Wenn eine Fachzeitschrift entscheidet, dass eine Arbeit fehlerhaft, betrügerisch oder schlichtweg falsch ist, erlässt sie eine Rücknahme (Retraction), wodurch der Artikel effektiv aus den Regalen der Wissenschaft zurückgezogen wird. Seit Jahrzehnten verfolgen Forscher diese Rücknahmen, um zu verstehen, wie das System versagt. Kürzlich ist ein neuer Grund in den Rücknahmemeldungen aufgetaucht: „computergenerierter Inhalt“ (computer-generated content). Dieses Label wird angewendet, wenn eine Untersuchung ergibt, dass eine Arbeit ganz oder teilweise von einer Maschine statt von einem Menschen geschrieben wurde. Da die Werkzeuge der künstlichen Intelligenz immer leistungsfähiger und zugänglicher geworden sind, ist dieser Grund rasant gewachsen, was viele zu der Annahme führt, dies signalisiere eine neue Welle von Fehlverhalten, das durch generative KI vorangetrieben wird. Die Frage ist, ob dieses Label tatsächlich auf einen Anstieg KI-geschriebener Arbeiten hindeutet oder ob es etwas völlig anderes erfasst.
Ein Forscher namens Jonas Mandalunes setzte sich zum Ziel, genau zu untersuchen, was dieses Label erfasst. Unter Verwendung einer massiven Datenbank von über 66.000 Rücknahmedatensätzen konzentrierte sich die Studie auf die 9.161 Arbeiten, die den Grund „computergestützter oder computergenerierter Inhalt“ trugen. Das Ziel war zu sehen, ob sich diese Arbeiten in Bezug darauf, wie lange sie vor ihrer Rücknahme in Druck erschienen, welche anderen Probleme sie hatten und wie oft sie nach ihrer Rücknahme zitiert wurden, von anderen zurückgezogenen Artikeln unterschieden. Die Ergebnisse zeigen, dass die Geschichte hinter diesem Label weitafter, komplexer und spezifischer ist als ein einfacher Anstieg des KI-Missbrauchs.
Das Erste, was die Daten zeigten, war ein massiver Anstieg der Zahlen, aber es war kein stetiger Aufstieg in der gesamten Welt der Wissenschaft. Vor 2020 war dieser Grund fast nicht existent und erschien nur bei 28 Arbeiten. Bis 2023 machte er jedoch fast 42 Prozent aller im selben Jahr verzeichneten Rücknahmen aus. Diese plötzliche Explosion sah aus wie eine Flutwelle aus KI-generiertem Betrug. Doch als der Forscher genauer hinsah, kam die Welle nicht von überall her. Sie war fast ausschließlich an einem einzigen Ort konzentriert: einem einzelnen Verlag namens Hindawi. Tatsächlich stammten 70 Prozent aller Arbeiten mit diesem Label von diesem einen Verlag. Dieser Verlag hatte kürzlich eine massive interne Untersuchung seiner Sonderheft-Programme durchlaufen, die eine weit verbreitete Manipulation des Peer-Review-Prozesses aufdeckte. Die Studie legt nahe, dass das Label weitgehend die Folgen dieser spezifischen, groß angelegten Bereinigung erfasst und nicht eine allgemeine Epidemie von KI-Schreibarbeiten in allen wissenschaftlichen Fachgebieten.
Eine weitere verbreitete Annahme war, dass diese computergenerierten Arbeiten viel schneller erwischt wurden als andere betrügerische Arbeiten. Da Maschinen Texte schnell produzieren können, schien es logisch, dass auch ihre Fehler schnell entdeckt würden. Die Rohzahlen schienen dies zu stützen, da sie zeigten, dass die „computergenerierten“ Arbeiten einen viel engeren Zeitraum bis zur Rücknahme aufwiesen als die ungeordneten, variierenden Zeitpläne anderer zurückgezogener Arbeiten. Dieser enge Zeitrahmen war jedoch eine Illusion, die durch die Konzentration der Daten entstand. Als der Forscher diese Arbeiten nur mit anderen Arbeiten desselben Verlags und aus denselben Jahren verglich, verschwand der Unterschied in der Zeitspanne. Die „computergenerierten“ Arbeiten wurden nicht schneller erwischt; sie waren einfach Teil eines Pakets von Arbeiten, die alle während der spezifischen Untersuchung dieses Verlags gleichzeitig überprüft und zurückgezogen wurden. Sobald der dominante Verlag aus dem Vergleich entfernt wurde, verschwand die Vorstellung, dass diese Arbeiten einen einzigartigen, beschleunigten Zeitplan haben, vollständig.
Die Studie untersuchte auch die Verbindung zwischen diesem Label und „Paper Mills“ (Papierfabriken), also Organisationen, die gefälschte Autorenschaften und fabrikierte Manuskripte verkaufen. Zunächst zeigten die Daten eine starke Verbindung: 71 Prozent der „computergenerierten“ Arbeiten trugen auch ein Flag für Paper Mills, verglichen mit nur 9 Prozent der anderen zurückgezogenen Arbeiten. Dies deutete darauf hin, dass das Label ein zuverlässiger Marker für diese kriminellen Operationen war. Aber auch hier änderte sich das Bild, als die Daten nach Verlag und Jahr sortiert wurden. Vor 2023 war die Verbindung nicht existent. In den Jahren 2023 und 2024 wurde die Verbindung sehr stark, aber nur innerhalb spezifischer Verlage. Bei anderen großen Verlagen kehrte sich die Beziehung tatsächlich um, wobei die „computergenerierten“ Arbeiten weniger wahrscheinlich mit Paper Mills verknüpft waren als andere zurückgezogene Arbeiten. Diese extreme Variation bedeutet, dass es keine einzelne, universelle Regel gibt, die das Label mit Paper Mills verbindet; die Verbindung hängt vollständig davon ab, wer die Untersuchung durchführt und wann sie stattfindet.
Schließlich untersuchte der Forscher, ob diese Arbeiten nach ihrer Rücknahme seltener zitiert wurden, was darauf hindeuten würde, dass die wissenschaftliche Gemeinschaft auf die Warnung achtet. Auf den ersten Blick schien es, dass die „computergenerierten“ Arbeiten signifikant seltener zitiert wurden als ähnliche zurückgezogene Arbeiten. Aber dieser Unterschied war größtenteils darauf zurückzuführen, dass die Kontrollgruppe der Arbeiten bereits vor ihrer Rücknahme stärker zitiert worden war. Als der Forscher die Arbeiten perfekt basierend auf der Anzahl der bereits erhaltenen Zitate abglich, verschwand der Unterschied in den Zitaten nach der Rücknahme fast vollständig. Die verbleibende winzige Lücke war statistisch nicht signifikant, was darauf hindeutet, dass die wissenschaftliche Gemeinschaft diese Arbeiten nicht anders behandelt als andere zurückgezogene Arbeiten, sobald deren vorheriger Ruf berücksichtigt wurde.
Der vielleicht aufschlussreichste Befund kam aus einer Suche nach spezifischen Wörtern in den Rücknahmemeldungen. Der Forscher suchte in den Metadaten der Arbeiten nach Erwähnungen spezifischer KI-Werkzeuge wie „ChatGPT“ oder „Large Language Models“. Von tausenden Datensätzen enthielten nur 21 solche spezifischen Begriffe. Noch überraschender war, dass keine der Arbeiten, die das Label „computergenerierter Inhalt“ trugen und auch ein spezifisches KI-Werkzeug erwähnten, tatsächlich über das Werkzeug selbst handelte; es waren Studien über KI, nicht Arbeiten, die von KI geschrieben wurden. Die eine Arbeit, die KI-generierte Abbildungen erwähnte, trug nicht einmal das Label „computergenerierter Inhalt“. Dies deutet darauf hin, dass das Label nicht angewendet wird, weil die Rücknahmemeldungen explizit sagen: „Dies wurde von einer Maschine geschrieben“. Stattdessen wird das Label aufgrund breiterer Untersuchungen zur Integrität der Arbeit angewendet, oft zusammen mit Erkenntnissen über eine kompromittierte Peer-Review.
Die Studie kommt zu dem Schluss, dass das Label „computergenerierter Inhalt“ in der Rücknahmedatenbank kein zuverlässiger Stellvertreter für den Missbrauch generativer KI ist. Es ist das Protokoll einer spezifischen, massiven Untersuchung der Sonderheft-Programme eines einzelnen Verlags, bei der das Label für eine breite Palette von Problemen einschließlich Paper Mills und Fehlern im Peer-Review verwendet wurde. Die Daten zeigen, dass das Label nicht auf eine einzigartige Art von Arbeit hinweist, die schneller erwischt oder von der wissenschaftlichen Gemeinschaft anders behandelt wird. Bis Forscher die tatsächlichen Rücknahmemeldungen lesen und den Inhalt der Arbeiten verifizieren können, wird die Verwendung dieses Labels als Maßstab für KI-generierten Betrug zu einer verzerrten Sicht auf das Problem führen. Die wahre Geschichte ist nicht eine plötzliche Invasion von KI-geschriebener Wissenschaft, sondern eine konzentrierte Bereinigung eines spezifischen Publikations-Workflows, der zufällig ein breites Label verwendete, um seine Ergebnisse zu beschreiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.