Born Flawed? Publication-Time Citation Topology Improves Retraction Early-Warning
Diese Studie zeigt, dass die Analyse der strukturellen Merkmale des Literaturverzeichisses eines Artikels zum Zeitpunkt der Veröffentlichung – insbesondere der Selbstzitationsrate, der Verteilung der Referenzjahre und der Aktualität der zitierten Literatur – die frühzeitige Erkennung zukünftiger Retraktionsrisiken signifikant verbessern kann, noch bevor jegliche Belege nach der Veröffentlichung vorliegen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Wissenschaft wie eine riesige, belebte Bibliothek vor, in der jedes neue Buch ein Forschungspapier ist. Damit diese Bibliothek funktioniert, müssen Autoren ihre neuen Geschichten auf alten aufbauen und die Bücher zitieren, die sie inspiriert haben. Dies schafft ein massives, unsichtbares Netz von Verbindungen, bei dem jedes neue Buch mit den Büchern verknüpft ist, auf denen es steht. Aber manchmal stellt sich heraus, dass ein Buch ein „Zombie“ ist – es enthält gefälschte Fakten oder gestohlene Ideen, und die Bibliothek muss es aus den Regalen ziehen und als „Zurückgezogen“ (Retracted) markieren. Das Beängstigende daran ist, dass Menschen selbst nachdem ein Buch zurückgezogen wurde, es noch jahrelang zitieren und so versehentlich seine schlechten Ideen in neue Geschichten verbreiten. Das ist wie eine Bibliothek, in der eine kaputte Landkarte immer wieder in neue Reiseführer kopiert wird, was Reisende noch lange in die Irre führt, nachdem der Bibliothekar versucht hat, das Problem zu beheben. Wissenschaftler haben versucht, ein System zu entwickeln, um diese „Zombie“-Bücher zu entdecken, noch bevor sie die Regale erreichen, aber die meisten aktuellen Alarmsysteme schlagen erst an, wenn das Buch bereits veröffentlicht ist und Menschen angefangen haben, es zu lesen.
Eine neue Studie von Chenhao Zhang stellt eine kluge Frage: Können wir ein „schlechtes“ Buch erkennen, indem wir uns nur die Liste der anderen Bücher ansehen, die der Autor zitiert hat, bevor die Geschichte überhaupt geschrieben wurde? Die Arbeit legt nahe, dass die Art und Weise, wie ein Autor seine Referenzen auswählt, einen verborgenen „Fingerabdruck“ des Unheils hinterlassen kann. Durch die Analyse der Struktur dieser Referenzlisten – wie oft ein Autor sein eigenes früheres Werk zitiert, wie alt die Bücher sind, die er zitiert, und wie weit über die Zeit verteilt diese Bücher liegen – fand die Studie einen Weg, vorherzusagen, welche Papiere wahrscheinlich zurückgezogen werden. Dies ist ein großer Fortschritt, denn es bedeutet, dass wir riskante Forschung genau in dem Moment kennzeichnen könnten, in dem sie eingereicht wird, um die Verbreitung von „Zombies“ zu stoppen, bevor sie überhaupt beginnt, anstatt darauf zu warten, bis jahrelang das Chaos aufgeräumt werden muss.
Die Entdeckung „Geboren mit Fehlern?“
In dieser Studie behandelte der Autor das Problem wie ein Detektivspiel. Das Ziel war es zu sehen, ob die „Nachbarschaft“ der Referenzen eines Papers (die anderen Arbeiten, die es zitiert) als Frühwarnsystem dienen kann. Der Forscher nutzte eine massive Datenbank wissenschaftlicher Arbeiten namens OpenAlex und glich sie mit einer Liste bekannter zurückgezogener Arbeiten ab. Um sicherzustellen, dass der Test fair war, wurde jedes zurückgezogene Paper mit einem „Kontroll-Paper“ aus demstigen Jahr abgeglichen, das nicht zurückgezogen wurde, wodurch eine Stichprobe von 219 zurückgezogenen Papern und 184 Kontroll-Papern entstand.
Die entscheidende Innovation bestand darin, sich nur auf Informationen zu konzentrieren, die im Moment der Veröffentlichung verfügbar waren. Der Forscher fokussierte sich auf drei spezifische „leckagesichere“ Merkmale (leakage-safe features), was bedeutet, dass keine Daten verwendet wurden, die erst nach der Veröffentlichung des Papers existieren würden (wie etwa, wie oft das Paper später zitiert wurde). Diese drei Merkmale waren:
- Selbstzitierrate: Wie oft der Autor sein eigenes früheres Werk zitierte.
- Referenzjahr-Dispersion: Wie weit die Veröffentlichungsdaten der zitierten Arbeiten über die Zeit verteilt waren (wurden eine enge Zeitspanne oder ein weiter Bereich zitiert?).
- Referenz-Rezenz-Gap: Wie „frisch“ die zitierte Literatur im Vergleich zum neuen Paper war.
Als der Forscher diese Merkmale zusammen mit grundlegenden Metadaten (wie der Anzahl der Autoren oder der Sprache des Papers) in ein Computermodell einspeiste, waren die Ergebnisse überraschend eindeutig. Die Fähigkeit des Modells, zwischen einem zurückgezogenen Paper und einem normalen Paper zu unterscheiden, verbesserte sich signifikant. Speziell als das Modell mit zukünftigen Daten getestet wurde (einem „Out-of-Time“-Split, der simuliert, die Zukunft basierend auf der Vergangenheit vorherzusagen), sprang der Genauigkeitswert (AUC) von 0,49 (was im Grunde bloßes Raten ist) auf 0,66. Dies ist ein Gewinn von 0,176, und die Forscher sind sich dessen sehr sicher, da sie nach 2.000 verschiedenen Simulationen (Bootstraps) zur Überprüfung auf Glücksprüfungen feststellten, dass die Verbesserung nie auf Null sank.
Die Arbeit schloss zudem explizit ein „Schummel-Merkmal“ aus, um ihren Punkt zu beweisen. Der Forscher testete ein viertes Merkmal: den Anteil der Referenzen, die bereits zurückgezogen waren. Dieses Merkmal gab dem Modell einen enormen Schub bei der Genauigkeit (ein Gewinn von 0,308), aber der Forscher warf es aus den Hauptergebnissen heraus. Warum? Um zu wissen, ob eine Referenz zurückgezogen wurde, müsste man den zukünftigen Status dieser Referenz zum Zeitpunkt der Erstellung des neuen Papers kennen. Da man die Zukunft nicht kennen kann, ist dieses Merkmal „leckagebehaftet“ (leaky) und für reale Frühwarnungen unbrauchbar. Durch den Ausschluss dieses Merkmals beweist die Studie, dass das Signal aus der Struktur der Referenzen kommt und nicht daraus, welche davon später verbannt wurden.
Die Studie kommt zu dem Schluss, dass Papers, die für eine Rücknahme bestimmt sind, zum Zeitpunkt ihrer Entstehung tatsächlich eine andere „strukturelle Nachbarschaft“ besetzen. Sie sind nicht einfach nur Pechvögel; sie weisen ein erkennbares Muster darin auf, wie sie andere zitieren. Obwohl die Stichprobengröße moderat war (einige hundert Paper) und die absoluten Genauigkeitswerte noch nicht perfekt sind, ist die Richtung klar. Die Autoren schlagen vor, dass dies als Screening-Instrument für Editoren und Integritätsteams dienen könnte, um deren Auswahl an Einreichungen zu priorisieren und sich auf die Paper zu konzentrieren, die möglicherweise „mit Fehlern geboren“ sind – und das alles, ohne darauf zu warten, dass der Schaden sich durch die wissenschaftliche Literatur verbreitet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.