Does the type of publisher response to integrity concerns influence subsequent citations? A cohort study.

Eine Kohortenstudie zeigt, dass die Art der redaktionellen Reaktion auf Integritätsbedenken (wie Richtigstellung, Ausdruck der Besorgnis oder Widerruf) keinen signifikanten Einfluss auf den Abfall der Zitationsrate hat und dieser Abfall nicht stärker ausfällt als bei unbeanstandeten Kontrollstudien.

Das Wesentliche

Das große Problem: Wenn ein Autor „Falsch" schreibt

Stellen Sie sich vor, ein Wissenschaftler veröffentlicht eine Studie, die wie ein leuchtender Leuchtturm wirkt. Andere Forscher bauen darauf auf, zitieren sie und nutzen sie als Fundament für ihre eigene Arbeit.

Doch plötzlich stellt sich heraus: Der Leuchtturm steht auf wackeligem Grund. Die Daten sind verdorben, oder es gab Betrug. Was passiert dann?

Die Zeitschriften, in denen die Studie veröffentlicht wurde, müssen reagieren. Sie haben drei Hauptwerkzeuge, um die Welt zu warnen:

1. Der „Editorial Notice" (Hinweis): Ein kleiner, oft unscheinbarer Zettel auf der Webseite der Zeitschrift. („Hier gibt es vielleicht ein Problem, schauen Sie mal nach.")
2. Die „Expression of Concern" (Besorgnis): Ein deutlicherer Warnhinweis, der auch in Datenbanken zu finden ist. („Wir sind sehr besorgt, die Studie ist fragwürdig.")
3. Die „Retraction" (Widerruf): Der „Notausgang". Die Studie wird offiziell zurückgezogen und als ungültig erklärt. („Das hier war falsch, vergessen Sie es.")

Die Frage der Forscher: Funktioniert die Warnung?

Die Autoren dieser Studie (Hugo Studd und sein Team) wollten wissen: Helfen diese Warnungen wirklich?

Stellen Sie sich vor, Sie haben eine alte, kaputte Maschine in Ihrer Werkstatt.

• Wenn Sie ein kleines Schildchen („Achtung, defekt") darauf kleben, hören die Leute dann auf, sie zu benutzen?
• Wenn Sie ein großes rotes „GEFAHR"-Schild aufkleben?
• Wenn Sie die Maschine komplett verschrotten (widerrufen)?

Die Hoffnung ist: Sobald die Welt die Warnung sieht, hören die Leute auf, die Studie zu zitieren. Die Zitate sollten schnell abfallen.

Was haben sie herausgefunden?

Die Forscher haben sich 172 solche „kaputten" Studien angesehen, die von einer einzigen Forschergruppe stammten. Sie verglichen sie mit normalen, intakten Studien aus demselben Jahr und derselben Zeitschrift.

Das Ergebnis war überraschend und etwas enttäuschend:

1. Die Warnung ändert nichts am Abfluss: Es spielte keine Rolle, ob es ein kleines Schildchen, ein großes Warnschild oder ein kompletter Widerruf war. Die Rate, mit der andere Forscher diese Studien zitierten, ging nicht schneller zurück als bei den normalen Studien, die nie ein Problem hatten.

   • Die Analogie: Es ist, als würde man versuchen, ein Loch in einem Eimer zu stopfen. Egal, ob man ein kleines Pflaster (Hinweis) oder einen großen Klecks Kitt (Widerruf) benutzt – das Wasser (die Zitate) läuft trotzdem weiter ab, und zwar genau so schnell wie bei einem Eimer ohne Loch.

2. Der natürliche Verfall: Alle Studien – auch die perfekten, unbeschädigten – erreichen irgendwann ihren Höhepunkt und hören dann langsam auf, zitiert zu werden. Das ist wie ein alter Song: Er ist jahrelang der Hit, aber nach ein paar Jahren hören die Leute auf, ihn im Radio zu spielen.

   • Die Studie zeigte: Die „kaputten" Studien hörten einfach auf, zitiert zu werden, weil sie alt wurden, nicht weil jemand sie verboten hatte. Die Warnung kam oft zu spät.

3. Die Zeit ist der Feind: Die Warnungen kamen oft erst 5 Jahre nach der Veröffentlichung. Zu diesem Zeitpunkt hatten die meisten Forscher die Studie ohnehin schon zitiert und waren weitergezogen.

   • Die Analogie: Stellen Sie sich vor, ein Restaurant serviert vergiftetes Essen. Der Gesundheitsamt kommt erst 5 Jahre später und klebt ein Schild an die Tür. Die Leute, die das Gift gegessen haben, sind schon längst weg. Die Warnung kommt zu spät, um die Gäste zu retten.

Warum passiert das?

Warum zitieren Leute weiter, obwohl die Studie „vergiftet" ist?

• Sie wissen es nicht: Viele Forscher schauen nicht auf die Webseite der Zeitschrift. Sie nutzen alte Listen oder Software, die sich nicht automatisch aktualisiert.
• Es ist zu schwer zu finden: Ein kleiner Hinweis auf einer Webseite ist wie eine Nadel im Heuhaufen. Wenn man nach der Studie sucht, sieht man oft nur den Titel, nicht den kleinen Warnhinweis.
• Gewohnheit: Forscher kopieren oft einfach die Referenzen aus anderen Artikeln, ohne zu prüfen, ob die Quelle noch „gesund" ist.

Das Fazit in einem Satz

Es reicht nicht aus, einfach nur ein Schildchen auf eine kaputte Studie zu kleben oder sie zu widerrufen. Solange die Warnung nicht sofort und überall sichtbar ist, wird die „Infektion" durch das Zitieren weitergegeben. Die aktuellen Methoden der Verlage sind leider oft zu langsam und zu unsichtbar, um die Wissenschaft wirklich zu schützen.

Kurz gesagt: Ein Warnschild auf einer alten, kaputten Maschine hilft nicht viel, wenn die Leute die Maschine schon längst abgeschrieben haben oder das Schild gar nicht sehen.

Technische Zusammenfassung

Titel:

Reaktionen von Verlagen auf Integritätsbedenken – Beeinflusst die Art des Hinweises die nachfolgenden Zitationen? Eine Kohortenstudie.

1. Problemstellung und Hintergrund

Unzuverlässige Forschungsergebnisse werden veröffentlicht oder bleiben nach Aufkommen von Integritätsbedenken unkorrigiert. Sobald solche Bedenken einem Journal oder Verlag gemeldet werden, gibt es typischerweise vier mögliche Ausgangs: keine Maßnahme, eine Korrektur, eine redaktionelle Antwort (z. B. ein „Expression of Concern" – EoC) oder ein Rückzug (Retraction).
Ein zentrales Problem ist die Sichtbarkeit dieser Maßnahmen:

• Expressions of Concern (EoC) sind in bibliografischen Datenbanken indiziert und somit gut sichtbar.
• Editorial Notices (redaktionelle Hinweise) sind oft nur auf den Journal-Webseiten sichtbar und weniger prominent.
• Retractions sind die schwerwiegendste Form.

Es ist unklar, ob die Art der redaktionellen Antwort (Notice, EoC oder Retraction) einen messbaren Einfluss auf die Zitationsrate hat. Die Hypothese lautet, dass sichtbarere und schwerwiegendere Maßnahmen (EoC, Retraction) zu einem schnelleren Rückgang der Zitationen führen sollten als weniger sichtbare Hinweise oder gar keine Maßnahmen. Bisherige Studien zu Retractions zeigen gemischte Ergebnisse (manche zeigen einen Rückgang, andere einen Anstieg oder keine Veränderung).

2. Methodik

Die Studie ist eine retrospektive Kohortenstudie mit folgenden Merkmalen:

• Stichprobe (Index-Set): 172 randomisierte kontrollierte Studien (RCTs), die von einer einzigen Forschungsgruppe veröffentlicht wurden und bei denen Integritätsbedenken vorlagen.
  • Verteilung der redaktionellen Maßnahmen: 41 erhielten einen „Editorial Notice", 38 ein „Expression of Concern" (EoC) und 23 wurden zurückgezogen (Retraction). 70 Studien erhielten keine redaktionelle Maßnahme.
• Kontrollgruppe: Für 151 der 172 Index-Studien wurden Kontroll-RCTs identifiziert, die im selben Journal und im selben Jahr von anderen Autoren veröffentlicht wurden. Es wurden 3.330 Kontrollstudien identifiziert.
  • Um Verzerrungen durch unterschiedliche Zitationshäufigkeiten zu minimieren, wurde eine Untergruppe von „hoch zitierten" Kontrollstudien (≥25 Zitationen, n=1598) für spezifische Analysen gebildet.
• Datenquelle: Zitationsdaten wurden aus der OpenCitations-Datenbank (basierend auf Scopus, Web of Science und PubMed) abgerufen. Die Datenerhebung erfolgte im Juni 2025.
• Analyse:
  • Monatliche Zitationsraten wurden über einen Zeitraum von 60 Monaten vor und nach der ersten redaktionellen Antwort (bzw. dem Peak-Zitationsmonat bei Kontrollen) analysiert.
  • Es wurden lineare Regressionsmodelle verwendet, um die Steigung (Slope) der Zitationskurven vor und nach dem Ereignis zu vergleichen.
  • Der Vergleich erfolgte zwischen den verschiedenen Antworttypen (Notice, EoC, Retraction) und den Kontrollgruppen.
  • Statistische Signifikanz wurde mit einem p-Wert < 0,05 definiert.

3. Wichtige Beiträge

• Erste vergleichende Analyse: Dies ist eine der ersten Studien, die systematisch die Auswirkungen von Editorial Notices und Expressions of Concern auf Zitationsraten im direkten Vergleich zu Retractions untersucht.
• Große Kohorte: Die Nutzung einer großen, homogenen Kohorte von 172 Studien einer einzigen Gruppe ermöglichte eine detaillierte Aufschlüsselung nach Art der redaktionellen Maßnahme.
• Methodischer Ansatz: Die Verwendung von OpenCitations und R-Paketen ermöglichte eine kostengünstige, aber hochdetaillierte Analyse von Zitationsverläufen über lange Zeiträume.
• Fokus auf Sichtbarkeit: Die Studie testet explizit die Hypothese, dass die Sichtbarkeit der Maßnahme (Indizierung vs. reine Webpräsenz) den Zitationsrückgang beeinflusst.

4. Ergebnisse

• Zitationsverlauf: Sowohl bei den Index-Studien als auch bei den Kontrollen stiegen die Zitationen nach der Veröffentlichung stetig an und erreichten ihren Höhepunkt (Peak) zwischen dem 45. und 65. Monat nach Publikation, bevor sie natürlich abnahmen.
• Kein signifikanter Unterschied im Rückgang: Es gab keine statistisch signifikanten Unterschiede im Rückgang der Zitationsraten nach einer redaktionellen Antwort zwischen den Gruppen (Retraction, EoC, Notice).
• Vergleich mit Kontrollen: Der Rückgang der Zitationen nach einer redaktionellen Maßnahme war nicht signifikant stärker als der natürliche Rückgang der Zitationen in der Kontrollgruppe (nach deren Peak-Zitationsmonat).
• Spezifische Befunde:
  • Selbst bei hoch zitierten Kontrollstudien war die Abnahmerate nicht signifikant unterschiedlich zu den Index-Studien mit redaktionellen Maßnahmen.
  • Die Art der Maßnahme (ob sichtbar oder weniger sichtbar) hatte keinen messbaren Einfluss darauf, wie schnell die Zitationen sanken.
  • Die redaktionellen Maßnahmen wurden im Durchschnitt etwa 5 Jahre nach der Originalveröffentlichung veröffentlicht, was oft nach dem natürlichen Zitationspeak lag.

5. Bedeutung und Schlussfolgerung

• Ineffektivität der Maßnahmen: Die Studie kommt zu dem Schluss, dass die Veröffentlichung einer redaktionellen Antwort (sei es Retraction, EoC oder Notice) den Rückgang der Zitationsrate nicht über das hinaus beschleunigt, was durch den natürlichen Lebenszyklus einer Publikation zu erwarten wäre.
• Zeitfaktor: Ein Hauptgrund für die fehlende Wirkung könnte die Verzögerung sein. Da die Maßnahmen oft erst Jahre nach der Veröffentlichung erfolgen (oft nach dem Zitationspeak), haben sie wenig Einfluss auf die Zitationsdynamik.
• Sichtbarkeitsproblem: Dass auch Retractions und EoCs keinen stärkeren Effekt zeigten als weniger sichtbare Notices, deutet darauf hin, dass Autoren diese Warnungen oft nicht wahrnehmen (z. B. durch Nutzung veralteter Referenzverwaltungssoftware oder mangelnde Indizierung).
• Implikationen für die Wissenschaft: Wenn redaktionelle Maßnahmen die Zitationen unzuverlässiger Studien nicht effektiv stoppen, stellt sich die Frage nach ihrem tatsächlichen Nutzen für die Forschungsintegrität.
• Empfehlungen: Die Autoren schlagen vor, dass zukünftige Richtlinien (wie die NISO-Richtlinien) die Sichtbarkeit und Geschwindigkeit von Maßnahmen verbessern müssen. Technologische Lösungen (automatische Updates in Referenzmanagern) könnten helfen, aber sie können Zitationen nicht verhindern, die vor der Veröffentlichung der Warnung oder vor dem Rückzug der Studie erfolgten.

Zusammenfassend: Die Art der redaktionellen Antwort hat keinen signifikanten Einfluss auf die Zitationsrate. Die Maßnahmen scheinen zu spät zu kommen oder werden von der wissenschaftlichen Gemeinschaft nicht effektiv wahrgenommen, um die Zitation fehlerhafter Forschung zu stoppen.