Time-to-retraction and likelihood of evidence contamination (VITALITY Extension I): a retrospective cohort analysis

Eine retrospektive Kohortenanalyse zeigt, dass das schnelle Zurückziehen fehlerhafter randomisierter klinischer Studien die Kontamination der wissenschaftlichen Evidenzbasis signifikant verringert, wobei frühere Retraktionen mit einer geringeren Wahrscheinlichkeit für nachfolgende Verzerrungen in systematischen Übersichten einhergehen.

Das Wesentliche

🕵️‍♂️ Die Geschichte von den „verdorbenen Äpfeln" im wissenschaftlichen Obstsalat

Stellen Sie sich die Welt der medizinischen Forschung wie einen riesigen Obstsalat vor. Dieser Salat besteht aus vielen einzelnen Früchten, die wir Studien nennen. Wenn ein Forscher eine neue Frucht (eine Studie) findet und sagt: „Diese Frucht ist super gesund!", dann fügen andere Forscher diese Frucht in ihren großen Obstsalat (eine systematische Übersicht oder Meta-Analyse) ein, um zu entscheiden, was wir essen sollten.

Das Problem: Manchmal ist eine dieser Früchten verdorben oder sogar vergiftet. Das passiert, wenn Forscher Daten gefälscht haben oder die Studie schlecht gemacht wurde. In der Wissenschaft nennen wir das eine „zurückgezogene Studie" (Retraction).

🚨 Das Problem: Der „verdorbenen Apfel" bleibt im Salat

Die Forscher in dieser Studie haben sich gefragt: Was passiert, wenn wir den verdorbenen Apfel endlich aus dem Korb werfen?
Bekommen wir dann einen sauberen Salat? Oder bleibt der verdorbene Geschmack trotzdem noch lange im Salat hängen?

Die Wissenschaftler haben sich 1.330 solcher „verdorbenen Äpfel" (zurückgezogene Studien) angesehen und geprüft, wie oft sie in großen Obstsalaten (systematischen Übersichten) verwendet wurden – sowohl vor als auch nach dem Moment, in dem sie als verdorben erkannt und zurückgezogen wurden.

🔍 Was sie herausfanden (Die Ergebnisse)

1. Der Schaden ist schon passiert:
   Bevor ein verdorbener Apfel zurückgezogen wurde, hat er sich bereits in 855 verschiedenen Obstsalaten verbreitet. Das ist wie ein Tropfen Tinte in einem Eimer Wasser – er hat sich schon überall verteilt.

   • Die gute Nachricht: Sobald der Apfel zurückgezogen wurde, kamen nur noch 251 neue Salate in Kontakt mit ihm.
   • Die Lehre: Das Zurückziehen hilft! Es stoppt die weitere Ausbreitung des „Gifts".

2. Die Geschwindigkeit ist entscheidend (Der „Schnell-Service"):
   Hier kommt der wichtigste Teil der Geschichte: Wie schnell wird der Apfel zurückgezogen?

   • Wenn ein Apfel erst nach 7,5 Jahren zurückgezogen wird, hat er schon lange genug Zeit gehabt, um viele Salate zu verderben.
   • Wenn er aber innerhalb von 1 Jahr zurückgezogen wird, ist die Gefahr, dass er den Salat verderbt, um 30 % geringer.
   • Vergleich: Stellen Sie sich vor, Sie bemerken, dass ein Apfel faul ist. Wenn Sie ihn sofort (innerhalb eines Jahres) wegwerfen, retten Sie fast den ganzen Salat. Wenn Sie warten, bis er nach Jahren faul ist, ist der ganze Salat bereits verdorben.

3. Ein seltsames Phänomen:
   Es gab eine kleine Gruppe von verdorbenen Äpfeln, die trotz ihrer Rücknahme noch in Salaten landeten. Warum? Weil die Köche (die Forscher, die die Salate machen) einfach nicht wussten, dass der Apfel zurückgezogen wurde. Oft fehlt ein deutliches Schildchen auf dem verdorbenen Apfel.

💡 Was bedeutet das für uns?

Die Studie sagt uns drei wichtige Dinge:

• Schnelles Handeln rettet: Wissenschaftliche Zeitschriften müssen viel schneller reagieren, wenn sie merken, dass eine Studie falsch ist. Warten ist teuer, weil sich der „verdorbenen Geschmack" dann in der gesamten medizinischen Welt festsetzt.
• Nicht nur wegwerfen: Nur den Apfel wegzuwerfen reicht nicht. Wir müssen auch sicherstellen, dass alle Köche wissen, dass er weg ist (bessere Warnschilder).
• Vertrauen: Damit wir unseren Medizin-Obstsalat sicher essen können, müssen wir sicherstellen, dass die Früchte, die wir verwenden, frisch und echt sind.

Zusammengefasst: Wenn wir verdorbene wissenschaftliche Studien schnell genug zurückziehen, können wir verhindern, dass sie unsere medizinischen Entscheidungen verderben. Aber wir müssen schneller sein als die Zeit, die es braucht, bis sich der Fehler in der Welt verbreitet hat.

Technische Zusammenfassung

Titel der Studie

Zeit bis zum Widerruf und Wahrscheinlichkeit einer Kontamination von Evidenz (VITALITY Extension I): Eine retrospektive Kohortenanalyse.

1. Problemstellung

In den letzten Jahrzehnten ist die Zahl problematischer randomisierter kontrollierter Studien (RCTs) aufgrund von Datenmanipulation, methodischen Mängeln oder wissenschaftlichem Fehlverhalten stark angestiegen. Dies stellt eine ernsthafte Bedrohung für die Integrität des medizinischen Evidenzökosystems dar.
Das zentrale Problem besteht darin, dass revidierte (zurückgezogene) Studien oft weiterhin in systematischen Übersichten und Metaanalysen zitiert und synthetisiert werden, bevor ihre Rücknahme bekannt wird oder wirksam kommuniziert wird. Dies führt zu einer "Evidenzkontamination", bei der fehlerhafte Daten die Schlussfolgerungen der medizinischen Forschung verfälschen. Bisher war unklar, inwieweit der Widerruf einer Studie die weitere Kontamination der Evidenzbasis tatsächlich reduzieren kann und ob die Geschwindigkeit des Widerrufs (Zeit bis zum Widerruf) einen signifikanten Einfluss auf das Ausmaß dieser Kontamination hat.

2. Methodik

Die Studie ist als retrospektive Kohortenanalyse konzipiert und basiert auf dem VITALITY-Studien-Datensatz (VITALITY Study I).

• Datenbasis:
  • Exponierte Kohorte: 1.330 zurückgezogene RCTs, die aus der Retraction Watch-Datenbank bis zum 5. November 2024 extrahiert wurden.
  • Outcome-Kohorte: 847 systematische Übersichten, die diese zurückgezogenen Studien quantitativ synthetisiert haben. Diese wurden durch Vorwärts-Zitationssuche (Forward Citation Searching) in Google Scholar und Scopus identifiziert.
• Studiendesign & Variablen:
  • Exposition: Die "Zeit bis zum Widerruf" (Time-to-retraction), definiert als der Zeitraum zwischen der Veröffentlichung der RCT und ihrem offiziellen Widerruf.
  • Hauptendpunkt: Die Differenz in der medianen Anzahl kontaminierter systematischer Übersichten vor und nach dem Widerruf der zugrundeliegenden RCTs.
  • Sekundärer Endpunkt: Die Wahrscheinlichkeit einer Evidenzkontamination in Abhängigkeit von der Zeit bis zum Widerruf.
  • Definition der Kontamination: Eine systematische Übersicht galt als kontaminiert, wenn sie eine zurückgezogene Studie quantitativ einbezog. Der Zeitpunkt der Kontamination wurde basierend auf dem Einreichungsdatum der Übersicht (korrigiert um die typische Verzögerung bis zur Veröffentlichung) relativ zum Widerrufsdatum der RCT bestimmt.
• Statistische Analyse:
  • Verwendung des Mann-Whitney-U-Tests zum Vergleich der Kontaminationshäufigkeit vor und nach dem Widerruf.
  • Einsatz eines generalisierten linearen Modells (GLM) mit cluster-robusten Standardfehlern, um den Zusammenhang zwischen der Zeit bis zum Widerruf und der Kontaminationswahrscheinlichkeit zu untersuchen.
  • Anpassung für potenzielle Confounder (Journal-Ranking, Initiator des Widerrufs, Finanzierungsquelle, Registrierungsstatus) mittels eines Directed Acyclic Graph (DAG).
  • Sensitivitätsanalysen zur Überprüfung der Annahmen bezüglich der Publikationsverzögerung.

3. Wichtige Ergebnisse

• Ausmaß der Kontamination: Von den 1.330 zurückgezogenen RCTs führten 426 (32,0 %) zu einer Evidenzkontamination. Insgesamt wurden 1.106 Kontaminationsereignisse in 847 systematischen Übersichten identifiziert.
• Zeitverteilung:
  • Die mediane Zeit bis zur ersten Kontamination betrug 3,3 Jahre (IQR: 3,0 bis 3,9).
  • 855 Kontaminationsereignisse traten vor dem Widerruf der RCT auf, während nur 251 Ereignisse nach dem Widerruf stattfanden.
• Auswirkung des Widerrufs:
  • Die mediane Anzahl kontaminierter Übersichten war nach dem Widerruf signifikant niedriger als davor (Median 0, IQR 0–1 vs. Median 1, IQR 1–2; P < 0,01).
• Einfluss der Geschwindigkeit (Zeit bis zum Widerruf):
  • Studien, die innerhalb von 1,0 Jahr nach Veröffentlichung widerrufen wurden, zeigten eine signifikant geringere Wahrscheinlichkeit für Evidenzkontamination (OR = 0,69; 95%-KI: 0,60–0,80) im Vergleich zu Studien, die erst nach mehr als 7,5 Jahren widerrufen wurden.
  • Auch ein Widerruf zwischen 1,0 und 1,8 Jahren war mit einer reduzierten Kontaminationswahrscheinlichkeit assoziiert (OR = 0,70; 95%-KI: 0,60–0,80).
• Post-hoc-Analyse: Interessanterweise führten 22,3 % der widerrufenen Studien zu Kontaminationen, die ausschließlich nach dem Widerruf stattfanden. Diese Studien wurden jedoch im Durchschnitt sehr schnell widerrufen (median 1,1 Jahre), was darauf hindeutet, dass die Autoren der systematischen Übersichten möglicherweise nicht über den Widerruf informiert waren (fehlende Kennzeichnung in Datenbanken).

4. Hauptbeiträge und Signifikanz

• Evidenz für die Wirksamkeit des Widerrufs: Die Studie liefert den ersten empirischen Beleg dafür, dass der Widerruf problematischer Studien die Kontamination des Evidenzökosystems signifikant reduziert.
• Dringlichkeit des Handelns: Es wurde gezeigt, dass die Geschwindigkeit des Widerrufs entscheidend ist. Ein schneller Widerruf (innerhalb eines Jahres) kann die Kontamination um bis zu 90 % im Vergleich zu verzögerten Widerrufen minimieren.
• Systemische Lücken: Die Analyse deckt auf, dass selbst bei schnellem Widerruf Kontaminationen auftreten können, wenn der Status der Studie in Datenbanken oder Suchmaschinen nicht korrekt gekennzeichnet ist. Dies unterstreicht die Notwendigkeit besserer technischer Lösungen zur Kennzeichnung zurückgezogener Arbeiten.
• Implikationen für die Wissenschaft:
  • Fachzeitschriften müssen ihre Prozesse zur Untersuchung von Fehlverhalten beschleunigen, um die "Schadensausbreitung" zu begrenzen.
  • Der Widerruf allein ist notwendig, aber nicht hinreichend; es bedarf ergänzender Strategien (z. B. automatische Warnhinweise in Datenbanken, Aktualisierung von Leitlinien für systematische Reviews), um sicherzustellen, dass revidierte Studien nicht weiter synthetisiert werden.

Fazit: Die Studie unterstreicht, dass eine schnelle Reaktion der wissenschaftlichen Gemeinschaft auf problematische Studien essenziell ist, um die Integrität der medizinischen Evidenzbasis zu wahren. Verzögerungen im Widerrufsprozess haben direkte und messbare negative Auswirkungen auf die Qualität nachgelagerter Forschungsarbeiten.