Attempts to Reproduce Health Sciences Research Are Uncommon and May Be Declining Over Time: A Systematic Review and Meta-Analysis

Technisches Resümee: „Versuche zur Reproduktion gesundheitswissenschaftlicher Forschung sind selten und könnten im Zeitverlauf abgenommen haben“

Problemstellung
Trotz weit verbreiteter Besorgnis über die mangelnde Reproduzierbarkeit in den Gesundheitswissenschaften – was als Treiber für verschwendete Ressourcen, Patientengefährdung und den Verlust des öffentlichen Vertrauens angeführt wird – mangelt es an einer systematischen Quantifizierung darüber, wie häufig die wissenschaftliche Gemeinschaft versucht, vorangegangene Arbeiten zu reproduzieren. Während geschätzt wird, dass ein erheblicher Teil der Methoden und Ergebnisse in den Gesundheitswissenschaften nicht reproduzierbar ist, bleibt unklar, wie häufig gezielte Reproduktionsstudien durchgeführt werden, um dieses Problem zu überwachen. Darüber hinaus sind die zeitlichen Trends dieser Bemühungen als Reaktion auf die wachsende Reproduzierbarkeitskrise nicht ausreichend charakterisiert. Diese Studie adressiert die Wissenslücke hinsichtlich der Prävalenz von Reproduktionsversuchen, der verwendeten Methoden zur Identifizierung sowie deren Entwicklung im Zeitverlauf.

Methodik
Diese systematische Übersichtsarbeit und Meta-Analyse folgte den PRISMA-Leitlinien und dem Cochrane-Handbuch, wobei das Protokoll vorab auf PROSPERO registriert wurde.

• Datenquellen: Die Autoren durchsuchten MEDLINE, Embase, Web of Science, das Cochrane Controlled Trials Registry, die Cochrane Database of Systematic Reviews sowie Graue Literatur im Zeitraum vom 1. Januar 2000 bis zum 31. Mai 2023.
• Einschlusskriterien: Englischsprachige Studien, die nach 1999 veröffentlicht wurden und den Anteil der wissenschaftlichen Artikel schätzten, die sich der Reproduktion vorangegangener oder gleichzeitiger Forschung in den Gesundheitswissenschaften widmen.
• Klassifizierung der Reproduzierbarkeit: Versuche wurden in drei Typen unterteilt:
  1. Methodisch: Die exakte Wiederholung der Methoden einer anderen Studie.
  2. Ergebnisse: Vergleich von Ergebnissen unter Verwendung derselben oder ähnlicher Methoden (weiter klassifiziert als approximativ, Re-Test oder unspezifiziert).
  3. Inferenzbasiert: Vergleich von Schlussfolgerungen, einschließlich Re-Analysen der Originaldaten.
• Identifizierungsmethoden: Die Übersicht analysierte, wie Studien Reproduktionsversuche identifizierten: (1) Inferenz basierend auf der Sprache der Studie, (2) Inferenz basierend auf der Vergleichbarkeit von Studiendesign-Elementen oder (3) explizite Berichterstattung, dass eine Studie ein Reproduktionsversuch ist.
• Statistische Analyse: Prävalenzschätzungen wurden mittels Meta-Analysen unter Verwendung von Random-Effects-Modellen (Mixed-Effects Logistic Regression) gewichtet nach Stichprobengröße berechnet. Die Heterogenität wurde mittels Cochrans Q bewertet. Eine Meta-Regression mit zeitvariablen Kovariaten wurde eingesetzt, um zeitliche Trends zu evaluieren, wobei die statistische Signifikanzschwelle bei p < 0,01 lag. Sensitivitätsanalysen wurden unter Verwendung des frühesten, medianen und spätesten Veröffentlichungsdatums der zugrunde liegenden Daten durchgeführt, um mehrjährige Datensätze zu berücksichtigen.

Kernergebnisse

• Studienselektion: Von 55.218 gescreenten Artikeln wurden 41 Studien eingeschlossen, die 30 unterschiedliche Clarivate-Forschungsbereiche aus den Domänen biomedizinisch/präklinisch (n=10), klinisch (n=26), Public Health (n=2) und mehrere Domänen (n=3) repräsentieren.
• Gesamtprävalenz: Die gepoolte geschätzte Prävalenz von Reproduktionsversuchen in der Literatur der Gesundheitswissenschaften zwischen 2000 und 2023 lag bei 1,6 % (95 % KI: 0,6–4,2 %).
• Variabilität: Die Prävalenz variierte signifikant nach Forschungsdomäne, Forschungsbereich und der Methode zur Identifizierung von Versuchen.
  • Nach Domäne: Public Health zeigte die höchste Prävalenz (3,5 %), gefolgt von biomedizinisch/präklinisch (3,0 %), klinisch (1,3 %) und mehreren Domänen (0,1 %).
  • Nach Identifizierungsmethode: Studien, die durch Sprache (12,6 %) oder Designvergleichbarkeit (11,9 %) inferiert wurden, zeigten eine wesentlich höhere Prävalenz als solche, die explizit als Reproduktionsversuch deklariert wurden (0,3 %).
  • Nach Forschungsbereich: Die Schätzungen reichten von 0,0 % bis 77,8 %, wobei 22 der 30 Forschungsbereiche auf Einzelstudien basierten.
• Zeitliche Trends: Die Meta-Regression identifizierte einen nicht-signifikanten Anstieg der Odds für Reproduktionsversuche pro Jahr zwischen 2000 und 2015 (49,8 % Anstieg, p=0,03). Diesem folgte jedoch ein signifikanter Rückgang zwischen 2016 und 2023 mit einer Abnahme der Odds um 50,2 % pro Jahr (p < 0,001).
• Sensitivität: Das Ergebnis eines Rückgangs nach 2016 war sensitiv gegenüber den analytischen Annahmen. Wenn die Sensitivitätsanalysen unterschiedliche Publikationsjahre (frühestes, medianes, spätestes) für mehrjährige Datensätze zuordneten, wurden die beobachteten Rückgänge nicht-signifikant, was darauf hindeutet, dass dieser Trend mit Vorsicht interpretiert werden sollte.

Bedeutung und Behauptungen
Die Autoren kommen zu dem Schluss, dass Versuche zur Reproduktion der Forschung in den Gesundheitswissenschaften einen kleinen Teil der Literatur ausmachen und möglicherweise abnehmen. Die Studie hebt mehrere kritische Implikationen hervor:

1. Notwendigkeit erhöhter Anstrengungen: Trotz der anerkannten Bedeutung der Reproduzierbarkeit ist der Anteil der Literatur, der sich ihr widmet, gering und scheint seit 2016 abgenommen zu haben. Die Autoren plädieren für verstärkte Investitionen in Reproduktionsversuche, um irreproduzierbare Wissenschaft zu identifizieren und robuste Evidenzbasen aufzubauen.
2. Standardisierung der Klassifizierung: Die signifikante Variation der Prävalenzschätzungen basierend darauf, wie Versuche identifiziert werden (explizit vs. inferiert), unterstreicht die Notwendigkeit standardisierter Methoden zur Klassifizierung und Berichterstattung von Reproduktionsversuchen. Die Unterscheidung zwischen bewussten und zufälligen Reproduktionsversuchen ist für eine genaue Meta-Wissenschaft notwendig.
3. Überwachung spezifischer Domänen: Die Autoren stellen fest, dass es an Schätzungen für die methodische und inferenzbasierte Reproduktion mangelt. Sie schlagen vor, dass die Überwachung dieser Typen entscheidend ist, insbesondere angesichts bestehender Interventionen (z. B. Protokollregister, Reporting-Guidelines), die auf die Verbesserung der methodischen Strenge abzielen.
4. Zukünftige Forschungsrichtungen: Die Arbeit fordert Primärstudien, um die Prävalenz verschiedener Reproduktionstypen zu quantifizieren und die Beziehung zwischen der Prävalenz von Reproduktionsversuchen und anderen Metriken wissenschaftlicher Robustheit (z. B. Risiko für Bias, Retraktionsraten) zu untersuchen.

Die Studie betont, dass die Reproduzierbarkeit der Forschung nicht routinemäßig und konsistent überwacht wird. Folglich besteht eine dringende Notwendigkeit, das Volumen der Reproduktionsversuche zu erhöhen und deren Klassifizierung sowie Berichterstattung zu standardisieren, um die Vertrauenswürdigkeit wissenschaftlicher Erkenntnisse besser bewerten zu können.