Challenges in the Computational Reproducibility of Linear Regression Analyses: An Empirical Study

Eine empirische Studie an 95 Gesundheitsforschungsarbeiten zeigt, dass mehr als die Hälfte der linearen Regressionsanalysen nicht computergestützt reproduzierbar ist, was auf unzureichende Datenbeschreibungen und fehlende Analyseskripte zurückzuführen ist, weshalb die Autoren eine verbesserte Transparenz durch Datenwörterbücher und eine neue „Model Location and Specification Table" (MLast) vorschlagen.

Das Wesentliche

Stell dir vor, du hast ein köstliches Rezept für einen Kuchen gefunden, das in einer berühmten Kochzeitschrift veröffentlicht wurde. Du möchtest es nachkochen, um zu sehen, ob es wirklich so lecker ist, wie behauptet. Aber als du die Zutatenliste und die Anleitung durchgehst, stößt du auf ein riesiges Problem:

1. Die Zutaten sind nicht benannt, sondern nur als „Zutat A" und „Zutat B" aufgeführt.
2. Der Backofen-Temperatur steht ein seltsamer Code gegenüber, den niemand versteht.
3. Oder schlimmer noch: Du bekommst gar keine Zutaten geliefert, obwohl auf dem Umschlag „Rezept inklusive" steht.

Genau das ist das Problem, das diese Studie untersucht hat – nur statt Kuchen geht es um medizinische Forschung und statt Kochrezepten um statistische Berechnungen (speziell lineare Regressionen).

Hier ist die Geschichte der Studie, einfach erklärt:

Das große Experiment: Können wir das „Rezept" nachkochen?

Die Forscher haben sich 95 wissenschaftliche Artikel aus dem Jahr 2019 angesehen, die behaupteten, wichtige Dinge über die Gesundheit herausgefunden zu haben. Viele dieser Artikel sagten: „Unsere Daten sind öffentlich verfügbar!" – so als würden sie sagen: „Hier ist der Einkaufszettel, kocht selbst nach!"

Aber als die Forscher tatsächlich versuchten, die Ergebnisse nachzurechnen, passierte Folgendes:

• Der leere Kühlschrank: Von den Artikeln, die Daten versprachen, fehlten bei vielen die wichtigsten Zutaten. Es war wie ein Einkaufszettel ohne die eigentlichen Lebensmittel.
• Das verwirrende Kochbuch: Selbst wenn die Daten da waren, war die Anleitung so unklar, dass niemand wusste, welche Zutat wofür stand. War das „Zucker" eigentlich „Zucker" oder vielleicht „Salz"? In der Statistik nennt man das „Variablen". Wenn die Forscher nicht genau wussten, welche Zahl in der Tabelle für welche Frage im Artikel stand, konnten sie den Kuchen nicht backen.
• Das Ergebnis: Von 20 Artikeln, die sie tatsächlich nachkochen wollten, gelang es ihnen nur bei acht, das exakt gleiche Ergebnis zu erzielen. Bei mehr als der Hälfte (60 %) war das Rezept einfach zu undurchsichtig oder die Zutaten fehlten.

Warum ist das ein Problem?

Stell dir vor, ein Arzt würde ein neues Medikament empfehlen, basierend auf einem Rezept, das niemand nachkochen kann. Wenn die Ergebnisse nicht überprüfbar sind, verlieren wir das Vertrauen in die Wissenschaft. Es ist, als würde jemand behaupten, er habe einen neuen Motor gebaut, aber niemand dürfe ihn sehen oder starten.

Die Lösung: Ein neuer „Kochplan"

Die Autoren der Studie schlagen vor, wie wir das in Zukunft besser machen können. Sie wollen nicht nur die Zutaten (Daten) teilen, sondern auch eine perfekte Anleitung liefern:

1. Das Wörterbuch (Data Dictionary): Stell dir vor, jedes Rezept käme mit einem kleinen Wörterbuch, das erklärt: „Zutat A ist Mehl, Zutat B ist Eier". So weiß jeder genau, was gemeint ist.
2. Der Kochplan (MLast-Tabelle): Das ist ihre große Idee. Sie nennen es „Model Location and Specification Table". Stell dir das wie einen detaillierten Fahrplan vor, der genau zeigt:
   • Wo im Rezept wurde gekocht? (Welche Daten wurden benutzt?)
   • Welche Schritte wurden genau gemacht? (Welche Berechnungen?)
   • Was wurde weggelassen? (Welche Zutaten wurden nicht benutzt?)

Fazit

Die Studie sagt uns: Es reicht nicht, die Daten einfach nur online zu stellen. Wir müssen sie so aufbereiten, dass jeder andere Wissenschaftler (oder sogar ein interessierter Laie) sie verstehen und nachnutzen kann.

Wenn Forscher ihre „Rezepte" so klar und vollständig veröffentlichen, dass jeder sie nachkochen kann, wird die Medizin sicherer, vertrauenswürdiger und letztlich besser für uns alle. Es geht darum, aus dem verschlüsselten „Geheimkochbuch" ein offenes, verständliches Kochbuch zu machen, in dem jeder mitmachen kann.

Technische Zusammenfassung

1. Problemstellung

Die Studie adressiert das zunehmende Problem der mangelnden Reproduzierbarkeit in der Gesundheitsforschung. Obwohl Initiativen zum Datenaustausch die Verfügbarkeit von Daten verbessert haben, bleibt die tatsächliche Nutzbarkeit dieser Daten zur unabhängigen Überprüfung von Forschungsergebnissen (computational reproducibility) unzureichend untersucht. Ein zentrales Hindernis ist oft die Diskrepanz zwischen den in den Publikationen beschriebenen Methoden und den bereitgestellten Rohdaten. Ohne transparente Berichterstattung über statistische Tests, Modellspezifikationen und Softwarenutzung können Dritte die Ergebnisse nicht verifizieren, was die Glaubwürdigkeit evidenzbasierter Politik und Praxis gefährdet.

2. Methodik

Die Autoren führten eine empirische Studie an einer zufälligen Stichprobe von 95 in PLOS ONE veröffentlichten Gesundheitsforschungspapieren aus dem Jahr 2019 durch, die lineare Regressionsanalysen verwendeten. Der Untersuchungsprozess umfasste folgende Schritte:

• Datenerreichbarkeit: Es wurde geprüft, ob die Autoren die Daten verfügbar gemacht hatten.
• Auswahl für Reanalyse: Von den 95 Papieren waren Daten für 43 zugänglich. Davon wurden die ersten 20 Papiere mit verfügbaren Daten für eine tiefgehende Reanalyse ausgewählt.
• Reanalyse-Design: Für jedes der 20 ausgewählten Papiere wurden drei Regressionsmodelle unabhängig nachberechnet.
• Kriterien: Die Bewertung konzentrierte sich darauf, ob die ursprünglichen Ergebnisse unter Verwendung der bereitgestellten Daten und Methoden exakt repliziert werden konnten.

3. Wichtige Ergebnisse

Die Studie deckte erhebliche Defizite in der Reproduzierbarkeit auf:

• Datenverfügbarkeit vs. Nutzbarkeit: Von den 95 Papieren gaben 68 an, Daten verfügbar zu haben. Allerdings fehlten bei 25 dieser Papiere essenzielle Daten, um die linearen Regressionsmodelle zu reproduzieren.
• Reproduzierbarkeitsrate: Von den 20 analysierten Papieren waren nur 8 (40 %) computationally reproduzierbar. Das bedeutet, dass mehr als die Hälfte (60 %) der untersuchten Studien nicht erfolgreich repliziert werden konnte.
• Hauptursachen für Scheitern:
  • Variablen-Mapping: Die größte Hürde war die Schwierigkeit, die im Text beschriebenen Variablen mit den tatsächlichen Variablen in den bereitgestellten Datensätzen abzugleichen.
  • Unzureichende Methodendokumentation: Oft fehlten detaillierte Angaben zu Variablenanpassungen, Datenausschlüssen (Exklusionen) und spezifischen Modellparametern.

4. Schlüsselbeiträge und Lösungsansätze

Als Reaktion auf die identifizierten Lücken schlagen die Autoren konkrete Maßnahmen und ein neues Instrument vor:

• Datenwörterbücher (Data Dictionaries): Autoren sollten bei der Veröffentlichung von Daten zwingend ein korrespondierendes Datenwörterbuch bereitstellen, das Variablenbeschriftungen enthält, die exakt mit denen in der Publikation übereinstimmen.
• Offene Code-Repositories: Analysecode, Modellspezifikationen und unterstützende Materialien müssen öffentlich zugänglich gemacht werden (z. B. als Supplementary Files oder in Repositories).
• Einführung der „MLast"-Tabelle: Als zentrales neues Instrument wird die Model Location and Specification Table (MLast) vorgeschlagen.
  • Funktion: Diese Tabelle dokumentiert präzise, wo (in welchem Datensatz/Datei) und was (welche spezifische Analyse) durchgeführt wurde.
  • Nutzen: In Kombination mit einem Datenwörterbuch ermöglicht die MLast-Tabelle ein klares Mapping zwischen Analyse und Daten, was die computergestützte Reproduzierbarkeit signifikant verbessert.

5. Bedeutung und Fazit

Die Studie unterstreicht, dass die bloße Verfügbarkeit von Daten nicht ausreicht, um wissenschaftliche Transparenz zu gewährleisten. Die hohe Rate an nicht reproduzierbaren Ergebnissen (60 %) wirft ernste Zweifel an der Glaubwürdigkeit berichteter Befunde auf. Die Autoren betonen, dass eine Stärkung der wissenschaftlichen Rigorosität durch standardisierte Berichtsformate (wie die MLast-Tabelle) und vollständige Dokumentation der Analysschritte unerlässlich ist, um das Vertrauen in die evidenzbasierte Gesundheitsforschung wiederherzustellen und die Zusammenarbeit in der Open-Science-Community zu fördern.