An Empirical Assessment of Inferential Reproducibility of Linear Regression in Health and Biomedical Research Papers

Die Studie zeigt, dass in der Gesundheitsforschung häufig unentdeckte Verletzungen von Regressionsannahmen zu mangelnder inferenzieller Reproduzierbarkeit führen, was eine stärkere statistische Ausbildung und transparente Modellierungsentscheidungen erfordert.

Das Wesentliche

Stellen Sie sich vor, Sie und ein Freund schauen sich denselben Film an. Beide haben die gleichen Bilder gesehen, denselben Soundtrack gehört und sitzen im selben Kino. Aber wenn Sie beide den Film danach beschreiben, erzählen Sie vielleicht völlig unterschiedliche Geschichten. Der eine sagt: „Das war ein spannender Krimi!", der andere: „Das war eine langweilige Liebesgeschichte."

Genau das passiert in der medizinischen Forschung, wie diese neue Studie zeigt. Hier ist die Erklärung, was die Forscher herausgefunden haben, ganz einfach und mit ein paar Bildern aus dem Alltag:

Das Problem: Der „Gleiche Kuchen, andere Rezepte"

In der Gesundheitsforschung nutzen Wissenschaftler oft eine mathematische Methode namens lineare Regression. Man kann sich das wie ein Rezept für einen Kuchen vorstellen. Die Daten (die Zutaten) sind festgelegt. Aber wie man den Kuchen backt – also welche Regeln man beim Mischen und Backen beachtet – liegt beim Forscher.

Die Studie hat 95 medizinische Artikel aus dem Jahr 2019 untersucht. Das Ziel war zu prüfen: Wenn wir die gleichen Daten nehmen und sie noch einmal neu berechnen, kommen wir dann zum gleichen Ergebnis?

Das Ergebnis war erschreckend: Von 14 Artikeln, die wir nachberechnen konnten, kamen nur 3 zum gleichen Schluss wie die Originalautoren. Bei den anderen 11 war das Ergebnis so verzerrt, dass man es kaum noch wiedererkennen konnte.

Warum ist das passiert? Die „versteckten Risse" im Fundament

Damit ein mathematisches Modell funktioniert, muss es auf bestimmten Regeln basieren. Die Forscher nennen das „Annahmen". Zwei der wichtigsten Regeln sind:

1. Die Daten müssen sich wie eine Glocke verteilen (Normalverteilung).
2. Die Datenpunkte dürfen sich nicht gegenseitig beeinflussen (Unabhängigkeit).

Stellen Sie sich vor, Sie bauen ein Haus. Wenn Sie das Fundament nicht prüfen, sieht das Haus von außen vielleicht stabil aus. Aber wenn der Boden unter einem Eckstein wackelt (eine verletzte Regel), kann das ganze Haus kippen, auch wenn die Wände gerade sind.

In der Studie war das Fundament oft wackelig:

• In 8 von 14 Fällen war die Verteilung der Daten nicht in Ordnung.
• In 8 von 14 Fällen waren die Daten nicht unabhängig voneinander (als hätten sich die Teilnehmer untereinander abgesprochen oder wären in Gruppen gemischt worden, ohne dass man es bemerkte).

Besonders das Wackeln der Unabhängigkeit führte dazu, dass die Schlussfolgerungen der Forscher falsch waren.

Das Ergebnis: „Ja, aber..."

Ein interessanter Punkt: Oft sagten die Forscher am Ende trotzdem „Ja, das ist signifikant" (also: „Es gibt einen Effekt"). Das klingt erstmal gut. Aber wenn man genauer hinsieht, war das Bild unscharf.

Stellen Sie sich vor, Sie versuchen, einen Ball in ein Tor zu werfen.

• Der Originalartikel sagte: „Der Ball ist definitiv im Tor!"
• Die neue, korrekte Berechnung sagte: „Der Ball könnte im Tor sein, aber er ist so nah am Pfosten, dass er auch daneben liegen könnte."

Die neuen Berechnungen zeigten oft viel breitere Unsicherheitsbereiche. Das bedeutet: Die Wissenschaftler waren sich nicht so sicher, wie sie dachten. In der Medizin kann diese Unsicherheit jedoch lebenswichtig sein. Wenn ein Arzt auf Basis einer unsicheren Studie ein Medikament verschreibt, könnte das für den Patienten riskant sein.

Was lernen wir daraus?

Die Studie sagt uns, dass viele Forscher (und sogar die Gutachter, die die Artikel prüfen) die „wackeligen Fundamente" übersehen haben. Oft haben sie zu starre Regeln befolgt, wie zum Beispiel zu prüfen, ob die Ergebnisse normal verteilt sind, statt zu prüfen, ob die Fehler im Modell normal verteilt sind. Das ist wie wenn man prüft, ob der Kuchen schön aussieht, aber vergisst zu prüfen, ob der Ofen heiß genug war.

Die Lösung?

1. Kein starres Regelwerk: Man sollte nicht blindlings Formeln anwenden, sondern verstehen, was die Fragestellung verlangt.
2. Bessere Werkzeuge: Wenn die Daten nicht perfekt sind (was sie fast nie sind), sollte man robustere Methoden nutzen – wie ein Sicherheitsnetz, das auffängt, wenn das Fundament wackelt.
3. Teamwork: Ärzte und Forscher sollten von Anfang an mit Statistiker-Experten zusammenarbeiten, wie ein Architekt, der mit einem Bauingenieur spricht, bevor der erste Stein gesetzt wird.

Fazit:
Die Studie ist eine Mahnung: Nur weil eine Studie veröffentlicht ist, heißt das nicht, dass das Fundament stabil ist. Um die Gesundheit der Menschen wirklich zu schützen, müssen wir sicherstellen, dass unsere mathematischen Werkzeuge nicht nur gut aussehen, sondern auch standfest sind.

Technische Zusammenfassung

Technische Zusammenfassung: Eine empirische Bewertung der inferenziellen Reproduzierbarkeit linearer Regressionen in Gesundheits- und biomedizinischen Forschungsarbeiten

1. Problemstellung

In der Gesundheitsforschung führt die Variabilität bei Modellierungsentscheidungen oft zu unterschiedlichen Schlussfolgerungen, selbst wenn dieselben Daten analysiert werden. Dieses Phänomen wird als inferenzielle Reproduzierbarkeit (inferential reproducibility) bezeichnet. Ein zentrales Problem liegt in der fehlerhaften Behandlung grundlegender Annahmen der linearen Regression, insbesondere der Normalverteilung der Residuen und der Linearität. Wenn diese Annahmen verletzt werden, ohne dass dies erkannt oder korrigiert wird, können die statistischen Schlussfolgerungen der Studien unzuverlässig sein, was potenziell klinische Entscheidungen und Behandlungsrichtlinien negativ beeinflusst.

2. Methodik

Die Studie verfolgte einen mehrstufigen empirischen Ansatz zur Überprüfung der Reproduzierbarkeit:

• Stichprobe: Es wurden zufällig 95 gesundheitsbezogene Forschungsartikel aus dem Jahr 2019 aus dem Journal PLOS ONE ausgewählt, die lineare Regressionen in ihren Methoden beschrieben.
• Datenverfügbarkeit und Reproduzierbarkeit: Von den 95 Artikeln waren Daten für 43 verfügbar. Davon wurden 20 Artikel auf computergestützte Reproduzierbarkeit (computational reproducibility) überprüft, wobei drei Modelle pro Artikel bewertet wurden.
• Fokus der Analyse: Die 14 Artikel, bei denen mindestens ein Modell teilweise computergestützt reproduziert werden konnte, wurden einer detaillierten Prüfung auf inferenzielle Reproduzierbarkeit unterzogen.
• Analyseverfahren: Um den Einfluss von Annahmeverletzungen zu bewerten, wurden folgende Metriken zwischen den Originalstudien und den neu durchgeführten Analysen verglichen:
  • Regressionskoeffizienten.
  • 95%-Konfidenzintervalle.
  • Modellgüte (Model Fit).
  • Statistische Signifikanz (binäre Klassifizierung).

3. Wichtige Ergebnisse

Die Analyse ergab signifikante Mängel in der Reproduzierbarkeit und der Einhaltung statistischer Annahmen:

• Geringe Inferenzielle Reproduzierbarkeit: Von den 14 untersuchten Artikeln waren nur drei inferenziell reproduzierbar. Das bedeutet, dass in den meisten Fällen die ursprünglichen Schlussfolgerungen bei Nachrechnung nicht bestätigt werden konnten.
• Häufige Annahmeverletzungen: Die am häufigsten verletzten Annahmen waren die Normalverteilung und die Unabhängigkeit der Daten, wobei jede dieser Verletzungen in acht der 14 Artikel vorkam.
• Konsequenzen der Verletzungen:
  • Verletzungen der Unabhängigkeit (z. B. durch nicht berücksichtigte Clusterstrukturen oder wiederholte Messungen) hatten besonders schwerwiegende Folgen und waren häufig mit einem Scheitern der inferenziellen Reproduzierbarkeit verbunden.
  • Obwohl die reproduzierten Analysen oft dieselbe binäre Signifikanzkategorie (signifikant/nicht signifikant) beibehielten wie die Originalstudien, waren die Konfidenzintervalle in der Reproduktion häufig breiter. Dies deutet auf eine größere Unsicherheit und eine reduzierte Präzision der Schätzungen hin, die in den Originalarbeiten unterschätzt wurden.

4. Schlussfolgerungen und Signifikanz

Die Studie zieht folgende wesentliche Schlussfolgerungen für die biomedizinische Forschung:

• Systematisches Versagen: Substantielle Verletzungen grundlegender Modellannahmen bleiben häufig sowohl von den Autoren als auch von Gutachtern unentdeckt. Dies führt in vielen Fällen zu fehlerhaften inferenziellen Ergebnissen.
• Klinische Relevanz: Die in den reproduzierten Analysen aufgedeckte größere Unsicherheit (breitere Konfidenzintervalle) kann die Interpretation von Ergebnissen verzerren und sich direkt auf Behandlungsentscheidungen und klinische Praktiken auswirken.
• Empfehlungen für die Praxis:
  • Statistische Bildung: Es besteht ein dringender Bedarf an einer Stärkung der statistischen Ausbildung und einer transparenteren Dokumentation von Modellierungsentscheidungen.
  • Angemessene Methodenwahl: Statt starrer oder falsch verstandener Regeln (wie dem fälschlichen Testen der Normalverteilung der Zielvariable anstelle der Residuen) sollten Forscher Modellierungsrahmen wählen, die sich am Forschungsziel und Studiendesign orientieren.
  • Alternativmethoden: Bei Verletzungen von Annahmen sollten robuste Methoden, Bootstrapping, Generalisierte Lineare Modelle (GLM) oder gemischte Effekte-Modelle (Mixed-Effects Models) eingesetzt werden.
  • Zusammenarbeit: Angesichts der Häufigkeit von Annahmeverletzungen, selbst bei scheinbar einfachen Regressionsmodellen, ist eine frühzeitige und nachhaltige Zusammenarbeit mit Statistiker:innen unerlässlich, um robuste, vertretbare und klinisch sinnvolle Schlussfolgerungen zu gewährleisten.