Widespread use of invalid statistical tests in biomedical machine learning

Dieser Artikel zeigt auf, dass die weit verbreitete Verwendung ungültiger statistischer Tests, die die Abhängigkeit zwischen den Kreuzvalidierungs-Folds in der biomedizinischen maschinellen Lernforschung ignorieren, zu einer Aufblähung der falsch-positiven Raten führt, was die Autoren dazu veranlasst, den SHARP-Test als robuste Lösung vorzuschlagen und neue Berichterstattungsrichtlinien für einen gültigen Modellvergleich bereitzustellen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Richter, der entscheiden soll, welches von zwei neuen Rezepten den besten Kuchen backt. Um fair zu sein, backen Sie nicht einfach einen Kuchen mit jedem Rezept und probieren sie einmal. Stattdessen backen Sie zehn Kuchen mit Rezept A und zehn mit Rezept B und bitten dann zehn verschiedene Freunde, sie zu probieren.

Das Problem: Der „Gruppenumarmungs"-Irrtum

In der Welt des biomedizinischen maschinellen Lernens (bei dem Computer genutzt werden, um Muster in medizinischen Daten zu finden), machen Wissenschaftler etwas Ähnliches, das als „Kreuzvalidierung" bezeichnet wird. Sie teilen ihre Daten in zehn Blöcke auf, trainieren ihre Computermodelle auf neun Blöcken und testen sie auf dem zehnten, wobei sie dies zehnmal wiederholen.

Die Studie argumentiert, dass die meisten Wissenschaftler hier einen kritischen Fehler machen. Wenn sie die Ergebnisse dieser zehn Tests vergleichen, verwenden sie Standard-Mathematikwerkzeuge (wie einen gepaarten t-Test), die davon ausgehen, dass jedes Testergebnis völlig unabhängig ist – so als würde man zehn Fremde bitten, die sich noch nie getroffen haben, die Kuchen zu probieren.

In Wirklichkeit sind diese zehn Tests jedoch nicht unabhängig. Sie betrachten alle dieselben zugrunde liegenden Daten, lediglich anders aufgeteilt. Es ist eher so, als würde man dieselben zehn Freunde bitten, die Kuchen zehn Mal hintereinander zu probieren. Da sich die Freunde kennen und ähnliche Vorlieben haben, sind ihre Meinungen „korreliert".

Die Studie behauptet, dass Wissenschaftler, indem sie diese Verbindung ignorieren, ein leicht verbogenes Lineal verwenden. Sie glauben, sehr präzise zu sein, sehen aber tatsächlich „statistische Geister". Sie finden Unterschiede zwischen Modellen, die nicht wirklich existieren, was zu einer massiven Anzahl von falschen Alarmen (falsch-positive Ergebnissen) führt.

Die Untersuchung: Eine globale Prüfung

Die Autoren haben nicht nur geraten; sie gingen auf Spurensuche. Sie rezensierten 210 hochrangige Studien aus führenden medizinischen Fachzeitschriften (mit hohen „Impact Factors", was bedeutet, dass sie sehr bekannt und einflussreich sind).

• Das Ergebnis: Ein erschreckender 97 % dieser Studien machten den „Gruppenumarmungs"-Irrtum. Sie behandelten ihre abhängigen Testergebnisse so, als wären sie unabhängig.
• Der Umfang: Dies war kein Problem nur weniger „schlechter" Studien. Es trat unabhängig davon auf, wie bekannt die Zeitschrift war, wie streng die Regeln waren oder ob die Wissenschaftler ihre Daten offen teilten. Es ist eine weit verbreitete Gewohnheit im gesamten Bereich.

Die Simulation: Wie schlimm ist es?

Um zu beweisen, wie gefährlich dies ist, führten die Autoren 420 verschiedene Computersimulationen durch. Sie stellten fest, dass, wenn man ignoriert, dass Ihre Testergebnisse verknüpft sind:

• Ihre Rate an „falschen Alarmen" in die Höhe schießt.
• Wenn Sie den Test viele Male wiederholen (eine gängige Praxis namens „wiederholte Kreuzvalidierung"), die Wahrscheinlichkeit eines falschen Alarms auf nahezu 100 % steigen kann. Es ist, als würde man eine Münze werfen und jedes Mal gesagt bekommen, man habe im Lotto gewonnen, obwohl man es nicht getan hat.

Die Lösung: Der „SHARP"-Test

Die Studie erklärt, dass die Behebung dieses Problems schwierig ist, da man mit Standardmethoden nicht unterscheiden kann, ob die Ergebnisse ähnlich sind, weil die Modelle tatsächlich gut sind, oder einfach nur, weil die Datenblöcke einander zu ähnlich sind. Es ist, als würde man versuchen herauszufinden, ob eine Gruppe von Freunden übereinstimmt, weil sie klug sind, oder einfach nur, weil sie sich alle gegenseitig abschreiben.

Um dies zu lösen, schlagen die Autoren eine neue Methode namens SHARP (Split-HAlf RePeated) vor.

• Wie es funktioniert: Stellen Sie sich vor, anstatt Ihre zehn Freunde zehn Mal die Kuchen probieren zu lassen, teilen Sie sie in zwei separate Gruppen auf. Gruppe 1 probiert die Kuchen in der ersten Hälfte des Experiments, und Gruppe 2 probiert sie in der zweiten Hälfte. Da diese Gruppen getrennt und voneinander unterschiedlich sind, können Sie endlich messen, wie sehr sie von sich aus übereinstimmen, ohne den „Echokammer"-Effekt.
• Das Ergebnis: Als die Autoren SHARP gegen 12 andere Methoden testeten, war es der klare Gewinner. Es war die einzige Methode, die falsche Alarme niedrig hielt und gleichzeitig in der Lage war, echte Unterschiede zwischen Modellen zu erkennen.

Das Fazit

Die Studie endet mit der Aussage, dass die derzeitige Art und Weise, medizinische KI-Modelle zu vergleichen, defekt ist. Es ist, als würde man eine kaputte Waage verwenden, um Zutaten für ein lebensrettendes Medikament abzuwiegen. Die Autoren bieten einen neuen, einfachen Regelkatalog (Best Practices) an, um Wissenschaftlern zu helfen, ihre Mathematik zu korrigieren und sicherzustellen, dass, wenn sie behaupten, ein Modell sei besser als ein anderes, sie tatsächlich die Wahrheit sagen.

Technische Zusammenfassung

Technisches Fazit: Weit verbreiteter Einsatz ungültiger statistischer Tests im biomedizinischen maschinellen Lernen

Das Problem
Maschinelles Lernen ist zu einem Eckpfeiler der biomedizinischen Forschung geworden und wird häufig eingesetzt, um Algorithmen zu bewerten und wissenschaftliche Erkenntnisse zu gewinnen, wie etwa die Rangfolge von Biomarkern. Der Standardansatz zur Bewertung der Vorhersageleistung ist die Kreuzvalidierung (CV). Ein kritischer statistischer Mangel untergräbt jedoch diese Praxis: Schätzungen der Vorhersageleistung, die aus verschiedenen CV-Falten stammen, sind nicht unabhängig. Standardstatistische Tests zum Vergleich dieser Leistungen, wie der gepaarte t-Test, beruhen auf der Annahme der Unabhängigkeit. Wenn diese Annahme verletzt wird, versagen die Tests darin, die Rate falsch-positiver Ergebnisse zu kontrollieren, was zu ungültigen Schlussfolgerungen führt. Trotz der Allgegenwart dieses Problems bleibt es in wissenschaftlichen Publikationen mit hohem Impact-Faktor weitgehend unbehandelt.

Methodik
Die Autoren verfolgten einen vielschichtigen methodischen Ansatz, um dieses Problem zu diagnostizieren und zu lösen:

1. Meta-Analyse: Eine PRISMA-gesteuerte Überprüfung von 210 Studien, die zwischen dem 1. Juni 2020 und dem 1. Juni 2025 in Zeitschriften mit einem Impact-Faktor ≥ 15 veröffentlicht wurden. Die Überprüfung untersuchte spezifisch, wie Studien die Vorhersageleistung verglichen und ob sie die Abhängigkeit zwischen den Falten berücksichtigten.
2. Simulationsstudien: Umfassende Simulationen wurden über 420 Szenarien hinweg durchgeführt, wobei vier diverse Datensätze genutzt wurden. Diese Simulationen testeten die Leistungsfähigkeit standardmäßiger Tests unter variierenden Bedingungen, einschließlich des Einsatzes wiederholter Kreuzvalidierung.
3. Statistische Analyse: Die Autoren analysierten die theoretischen Grenzen bestehender „faltenabhängigkeitsbewusster" Tests und stellten fest, dass unter standardmäßiger Kreuzvalidierung die Varianz faltenbezogener Statistiken und die Korrelation zwischen den Falten nicht voneinander getrennt werden können, was bestehende Methoden zwingt, sich auf starke, oft nicht überprüfte Annahmen zu verlassen.
4. Vorschlag eines neuen Tests: Um diese Grenzen zu überwinden, schlugen die Autoren den SHARP (Split-HAlf RePeated)-Test vor. Diese Methode modifiziert das Standardverfahren der Kreuzvalidierung, um die direkte Schätzung sowohl der Varianz als auch der Korrelation zu ermöglichen, wodurch die Anforderungen für eine gültige statistische Inferenz erfüllt werden, ohne sich auf nicht überprüfbare Annahmen zu stützen.

Hauptergebnisse

• Verbreitung des Fehlers: Die Meta-Analyse ergab, dass 97 % der geprüften Studien die Faltenabhängigkeit beim Vergleich der Vorhersageleistung ignorierten. Dieses Versäumnis wurde als allgegenwärtig in wissenschaftlichen Disziplinen festgestellt und wurde weder durch hohe Impact-Faktoren, Richtlinien zur Förderung von Strenge noch durch Open-Science-Praktiken gemildert.
• Auswirkung auf falsch-positive Ergebnisse: Simulationen zeigten, dass das Ignorieren der Faltenabhängigkeit in der Mehrzahl der Settings zu einer ungültigen Kontrolle falsch-positiver Ergebnisse führt. Das Problem wird durch wiederholte Kreuzvalidierung verschärft; mit zunehmender Anzahl der Wiederholungen können die Raten falsch-positiver Ergebnisse gegen 100 % ansteigen.
• Leistungsfähigkeit von SHARP: Im Vergleich zu 12 anderen statistischen Tests zeigte der SHARP-Test die beste Gesamtbalance über drei kritische Metriken hinweg: Kontrolle falsch-positiver Ergebnisse, statistische Power und Kalibrierung von Konfidenzintervallen. Diese Leistung wurde konsistent über die verschiedenen Simulationspläne hinweg erzielt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die aktuelle Abhängigkeit von Standardtests zum Vergleich maschineller Lernmodelle in der biomedizinischen Forschung fundamental fehlerhaft ist und zu einem hohen Risiko für zufällige wissenschaftliche Schlussfolgerungen führt. Indem sie feststellen, dass dieses Problem trotz hoher redaktioneller Standards fortbesteht, heben die Autoren eine systemische Lücke in der statistischen Strenge hervor.

Der primäre Beitrag dieser Arbeit ist die Einführung des SHARP-Tests, der eine praktische Lösung für das Problem der Faltenabhängigkeit bietet, indem er die direkte Schätzung notwendiger statistischer Parameter ermöglicht. Darüber hinaus schließen die Autoren mit der Bereitstellung spezifischer Best Practices und Berichtsrichtlinien, die darauf abzielen, die Gültigkeit von Inferenzen beim Modellvergleich im biomedizinischen maschinellen Lernen und in verwandten Bereichen wiederherzustellen. Die Arbeit dient als Aufruf an die Gemeinschaft, diese korrigierten Methoden zu übernehmen, um sicherzustellen, dass wissenschaftliche Anwendungen, wie die Rangfolge von Biomarkern, auf statistisch fundierten Beweisen basieren.