The declared winner of a clinical prediction model comparison is often decided by the random split: a simulation study
Diese Simulationsstudie zeigt, dass bei den für Vergleiche klinischer Vorhersagemodelle typischen geringen Effektstärken der deklarierte „Sieger“ häufig durch die zufällige Datenaufteilung als vielmehr durch tatsächliche Modellüberlegenheit bestimmt wird, was zu überhöhten Leistungsdifferenzen und erheblichen Unstimmigkeiten zwischen Analysten führt, die dieselben Daten verwenden.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der medizinischen Forschung entwickeln Wissenschaftler ständig neue Werkzeuge, um vorherzusagen, wer krank werden wird und wer gesund bleibt. Diese Werkzeuge, bekannt als klinische Vorhersagemodelle, sind wie ausgeklügelte Wettervorhersagen für den menschlichen Körper, die Patientendaten nutzen, um die Wahrscheinlichkeit eines zukünftigen Ereignisses zu erraten. Um zu entscheiden, welches Werkzeug das beste ist, lassen Forscher sie typischerweise in einem Vergleich auf einem Testdatensatz gegeneinander antreten. Sie berechnen einen Wert, der misst, wie oft das Werkzeug die Vorhersage richtig trifft, und dasjenige mit dem höheren Wert wird zum Sieger erklärt. Dieser Prozess ist die Standardmethode, mit der sich das Feld weiterentwickelt, wobei neue Studien häufig verkünden, dass ein neuer Machine-Learning-Algorithmus eine ältere, einfachere Methode geschlagen hat. Die Unterschiede zwischen diesen Werkzeugen sind jedoch oft unglaublich gering, manchmal nur ein winziger Bruchteil eines Prozentpunkts. Wenn der Abstand zwischen zwei Modellen so schmal ist, stellt sich die Frage: Ist der erklärte Sieger tatsächlich besser oder hatte er einfach nur Glück mit der spezifischen Gruppe von Patienten, mit denen er getestet wurde?
Eine jüngste Simulationsstudie von Ananya Sharma untersucht genau diese Unsicherheit. Die Forschung beinhaltet keine echten Patienten oder neue medizinische Daten; stattdessen nutzt sie einen Computer, um tausende von fiktiven Szenarien zu generieren, in denen zwei Vorhersagemodelle verglichen werden. Das Ziel war zu sehen, wie oft das Modell, das den Wettbewerb gewinnt, tatsächlich das überlegene ist und wie oft das Ergebnis lediglich ein Zufallsprodukt ist, das durch die zufällige Aufteilung der Daten entstanden ist. In diesen Simulationen erstellten die Forscher zwei Modelle, die in ihrer wahren Fähigkeit, Ergebnisse vorherzusagen, fast identisch waren. Sie führten dann tausende Vergleiche durch, wobei sie die Größe der Testgruppen und die spezifische zufällige Aufteilung der Daten veränderten, um zu sehen, wie oft der „Sieger“ wechselte oder wie sehr der berichtete Vorteil übertrieben dargestellt wurde.
Die Ergebnisse offenbaren eine erschreckende Instabilität in der Art und Weise, wie diese Vergleiche derzeit durchgeführt werden. Wenn der wahre Unterschied zwischen zwei Modellen sehr klein ist – was der typische Fall in realen medizinischen Studien ist –, ist der erklärte Sieger oft nur ein Produkt des Zufalls. In einem Szenario, in dem die Modelle nahezu identisch in ihren Fähigkeiten waren, würden zwei verschiedene Forscher, die exakt dieselben Daten analysieren, aber unterschiedliche zufällige Aufteilungen verwenden, fast die Hälfte der Zeit unterschiedliche Sieger verkünden. Selbst wenn ein Modell tatsächlich etwas besser war, wurde das „bessere“ Modell bei einer kleinen Testgruppe nur in etwa zwei Dritteln der Fälle korrekt identifiziert. Das bedeutet, dass in einer signifikanten Anzahl veröffentlichter Studien die Schlussfolgerung, dass ein Werkzeug dem anderen überlegen sei, falsch sein könnte, einfach weil die spezifischen Patienten, die für den Testdatensatz ausgewählt wurden, eines der Modelle durch Zufells Glück begünstigt haben.
Eine weitere wichtige Entdeckung betrifft die Größe des Siegesvorsprungs. Wenn ein Modell gewinnt, stellte die Studie fest, dass der berichtete Leistungsunterschied fast immer aufgebläht wird, was den Abstand viel größer erscheinen lässt, als er tatsächlich ist. Wenn beispielsweise der wahre Unterschied zwischen zwei Modellen winzig war, berichtete das siegreiche Modell oft einen Unterschied, der mehr als doppelt so groß war wie der tatsächliche Wert. Dies geschieht, weil der Prozess der Auswahl des Siegers das Modell natürlich auswählt, das das günstigste zufällige Rauschen in diesem spezifischen Test erhalten hat. Es ist vergleichbar mit dem Werfen einer Münze: Wenn man zehnmal wirft und sechs Mal Kopf erhält, könnte man behaupten, die Münze sei manipuliert, aber das Ergebnis ist nur eine zufällige Schwankung. Im Kontext dieser medizinischen Modelle bedeutet der „Fluch des Gewinners“, dass der berichtete Erfolg eine Mischung aus echter Fähigkeit und einer großen Dosis statistischen Glücks ist, was Forscher zu der Annahme führt, sie hätten einen Durchbruch erzielt, während sie eigentlich nur einen zufälligen Ausschlag gefunden haben.
Die Studie untersuchte auch, ob das Problem darin liegt, wie die Modelle gebaut werden oder wie die Daten getestet werden. Indem die Forscher die Modelle unverändert ließen und nur die Testgruppe änderten, und indem sie die Modelle bei jeder neuen Aufteilung neu trainierten, fanden sie heraus, dass die Instabilität fast vollständig von der Testgruppe selbst kommt. Dies deutet darauf darauf hin, dass es die Modelle komplexer oder stabiler zu machen nicht lösen wird; das Problem ist, dass die in vielen Studien verwendeten Testgruppen schlichtweg zu klein sind, um Modelle, die in ihrer Leistung sehr nah beieinander liegen, zuverlässig zu unterscheiden. Wenn die Testgruppe klein ist, übertönt das zufällige Rauschen in den Daten das winzige Signal des tatsächlichen Unterschieds.
Letztlich legt diese Forschung nahe, dass die aktuelle Gewohnheit, einen einzelnen Sieger basierend auf einem einzigen Testlauf zu erklären, oft irreführend ist. Die Studie empfiehlt den Forschern, nicht einen einzelnen Vergleich als endgültiges Urteil zu behandeln. Stattdessen sollten sie die Unsicherheitsspanne um den Unterschied herum angeben und vor allem den Test viele Male mit verschiedenen zufälligen Aufteilungen wiederholen, um zu sehen, wie oft jedes Modell gewinnt. Wenn ein Modell über viele Wiederholungen hinweg nur etwas häufiger als die Hälfte der Zeit gewinnt, ist die ehrliche Schlussfolgerung, dass die beiden Modelle mit den vorliegenden Daten praktisch ununterscheidbar sind. Bis die Testgruppen groß genug sind, um diesen Zufall zu überwinden, oder bis Studien diese strengeren Berichterstattungsverfahren anwenden, werden die „Sieger“ klinischer Vorhersagewettbewerbe weniger ein Spiegelbild der medizinischen Wahrheit als vielmehr ein Spiegelbild des Würfelglücks sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.