Quantifying the Optimism of Naive Cross-Validation for Binary Outcome Prediction with Repeated-Measures Predictors: A Simulation Study and Clinical Illustration
Diese Studie zeigt, dass die Anwendung von Kreuzvalidierung auf Beobachtungsebene bei Messwiederholungsdaten mit binären Ergebnissen die prädiktive Leistung signifikant überschätzt, während eine Partitionierung auf Probandenebene die primäre Quelle dieser Optimismus effektiv eliminiert und eng mit einer rigorosen Leave-One-Cluster-Out-Validierung übereinstimmt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
In der Welt der medizinischen Forschung bauen Wissenschaftler oft Modelle, um vorherzusagen, ob ein Patient eine bestimmte Erkrankung entwickeln wird, wie etwa eine schwere Augenerkrankung bei Frühgeborenen. Um zu wissen, ob diese Modelle gut sind, verwenden Forscher eine Standard-Testmethode namens Kreuzvalidierung. Stellen Sie sich vor, Sie haben ein Kartenspiel, das Patientendaten repräsentiert, und Sie möchten sehen, ob Ihr Modell das Ergebnis einer Karte erraten kann, die es noch nie zuvor gesehen hat. Die übliche Methode besteht darin, die Karten zu mischen, einige in einen Trainingsstapel zu legen, um das Modell zu lehren, und einen separaten Teststapel zurückzuhalten, um seine Arbeit zu überprüfen. Dieser Prozess wird viele Male wiederholt, wobei die Karten jedes Mal anders gemischt werden, um eine zuverlässige Durchschnittsbewertung darüber zu erhalten, wie gut das Modell abschneidet. Diese Methode funktioniert perfekt, wenn jede Karte im Deck einzigartig und unabhängig ist, wie eine einzelne Momentaufnahme einer anderen Person.
Viele moderne medizinische Studien befassen sich jedoch nicht mit einzelnen Momentaufnahmen. Stattdessen sammeln sie kontinuierliche Datenströme von derselben Person über einen längeren Zeitraum, wie zum Beispiel tägliche Sauerstoffwerte, die über Wochen hinweg in einem Krankenhaus aufgezeichnet werden. In diesen Fällen sind die Datenpunkte nicht unabhängig; der Sauerstoffwert eines Babys am Dienstag ist eng verwandt mit dem Wert vom Montag. Wenn Forscher die standardmäßige Mischmethode auf diese Art von Daten anwenden, begehen sie oft einen subtilen, aber entscheidenden Fehler. Sie könnten Teile der Daten eines Babys vom Dienstag in den Trainingsstapel legen und die Daten desselben Babys vom Mittwoch in den Teststapel. Da das Modell die Daten vom Dienstag bereits gesehen hat, kann es die Daten vom Mittwoch leicht erraten – nicht, weil es eine allgemeine Regel über die Krankheit gelernt hat, sondern einfach, weil es das spezifische Muster dieses speziellen Babys auswendig gelernt hat. Dies erzeugt ein falsches Vertrauen und lässt das Modell viel besser erscheinen, als es tatsächlich ist, wenn es mit einem völlig neuen Patienten konfrontiert wird.
Joseph Hagan, ein Forscher am Baylor College of Medicine, setzte sich zum Ziel, genau zu messen, wie sehr dieser Fehler die Ergebnisse medizinischer Vorhersagemodelle aufbläht. Er konzentrierte sich auf ein häufiges Szenario in der neonatologischen Versorgung: die Verwendung täglicher Sauerstoffmessungen, um vorherzusagen, ob ein Frühgeborenes eine Retinopathie der Frühgeburtlichkeit entwickeln wird, eine ernste Augenerkrankung. Um dies zu tun, untersuchte er zunächst echte Daten von 101 Säuglingen, verfolgte deren tägliche Sauerstoffwerte und beobachtete, ob sie die Erkrankung entwickelten. Er baute daraufhin eine Computersimulation, die Tausende von gefälschten Datensätzen generierte, wobei Variablen wie die Anzahl der Säuglinge in der Studie, wie stark die täglichen Messungen miteinander verknüpft waren und wie häufig die Krankheit auftrat, sorgfältig kontrolliert wurden. Dies ermöglichte es ihm, die „Standardmethode“, die einzelne tägliche Datensätze mischt, gegen eine „korrekte“ Methode zu vergleichen, die alle Daten eines einzelnen Babys zusammenhält und so sicherstellt, dass das Modell nur an Babys getestet wird, die es zuvor noch nie gesehen hat.
Die Ergebnisse waren drastisch. Als die Forscher die Standardmethode auf die echten Daten von 101 Säuglingen anwandten, schien das Modell eine hohe Fähigkeit zu besitzen, zwischen kranken und gesunden Babys zu unterscheiden, und erreichte einen Wert von 0,686 auf einer Skala, bei der 0,5 nicht besser als ein Münzwurf ist. Als sie jedoch die korrekte Methode verwendeten, welche die Gruppierung der Patienten respektierte, sank der Wert auf 0,608. Dieser Unterschied von 0,078 Punkten mag klein erscheinen, aber in der Welt der medizinischen Vorhersage ist er der Unterschied zwischen einem Modell, das nützlich erscheint, und einem, das kaum einen realen Wert bietet. In der Simulation war das Problem noch dramatischer. Im Durchschnitt überschätzte die Standardmethode die Leistung des Modells um 0,213 Punkte. Im schlimmsten Fall, in dem die Studie nur sehr wenige Patienten umfasste und die täglichen Daten hochgradig vorhersagbar waren, behauptete die Standardmethode einen Wert von 0,932, was eine nahezu perfekte Genauigkeit suggerierte, während die wahre Fähigkeit des Modells, neue Patienten vorherzusagen, nur bei 0,569 lag – kaum besser als der Zufall.
Die Studie zeigte auch, dass diese Überschätzung mit einem täuschenden Bonus einhergeht: Die Standardmethode lässt die Ergebnisse unglaublich präzise erscheinen. Da das Modell im Wesentlichen Teile desselben Patienten sowohl in der Trainings- als auch in der Testphase verwendet, sind die Ergebnisse aus verschiedenen Testläufen fast identisch, was einen engen, engen Bereich von Ergebnissen erzeugt, der sehr stabil aussieht. In Wirklichkeit ist diese Stabilität eine Illusion. Als die Forscher zur korrekten Methode wechselten, variierten die Werte viel stärker, was die wahre Unsicherheit der Modellleistung widerspiegelte. Diese „Präzisionsillusion“ ist gefährlich, da sie Forscher davon überzeugt, dass ihr Modell robust ist, obwohl es in Wirklichkeit fragil und verzerrt ist.
Hagans Arbeit identifizierte zwei unterschiedliche Quellen dieses Fehlers. Die erste ist eine Komponente des „Leakage“ (Datenleckage), die direkt dadurch verursacht wird, dass das Modell Teile desselben Patienten sowohl im Trainings- als auch im Testdatensatz sieht. Dieses Leakage wird größer, wenn die Patienten sich ähnlicher sind und wenn ihre täglichen Messungen stark korreliert sind. Die zweite Komponente ist eine kleinere, unvermeidbare Lücke, die selbst dann existiert, wenn die Tests korrekt durchgeführt werden, einfach weil die Studie nicht genügend Patienten hatte, um die Komplexität der Krankheit perfekt zu erfassen. Während die korrekte Testmethode das Leakage vollständig eliminiert, kann sie die Lücke, die durch eine kleine Stichprobengröße entsteht, nicht beseitigen. Die Studie bestätigte jedoch, dass die korrekte Methode, die alle Daten eines Patienten zusammenhält, die geschätzte Leistung sehr nah an die wahre Leistung bringt, insbesondere wenn die Anzahl der Patienten steigt.
Das Paper kommt zu dem Schluss, dass für jede Studie, die wiederholte Messungen von denselben Individuen beinhaltet, die Standardmethode der Datenaufteilung grundlegend fehlerhaft ist. Die Lösung besteht nicht darin, einen neuen, komplexen Algorithmus zu erfinden, sondern schlicht die Art und Weise der Datenteilung zu ändern. Forscher müssen jeden Patienten als eine einzige Einheit behandeln und sicherstellen, dass, wenn ein Tag der Daten eines Patienten für das Training verwendet wird, kein anderer Tag desselben Patienten jemals im Testdatensatz erscheinen darf. Dieser Ansatz, bekannt als Subjekt-Partitionierung (subject-level partitioning), ist essenziell, um ehrliche Ergebnisse zu erhalten. Ohlich wird das Modell, das auf kontinuierlicher Überwachung basiert, möglicherweise als Durchbruch dargestellt, während es in Wirklichkeit nur die Vergangenheit auswendig lernt, was potenziell zu falschen Schlussfolgerungen über seine Fähigkeit führen kann, zukünftigen Patienten zu helfen. Die Studie dient als deutliche Warnung: In der Ära der kontinuierlichen Gesundheitsüberwachung muss sich die Art und Weise, wie wir unsere Vorhersagen testen, an die Art und Weise anpassen, wie wir unsere Daten sammeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.