Nested cross-validation reduces optimism in metabolomics-based prediction of immune checkpoint inhibitor outcomes
Diese Studie zeigt, dass die geschachtelte Kreuzvalidierung (Nested Cross-Validation) den Optimismus signifikant reduziert und zuverlässigere Leistungsschätzungen liefert als ein einfacher Split-Holdout oder eine nicht-geschachtelte Kreuzvalidierung bei der Entwicklung metabolomik-basierter prädiktiver Modelle für Ergebnisse von Immuncheckpoint-Inhibitoren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen: Warum sprechen manche Krebspatienten unglaublich gut auf eine neue Art von Medikament namens Immun-Checkpoint-Inhibitor (ICI) an, während andere es nicht tun? Diese Medikamente sind wie eine Super-Aufladung der körpereigenen Polizeikräfte (des Immunsystems), um Krebszellen aufzuspüren. Aber die Polizeikräfte erscheinen nicht immer zur Arbeit, und wir brauchen einen Weg, um vorherzusagen, wer die Hilfe erhalten wird, die er benötigt. Wissenschaftler haben angefangen, die winzigen chemischen Botenstoffe zu untersuchen, die in unserem Blut schwimmen, sogenannte Metaboliten. Dieses Feld wird als Metabolomik bezeichnet. Es ist, als würde man versuchen, das Wetter vorherzusagen, indem man das Verhalten von Ameisen vor einem Sturm beobachtet. Das Problem ist, dass diese chemischen Hinweise unordentlich sind, es Tausende von ihnen gibt und die Anzahl der Patienten, die wir untersuchen können, oft recht gering ist. Wenn man versucht, Muster in einem kleinen, unordentlichen Haufen von Hinweisen zu finden, ist es sehr leicht, sich selbst vorzugaukeln, man hätte ein perfektes Muster gefunden, obwohl man eigentlich nur einen Zufall gefunden hat. Dies ist die Gefahr des „Überoptimismus“ in der Wissenschaft.
Dieser Artikel ist im Wesentlichen eine Warnung darüber, wie wir unsere Detektivarbeit überprüfen. Die Forscher wollten sehen, ob die Art und Weise, wie wir unsere Vorhersagemodelle testen, uns glauben lässt, sie seien besser, als sie eigentlich sind. Sie verglichen drei verschiedene Testmethoden: einen einfachen „Holdout“-Test (bei dem man die Daten einmal in eine Übungsgruppe und eine Testgruppe aufteilt), eine „nicht-verschachtelte“ Kreuzvalidierung (bei der man die Daten durchmischt und testet, aber versehentlich die Hinweise aus der Testgruppe nutzt, um die Hinweise auszuwählen) und eine „verschachtelte“ Kreuzvalidierung (eine strengere, vorsichtigere Methode, bei der man die Test-Hinweise bis zum allerletzten Moment vollständig verborgen hält).
Die Studie untersuchte sechs verschiedene Sätze von Blutproben, die vor Beginn der Behandlung von Patienten genommen wurden, sowie zehn Sätze, die danach genommen wurden, wobei hochmoderne Maschinen zur Messung der Chemikalien eingesetzt wurden. Sie ließen ihre Vorhersagemodelle durch alle drei Testmethoden laufen. Die Ergebnisse waren ein Weckruf. Wenn sie die „nicht-verschachtelte“ Methode verwendeten, sahen die Modelle aus wie Rockstars, mit einem Durchschnittswert (genannt ROC-AUC) von 0,882 für die Proben vor der Behandlung. Aber als sie die strengere „verschachtelte“ Methode verwendeten, sank der Wert auf bescheidene 0,705. Das ist ein riesiger Unterschied! Es ist, als würde ein Schüler eine Eins in einer Übungsprüfung bekommen, weil er in die Antworten geschaut hat, aber dann eine Drei in der echten Prüfung bekommt, wenn die Antworten verborgen sind. Die „nicht-verschachtelte“ Methode hat die Fähigkeit des Modells um durchschnittlich fast 0,18 Punkte überschätzt.
Die Forscher fanden heraus, dass der Hauptschuldige für diesen falschen Erfolg der Schritt war, in dem der Computer entscheidet, welche chemischen Hinweise am wichtigsten sind. Wenn man den Computer die besten Hinweise mit denselben Daten auswählen lässt, mit denen er auch den Test bewertet, gerät er durcheinander und hält zufälliges Rauschen für ein echliches Signal. Die „verschachtelte“ Methode behebt dies, indem sie den Computer zwingt, die Hinweise auf einem separaten Datensatz auszuwählen, bevor er jemals die Testdaten sieht. Interessanterweise überschätzte die „Holdout“-Methode (die einfache Aufteilung) den Wert nicht so stark wie die nicht-verschachtelte Methode, aber sie war sehr instabil und lieferte eine breite Palette möglicher Antworten, wie ein wackeliges Lineal. Die verschachtelte Methode lieferte einen engeren, zuverlässigeren Bereich an Antworten.
Die Studie untersuchte auch, ob es einen Unterschied machte, ob vor oder nach der Behandlung getestet wurde. Die Antwort lautet: Es kommt auf die spezifische Patientengruppe an. Bei einigen Krebsarten waren die Blutproben, die vor der Behandlung genommen wurden, die besten Prädiktoren, während bei anderen die Proben, die nach Beginn der Behandlung genommen wurden, besser waren. Es gab keinen einzelnen „magischen Zeitpunkt“, um alle zu testen.
Schließlich testete das Team dies an einem anderen Gerät (NMR statt des üblichen Massenspektrometers) bei Melanompatienten, und dasselbe Muster blieb bestehen: Die strenge verschachtelte Methode lieferte einen realistischeren, niedrigeren Wert als die lockereren Methoden. Die Autoren kommen zu dem Schluss, dass wir für kleine Studien wie diese, in denen wir Biomarker für die Krebsbehandlung suchen, die strenge „verschachtelte“ Methode verwenden müssen. Wenn wir das nicht tun, werden wir vielleicht von einem „perfekten“ Prädiktor begeistert, der eigentlich nur eine Fata Morgana ist, die durch unsere eigenen Testfehler entstanden ist. Dies liefert uns zwar noch keinen einsatzbereiten medizinischen Test, aber es gibt uns die richtigen Regeln für das Spiel, damit wir, wenn wir einen echten Biomarker finden, ihm auch vertrauen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.