Outcome labels and patient reuse in clinical validation: reanalyses of the DIPK and TIL-30 breast-cancer evaluations

Im Kampf gegen den Krebs verlassen sich Ärzte zunehmend auf Computermodelle, die den genetischen Code eines Patienten lesen, um vorherzusagen, wie ein Tumor auf eine Behandlung ansprechen wird. Diese Modelle fungieren wie ein Kristallball, der tausende Gene analysiert, um zu erraten, ob ein Medikament einen Tumor vollständig schrumpfen lässt oder ihn zurücklässt. Damit diese Vorhersagen vertrauenswürdig sind, müssen sie an realen Ergebnissen getestet werden: Hat sich der Patient tatsächlich verbessert? Der Goldstandard für diese Überprüfung ist die Untersuchung des Gewebes unter einem Mikroskop nach einer Chemotherapie, bekannt als pathologische Untersuchung. Wenn ein Modell behauptet, eine vollständige Heilung vorherzusagen, müssen Wissenschaftler diesen Anspruch verifizieren, indem sie die Vermutung des Computers mit den tatsächlichen Mikroskopie-Ergebnissen vergleichen. Die Daten, die zum Aufbau und Testen dieser Modelle verwendet werden, stammen jedoch oft aus öffentlichen Archiven, riesigen digitalen Bibliotheken, in denen Forscher genetische Informationen und klinische Notizen speichern. Die Integrität dieser Archive ist von entscheidender Bedeutung; wenn die Notizen, die über das Ergebnis eines Patienten berichten, fehlerhaft sind oder wenn derselbe Patient unter verschiedenen Namen doppelt erscheint, kann die gesamte Prüfung der Genauigkeit des Modells kompromittiert werden.

Eine kürzlich durchgeführte Untersuchung eines Forschers der Universität Edinburgh warf einen genaueren Blick auf zwei solcher Modelle, die beide darauf ausgelegt waren, vorherzusagen, wie Brustkrebspatientinnen auf eine Chemotherapie ansprechen würden. Die Studie war kein neues Experiment, sondern eine sorgfältige Neubewertung bestehender Daten, bei der eine einfache, aber kritische Frage gestellt wurde: Haben die Forscher, die diese Modelle ursprünglich veröffentlicht haben, sie gegen die richtigen Antworten getestet? Das erste Modell, genannt DIPK, war ein Deep-Learning-System, das an Krebszellen im Labor trainiert und dann an echten Patienten getestet wurde. Das zweite, TIL-30, war ein einfacheres Werkzeug, das auf dreißig spezifischen Genen basiert. Der Forscher verfolgte die digitalen Fußabdrücke der Daten, die in ihren veröffentlichten Erfolgsgeschichten verwendet wurden, und stellte fest, dass in beiden Fällen die Tests gegen die falschen Zielwerte durchgeführt worden waren.

Im Fall von DIPK hatten die Forscher die Vorhersagen des Modells gegen einen Datensatz von 310 Patienten getestet. Das Problem war, dass die „richtigen Antworten“ in diesem Datensatz nicht die tatsächlichen Mikroskopie-Ergebnisse der Operationen der Patientinnen waren. Stattdessen enthielten die Daten Vorhersagen, die von einem anderen, älteren Computerprogramm namens DLDA30 gemacht worden waren. Es ist, als würde man den Aufsatz eines Schülers nicht bewerten, indem man die Fakten prüft, sondern indem man schaut, ob sein Aufsatz mit dem Aufsatz eines anderen Schülers übereinstimmt. Da beide Computerprogramme dieselben genetischen Muster betrachteten, stimmten sie naturgemäß miteinander überein, was das DIPK-Modell viel genauer erscheinen ließ, als es tatsächlich war. Als der Forscher diese computergenerierten Antworten durch die tatsächlichen Mikroskopie-Ergebnisse der Operationen der Patientinnen ersetzte, sank die Leistungsbewertung des Modells erheblich. Es verschwand nicht vollständig; das Modell zeigte immer noch eine gewisse Fähigkeit, zwischen Patientinnen, die gut ansprachen, und solchen, die nicht ansprachen, zu unterscheiden, aber sein scheinbarer Erfolg war weitgehend eine Illusion, die durch den Vergleich mit einem ähnlichen Computerprogramm statt mit der Realität entstand.

Das zweite Modell, TIL-30, sah sich einer anderen Art von Fehler gegenüber. Dieses Modell wurde entwickelt, um eine vollständige Heilung nach einer vollen Behandlungsphase vorherzusagen. Die Daten, die zur Testung in einer spezifischen Gruppe von Patientinnen verwendet wurden, zeichneten jedoch das Ergebnis nach nur der ersten Phase der Chemotherapie auf. Es ist vergleichbar damit, die Endzeit eines Marathonläufers basierend auf seiner Geschwindigkeit nach der ersten Meile zu beurteilen. Das Modell wurde gegen eine Momentaufnahme des Zustands der Patientin getestet, die zu früh war, um die ganze Geschichte zu erzählen. Als der Forscher die Daten korrigierte, um das tatsächliche Endergebnis nach Abschluss der gesamten Behandlung widerzuspiegeln, sank die Vorhersagefähigkeit des Modells, obwohl die statistische Evidenz für diesen Rückgang ungewiss blieb.

Über die falschen Antworten hinaus deckte die Studie auch ein Problem damit auf, wer getestet wurde. In wissenschaftlichen Studien muss jeder gezählte Patient ein einzigartiges Individuum sein, um sicherzustellen, dass die Ergebnisse robust sind. Der Forscher fand heraus, dass im DIPK-Studie eine große Anzahl von Patientinnen aus einer Gruppe tatsächlich dieselben Personen aus einer anderen Gruppe waren, nur unter verschiedenen Dateinamen gelistet. Dies bedeutete, dass das Modell an denselben Personen zweimal getestet wurde, was das Vertrauen in seine Ergebnisse künstlich aufblähte. Noch besorgniserregender war, dass beim TIL-30-Modell viele der Patientinnen, die zur Testung des Modells in einer Gruppe verwendet wurden, exakt dieselben Personen waren, die zuvor verwendet worden waren, um dem Modell das Arbeiten beizubringen. Dies ist so, als würde ein Schüler eine Prüfung machen, die Fragen enthält, die er gerade erst im Unterricht gelernt hat; das beweist nicht, dass er das Material verstanden hat, sondern nur, dass er sich an die Antworten erinnert. Obwohl diese Überschneidung die Trennung zwischen Training und Test eindeutig kompromittierte, wurde der spezifische Effekt dieser Wiederverwendung auf die Leistungsbewertung des Modells in der Studie nicht geschätzt.

Die Untersuchung blieb nicht bei der Suche nach Fehlern stehen; sie prüfte auch, ob diese Modelle einen echten Wert über das hinaus boten, was Ärzte bereits wissen. Ärzte verwenden derzeit einen Satz von sieben Standard-Klinischen Faktoren, wie etwa Alter und Tumortyp, um die Heilungschancen einer Patientin abzuschätzen. Der Forscher erstellte neue statistische Modelle, um zu sehen, ob das Hinzufügen der Computerkennzahlen zu diesen sieben Faktoren die Vorhersage verbesserte. Die Ergebnisse waren nicht schlüssig. Während die Computerkennzahlen die Vorhersage nicht verschlechterten, waren die Daten nicht stark genug, um zu beweisen, dass sie irgendwelche bedeutsamen neuen Informationen hinzufügten. In einigen Tests schienen die Computerkennzahlen zu helfen, aber die Fehlermarge war so groß, dass die Verbesserung ein Zufall hätte sein können. Zudem zeigte sich, dass, wenn der Forscher versuchte, die auf einer Gruppe von Patientinnen trainierten Modelle auf eine andere Gruppe anzuwenden, die Vorhersagen völlig ungenau wurden – oft wurde geschätzt, dass ein Viertel der Patientinnen geheilt würde, während es in Wirklichkeit nur ein Fünftel war, oder umgekehrt.

Die Studie kommt zu dem Schluss, dass diese beiden spezifischen Fälle als Warnung für das gesamte Feld der Krebsforschung dienen. Die Modelle selbst waren nicht unbedingt nutzlos; das DIPK-Modell behielt selbst nach der Korrektur der Fehler eine Verbindung zu den realen Ergebnissen der Patientinnen bei. Jedoch wurden die veröffentlichten Behauptungen über ihren Erfolg auf wackeligem Fundament errichtet. Der „Erfolg“ beruhte auf dem Vergleich von Vorhersagen mit anderen Vorhersagen, dem Testen gegen unvollständige Behandlungsstadien und der Wiederverwendung derselben Patientinnen in einer Weise, die die wahre Schwierigkeit der Aufgabe verschleierte. Der Forscher betont, dass für die Vertrauenswürdigkeit jedes neuen medizinischen Werkzeug Wissenschaftler drei Dinge verifizieren müssen: dass das vorhergesagte Ergebnis das tatsächliche Endergebnis ist, dass die in den Test einbezogenen Patientinnen wirklich unterschiedliche Individuen sind und dass das Werkzeug etwas Neues zu dem hinzufügt, was Ärzte bereits wissen. Ohifne diese Prüfungen könnte ein Modell auf dem Papier wie ein Durchbruch aussehen, während es in der Klinik versagt.