How Robust Are Machine-Learning Biomarkers of Depression? A Leakage-Controlled Benchmark

In der modernen Welt der Medizin wenden sich Ärzte und Forscher zunehmend Computern zu, um psychische Erkrankungen zu erkennen, bevor sie schwerwiegend werden. Die Idee besteht darin, einen Computer mit riesigen Mengen an Informationen über eine Person zu füttern – ihr Schlafverhalten, ihre tägliche Aktivität, ihre Stimmung und ihre Krankengeschichte – und die Maschine lernen zu lassen, die subtilen Anzeichen von Depressionen zu erkennen, die ein Mensch vielleicht übersehen würde. Dieses Feld, das oft als Computational Psychiatry bezeichnet wird, verspricht eine Zukunft, in der die Diagnose schneller, genauer und für jeden verfügbar ist. Damit diese Computermodelle jedoch im wirklichen Leben nützlich sein können, müssen sie in der Lage sein, die Zukunft für Menschen vorherzusagen, die sie noch nie getroffen haben, anstatt nur die Vergangenheit für Menschen auswendig zu lernen, die sie bereits kennen. Die größte Gefahr bei dieser Arbeit ist eine versteckte Falle, die als Data Leakage (Datenleckage) bezeichnet wird. Dies geschieht, wenn einem Computermodell versehentlich eine Information gegeben wird, die es nicht haben sollte, wie etwa ein Hinweis auf die Diagnose, der erst nach dem Zeitpunkt aufgezeichnet wurde, an dem der Arzt bereits die Antwort kannte. Wenn ein Modell diese verbotenen Hinweise nutzt, wirkt es im Labor unglaublich intelligent, scheitert aber völlig, wenn es versucht, einem echten Patienten in einer Klinik zu helfen.

Ein Forscher der Queen Mary University of London beschloss, genau zu testen, wie fragil diese Computermodelle sind. Anstatt echte Patientendaten zu verwenden, die unordentlich und schwer zu kontrollieren sein können, erschuf der Forscher eine völlig künstliche Welt innerhalb eines Computers. Diese synthetische Welt enthielt Daten für 8.000 künstlich erzeugte Menschen über 10 verschiedene simulierte Krankenhäuser hinweg. Jede Person besaß ein digitales Profil mit Details zu Alter, Einkommen, Schlaf, Herzfrequenz und Befinden. Der Forscher erstellte daraufhin eine spezifische Regel, um zu entscheiden, wer in dieser künstlichen Welt unter Depressionen litt: Jeder, dessen Gesamtsymptom-Score einen bestimmten Wert erreichte, wurde als Fall markiert. Mit diesem perfekten, kontrollierten Aufbau konnte der Forscher eine Reihe von Experimenten durchführen, um zu sehen, was passiert, wenn man die Regeln des Spiels ändert. Das Ziel war zu sehen, ob die Computermodelle tatsächlich lernten, Depressionen zu erkennen, oder ob sie lediglich Informationen nutzten, die sie nicht nutzen sollten.

Das erste Experiment testete die Macht der Nutzung von zukünftigen Informationen. Der Forscher nahm zwei spezifische Informationen, die erstellt wurden, nachdem der Depressionsstatus bereits festgelegt worden war: einen Datensatz darüber, ob ein Arzt den Patienten zur weiteren Hilfe überwiesen hatte, und einen Code für den erhaltenen Behandlungsplan. In einem realen Szenario würde ein Computer, der Depressionen bei einer neuen Person vorhersagt, diese Datensätze niemals sehen können, da die Vorhersage erfolgen muss, bevor der Arzt diese Entscheidungen trifft. Aber in diesem Test erlaubte der Forscher den Computermodellen dennoch, diese zu sehen. Das Ergebnis war dramatisch. Als die Modelle es gestattet wurde, in diese zukünftigen Hinweise hineinzuspähen, sprang ihre Leistung auf ein nahezu perfektes Niveau. Ein einfaches Modell, das grundlegende Statistiken verwendet, schien plötzlich fast jedes Mal richtig zu liegen. Die Zahlen zeigten, dass die Fähigkeit des Modells, zwischen depressiven und nicht-depressiven Individuen zu unterscheiden, auf einen Wert von fast 0,99 von 1,00 anstieg. Dies bewies, dass selbst ein mäßig intelligentes Modell wie ein Genie wirken kann, wenn man ihm einen Spickzettel gibt.

Als Nächstes entfernte der Forscher diese zukünftigen Hinweise und bat die Modelle, es ohne sie erneut zu versuchen. Dieses Mal mussten sich die Modelle nur auf Informationen verlassen, die vor einer Diagnose tatsächlich verfügbar wären, wie etwa Schlafgewohnheiten und Stimmungswerte. Die Leistung sank, brach jedoch nicht zusammen. Das einfache statistische Modell schnitt immer noch sehr gut ab und identifizierte depressive Personen mit einem Wert von etwa 0,95 korrekt. Dies war eine entscheidende Erkenntnis. Es zeigte, dass die Modelle nicht nur den Spickzettel auswendig gelernt hatten, sondern tatsächlich einige reale Muster über Depressionen aus den anderen Daten gelernt hatten. Die Tatsache, dass die Leistung von dem nahezu perfekten Wert auf den hohen, aber nicht perfekten Wert sank, verdeutlichte jedoch, wie sehr die Nutzung zukünftiger Informationen die Ergebnisse aufgebläht hatte. Die Forscher fanden heraus, dass der Unterschied nicht nur ein kleiner statistischer Ausreißer war, sondern eine massive Verschiebung, die einen Forscher leicht in die Irre führen könnte, indem sie ihn glauben lässt, ein Modell sei bereit für die reale Welt, obwohl es das nicht ist.

Die Studie testete dann, ob die Modelle wirklich lernten oder lediglich spezifische Personen auswendig lernten. In vielen realen Studien kann dieselbe Person mehrfach in den Daten erscheinen, beispielsweise durch verschiedene Messungen an unterschiedlichen Tagen. Wenn ein Computermodell die Daten einer Person in der Trainingsphase sieht und dieselbe Person dann auch in der Testphase wieder sieht, könnte es lediglich diese spezifische Person auswendig gelernt haben, anstatt die allgemeinen Regeln der Depression zu erlernen. Um dies zu testen, teilte der Forscher die Daten so auf, dass keine Person sowohl in der Trainings- als auch in der Testgruppe erschien. Überraschenderweise verschlechterten sich die Modelle nicht. Ihre Werte blieben so hoch wie zuvor. Dies deutet darauf hin, dass die Modelle in dieser speziellen simulierten Umgebung nicht darauf angewiesen waren, einzelne Personen auswendig zu lernen, um ihre hohen Punktzahlen zu erreichen. Sie fanden Muster, die für alle gelten.

Der Forscher testete auch, ob die Modelle mit verschiedenen Krankenhäusern umgehen konnten. Im wirklichen Leben könnte ein Modell, das in einer Stadt trainiert wurde, in einer anderen versagen, weil die Menschen dort anders sind oder die Ärzte unterschiedliche Fragen stellen. Der Forscher simulierte dies, indem er die Modelle an Daten aus neun der künstlichen Krankenhäuser trainierte und sie dann an dem zehnten Krankenhaus testete, das er noch nie gesehen hatte. Auch hier hielten die Modelle stand. Ihre Leistung brach nicht ein. Sie sagten Depressionen weiterhin mit der gleichen hohen Genauigkeit voraus. Dies war eine weitere Überraschung, da viele Experten erwarten, dass Modelle Schwierigkeiten bekommen, wenn sie in ein neues Umfeld versetzt werden. Es deutete darauf hin, dass die Muster, die die Modelle gelernt hatten, stark genug waren, um die Unterschiede zwischen den simulierten Krankenhäusern zu überstehen.

Schließlich fragte der Forscher, ob komplexere, ausgefallenere Computeralgorithmen besser seien als das einfache Modell. Die Studie verglich das einfache statistische Modell mit fünf viel komplizierteren Systemen, einschließlich fortgeschrittener neuronaler Netze und baumbasierter Algorithmen, die darauf ausgelegt sind, verborgene, nicht-lineare Verbindungen in Daten zu finden. Die Erwartung in diesem Fachbereich ist oft, dass diese komplexen Maschinen überlegen sein sollten. Doch die Ergebnisse zeigten fast keinen Unterschied. Das einfache Modell schnitt genauso gut ab wie die komplexesten der anderen. In einigen Fällen war das einfache Modell sogar leicht besser. Die ausgefallenen Algorithmen fanden keine verborgenen Geheimnisse, die das einfache Modell übersehen hatte. Sie erreichten alle das gleiche Genauigkeitsniveau, das um den Wert 0,95 schwankte. Dies legt nahe, dass es für diese Art von Problem keinen Vorteil bringt, mehr Komplexität hinzuzufügen.

Die Studie kommt zu dem Schluss, dass der wichtigste Faktor beim Aufbau eines guten Depressions-Prädiktors nicht die Raffinesse des Computercodes ist, sondern die Ehrlichkeit der Daten. Die größte Gefahr für die Genauigkeit ist nicht ein Mangel an Rechenleistung, sondern die versehentliche Aufnahme von Informationen, die die Antwort verraten. Wenn Forscher diese Lecks entfernen, werden die Modelle auf dem Papier weniger beeindruckend, aber sie werden vertrauenswürdiger. Die Tatsache, dass das einfache Modell genauso gut abschnitt wie die komplexen Modelle, bedeutet, dass wir keine komplizierten Black Boxes bauen müssen, um dieses Problem zu lösen. Die Ergebnisse dienen als Warnung: Ein hoher Wert in einem Test reicht nicht aus. Wir müssen prüfen, wie dieser Wert zustande gekommen ist. Wenn ein Modell perfekt erscheint, müssen wir fragen, ob es Informationen genutzt hat, die es nicht hätte nutzen dürfen. Wenn es nach der Entfernung der Nutzung zukünftiger Informationen immer noch gut aussieht, dann könnten wir endlich ein Werkzeug haben, das funktioniert. Diese Forschung beweist noch nicht, dass wir Depressionen in echten Menschen perfekt vorhersagen können, da die Daten rein synthetisch waren. Sie demonstriert die Mechanismen der Funktionsweise von Testmethoden, anstatt die tatsächliche Genauigkeit oder die Größe der Fehler in realen klinischen Populationen festzustellen. Aber sie beweist, dass die Art und Weise, wie wir diese Werkzeuge testen, wichtiger ist als die Werkzeuge selbst.