Feature leakage inflates machine-learning estimates of antiretroviral non-adherence risk in children living with HIV: a tiered sensitivity analysis of the EARTH cohort

In der Welt der modernen Medizin verlassen sich Ärzte zunehmend auf Computer, um vorherzusagen, welche Patienten Schwierigkeiten haben könnten, ihre täglichen Medikamente einzunehmen. Dies ist besonders kritisch für Kinder, die mit HIV leben, da das Auslassen von Dosen der antiretroviralen Therapie schwerwiegende, lebensbedrohliche Folgen haben kann. Um diese Vorhersagen zu treffen, sammeln Forscher riesige Mengen an Daten aus Krankenhausbesuchen, wie etwa, wie viele Pillen ein Kind noch übrig hat, ob ein Elternteil eine verpasste Dosis gemeldet hat oder wie lange es dauerte, ein Rezept einzulösen. Sie speisen diese Informationen in Machine-Learning-Modelle ein, bei denen es sich um hochentwickelte Computerprogramme handelt, die darauf ausgelegt sind, Muster zu finden und zukünftiges Verhalten vorherzusagen. Die Hoffnung ist, dass diese Werkzeuge gefährdete Kinder frühzeitig identifizieren, sodass Kliniken intervenieren können, bevor sich der Gesundheitszustand eines Kindes verschlechtert. Es existiert jedoch eine verborgene Falle in der Art und Weise, wie diese Daten gesammelt und verwendet werden. Wenn die Information, die zur Vorhersage genutzt wird, zu eng mit der Definition des Problems selbst verknüpft ist, kann der Computer wie ein Genie erscheinen, obwohl er in Wirklichkeit nur den Lösungsschlüssel abliest. Dieses Phänomen, bekannt als Data Leakage (Datenleckage), erzeugt die Illusion perfekter Genauigkeit, die in dem Moment verschwindet, in dem das Modell in der realen Welt getestet wird.

Ein Team von Forschern aus Uganda untersuchte kürzlich genau dieses Problem anhand von Daten aus der EARTH-Kohorte, einer Langzeitstudie zur Verfolgung von Kindern, die mit HIV leben. Sie wollten verstehen, wie sehr der scheinbare Erfolg eines Machine-Learning-Modells von einer spezifischen Art methodischer Probleme abhing: der Verwendung genau jener Hinweise, die das Problem definieren, um das Problem zu lösen. In ihrer Begleitstudie hatten die Forscher ein Modell zur Vorhersage von „suboptimaler Adhärenz“ entwickelt, die sie als das Verpassen von Dosen, das Ausgehen von Medikamenten oder die Verzögerung beim Einlösen einer Apothekenbestellung definierten. Um rigoros vorzugehen, hatten sie vor dem Training ihres Computers die spezifischen Datenpunkte, die diese Definition direkt erzeugten, zuvor entfernt. Diese frühere Arbeit zeigte bescheidene, realistische Ergebnisse. Doch für diese neue Analyse stellten die Forscher eine andere Frage: Was passiert, wenn wir diese Hinweise im Datensatz lassen? Sie wollten sehen, wie stark die Leistung des Modells aufgebläht würde, wenn es erlaubt wäre, in die Antwort hineinzuschauen.

Um dies herauszufinden, rekonstruierten die Forscher den Datensatz aus derselben Gruppe von 208 Kindern und 590 Klinikbesuchen, ordneten die Daten jedoch in drei verschiedene Ebenen der Strenge ein. Die erste Ebene war die „unkontrollierte“ Version, bei der der Computer jede verfügbare Information erhielt, einschließlich der direkten Berichte über verpasste Dosen und der exakten Anzahl der verbleibenden Pillen. Dies sind die spezifischen Fakten, die die Forscher verwendet haben, um zu entscheiden, ob ein Kind eine schlechte Adhärenz aufweist oder nicht. Als der Computer auf dieser Ebene trainiert wurde, waren die Ergebnisse erschreckend perfekt. Sechs verschiedene Arten von Machine-Learning-Algorithmen, einschließlich komplexer baumbasierter Modelle, erreichten einen Wert von 1,000, was bedeutete, dass sie null Fehler bei ihren Vorhersagen machten. Der Computer sagte die Zukunft nicht voraus; er wiederholte lediglich die Regeln, die ihm gegeben worden waren. Er fand heraus, dass, wenn ein Kind eine Dosis verpasst hatte, das Modell eine mangelnde Adhärenz vorhersagte, und wenn nicht, eine Adhärenz vorhersagte. Es war eine perfekte Schleife, aber eine nutzlose für die reale Vorhersage.

Die Forscher gingen dann zur zweiten Ebene über, der „lose kontrollierten“ Version. Hier entfernten sie die fünf spezifischen Felder, die das Ergebnis direkt definierten: den Bericht über eine verpasste Dosis, die Verzögerung bei der Apothekenabholung, den Bericht über das Ausgehen der Medizin, die Berechnung der Verzögerung und die Menge der verbleibenden Medizin. Oh die direkten Hinweise fehlten, sank die Leistung des Computers signifikant. Das beste Modell, ein Programm namens CatBoost, sah seinen Genauigkeitswert von einem perfekten 1,000 auf 0,735 fallen. Obwohl dies immer noch ein ordentliches Ergebnis war, war es weit entfernt von der Perfektion der ersten Ebene. Dieser Abfall bewies, dass der anfängliche Erfolg weitgehend eine Illusion war, die dadurch entstand, dass das Modell die Definition des Problems las, anstatt ein echtes Muster zu erlernen.

Doch die Geschichte endete hier nicht. Die Forscher bemerkten, dass selbst in dieser zweiten Ebene eine Variable die Entscheidungen des Modells dominierte: ein Feld, das angab, ob das Kind seit dem letzten Besuch seine Behandlung unterbrochen hatte. Obwohl diese Variable das Ergebnis technisch gesehen nicht definierte, war sie so eng mit dem Konzept der Adhärenz verknüpft, dass sie als nahezu perfekter Stellvertreter (Proxy) fungierte. Als die Forscher diese letzte Variable entfernten, um die dritte, „streng kontrollierte“ Ebene zu erstellen, fiel die Leistung des Modells erneut ab. Der CatBoost-Wert sank auf 0,680, und die Fähigkeit des Modells, die kritischsten Fälle korrekt zu identifizieren, fiel auf 0,407. Dieses Endergebnis entsprach eng der bescheidenen Leistung ihrer früheren, strengeren Studie und bestätigte, dass das wahre Vorhersagesignal in den Daten viel schwächer war, als die anfänglich aufgeblähten Zahlen suggerierten.

Die Studie verdeutlicht eine entscheidende Lektion für jeden, der Computer zur Vorhersage medizinischer Ergebnisse einsetzt. Die Forscher fanden heraus, dass baumbasierte Modelle, die aufgrund ihrer Fähigkeit, komplexe Daten zu verarbeiten, beliebt sind, besonders anfällig für diese Art von Inflation sind, da sie exzellent darin sind, die genauen Regeln zu finden, die eine Kategorie definieren. Wenn das Zielergebnis aus einer einfachen „ODER“-Kombination von Prozessvariablen aufgebaut ist – wie etwa „Dosis verpasst ODER Medikamente ausgegangen“ – kann das Modell diese Regeln leicht auswendig lernen und perfekte Werte erzielen, die nicht die Realität widerspiegeln. Die Forscher betonen, dass Variablen wie Apothekenabholungsdaten nicht inhärent schlecht sind; sie sind nützlich für die Vorhersage anderer Ergebnisse, wie etwa, ob die Viruslast eines Kindes unterdrückt wird. Die Gefahr entsteht erst dann, wenn das Ziel darin besteht, die Adhärenz selbst vorherzusagen, und das Modell erlaubt wird, die sehr Messungen als primäre Hinweise zu nutzen, die die Adhärenz definieren.

Letztlich dient diese Analyse als Warnung davor, Hochleistungszahlen unkritisch zu übernehmen. Die Forscher zeigten, dass die Einbeziehung von ergebnisdefinierenden Feldern die Diskriminierung eines Modells künstlich um bis zu 0,41 Punkte steigern kann, ein massiver Unterschied, der dazu führen könnte, dass Kliniker einem Werkzeug vertrauen, das eigentlich noch nicht einsatzbereit ist. Sie schlagen vor, dass zukünftige Studien einen gestuften Ansatz wählen sollten, indem sie direkte Komponenten und enge Stellvertreter systematisch entfernen, um eine Prüfung auf diese Art von Leakage durchzuführen. Auf diese Weise können Wissenschaftler sicherstellen, dass die Modelle, die sie bauen, echte, übertragbare Signale detektieren, die auch in der realen Welt Bestand haben, anstatt nur die Struktur der Daten widerzuspiegeln, mit denen sie gefüttert wurden. Die Arbeit bestätigt, dass Machine Learning zwar großes Potenzial zur Verbesserung der Versorgung in ressourcenarmen Gebieten bietet, seine Kraft jedoch durch ein strenges Verständnis dessen, wie die Daten konstruiert sind, gezügelt werden muss.