Auditing missingness and input-outcome circularity in unsupervised clinical phenotyping: an empirical case study in hospitalized traumatic brain injury

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einen unordentlichen Haufen von Mystery-Boxen basierend auf ihrem Inhalt in ordentliche Gruppen zu sortieren. In der Welt der Medizin machen Wissenschaftler dies oft mit Patientendaten, ein Prozess, der als „unüberwachtes Phänotypisieren“ bezeichnet wird. Anstatt zu raten, welche Patienten sich ähnlich sind, nutzen sie Computer, um verborgene Muster in routinemäßigen Untersuchungswerten zu finden, wie etwa, wie gut ein Patient sich erinnert, wie er sich emotional fühlt oder wie leicht er sich bewegen kann. Das Ziel ist es, natürliche „Subgruppen“ von Patienten zu entdecken, die Ärzte nutzen können, um eine bessere, personalisiertere Versorgung zu gewährleisten.

Es gibt jedoch zwei hinterhältige Fallen, die die Detektivarbeit ruinieren können. Erstens sind die Daten selten perfekt; einige Boxen haben fehlende Etiketten oder Inhalte (dies wird als „fehlende Daten“ bezeichnet). Wenn man einfach rät, was fehlt, könnte man versehentlich Gruppen erschaffen, die nur existieren, weil man geraten hat, und nicht, weil die Patienten tatsächlich unterschiedlich sind. Zweitens gibt es eine Falle namens „Zirkularität“. Dies geschieht, wenn man einen bestimmten Hinweis verwendet, um die Boxen zu sortieren, und dann überrascht reagiert, wenn derselbe Hinweis der Hauptgrund dafür ist, warum die Boxen sich unterscheiden. Es ist, als würde man ein Kartenspiel nach Farben sortieren und dann behaupten, man habe eine magische neue Regel entdeckt, dass „rote Karten rot sind“.

Ein Team von Forschern beschloss zu testen, wie gut diese Detektivmethoden standhalten, wenn sie auf reale Krankenhausakten von Patienten mit traumatischen Hirnverletzungen (TBI) angewendet werden. Sie wollten sehen, ob die Gruppen von Patienten, die der Computer fand, echt, stabil und nützlich waren oder ob sie nur ein Kartenhaus aus fehlenden Zahlen und zirkulärer Logik waren.

Das große Patientensortier-Experiment

Die Forscher untersuchten 582 Patienten, die wegen Hirnverletzungen im Krankenhaus behandelt worden waren. Sie hatten fünf verschiedene „Zeugnisse“ für jeden Patienten: Tests für Gedächtnis und Denken (MMSE und MoCA), Tests für Depressionen (GDS und Hamilton) und einen Test dafür, wie gut sie tägliche Aufgaben wie Essen und Anziehen bewältigen können (Barthel ADL).

In einer perfekten Welt hätte jeder Patient einen Wert für jeden einzelnen Test. Aber in der chaotischen Realität eines geschäftigen Krankenhauses gehen Daten verloren. In dieser Studie hatten nur 17,7 % der Patienten (103 von 582) alle fünf Werte. Der Depressions-Test und der Test für die täglichen Lebensführung waren am wahrscheinlichsten unvollständig, was in fast 40 % bzw. 30 % der Datensätze der Fall war.

Das Team ließ ein Standard-Computerprogramm laufen, um diese Patienten in Gruppen zu sortieren. Das Programm, das eine Methode namens „Median-Imputation“ verwendete (was im Grunde bedeutet, die Lücken mit dem Mittelwert der vorhandenen Daten zu füllen), entschied, dass der beste Weg, alle zu sortieren, darin bestand, sie in fünf verschiedene Gruppen einzuteilen. Eine dieser Gruppen sah besonders interessant aus: eine „Hamilton-extreme“-Gruppe von Patienten mit sehr hohen Depressionswerten.

Doch dann begannen die Forscher ihren „Stresstest“, um zu sehen, ob diese Gruppen real oder nur eine Illusion waren.

Der Stabilitätstest: Halten die Gruppen zusammen?
Sie versuchten, die Daten zu erschüttern, indem sie die Patienten immer wieder zufällig auswählten (eine Technik namens Bootstrapping). Wenn die Gruppen real wären, sollten dieselben Patienten jedes Mal in dieselben Gruppen fallen. Stattdessen zerfielen die Gruppen wie eine Sandburg aus nassem Sand. Die Stabilitätswerte waren sehr niedrig (zwischen 0,211 und 0,454), weit unter dem Schwellenwert von 0,75, der nötig wäre, um zu sagen: „Ja, das ist eine solide Gruppe.“ Als sie verschiedene Sortieralgorithmen ausprobierten, stimmten die Ergebnisse kaum überein.

Der Test mit fehlenden Daten: Spielt die Methode des Auffüllens der Lücken eine Rolle?
Als Nächstes versuchten sie, die fehlenden Werte mit einer komplexeren Methode namens „Multiple Imputation“ (MICE) zu ergänzen, die 20 verschiedene Versionen des Datensatzes mit unterschiedlichen Vermutungen für die fehlenden Zahlen erstellt. Als sie die Sortierung auf diesen 20 Versionen durchführten, waren die resultierenden Gruppen fast völlig anders als die ursprünglichen fünf Gruppen. Der Übereinstimmungswert lag bei winzigen 0,157. Dies deutet darauf hin, dass die ursprünglichen fünf Gruppen keine Entdeckung der wahren Natur der Patienten waren, sondern vielmehr ein Abbild dessen, wie die Forscher sich entschieden hatten, die Lücken zu füllen.

Der „Vollständige-Fälle“-Test: Was wäre, wenn wir nur perfekte Daten betrachten?
Sie versuchten, nur die 103 Patienten zu sortieren, die alle ihre Werte hatten. Als sie dies taten, wollte der Computer nicht mehr fünf Gruppen; er bevorzugte drei. Die „Hamilton-extreme“-Gruppe, die im vollständigen Datensatz so wichtig aussah, verschwand oder veränderte sich komplett. Tatsächlich hatten die Patienten in dieser kleineren Gruppe mit hohen Depressionswerten tatsächlich bessere Gedächtniswerte, was das Gegenteil dessen war, was die ursprüngliche Analyse suggerierte. Die Forscher kamen zu dem Schluss, dass diese spezifische „depressive“ Gruppe höchstwahrscheinlich ein Artefakt war – ein künstliches Muster, das durch die Art und Weise der Handhabung der fehlenden Daten entstanden war.

Die Zirkularitätsfalle: Haben wir das Ergebnis verwendet, um die Eingabe zu definieren?
Schließlich testeten sie das Problem der „Zirkularität“. In der ursprünglichen Analyse verwendeten sie den „Lebensführungs“-Score (Barthel ADL), um die Patienten zu sortieren, und prüften dann, ob die Gruppen gut darin waren, den „Lebensführungs“-Score vorherzusagen. Unerwarteterweise waren die Gruppen hervorragend darin! Die statistische Verbindung war sehr stark.

Aber dann entfernten sie den „Lebensführungs“-Score vollständig aus dem Sortierungsprozess und verwendeten nur die Denk- und Stimmungstests. Als sie versuchten, den „Lebensführungs“-Score erneut mit diesen neuen Gruppen vorherzusagen, verschwand die Verbindung. Der statistische Wert sank von einem starken 0,395 auf winzige 0,005. Dies bewies, dass die „starke Verbindung“, die sie gefunden zu haben glaubten, nicht darauf beruhte, dass die Gruppen von Natur aus unterschiedlich in ihrer Funktionsweise waren; es war schlichtweg, weil sie den Funktionswert verwendet hatten, um die Gruppen zu erstellen. Es war ein klassischer Fall davon, in den Spiegel zu schauen und zu glauben, man habe ein neues Gesicht entdeckt.

Das Fazзit

Die Studie kommt zu dem Schluss, dass unüberwachtes Phännotypisieren zwar wie ein mächtiges Werkzeug klingt, um neue Patientensubtypen zu finden, aber unglaublich fragil ist. In diesem speziellen Fall von traumatischen Hirnverletzungen waren die vom Computer gefundenen „Gruppen“ hochgradig empfindlich gegenüber der Handhabung fehlender Daten und waren größtenteils eine Illusion, die durch die Verwendung des Ergebnisses als Eingabewert entstand.

Die Forscher schlagen vor, dass bevor Ärzte damit beginnen, diese computergenerierten Gruppen für klinische Entscheidungen zu nutzen, Wissenschaftler ein strenges Audit durchführen müssen. Sie müssen prüfen, ob die Gruppen stabil bleiben, wenn die Daten neu gesampelt werden, ob sie verschiedenen Methoden zum Auffüllen fehlender Zahlen standhalten und vor allem, ob sie nicht versehentlich das Ergebnis verwenden, um die Gruppe zu definieren. Bis diese Prüfungen durchgeführt wurden, sollten die „Subtypen“, die in Routine-Krankenhausdaten gefunden werden, eher als interessante Hypothesen zur Untersuchung betrachtet werden und nicht als bewiesene Fakten.