A Comprehensive Evaluation of Distributional Shift and Concept Drift Across Preprocessing Configurations, Domain Adaptation, and Representation Learning in GDM Prediction

Schwangerschaft ist eine Zeit intensiver biologischer Veränderungen, und für viele Frauen bringt sie das Risiko eines Gestationsdiabetes mit sich, einer Erkrankung, bei der der Blutzuckerspiegel gefährlich hoch ansteigen kann. Wenn dies unkontrolliert bleibt, kann dies zu schwerwiegenden Komplikationen für Mutter und Kind führen. Um dies frühzeitig zu erkennen, verlassen sich Ärzte oft auf einen spezifischen Bluttest namens oraler Glukosetoleranztest, bei dem eine zuckerhaltige Lösung getrunken wird und anschließend beobachtet wird, wie der Körper darauf reagiert. Dieser Test ist jedoch zeitaufwendig und erfordert spezielle Ausrüstung, was es schwierig macht, ihn in jeder Klinik oder in Gebieten mit begrenzten Ressourcen einzusetzen. Aus diesem Grund haben Forscher jahrelang versucht, Computerprogramme zu entwickeln, die vorhersagen können, wer die Krankheit entwickeln wird, indem sie nur einfache, routinemäßige Informationen wie Alter, Gewicht und Blutdruck verwenden. Die Hoffnung war, dass diese digitalen Werkzeuge als schnelles, frühes Warnsystem dienen könnten, das Hochrisikopatientinnen kennzeichnet, noch bevor sie den komplexen Zucker-Test benötigen.

Die Herausforderung besteht jedoch darin, dass diese Computerprogramme oft perfekt in dem Krankenhaus funktionieren, in dem sie entwickelt wurden, aber kläglich scheitern, wenn sie in eine andere Klinik gebracht werden. Dies geschieht, weil die Menschen in verschiedenen Krankenhäusern nicht identisch sind; sie haben unterschiedliche Altersstrukturen, Körpertypen und Krankengeschichten. Wenn ein Modell, das an einer Gruppe von Menschen trainiert wurde, auf eine andere Gruppe angewendet wird, kann das zugrunde liegende Muster, das es gelernt hat, zusammenbrechen. Dies ist nicht nur eine Frage davon, dass das Modell leicht daneben liegt; es handelt sich um eine fundamentale Verschiebung in der Art und Weise, wie die Daten sich verhalten. Forscher nennen dies „Concept Drift“ (Konzeptdrift), eine Situation, in der sich die Beziehung zwischen einem Risikofaktor und der Krankheit von einem Ort zum anderen verändert. Beispielsweise kann ein Faktor, der in einer Stadt stark auf Diabetes hindeutet, in einer anderen Stadt keine Vorhersagekraft haben oder sogar den gegenteiligen Effekt bewirken.

Ein Team von Forschern der Université de Moncton machte sich daran zu untersuchen, warum genau diese Modelle scheitern, wenn sie von einer Population zur anderen wechseln. Sie wollten wissen, ob das Problem lediglich darin bestand, dass die Modelle nicht ausgereift genug waren, oder ob das Problem tiefer lag, nämlich in den Daten selbst verwurzelt war. Um die Antwort zu finden, sammelten sie zwei große Gruppen von Patientendaten: eine aus einer Primärquelle mit über 3.500 Frauen und eine völlig separate Gruppe von über 1.200 Frauen aus einer anderen Region. Sie entwickelten dann ein massives Experiment, bei dem sie Dutzende verschiedener Methoden zur Datenaufbereitung und fünf verschiedene Arten von Machine-Learning-Modellen testeten. Sie probierten auch fortgeschrittene Techniken aus, die darauf abzielen, die Modelle zur Anpassung an die neue Population zu zwingen, und testeten sogar einen modernen Deep-Learning-Ansatz, der versucht, die „Form“ der Daten auf eine abstraktere Weise zu erlernen.

Die Ergebnisse waren drastisch und konsistent. Wenn die Modelle auf den Daten getestet wurden, mit denen sie trainiert worden waren, waren sie nahezu perfekt und identifizierten fast jeden Fall von Gestationsdiabetes korrekt. Doch in dem Moment, als sie auf die neue, unabhängige Gruppe von Frauen angewendet wurden, brach ihre Leistung zusammen. Anstatt eine hohe Genauigkeit zu erreichen, performten die Modelle kaum besser als beim bloßen Raten. Dieses Scheitern trat unabhängig davon auf, wie komplex das Modell war, wie die Daten bereinigt wurden oder ob die Forscher versuchten, spezielle mathematische Tricks anzuwenden, um die beiden Gruppen abzugleichen. Selbst die fortschrittlichsten Deep-Learning-Systeme, die normalerweise sehr gut darin sind, verborgene Muster zu finden, erlitten denselben totalen Zusammenbruch. Der einzige Fall, in dem die Modelle in der zweiten Gruppe gut funktionierten, war, als die Forscher die Daten beider Gruppen vor dem Training miteinander vermischten. Dies bewies, dass die Modelle nicht zu einfach waren, um die Aufgabe zu erlernen; sie konnten sie schlichtweg nicht lernen, ohne zuvor Beispiele aus der Zielgruppe gesehen zu haben.

Die Forscher entdeckten, dass der Hauptverursacher ein spezifisches Merkmal in den Daten war: die Ergebnisse des oralen Glukosetoleranztests. In der ersten Gruppe von Frauen war dieser Test der mit Abstand stärkste Prädiktor für die Erkrankung. Die Computermodelle lernten, sich stark auf ihn zu verlassen. In der zweiten Gruppe von Frauen hatte sich jedoch die Beziehung zwischen diesem Test und der Krankheit so drastisch verändert, dass der Test für die Vorhersage fast nutzlos geworden war. Da die Modelle so sehr von dieser einen Information abhängig waren, brach ihre gesamte Logik zusammen, als sie mit der neuen Gruppe konfrontiert wurden. Als die Forscher diesen Test vollständig aus den Daten entfernten, schnitten die Modelle in der neuen Umgebung etwas besser ab, hatten aber dennoch Schwierigkeiten. Dies deutet darauf hin, dass für ein Modell, das in verschiedenen Krankenhäusern nützlich sein soll, das Training ohne den spezifischen Diagnosetest erfolgen muss, der zwischen den Populationen so stark variiert.

Eine weitere wichtige Erkenntnis betraf den Umgang der Forscher mit fehlenden Informationen. In medizinischen Akten sind Daten oft unvollständig; bei einer Patientin ist vielleicht der Blutdruck erfasst, aber nicht das Gewicht. Das Team testete drei verschiedene Methoden, um diese Lücken zu füllen. Sie fanden heraus, dass die anspruchsvollste Methode, die die Beziehungen zwischen verschiedenen Variablen nutzt, um die fehlenden Werte zu schätzen, am robustesten beim Wechsel zwischen Gruppen war. Einfachere Methoden, die lediglich den Durchschnittswert einsetzen, neigten dazu, die feinen Verbindungen zwischen den Datenpunkten zu unterbrechen, was die Modelle weniger zuverlässig machte. Dies unterstreicht, dass die Art und Weise der Datenaufbereitung genauso entscheidend ist wie das Modell selbst.

Die Studie offenbarte auch eine überraschende Wendung hinsichtlich der fortgeschrittenen Techniken, die zur Lösung dieser Probleme eingesetzt wurden. Eine populäre Methode, die versucht, die statistischen Eigenschaften der beiden Gruppen mathematisch aneinander anzupassen, verschlechterte bei den meisten Modellen tatsächlich die Ergebnisse. Sie verbesserte die Leistung eines spezifischen Modelltyps, verschlechterte jedoch die der anderen. Dies deutet darauf hin, dass der bloße Versuch, zwei verschiedene Populationen statistisch ähnlich aussehen zu lassen, keine magische Lösung ist. Tatsächlich verzerrte diese Abstimmung für die Modelle, die Entscheidungen basierend auf spezifischen Schwellenwerten treffen müssen, die Daten in einer Weise, die das Modell weiter verwirrte.

Letztendlich weist die Arbeit auf eine klare Schlussfolgerung hin: Die Barriere für den Einsatz dieser prädiktiven Werkzeuge in verschiedenen Kliniken ist nicht ein Mangel an Rechenleistung oder cleveren Algorithmen. Die Barriere sind die Daten selbst. Die Beziehung zwischen Risikofaktoren und der Krankheit ist nicht fixiert; sie verschiebt sich je nachdem, wen man untersucht. Die Forscher fanden heraus, dass man, wenn man möchte, dass ein Modell an einem neuen Ort funktioniert, es nicht einfach mit alten Daten trainieren und darauf hoffen kann, dass es sich anpasst. Man muss Daten aus der neuen Population in den Trainingsprozess einbeziehen oder zumindest das Modell mit einer kleinen Menge neuer Daten neu kalibrieren. Bis dahin ist der zuverlässigste Ansatz für ein Screening-Tool, den spezifischen Diagnosetest zu vermeiden, der die meiste Verwirrung stiftet, und stattdessen die stabileren, grundlegenden Gesundheitsindikatoren zu nutzen, die über verschiedene Gruppen hinweg konsistent bleiben. Diese Studie dient als Erinnerung daran, dass ein Modell in der Welt der medizinischen KI, das in einem Raum perfekt funktioniert, im nächsten völlig blind sein kann – und der einzige Weg, klar zu sehen, besteht darin, von den Menschen zu lernen, denen man helfen möchte.