Avoiding Data Leakage in Machine Learning Models for Diabetes and Hypertension Classification Using Routine Occupational Health Screening Data
Diese Studie zeigt, dass die Einbeziehung von ergebnisdefinierenden Prädiktoren wie Nüchternblutzucker und Blutdruck in maschinelle Lernmodelle zur Klassifizierung von Diabetes und Hypertonie zu schwerwiegendem Data Leakage und künstlich aufgeblähter Leistung führt, während Modelle, die diese Variablen unter Verwendung routinemäßiger beruflicher Screening-Daten ausschließen, eine moderate, aber klinisch realistische Genauigkeit erreichen und gleichzeitig den prädiktiven Wert von Faktoren wie Alter, BMI und psychischer Belastung hervorheben.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der modernen Medizin wird immer häufiger von Computern verlangt, die Daten eines Patienten zu analysieren und vorherzusagen, ob dieser eine schwere Krankheit wie Diabetes oder Bluthochdruck entwickeln wird. Dieses Feld, bekannt als maschinelles Lernen, funktioniert dadurch, dass man einem Computer tausende Beispiele von kranken und gesunden Menschen sowie eine lange Liste von Messwerten wie Alter, Gewicht und Blutergebnissen füttert. Der Computer versucht dann, verborgene Muster zu finden, die diese Messwerte mit der Krankheit verbinden. Wenn der Computer gut lernt, hoffen Ärzte, dass er gefährdete Personen frühzeitig erkennen kann, etwa während einer Routineuntersuchung am Arbeitsplatz, um eine Prävention zu ermöglichen, bevor eine Krankheit voll einsetzt. Es gibt jedoch eine gefährliche Falle in diesem Prozess, die man „Data Leakage“ (Datenleckage) nennt. Sie tritt auf, wenn dem Computer versehentlich den Lösungsschlüssel gegeben wird, während er noch versucht zu lernen. Wenn der Computer einen Blutzuckerspiegel sieht, der bereits hoch ist, und dann gefragt wird, ob die Person an Diabetes leidet, sagt er nicht wirklich etwas voraus; er lielt lediglich die Definition der Krankheit ab. Dies erzeugt eine falsche Selbstsicherheit und lässt den Computer wie ein Genie erscheinen, obwohl er in Wirklichkeit nur ungültige Daten verwendet.
Ein Forscherteam aus dem Iran setzte sich zum Ziel, ein System zu entwickeln, das Diabetes und Hypertonie unter Universitätsangestellten anhand der Daten identifizieren kann, die bei deren jährlichen Gesundheitsuntersuchungen erhoben wurden. Sie wollten sehen, ob diese routinemäßigen Aufzeichnungen, die Dinge wie Körpermaße, Bluttests und sogar Fragen zu Stress und Stimmung beinhalten, helfen können, gefährdete Personen aufzusporen. Doch ihr wichtigstes Ziel war nicht nur der Bau eines Modells, sondern der Beweis dafür, wie leicht sich Forscher selbst in den Glauben führen können, ihre Modelle seien perfekt. Sie nahmen eine große Gruppe von Mitarbeiterdatensätzen und teilten sie in zwei Gruppen auf, um ihre Ideen zu testen. Zuerst bauten sie ein Modell, das jede verfügbare Information einbezog, einschließlich genau jener Blutzucker- und Blutdruckwerte, die Ärzte zur Diagnose der Krankheiten verwenden. Unerwartet wenig überraschend funktionierte dieses Modell fast perfekt und identifizierte nahezu jeden Fall korrekt. Es schien wie ein Durchbruch.
Dann taten die Forscher etwas Entscheidendes. Sie bauten ein zweites Modell, dem es strengstens untersagt war, diese spezifischen Blutzucker- und Blutdruckwerte anzusehen. Sie zwangen den Computer, sich ausschließlich auf die anderen Hinweise wie Alter, Körpergröße und psychischen Stress zu verlassen, um seine Vermutung abzugeben. Dieses zweite Modell repräsentierte das, was in der realen Welt passieren würde, wo ein Arzt vielleicht den Risiko-Status vor dem Durchführen des endgültigen Diagnosetests vorhersagen möchte. Als sie die beiden verglichen, war der Unterschied eklatant. Das erste Modell, das den Lösungsschlüssel besaß, behauptete, zu 96 Prozent richtig zu liegen. Das zweite Modell, das die eigentliche Arbeit der Vorhersage leisten musste, sank auf eine Richtigkeit von etwa 78 Prozent. Diese Lücke von fast zwanzig Prozentpunkten war kein kleiner Fehler; es war eine massive Inflation, die allein dadurch verursacht wurde, dass der Computer in den Lösungsschlüssel geschaut hatte. Die Studie zeigte, dass viele bisherige Behauptungen über hochgradig genaue medizinische Vorhersagen auf demselben wackeligen Fundament stehen könnten, auf dem der Computer lediglich die Definition der Krankheit liest, anstatt zu lernen, sie zu erkennen.
Über die Aufdeckung dieses methodischen Fehlers hinaus fanden die Forscher heraus, dass das Modell ohne den Lösungsschlüssel dennoch einen Wert besaß. Selbst ohne die direkten Blutdruck- oder Zuckerwerte konnte der Computer zwischen gesunden und gefährdeten Mitarbeitern mit einem moderaten Grad an Genauigkeit unterscheiden. Überraschenderweise lernte der Computer auch, dass psychologische Faktoren mächtige Hinweise sind. Variablen, die allgemeinen psychischen Stress, Depressionen und Angstzustände messen, gehörten zu den wichtigsten Prädiktoren für beide Zustände und erschienen ebenso wichtig wie physische Maße wie der Taillenumfang oder der Body-Mass-Index. Dies deutet darauf hin, dass Geist und Körper bei diesen Krankheiten tief miteinander verknüpft sind und dass der mentale Zustand eines Arbeiters ein lebenswichtiges Frühwarnzeichen für körperliche Gesundheitsprobleme sein könnte.
Die Forscher merkten sorgfältig an, dass ihre Ergebnisse ein Ausgangspunkt und keine fertige Lösung sind. Die Studie wurde an einer relativ kleinen Gruppe von Angestellten einer einzelnen Universität durchgeführt, und die Modelle wurden noch nicht an anderen Personengruppen an anderen Orten getestet. Die Leistungsfähigkeit des realistischen Modells ist zwar nützlich, um Menschen in Risikogruppen einzuteilen, aber nicht hoch genug, um einen Arzt zu ersetzen. Der wahre Wert dieser Arbeit liegt in ihrer Warnung an die wissenschaftliche Gemeinschaft: Wenn Sie wissen wollen, ob ein Vorhersagewerkzeug tatsächlich funktioniert, müssen Sie es testen, ohne es die sehr Zahlen sehen zu lassen, die die Krankheit definieren. Indem sie genau aufzeigten, wie stark die Leistung sinkt, wenn dieser Regel gefolgt wird, bietet die Studie einen klaren, ehrlichen Rahmen für die zukünftige Forschung. Sie erinnert uns daran, dass im Wettlauf um den Einsatz künstlicher Intelligenz für die Gesundheit der wichtigste Schritt darin besteht, sicherzustellen, dass der Computer die Wahrheit lernt und nicht nur die Prüfung auswendig lernt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.