Exact and near-duplicate symptom profiles inflate the reported performance of machine learning classifiers for diabetes: a leakage- aware re-evaluation of the UCI Early-Stage Diabetes dataset

In der Welt der Medizintechnik verspricht maschinelles Lernen eine Zukunft, in der Computer Krankheiten wie Diabetes allein durch das Lesen einer Liste von Symptomen erkennen können. Die Idee ist kraftvoll: Ein Patient beschreibt sein Befinden – Durst, Müdigkeit, verschwommenes Sehen – und ein Algorithmus berechnet sofort sein Risiko, was die Krankheit potenziell entdecken kann, bevor sie irreversiblen Schaden anrichtet. Um diese digitalen Ärzte zu bauen, verlassen sich Wissenschaftler auf riesige Datensammlungen, bei denen Tausende vergangener Patientenakten genutzt werden, um dem Computer beizubringen, wie eine kranke Person im Vergleich zu einer gesunden aussieht. Der Standard für das Testen dieser Systeme ist eine Methode namens Kreuzvalidierung. Stellen Sie sich vor, ein Lehrer gibt einem Schüler eine Übungsprüfung und dann eine leicht abgewandelte Version derselben Prüfung, um zu sehen, ob der Schüler das Material wirklich verstanden oder nur die Antworten auswendig gelernt hat. In der wissenschaftlichen Gemeinschaft soll dieser Prozess offenbaren, wie gut ein Modell bei neuen, unbekannten Patienten abschneiden wird.

Eine jüngste Neubewertung eines der bekanntesten Datensätze, die zu diesem Zweck verwendet werden, hat jedoch einen stillen Fehler in der Art und Weise aufgedeckt, wie diese Tests durchgeführt wurden. Der betreffende Datensatz, der aus einem Krankenhaus in Bangladesch stammt, enthält Aufzeichnungen über die Symptome von Menschen und darüber, ob sie an Diabetes erkrankt waren. Jahrelang haben Forscher diese Daten verwendet, um Computermodelle zu trainieren, wobei sie Erfolgsraten meldeten, die fast zu gut erschienen, um wahr zu sein, und oft Genauigkeitswerte zwischen 97 und 99 Prozent angaben. Diese Zahlen deuteten darauf hin, dass die Modelle nahezu perfekt waren. Doch ein Team von Forschern aus Peru hat nun gezeigt, dass diese hohen Punktzahlen kein Zeichen von Genialität waren, sondern das Ergebnis eines einfachen Fehlers im Testprozess. Sie fanden heraus, dass der Datensatz viele identische Kopien desselben Patientenprofils enthielt und die Art und Weise, wie die Tests durchgeführt wurden, es dem Computer ermöglichte, die Antworten zu erhalten, noch bevor der Test überhaupt begann.

Die Forscher, unter der Leitung von William Marin-Rodriguez und seinen Kollegen, warfen einen frischen Blick auf den UCI Early-Stage Diabetes Datensatz. Diese Sammlung enthält 520 Datensätze, von denen jeder das Alter einer Person und fünfzehn verschiedene Symptome beschreibt, wie etwa häufigen Harndrang oder plötzlichen Gewichtsverlust. Als sie die einzigartigen Kombinationen dieser Symptome zählten, fanden sie etwas Erstaunliches: Von den 520 Datensätzen gab es nur 251 wirklich einzigartige Profile. Das bedeutet, dass 269 der Datensätze exakte Duplikate anderer waren, und viele weitere die gleichen Symptome aufwiesen, sich aber nur im Alter unterschieden. In den ursprünglichen Studien wurden diese identischen Kopien beim Aufteilen der Daten in Trainings- und Testgruppen oft zufällig verteilt. Ein Datensatz konnte in der Trainingsgruppe landen, was dem Computer die Antwort beibrachte, während sein exakter Zwilling in der Testgruppe landete. Wenn der Computer an diesem Zwilling getestet wurde, musste er nicht raten oder diagnostizieren; er erkannte einfach das Muster, das er bereits auswendig gelernt hatte.

Um zu sehen, wie sehr dies die Ergebnisse aufblähte, ließen das Team die gleichen Computermodelle erneut laufen, aber diesmal änderten sie die Spielregeln. Anstatt die Daten zufällig aufzuteilen, hielten sie alle Datensätze mit demselben Symptomprofil in derselben Gruppe zusammen. Dies stellte sicher, dass, wenn ein bestimmtes Set an Symptomen in den Trainingsdaten vorkam, dieses exakte Set niemals in den Testdaten erscheinen konnte. Der Computer wurde gezwungen, die Muster der Krankheit zu lernen, anstatt nur spezifische Patientenlisten auswendig zu lernen. Der Unterschied in den Ergebnissen war dramatisch. Unter der alten, zufälligen Methode erreichten die Modelle Genauigkeitswerte zwischen 97 und 98 Prozent, was den glänzenden Berichten aus den vergangenen Jahren entsprach. Doch als die Forscher die strengeren, vor Datenleckagen geschützten Regeln durchsetzten, fielen diese Genauigkeitswerte auf einen Bereich von 90 bis 93 Prozent. Obwohl dies immer noch beeindruckend war, offenbarte dieser Rückgang, dass die bisherigen Behauptungen einer nahezu perfekten Leistung weitgehend eine Illusion waren, die durch die Datenstruktur erzeugt wurde.

Die Studie ging weiter und untersuchte nicht nur, ob die Modelle richtig oder falsch lagen, sondern auch, wie sicher sie in ihren Vorhersagen waren. Sie betrachteten eine spezifische Metrik namens Matthews-Korrelationskoeffizient, die ein ehrlicheres Bild der Leistung liefert, wenn die Anzahl der kranken und gesunden Menschen ungleichmäßig verteilt ist. Unter der zufälligen Testmethode war dieser Wert künstlich hoch und wurde für einige Modelle um bis zu 0,16 Punkte übertrieben dargestellt. Als die Duplikate aus dem Testdatensatz entfernt wurden, sanken die Werte erheblich.ت Wichtiger noch: Das Ranking der Modelle änderte sich. Das Modell, das unter den alten Regeln als das beste gekürt worden war – ein komplexes System namens Stacking Ensemble –, fiel unter den neuen Regeln vom ersten auf den achten Platz zurück. Das Modell, das unter fairen Testbedingungen tatsächlich am besten abschnitt, war ein anderer Typ von baumbasiertem Algorithmus, bekannt als Extra Trees. Dieser Wechsel bewies, dass die Wahl des „besten“ Modells kein feststehendes Faktum war, sondern ein Resultat der fehlerhaften Testmethode.

Die Forscher untersuchten auch, was passiert, wenn sie für „Nahe-Duplikate“ berücksichtigen. In dem Datensatz teilten viele Menschen exakt dieselben Symptome, hatten aber unterschiedliche Alter. Das Team testete ein Szenario, in dem selbst diese nahezu identischen Profile zusammengehalten wurden, um zu verhindern, dass der Computer aus den Symptomen eines 40-Jährigen lernt, um das Risiko für einen 45-Jährigen mit denselben Symptomen vorherzusagen. Dieser strengere Test senkte die Leistung jedes einzelnen Modells noch weiter. Interessanterweise schnitt ein sehr einfaches Modell, das dadurch arbeitet, den am ähnlichsten vergangenen Fall zu finden, unter dem ersten strengen Test fast so gut ab wie die komplexen Modelle, aber seine Leistung brach zusammen, als die Nahe-Duplikate entfernt wurden. Dies deutete darauf hin, dass das einfache Modell ebenfalls darauf vertraute, Kopien seiner selbst in den Trainingsdaten zu finden, anstatt die Krankheit wirklich zu verstehen.

Die Auswirkungen dieser Arbeit erstrecken sich über nur einen einzigen Datensatz hinaus. Die Forscher argumentieren, dass die in der Vergangenheit berichteten hohen Genauigkeitszahlen für die Diabetes-Vorhersage wahrscheinlich durch dasselbe Problem der Duplikate in den Datensätzen aufgebläht wurden. Sie fanden heraus, dass der Unterschied zwischen den alten und den neuen Ergebnissen groß genug war, um die winzigen Verbesserungen, die neue Studien oft zu entdecken behaupten, zu verschlingen. Wenn ein neuer Algorithmus behauptet, eins oder zwei Prozent besser zu sein als die alten, könnte diese Verbesserung lediglich ein Rauschen sein, das durch die Art und Weise der Datenaufteilung verursacht wurde, statt eines echten Durchbruchs. Das Team stellte auch fest, dass viele der Modelle schlecht kalibriert waren, was bedeutet, dass sie zwar oft richtig lagen, ihre Wahrscheinlichkeitswerte jedoch nicht die wahre Wahrscheinlichkeit der Erkrankung widerspiegelten. Beispielsweise waren einige Modelle übermäßig selbstbewusst, während andere zu zögerlich waren, was gefährlich sein könnte, wenn ein Arzt sich auf diese Zahlen verlassen würde.

Diese Neubewertung bedeutet nicht, dass maschinelles Lernen nicht bei der Diagnose von Diabetes helfen kann, noch deutet sie darauf hin, dass die Modelle nutzlos sind. Es bedeutet lediglich, dass die Benchmarks, mit denen sie beurteilt werden, fehlerhaft waren. Die Forscher betonen, dass ihre Erkenntnisse interne Schätzungen auf Basis eines spezifischen Datensatzes sind und nicht beweisen, dass diese Modelle in realen Kliniken funktionieren. Sie weisen darauf hin, dass die Daten aus einem einzigen Krankenhaus stammen und Details darüber fehlen, wie die Diabetes bestätigt wurde, weshalb die Ergebnisse nicht ohne weitere Tests direkt auf das allgemeine Screening übertragen werden können. Die Studie bietet jedoch einen klaren Weg für die Wissenschaft. Sie empfehlen, dass zukünftige Studien nach Duplikaten in den Datensätzen suchen und diese während des Testens gruppieren müssen, wie unsicher ihre Ergebnisse sind, Bericht erstatten und davon absehen sollten, ein einzelnes „bestes“ Modell zu deklarieren, sofern der Unterschied nicht statistisch signifikant ist. Indem sie den Testprozess bereinigen, können sie sicherstellen, dass die digitalen Ärzte der Zukunft nach ihrer wahren Fähigkeit zu lernen beurteilt werden, statt nach ihrer Fähigkeit, die Antworten zu erhalten.