Complete Patient-Level Leakage Among Traceable Images in a Widely Used Brain Tumor MRI Benchmark
Diese Arbeit zeigt auf, dass ein weit verbreiteter Benchmark für MRT-Aufnahmen von Hirntumoren unter einem vollständigen Datenleck auf Patientenebene leidet, wobei die hoch berichteten Genauigkeiten eher die Fähigkeit des Modells widerspiegeln, Schichten von zuvor gesehenen Patienten zu erkennen, als seine tatsächliche Generalisierung auf ungesehene Individuen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Im Bereich der medizinischen Bildgebung lernen Computer, Krankheiten zu erkennen, indem sie tausende Bilder des menschlichen Körpers studieren. Um diese Systeme zu trainieren, sammeln Wissenschaftler große Sammlungen von Scans und teilen sie in zwei Gruppen auf: eine, aus der der Computer lernt, und eine weitere, um sein Wissen zu testen. Das Ziel ist es zu sehen, ob der Computer eine Krankheit in einem neuen Patienten erkennen kann, den er noch nie zuvor gesehen hat. Dieser Prozess ist das Fundament der modernen künstlichen Intelligenz im Gesundheitswesen, wo die Hoffnung besteht, dass eine an vergangenen Fällen trainierte Maschine Ärzten helfen kann, zukünftige Fälle zu diagnostizieren. Damit dieser Test jedoch fair ist, müssen die beiden Gruppen wirklich getrennt sein. Wenn der Computer während des Trainings ein Bild des Gehirns eines Patienten sieht, sollte er während des Tests kein weiteres Bild desselben Patienten sehen. Wenn dies der Fall ist, beweist der Computer nicht, dass er die Krankheit versteht, sondern dass er lediglich den Patienten sich merkt.
Eine kürzlich durchgeführte Untersuchung eines populären Datensatzes, der von tausenden Forschern zur Testung von Software zur Erkennung von Hirntumoren verwendet wird, hat einen massiven Fehler in der Handhabung dieser Trennung aufgedeckt. Der Datensatz, der über siebentausend Bilder enthält, die als Gliom, Meningiom, Pituitary-Tumor (Hypophysentumor) oder kein Tumor gekennzeichnet sind, war weitgehend gefeiert worden, weil Computermodelle auf ihm nahezu perfekte Ergebnisse erzielten, die oft eine Genauigkeit von über 98 Prozent erreichten. Diese hohen Zahlen deuteten darauf an, dass die Technologie bereit für den realen Einsatz sei. Doch die Art und Weise, wie die Daten organisiert waren, hielt ein kritisches Geheimnis verborgen: Die Testbilder waren nicht unabhängig von den Trainingsbildern. Durch die Rückverfolgung der Dateien zu ihren ursprünglichen Quellen entdeckte ein Forscher, dass der Testdatensatz mit Schichten aus genau denselben Patienten gefüllt war, die der Computer bereits studiert hatte.
Der Forscher, der unabhängig arbeitete, behandelte den Datensatz wie ein Puzzle. Die Originaldateien waren von den Namen der Patienten befreit worden und nach Tumortyp in Ordner sortiert worden, was es unmöglich machte zu erkennen, welche Bilder zu dersem Person gehörten. Um dies zu lösen, verglich der Forscher den visuellen Inhalt jedes Bildes im Testordner mit einer Quellsammlung, die noch über Patientenakten verfügte. Durch den Abgleich der Formen und Muster der Gehirnscans gelang es dem Forscher, tausende Bilder wieder mit ihren ursprünglichen Besitzern zu verknüpfen. Das Ergebnis war erschütternd. Von den fast tausend Tumorbildern, die für den Test verwendet wurden, stammten fast alle von Patienten, die bereits im Trainingssatz vorhanden waren. Tatsächlich gehörte jedes einzelne rückverfolgbare Tumorbild in der Testgruppe einem Patienten, den der Computer bereits gesehen hatte.
Diese Entdeckung bedeutete, dass der Computer nicht auf seine Fähigkeit getestet wurde, eine Krankheit bei einer neuen Person zu erkennen. Stattdessen wurde er auf seine Fähigkeit getestet, eine zweite Schicht eines Patienten zu erkennen, den er bereits auswendig gelernt hatte. Da benachbarte Schichten desselben MRT-Scans sehr ähnlich aussehen – sie teilen dieselbe Schädelform, Beleuchtung und Artefakte – konnte der Computer einfach sagen: „Ich habe dieses Gehirn schon einmal gesehen“, und die richtige Antwort raten, ohne tatsächlich den Tumor zu verstehen. Um dies zu beweisen, ließ der Forscher dasselbe Computermodell erneut laufen, aber diesmal unter einer strengen Regel: Dem Computer war erlaubt, von den Bildern eines Patienten zu lernen, aber es war ihm verboten, während des Tests Bilder desselben Patienten zu sehen.
Als der Computer gezwungen war, sich mit Patienten zu konfrontieren, die er noch nie gesehen hatte, sank seine Leistung signifikant. Bei der spezifischen Gruppe von Bildern, bei denen der Patient während des Trainings bekannt war, lag die Genauigkeit des Computers bei 99,12 Prozent. Aber als der Patient neu und unbekannt war, fiel die Genauigkeit auf 93,60 Prozent. Obwohl dieser Unterschied klein klingen mag, entspricht er einer siebenfachen Steigerung der Fehler. In der Welt der medizinischen Diagnose, in der ein übersehener Tumor tödlich sein kann, ist eine siebenfache Steigerung der Fehler eine katastrophale Fehlleistung der Testmethode. Die Untersuchung prüfte auch, ob die hohen Werte lediglich auf das Auswendiglernen identischer Duplikatdateien zurückzuführen waren. Selbst nachdem alle identischen Kopien entfernt worden waren, blieb die Genauigkeit künstlich hoch, was bewies, dass das Problem nicht nur aus Duplikaten bestand, sondern in dem tiefer liegenden Problem der Patientenüberschneidung.
Um sicherzustellen, dass dieser Leistungsabfall tatsächlich auf die Patientenüberschneidung und nicht auf eine andere Änderung in der Durchführung des Tests zurückzuführen war, erstellte der Forscher eine Kontrollgruppe. Er mischte dieselben Bilder in zufällige Gruppen, wobei die Identitäten der Patienten vermischt blieben, und führte den Test erneut durch. Diese zufällige Gruppierung lieferte immer noch hohe Werte, die den ursprünglichen fehlerhaften Ergebnissen sehr nahe kamen. Dies bestätigte, dass die einzige Ursache für den Genauigkeitsabfall die Regel war, die denselben Patienten aus dem Test auszuschließen. Die Studie fand auch heraus, dass die Klasse „kein Tumor“, der keine Patientenidentifikatoren besaß, nicht denselben dramatischen Abfall zeigte, was weiter bewies, dass der Fehler spezifisch mit der Anwesenheit der Patientenidentität in den Tumorklassen zusammenhing.
Die Auswirkungen dieser Erkenntnis sind tiefgreifend für jeden, der sich auf diese Benchmarks verlässt. Die hohen Genauigkeitszahlen, die jahrelang auf diesem Datensatz veröffentlicht wurden, spiegeln nicht die Fähigkeit des Computers wider, auf neue Patienten zu generalisieren. Sie spiegeln einen Abkürzungsweg wider, den der Computer nahm, indem er vertraute Gesichter erkannte. Der Forscher hat die korrigierten Datensplits und den Code veröffentlicht, der das Problem behoben hat, damit andere Wissenschaftler ihre Modelle fair testen können. Die Lehre ist klar: In der medizinischen KI muss die Maßeinheit der Patient sein, nicht das Bild. Wenn ein Computer nicht zwischen einem neuen und einem alten Patienten unterscheiden kann, hat er nicht gelernt, eine Krankheit zu diagnostizieren; er hat nur gelernt, eine Person zu erkennen. Bis Datensätze so organisiert sind, dass diese Art von Leckage verhindert wird, mag der berichtete Erfolg dieser Systeme eine Illusion sein, die eine Realität maskiert, in der die Technologie bei weitem nicht so bereit für die Klinik ist, wie die Zahlen vermuten lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.