Native image geometry and cross-partition patient overlap in a checksum-identified public liver ultrasound release: an audit of SMC-LUD

Stellen Sie sich eine Welt vor, in der Computerntelernt werden, Krankheiten in medizinischen Bildern zu erkennen, und dabei als zweites Paar Augen für Ärzte fungieren. Eines der am häufigsten verwendeten Werkzeuge dafür ist der Ultraschall, der Schallwellen nutzt, um Bilder aus dem Inneren des Körpers, wie zum Beispiel der Leber, zu erzeugen. Da diese Maschinen weit verbreitet und relativ kostengünstig sind, haben Wissenschaftler riesige Sammlungen dieser Bilder gesammelt, um künstliche Intelligenz zu trainieren. Die Hoffnung ist, dass diese Computerprogramme lernen können, gefährliche Tumore, wie etwa Leberkrebs, oder harmlose Knoten, wie gutartige Wucherungen, allein durch das Betrachten der Bilder zu erkennen. Damit dieses Training funktioniert, muss der Computer lernen, die eigentliche Krankheit zu erkennen, und nicht nur zufällige Details darüber, wie das Bild aufgenommen wurde. Wenn der Computer eine Abkürzung lernt – etwa indem er die Antwort basierend auf der Dateigröße des Bildes statt der Form des Tumors errät – wird er scheitern, wenn er in einem echten Krankenhaus auf einen neuen Patienten trifft.

Ein Team von Forschern beschloss vor Kurzem, einen genauen Blick auf eine berühmte Sammlung von Leber-Ultraschallbildern zu werfen, die der Öffentlichkeit zur Nutzung durch Wissenschaftler zugänglich gemacht wurde. Diese Sammlung, bekannt als SMC-LUD, sollte als Goldstandard für das Testen dieser Computerprogramme dienen. In der ursprünglichen Beschreibung hieß es, die Bilder stammten von über tausend verschiedenen Patienten und die Daten seien sorgfältig in Gruppen aufgeteilt worden, sodass kein einzelner Patient in mehr als einer Gruppe vorkommt. Diese Trennung ist entscheidend; wenn die Bilder eines Patienten sowohl in der Trainingsgruppe als auch in der Testgruppe erscheinen, könnte der Computer lediglich die Anatomie dieser spezifischen Person auswendig lernen, anstatt die Krankheit zu diagnostizieren. Die Forscher luden die gesamte Sammlung herunter und begannen mit einem akribischen Audit, bei dem sie jede einzelne Datei überprüften, um zu sehen, ob die Realität mit dem Versprechen übereinstimmte.

Was sie fanden, war eine Reihe von Überraschungen, die unsere Sicht auf diesen Datensatz veränderten. Zuerst entdeckten sie, dass der Computer die Krankheit mit perfekter Genauigkeit allein durch das Betrachten der Form des Bildes identifizieren konnte, ohne überhaupt die Leber im Inneren gesehen zu haben. Jedes einzelne Bild eines bösartigen Tumors war ein perfektes Quadrat, während jedes einzelne Bild einer gutartigen Wucherung ein Rechteck war. Es war, als wären die Dateien mit einem versteckten Etikett versehen worden, das „Krebs“ oder „nicht Krebs“ sagte, basierend rein auf ihren Dimensionen. Dies bedeutete, dass ein Computerprogramm eine perfekte Punktzahl bei einem Test erreichen konnte, indem es einfach nur prüfte, ob das Bild quadratisch war, und dabei den medizinischen Inhalt völlig ignorierte. Dies ist ein klassisches Beispiel für eine technische Abkürzung, bei der die Maschine ein Muster im Datenerfassungsprozess lernt, anstatt die medizinische Realität.

Das Audit enthüllte auch, dass die Daten nicht so getrennt waren, wie behauptet. Der ursprüngliche Bericht besagte, dass Patienten in separaten Gruppen gehalten wurden, doch als die Forscher die tatsächlichen Ordner auf ihren Computern zählten, fanden sie heraus, dass mehr als sechzig Prozent der Patienten in den Trainings-, Test- und Validierungsgruppen verstreut waren. Tatsächlich hatten fast alle Patienten aus der Testgruppe auch Bilder in der Trainingsgruppe. Dies ist so, als würde man einem Schüler einen Test geben, der Fragen enthält, die er bereits in seinem Hausaufgabenbuch gesehen hat. Als die Forscher die Computertests unter Verwendung von nur jenen Patienten wiederholten, die nur in einer Gruppe erschienen, sank die Leistung des Computers, obwohl sie recht hoch blieb. Als sie den Computer jedoch dazu zwangen, die Bildformen zu ignorieren und alle Bilder gleich zu behandeln, stieg die Leistung wieder auf perfekt an. Dies deutete darauf an, dass selbst nachdem die offensichtlichen Form-Hinweise entfernt worden waren, andere subtile technische Details aus der Art und Weise, wie die Bilder gespeichert wurden, dem Computer immer noch einen unfairen Vorteil verschafften.

Die Forscher fanden auch heraus, dass die Zahlen in der offiziellen Beschreibung nicht mit den von ihnen heruntergeladenen Dateien übereinstimmten. Die Beschreibung behauptete, es gäbe über fünftausend Bilder von über tausend Patienten, aber die tatsächlichen Dateien zeigten leicht unterschiedliche Zählungen und eine andere Anzahl an Patientenordnern. Einige Patientennamen in der offiziellen Liste hatten keine Bilder, während einige Bildordner keinen Namen in der Liste hatten. Diese Unstimmigkeiten deuten darauf hin, dass die Daten vor der Veröffentlichung nicht sorgfältig geprüft wurden. Die Studie bewies nicht, dass die ursprünglichen Ärzte Fehler bei ihrer medizinischen Arbeit gemacht hatten, aber sie zeigte, dass das von ihnen veröffentlichte digitale Paket unordentlich war und versteckte Hinweise enthielt, die künstliche Intelligenz täuschen könnten.

Diese Untersuchung dient als kraftvolle Erinnerung daran, dass wir äußerst vorsichtig sein müssen, wenn wir medizinische Daten für das Lernen von Computern teilen. Das Ziel ist es, Maschinen beizubringen, Krankheiten zu verstehen, und nicht, die Eigenheiten einer bestimmten Kamera oder die Gewohnheiten eines bestimmten Technikers zu erkennen. Die Forscher kamen zu dem Schluss, dass zukünftige Veröffentlichungen medizinischer Bilder viel transparenter sein müssen. Sie schlagen vor, dass jeder, der solche Daten veröffentlicht, eine klare, unveränderliche Liste bereitstellen sollte, die jedes Bild einem spezifischen Patienten zuordnet und bestätigt, dass kein Patient doppelt erscheint. Sie empfehlen auch zu prüfen, ob alle Bilder in Bezug auf Größe und Format gleich aussehen, damit keine versteckten Muster hineinschleichen können. Ohne diese Sicherheitsvorkehrungen könnten die hohen Punktzahlen, die wir in Computertests sehen, eine Illusion sein, und die Technologie wäre möglicherweise noch nicht bereit, Ärzten in der realen Welt zu helfen, Leben zu retten.