Detecting Potential False-Normal Predictions in AI Analysis of Celiac-Related Duodenal Endoscopy Images

In der modernen Klinik verlassen sich Ärzte oft auf eine Kamera, um in den menschlichen Körper zu blicken und Standbilder der Auskleidung des Dünndarms auf Anzeichen von Krankheiten aufzunehmen. Eine solche Erkrankung, die Zöliakie, verursacht, dass die winzigen fingerartigen Ausstülpungen im Darm flach werden und schrumpfen – eine Veränderung, die in diesen Fotografien manchmal erkannt werden kann. Während ein Arzt eine Diagnose normalerweise bestätigen kann, indem er eine Gewebeprobe für Laboruntersuchungen entnimmt, sind die visuellen Hinweise in einem Bild wertvoll, um diese Entscheidung zu leiten. In jüngster Zeit wurden Computerprogramme darauf trainiert, sich dieselben Bilder anzusehen und zu entscheiden, ob sie einen gesunden Darm oder einen von Zöliakie betroffenen Darm zeigen. Die Hoffnung ist, dass diese Programme als ein zweites Paar Augen fungieren können, das subtile Anzeichen erkennt, die ein Mensch übersehen könnte, oder Bilder markiert, die einer genaueren Betrachtung bedürfen. Ein Computer ist jedoch nicht perfekt. Manchmal erklärt er ein Bild voller Selbstvertrauen für normal, obwohl die Kennzeichnung besagt, dass es krankhaft ist. Die entscheidende Frage für jeden, der diese Technologie nutzt, ist nicht nur, wie oft der Computer richtig liegt, sondern wie man die spezifischen Bilder findet, bei denen er falsch liegt, bevor sie durch das Raster fallen.

Ein Forscher setzte sich zum Ziel, eine praktische Lösung für dieses Problem mit einer Sammlung von 188 digitalen Fotografien des Duodenums, dem ersten Teil des Dünndarms, zu testen. Diese Bilder stammten aus einem öffentlichen Archiv und waren bereits von Experten als entweder „normal“ oder „Zöliakie aufweisend“ gekennzeichnet worden. Vor der Durchführung jeglicher Tests bereinigte der Forscher die Daten sorgfältig, entfernte fünf Bilder, die exakte digitale Kopien anderer waren, und legte 24 Bilder beiseite, die als „zweifelhaft“ markiert waren, da ihr Zustand unklar war. Dies hinterließ eine endgültige Gruppe von 159 distinkten Bildern zur Arbeit. Das Ziel war zu sehen, ob ein Computerprogramm lernen konnte, seine eigenen Fehler zu erkennen. Speziell wollte der Forscher wissen, ob das Hinzufügen einfacher Prüfungen für Bildqualität und Stabilität helfen könnte, einen menschlichen Prüfer dabei zu unterstützen, welche der „falsch-normalen“ Bilder zuerst zu untersuchen ist, im Vergleich dazu, lediglich zu prüfen, wie sicher sich der Computer bei seiner eigenen Antwort war.

Um dies zu tun, trainierte der Forscher ein Standard-Computer-Vision-Modell, eine Softwareart namens ResNet-18, um zwischen den beiden Arten von Bildern zu unterscheiden. Das Training wurde so durchgeführt, dass das Modell die spezifischen Bilder, die es später testen sollte, nie gesehen hatte, um zu verhindern, dass es einfach die Antworten auswendig lernt. Sob hin das Modell bereit war, wurde es gebeten, jedes Bild im Testdatensatz zu klassifizieren. Das Modell identifizierte die meisten Bilder korrekt, machte aber eine spezifische Art von Fehler: Es bezeichnete 13 Bilder als „normal“, obwohl die ursprünglichen Experten-Labels sie als „Zöliakie“ deklarierten. Diese 13 Bilder wurden zum Ziel des Experiments. Der Forscher erstellte daraufhin zwei verschiedene Listen, um zu sehen, welche Methode mehr dieser 13 versteckten Fehler finden würde, falls ein Mensch nur einen kleinen Bruchteil der Gesamtbilder überprüfen könnte.

Die erste Methode war der einfachste mögliche Ansatz: Der Forscher betrachtete schlichtweg, wie sicher sich der Computer war, wenn er ein Bild als „normal“ bezeichnete. Wenn der Computer sich nur geringfügig sicher war, wurde dieses Bild zur Überprüfung markiert. Die zweite Methode versuchte, intelligenter vorzugehen, indem sie zusätzliche Signale hinzufügte. Sie prüfte, ob sich die Antwort des Computers leicht änderte, wenn das Bild etwas heller oder dunkler gemacht wurde oder wenn die Datei mit etwas geringerer Qualität gespeichert wurde. Sie maß zudem das Bild selbst auf technische Mängel wie Unschärfe, extreme Helligkeit oder Blendungen im Zentrum des Fotos. Diese drei Faktoren – schwache Konfidenz, instabile Antworten und schlechte Bildqualität – wurden zu einem einzigen Score kombelliert, um die Bilder für die Überprüfung zu ranken. Der Forscher simulierte ein Szenario, in dem ein Mensch nur eine feste Anzahl von Bildern überprüfen konnte, beispielsweise 20 % der Gesamtzahl, um zu sehen, welche Methode mehr der 13 entgangenen Fälle finden würde.

Die Ergebnisse waren klar und überraschend geradlinig. Als der Forscher die obersten 15 Bilder untersuchte, die durch die „Konfidenz-Methode“ markiert worden waren, fand er drei der 13 entgangenen Fälle. Als er die obersten 15 Bilder untersuchte, die durch die komplexere „kombinierte Score-Methode“ markiert worden waren, fand er ebenfalls genau drei der 13 entgangenen Fälle. Die zusätzlichen Prüfungen für Bildqualität und Stabilität halfen dem System nicht dabei, mehr Fehler als die bloße Betrachtung des Konfidenzniveaus des Computers zu finden. Tatsächlich fand die einfache Konfidenz-Methode bei einer niedrigeren Überprüfungsrate, bei der nur wenige Bilder kontrolliert werden konnten, mehr Fehler als die komplexe Methode. Der Forscher versuchte auch eine Variation, bei der die Bilder beschnitten wurden, um die Ränder und Bordüren vor der Analyse zu entfernen, in der Hoffnung, zu sehen, ob der Computer visuelle Abkürzungen wie Text oder Geräte-Overlays nutzte; diese Änderung verbesserte die Leistung des komplexen Scoring-Systems jedoch ebenfalls nicht.

Die Studie kommt zu dem Schluss, dass für diesen spezifischen Datensatz das Hinzufügen technischer Qualitätsprüfungen und Stabilitätstests die Fähigkeit nicht verbesserte, die Fehler des Computers zu finden. Die zusätzliche Komplexität rechtfertigte ihre Existenz nicht. Dies bedeutet nicht, dass Bildqualität oder Stabilität im Allgemeinen unwichtig sind, noch dass der Computer perfekt ist. Es bedeutet lediglich, dass in diesem spezifischen Test das eigene Vertrauensmaß des Computers in die eigene Antwort genauso gut darin war, die riskanten Bilder aufzuzeigen, wie ein komplizierteres System, das versuchte, die technischen Mängel des Bildes zu messen. Der Forscher merkt an, dass der Datensatz klein war, nämlich nur 159 Bilder enthielt, und dass die Labels auf Bildkategorien basierten statt auf bestätigten Patientenbiopsien, weshalb die Ergebnisse auf dieses spezifische Archiv begrenzt sind. Die Arbeit dient als ein sorgfältiger, transparenter Test, der zeigt, dass man nicht davon ausgehen sollte, dass ein komplizierterer Sicherheits-Score besser ist als eine einfache Konfidenzprüfung, ohne direkte Beweise zu haben. Letztendlich war der effektivste Weg, die Fehler des Computers in diesem Fall zu finden, seinem eigenen Unvermögen bzw. seiner Unsicherheit zu vertrauen, anstatt zu versuchen, das Bild selbst zu messen.