Similar discrimination, different behaviour under synthetic occlusion: confidence and attribution reproducibility of deep learning models for intraoral ultrasonography
Obwohl mehrere Deep-Learning-Architekturen eine ähnlich hohe Basisdiskriminierung für die intraorale Ultrasonographie erreichen, zeigen sie unter synthetischer Okklusion drastisch unterschiedliche und oft unzuverlässige Verhaltensweisen, wobei EfficientNet-B0 im Vergleich zu anderen Modellen einen schweren Leistungsabfall, Überkonfidenz und eine schlechte Reproduzierbarkeit aufweist.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Im Inneren des menschlichen Mundes kann eine spezialisierte Ultraschallsonde Echtzeitbilder von Weichteilen erfassen, ohne dabei Strahlung zu verwenden. Diese Bilder offenbaren Schichten von Muskeln und Haut und bieten ein Fenster in die Anatomie, das für die Planung von Operationen oder die Beurteilung der Gewebegesundheit nützlich ist. Um diese Bilder jedoch in zuverlässige Diagnosen zu verwandeln, bedarf es mehr als nur eines klaren Bildes; es erfordert ein Computerprogramm oder ein Modell, das korrekt interpretieren kann, was es sieht. In den letzten Jahren haben Wissenschaftler viele solcher Computermodelle trainiert, um Muster in medizinischen Bildern zu erkennen. Eine gängige Methode, um diese Modelle zu beurteilen, besteht darin, zu prüfen, wie oft sie bei einer Reihe von Testbildern die richtige Antwort geben. Aber eine hohe Punktzahl in einem Standardtest erzählt nicht die ganze Geschichte. Sie verrät nicht, wie sich das Modell verhält, wenn das Bild verändert wird, ob es auch bei einer Fehlentscheidung selbstbewusst bleibt oder ob die Gründe, die es für seine Entscheidung angibt, konsistent sind.
Ein Forschungsteam der Yonsei University in Südkorea unternahm den Versuch, über einfache Testwerte hinauszublicken. Sie konzentrierten sich auf eine spezifische Aufgabe: die Unterscheidung zwischen zwei Regionen der Wangenschleimhaut (Buccal Mucosa). Eine Region befindet sich oberhalb der Jochbeinmuskulatur, die andere über dem Hauptwangenmuskel. Während ein Arzt genau weiß, wo die Sonde platziert ist, muss ein Computermodell lernen, diese beiden Bereiche allein durch das Betrachten des Bildes voneinander zu unterscheiden. Die Forscher trainierten fünf verschiedene Arten von Computermodellen mit Hunderten von Bildern, die von gesunden Freiwilligen aufgenommen wurden. Alle fünf Modelle schnitten sehr gut beim Standardtest ab und identifizierten die Regionen in fast jedem Fall korrekt. Diese hohe Leistungsfähigkeit deutete darauf an, dass sie alle gleichermaßen gute Kandidaten für den zukünftigen medizinischen Einsatz waren.
Um zu testen, ob sie wirklich ähnlich waren, unterzogen die Forscher die Modelle einer Reihe kontrollierter Veränderungen. Sie nahmen die Bilder und bedeckten Teile davon mit einem soliden, einheitlichen grauen Block, wodurch Informationen aus entweder der oberen oder der unteren Hälfte des Bildes gelöscht wurden. Dieser Prozess, bekannt als Okklusion, simuliert, was passieren könnte, wenn ein Teil eines Bildes verschwommen oder fehlend wäre. Als die Forscher die Hälfte des Bildes entfernten, zeigten vier der fünf Modelle weiterhin eine gute Leistung und bewiesen, dass sie immer noch in der Lage waren, die notwendigen Hinweise in den verbleibenden Teilen zu finden. Ein Modell jedoch reagierte völlig anders. Als die Hälfte seines Bildes bedeckt war, brach die Fähigkeit dieses Modells, zwischen den beiden Regionen zu unterscheiden, zusammen und sank auf ein Niveau, das nicht besser als bloßes Raten war.
Die überraschendste Erkenntnis war nicht nur, dass dieses eine Modell versagte, sondern wie es versagte. Wenn die anderen Modelle Fehler machten, waren sie eher unsicher bei ihren Antworten. Das versagende Modell hingegen wurde gefährlich selbstbewusst. Selbst als seine Genauigkeit auf das Niveau des Zufalls sank, wies es seinen falschen Antworten weiterhin eine extrem hohe Sicherheit zu. Es war, als hätte das Modell die Fähigkeit verloren, den Unterschied zu sehen, aber nicht den Glauben daran, dass es recht hatte. Dieses Verhalten deutet darauf darauf hin, dass ein Modell äußerst zuverlässig auf einem Standardtest erscheinen kann, während es gleichzeitig eine fragile Abhängigkeit von spezifischen Bildteilen verbirgt, die, wenn sie entfernt werden, dazu führen, dass es vollständig zusammenbricht.
Die Forscher untersuchten auch, wie die Modelle ihre Entscheidungen „erklärten“. Mit einer Technik, die die Teile eines Bildes hervorhebt, auf die ein Modell fokussiert, prüften sie, ob diese Erklärungen konsistent waren. Sie fanden heraus, dass sich die hervorgehobenen Bereiche signifikant änderten, je nachdem, wie das Modell trainiert wurde, selbst wenn die endgültigen Testergebnisse gleich waren. Dies bedeutet, dass eine einzelne Erklärung einer Version eines Modells zwar plausibel erscheinen mag, man ihr jedoch nicht als stabiler Leitfaden vertrauen kann, um zu verstehen, was das Modell tatsächlich lernt. Die Aufmerksamkeitsmuster waren nicht reproduzierbar, was es schwierig machte, diese visuellen Erklärungen zu verstehen, um die Logik des Modells nachzuvollziehen.
Die Studie kommt zu dem Schluss, dass zwei Modelle auf einem Standardzeugnis identisch aussehen können, sich aber in völlig unterschiedlicher Weise verhalten, wenn die Eingabe verändert wird. Die Forscher fanden heraus, dass eine ähnliche Basisleistung ein Modell verbergen kann, das hochsensibel gegenüber fehlenden Informationen ist und zu selbstbewussten Fehlern neigt. Sie fanden keinen einzelnen architektonischen Fehler, der dies verursachte, und sie bewiesen auch nicht, dass dieser spezifische Fehler in einem realen klinischen Umfeld mit echten Patienten auftreten würde. Stattdessen demonstrierten sie, dass die Bewertung eines Modells mehr erfordert als nur die Überprüfung seiner Genauigkeit. Um die Fähigkeit eines Computers zur Interpretation medizinischer Bilder wirklich zu verstehen, muss man auch testen, wie er mit fehlenden Daten umgeht, wie er sein Vertrauen ausdrückt, wenn er falsch liegt, und ob seine Argumentation konsistent bleibt. Ohne diese Prüfungen könnte ein Modell, das auf dem Papier perfekt aussieht, in der Praxis unzuverlässig sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.