PolypVision: A Three-Stage Hierarchical Deep Learning Framework for Classification and Segmentation of Colorectal Polyps

Das Werkzeugkasten des Detektivs: Eine Reise in den Darm

Stellen Sie sich Ihren Körper als eine riesige, gewundene Stadt vor, und in dieser Stadt ist der Dickdarm ein langer, dunkler Tunnel. Manchmal wachsen an den Tunnelwänden winzige Beulen, sogenannte Polypen. Meistens sind diese Beulen harmlos, wie harmlose Unkräuter in einem Garten. Aber einige sind hinterhältige Unruhestifter, die sich in etwas viel Gefährlicheres verwandeln können, wie etwa ein Unkraut, das zu einer dornigen Rebe wird. Die große Herausforderung für Ärzte besteht darin, diese Beulen frühzeitig zu entdecken und herauszufinden, welche die „Unkräuter“ und welche die „Reben“ sind, bevor sie Probleme verursachen.

Um dies zu tun, verwenden Ärzte eine spezielle Kamera an einem langen, flexiblen Schlauch (einem Endoskop), um Bilder im Inneren des Tunnels aufzunehmen. Aber es ist harte Arbeit, tausende dieser Bilder anzusehen, und selbst erfahrene Ärzte können sich manchmal uneinig darüber sein, was sie sehen. Hier kommt die Informatik mit einem Werkzeug namens „Deep Learning“ ins Spiel. Stellen Sie sich Deep Learning als einen superintelligenten Studenten vor, der Millionen von Bildern studiert hat. Er lernt, Muster zu erkennen – wie die Form einer Beule oder die Textur der Haut – viel schneller, als es ein Mensch kann. Das Ziel ist nicht, den Arzt zu ersetzen, sondern ihm einen hochtechnologischen Assistenten zur Seite zu stellen, der niemals müde wird und die winzigen Details erkennt, die man sonst vielleicht übersehen würde.

Treffen Sie PolypVision: Das dreistufige Detektiv-Team

In dieser Arbeit stellt ein Forscherteam ein neues Computerprogramm namens PolypVision vor. Sie können sich PolypVision als ein dreistufiges Detektiv-Team vorstellen, das das Rätsel der kolorektalen Polypen lösen soll. Anstatt nur ein Bild anzusehen und zu raten, arbeitet dieses Team in einer bestimmten Reihenfolge und reicht die Hinweise von einem Detektiv zum nächsten weiter, um die ganze Geschichte zu erfahren.

Schritt 1: Der Torwächter (Ist es ein Problem?)
Der erste Detektiv, der auf einem intelligenten Gehirn namens EfficientNetV2-M basiert, betrachtet ein Bild und stellt eine einfache Frage: „Ist dies eine harmlose Beule (hyperplastisch) oder eine riskante (adenomatös)?“ Aber dieser Detektiv ist besonders scharfinnig. Während er entscheidet, beschreibt er auch die Form der Beule und ihre winzigen Oberflächenmuster (bekannt als Paris- und JNet-Klassifizierungen). Um nicht durch seltene Fälle verwirrt zu werden, nutzt er einen speziellen Trick namens Focal Loss, was so ist, als würde man dem Computer sagen: „Achte besonders auf die schwierigen, seltenen Beulen!“

Schritt 2: Der Umrisser (Wo endet es?)
Sobeder erste Detektiv sagt: „Ja, dies ist eine riskante Beule“, übernimmt der zweite Detektiv. Dieser nutzt ein Werkzeug namens UNet++, um eine perfekte Umrandung um die Beule zu zeichnen, Pixel für Pixel. Stellen Sie sich vor, Sie zeichnen mit einem Laserpointer die Form auf einer Karte nach; genau das macht dieser Schritt. Er findet heraus, wo die Beule exakt beginnt und aufhört. Aber er hört dort nicht auf! Basierend auf der Größe und Form, die er gerade nachgezeichnet hat, schlägt dieser Detektiv auch die beste Methode zu ihrer Entfernung vor – sei es durch eine einfache kalte Schlinge (Cold Snare), eine Standardentfernung oder eine fortgeschrittenere Technik. Er lernt aus den Notizen des ersten Detektivs, sodass er bereits weiß, welche Art von Beule er vor sich hat.

Schritt 3: Der Unter-Klassifizierer (Was für ein Unruhestifter ist es?)
Wenn die Beule als riskant bestätigt wurde, tritt der dritte Detektiv ein. Dieser zoomt heran, um die riskanten Beulen in drei spezifische Familien zu sortieren: tubulär, tubulovillös oder villös. Betrachten Sie dies wie verschiedene Hunderassen; sie sehen alle wie Hunde aus, aber einige sind wahrscheinlicher für Ärger verantwortlich als andere. Dieser Detektiv nutzt das Wissen aus den vorherigen Schritten, um eine sehr präzise Vermutung anzustellen. Um besser zu lernen, nutzte das Team eine Technik namens MixUp, was so ist, als würde man zwei verschiedene Bilder miteinander vermischen, um ein neues Trainingsbeispiel zu erstellen, was dem Computer hilft zu verstehen, dass Beulen zwar leicht unterschiedlich aussehen können, aber dennoch zum gleichen Typ gehören.

Was haben sie herausgefunden?

Die Forscher testeten PolypVision mit drei verschiedenen Bildersätzen aus der öffentlichen Welt (Datensätze namens PolypGen, Kvasir-SEG und CVC-ClinicDB). Die Ergebnisse waren beeindruckend.

• Super Genauigkeit: Bei der Klassifizierung der Frames erreichte PolypVision einen AUC-Wert von etwa 0,99. In der Welt der Computertests ist das so, als würde man eine 99%-Punktzahl in einer sehr schweren Prüfung erreichen. Es schnitt genauso gut oder sogar besser ab als die derzeit besten verfügbaren Methoden.
• Großartig im Finden von Beulen: Auf dem Kvasir-SEG-Datensatz fand und identifizierte es Polypen mit einem Wert von 94,4 % mAP@50. Das bedeutet, es war sehr gut darin, die Beulen zu entdecken und die richtigen Boxen darum zu ziehen.
• Es weiß, worauf es schaut: Das Team nutzte ein Werkzeug namens Grad-CAM, um zu sehen, wohin der Computer „schaute“, wenn er seine Entscheidungen traf. Die Heatmaps zeigten, dass der Computer sich auf die tatsächlichen Beulen und deren Texturen konzentrierte und nicht nur auf zufällige Teile des Bildes. Sie stellten jedoch auch fest, dass der Computer bei Fehlern manchmal auf den falschen Bereich schaute, was ihnen einen Hinweis gibt, wie sie ihn später verbessern können.

Warum das wichtig ist

Der spannendste Teil an PolypVision ist, dass es keine spezielle Kamera benötigt, um zu funktionieren. Es ist geräteunabhängig, was bedeutet, dass es Bilder von fast jedem Standard-Endoskop betrachten kann, egal ob es ein altes Modell oder ein neues ist, ohne dass es für spezifische Hardware neu eingestellt werden muss.

Die Forscher haben dieses Tool sogar für jeden als kostenlose Webanwendung unter https://polypvision.com zur Verfügung gestellt. Sie schlagen vor, dass dieser dreistufige, „hierarchische“ Ansatz – bei dem jeder Schritt auf dem vorherigen aufbaut – ein starker Weg ist, um die komplexe Aufgabe der Analyse von Polypen zu bewältigen. Obwohl das System sehr vielversprechend ist, weisen die Autoren vorsichtig darauf hin, dass es noch in echten Krankenhäusern mit neuen Patienten getestet werden muss, um zu beweisen, dass es in jeder Situation perfekt funktioniert. Für den Moment ist es ein leistungsstarker, kostenloser und hochgenauer Assistent, der Ärzten helfen kann, Probleme frühzeitig zu erkennen, direkt von ihren Bildschirmen aus.