A Pixel-based Confidence Weighted Transfusion model for Colonoscopy and Colon Capsule Endoscopy image-based Polyp Segmentation

Im Inneren des menschlichen Körpers ist die Auskleidung des Dickdarms eine komplexe Landschaft, in der kleine, oft unsichtbare Wucherungen namens Polypen entstehen können. Diese Wucherungen sind bedeutsam, da sie sich schließlich zu Krebs entwickeln können, was deren Früherkennung zu einem entscheidenden Schritt zur Lebensrettung macht. Der derzeitige Goldstandard für das Auffinden dieser Polypen ist ein Verfahren namens Koloskopie, bei dem ein Arzt einen flexiblen Schlauch mit einer Kamera durch den Dickdarm führt, um nach Problemen zu suchen. Dieser Prozess ist jedoch anspruchsvoll. Ärzte müssen tausende von Bildern scannen, oft unter schwierigen Lichtverhältnissen oder während sich die Kamera bewegt, und sie können bis zu einem Drittel dieser Wucherungen übersehen, einfach weil sie klein, verborgen oder im Hintergrund schwer unterscheidbar sind. Um zu helfen, haben Wissenschaftler die künstliche Intelligenz herangezogen und Computer beigebracht, diese Wucherungen zu erkennen. Doch die Werkzeuge, die sie bisher entwickelt haben, stehen vor einem hartnäckigen Problem: Sie haben Schwierigkeiten, das Gesamtbild zu erfassen. Sie sind oft gut darin, feine Details zu sehen, aber schlecht darin, den großen Kontext zu verstehen, oder umgekehrt, und sie versagen, wenn sich der Kameratyp oder die Bildqualität ändert.

Ein Forschungsteam von Universitäten und Krankenhäusern aus Dänemark hat einen neuen Ansatz entwickelt, um genau dieses Problem zu lösen. Sie haben ein Computermodell entwickelt, das als Brücke zwischen zwei verschiedenen Arten der Betrachtung des Dickdarms fungiert. Die eine Art nutzt eine traditionelle Koloskopie, die hochauflösende, klare Bilder liefert. Die andere nutzt eine Kapselendoskopie des Dickdarms, bei der ein Patient eine kameragestützte, pillengroße Kapsel schluckt, die Bilder aufnimmt, während sie durch das Verdauungssystem reist; diese Bilder sind oft von geringerer Auflösung und werden unter weniger kontrollierten Lichtverhältnissen aufgenommen. Die Forscher erkannten, dass ein einzelnes Computermodell, das auf einer Art von Bild trainiert wurde, oft scheitert, wenn es mit der anderen Art konfrontiert wird. Tatsächlich zeigen Modelle, die auf hochwertigen optischen Koloskopiebildern trainiert wurden, eine mangelnde Leistungsfähigkeit, wenn sie auf die qualitativ minderwertigeren Kapseldaten angewendet werden, was eine signifikante Lücke im Wissenstransfer zwischen diesen Bildgebungsarten verdeutlicht. Um dies zu beheben, bauten sie ein System, das die Stärken zweier separater Modelle kombiniert. Ein Modell ist spezialisiert auf die klaren, detaillierten Bilder des herkömmlichen Endoskops, während das andere auf die variableren Bilder der Pillenkamera abgestimmt ist. Anstatt diese beiden Modelle zu zwingen, zu einer einzigen Antwort übereinzustimmen, betrachtet das neue System jedes einzelne Pixel des Bildes und stellt eine einfache Frage: Welches Modell ist sich über diesen spezifischen Punkt sicherer? Es vermischt dann die Antworten und gibt dem Modell, das sich sicherer ist, ein höheres Gewicht. Dies ermöglicht es dem System, sich sofort anzuppassen, egal ob es ein scharfes, hochauflösendes Bild oder ein unscharfes, niedrig auflösendes Bild betrachtet.

Die Forscher testeten dieses neue System, das sie TransFuseNet nannten, auf einer Vielzahl von Bildsätzen, einschließlich echter Patientendaten aus tausenden von Eingriffen sowie computergenerierter synthetischer Bilder. Sie fanden heraus, dass das System in der Lage ist, die Form und Größe von Polypen unter all diesen verschiedenen Bedingungen genau zu umreißen. In Tests mit realen Bildern aus der Kapselendoskopie identifizierte das System die Grenzen der Polypen in etwa 82 Prozent der Fälle, und in Tests mit Standard-Koloskopiebildern erreichte es eine Genauigkeit von fast 90 Prozent. Entscheidend war, dass das neue kombinierte System die Leistungsabfälle, die beim Wechsel zwischen diesen Bildgebungsarten typischerweise auftreten, erfolgreich abmilderte. Während einzelne, auf einer Modalität trainierte Modelle beim Testen mit der jeweils anderen Modalität erheblich kämpften, behielt das fusionierte System eine robuste Genauigkeit bei, indem es dynamisch die zuverlässigsten Vorhersagen für jedes Pixel auswählte. Das System lieferte zudem ein Maß an Gewissheit für jede Vorhersage und hob Bereiche hervor, in denen es sich sicher war und Bereiche, in denen es weniger vertrauenswürdig war, was Ärzten helfen könnte zu wissen, wann sie der Empfehlung des Computers vertrauen können.

Über das bloße Finden der Polypen hinaus bietet das System eine Möglichkeit, diese zu messen. Durch das Zählen der Pixel, aus denen das detektierte Wachstum besteht, kann die Software die relative Größe des Polypen schätzen, ein Schlüsselfaktor für die Bestimmung seiner Gefährlichkeit. Die Forscher zeigten, dass ihr Modell Bilder schnell genug verarbeiten kann, um mit einem Live-Videostream Schritt zu halten, indem es etwa 46 Bilder pro Sekunde analysiert, was schneller ist als die Geschwindigkeit, mit der Ärzte Videos normalerweise sichten. Diese Geschwindigkeit deutet darauf hin, dass das Werkzeug während eines Eingriffs in Echtzeit eingesetzt werden könnte, um als ein zweites Paar Augen zu fungieren, das niemals müde wird. Die Studie bestätigt, dass durch die Kombination von lokalen Details mit einem breiteren Verständnis des Bildes und dadurch, dass der Computer entscheidet, welcher Informationsquelle es an jedem einzelnen Punkt vertrauen soll, es möglich ist, ein zuverlässigeres Werkzeug zum Aufspüren früher Anzeichen von Krebs zu schaffen. Obwohl das System keinen Ersatz für einen Arzt darstellt, bietet es eine robuste Methode, um die Anzahl der übersehenen Polypen zu reduzieren, was potenziell zu einer früheren Behandlung und besseren Ergebnissen für Patienten führt, die mit Darmkrebs konfrontiert sind.