Toward Mask Annotation-Free Surgical Instrument Segmentation from Endoscopic Images Using Text-Prompted Segment Anything Model 3 (SAM3)

Stellen Sie sich vor, Sie versuchen, einem Roboter das Operieren beizubringen. Um dies sicher zu tun, muss der Roboter genau wissen, wo sich die chirurgischen Instrumente im Videobild befinden, wobei er eine Schere von Gewebe oder einem Schatten unterscheiden muss. Dies wird als „chirurgische Instrumentensegmentierung“ bezeichnet. Lange Zeit war der einzige Weg, einem Roboter diese Fähigkeit beizubringen, menschliche Experten zu engagieren, die in tausenden Stunden Videomaterial pixelgenau die Umrisse jedes Werkzeugs nachzeichnen. Das ist so, als würde man versuchen, einem Kind beizubringen, einen Hund zu erkennen, indem man ihm eine Million Fotos zeigt, bei denen jemand mühsam das Fell jedes einzelnen Hundes ausgemalt hat. Es funktioniert, aber es ist langsam, teuer und schwer skalierbar.

Vor kurzem kam eine neue Art von KI namens „Segment Anything Model“ (oder SAM) auf den Plan. Denken Sie an SAM als einen superstarken Textmarker, der sofort jedes Objekt in einem Bild farbig markieren kann, wenn man nur darauf zeigt oder einen einfachen Textbefehl wie „Werkzeug“ gibt. SAM wurde mit Millionen von Alltagsfotos trainiert und ist daher sehr gut darin, Dinge in der realen Welt zu finden. Als Forscher jedoch versuchten, diesen Textmarker in der seltsamen, glänzenden und verwirrenden Welt der chirurgischen Videos im Inneren des Körpers einzusetzen, geriet er durcheinander. Der Roboter verstand nicht, dass „Grasper“ oder „Schere“ in einem Operationsvideo dasselbe bedeutete wie in einem Foto aus einer Küche. Die Lücke zwischen dem Training des Roboters und der chirurgischen Realität war zu groß, und das bloße Rufen des Werkzeugnamens funktionierte nicht.

Diese Arbeit von Nakul Poudel und Kollegen befasst sich genau mit diesem Problem. Sie wollten untersuchen, ob sie den Roboter dazu bringen könnten, chirurgische Instrumente zu finden und zu identifizieren, ohne dass dafür manuell gezeichnete Umrisse (Masken) oder manuelles Zeigen erforderlich sind. Sie haben nicht einfach nur versucht, den Roboter dazu zu bringen, spezifische Werkzeugnamen zu verstehen; statießen vielmehr ein zweistufiges „Detektiv-Team“ auf. Zuerst verwendeten sie den Textmarker (eine neue Version namens SAM3) mit einem sehr einfachen, generischen Befehl: „Werkzeug“. Dies fand erfolgreich die Form der Werkzeuge, auch wenn das System deren Namen noch nicht kannte. Dann gaben sie diese Formen an eine zweite KI weiter, ein „Gehirn“ namens Qwen, das darauf trainiert wurde, die hervorgehobenen Formen anzusehen und zu erraten, um welche Art von Werkzeug es sich handelt.

Die Ergebnisse waren eine Mischung aus „noch nicht ganz perfekt“ und „sehr vielversprechend“. Das Team stellte fest, dass ihre neue zweistufige Methode zwar nicht die besten Roboter schlug, die mit tausenden von Menschen handgezeichneten Umrissen trainiert wurden, aber eine massive Verbesserung gegenüber dem direkten Versuch darstellte, den Textmarker mit Werkzeugnamen zu verwenden. Tatsächlich scheiterte die direkte Methode oft völlig, übersah Werkzeuge komplett oder benannte sie falsch. Die neue Methode identifizierte die Werkzeuge in vielen Fällen erfolgreich und bewies, dass man einen Roboter dazu bringen kann, chirurgische Instrumente zu „sehen“, ohne die schwere Last des manuellen Zeichnens zu tragen. Die Autoren weisen jedoch vorsichtig darauf hin, dass das System immer noch Fehler macht, insbesondere wenn Werkzeuge verdeckt sind oder der Textmarker unordentliche Formen zeichnet. Sie deuten an, dass dies zwar keine magische Lösung ist, die heute alles löst, aber eine Tür zu einer Zukunft öffnet, in der chirurgische Roboter viel schneller und kostengünstiger lernen können, ohne Armeen von Menschen zu benötigen, die jedes einzelne Bild nachzeichnen müssen.