Toward Mask Annotation-Free Surgical Instrument Segmentation from Endoscopic Images Using Text-Prompted Segment Anything Model 3 (SAM3)

Stel je voor dat je een robot probeert te leren om een operatie uit te voeren. Om dit veilig te doen, moet de robot precies weten waar de chirurgische instrumenten zich bevinden in de videobeelden, waarbij het onderscheid moet maken tussen een schaar, een stukje weefsel of een schaduw. Dit wordt "chirurgische instrumentsegmentatie" genoemd. Lange tijd was de enige manier om robots deze vaardigheid te leren, het inhuren van menselijke experts om pixel voor pixel contouren rond elk instrument te tekenen in duizenden uren aan videomateriaal. Dit is alsof je probeert een kind te leren een hond te herkennen door het een miljoen foto's te laten zien waarbij iemand met uiterste precisie de vacht van elke hond heeft ingekleurd. Het werkt, maar het is traag, duur en moeilijk op te schalen.

Onlangs arriveerde er een nieuw soort AI genaamd het "Segment Anything Model" (of SAM) op het toneel. Denk aan SAM als een superkrachtige markeerstift die onmiddellijk elk object in een afbeelding kan inkleuren als je er alleen maar naar wijst of een eenvoudige tekstopdracht geeft zoals "instrument". Het is getraind op miljoenen alledaagse foto's, dus het is erg goed in het vinden van dingen in de echte wereld. Echter, toen onderzoekers probeerden deze markeerstift te gebruiken in de vreemde, glanzende en verwarrende wereld van operaties binnen het lichaam, raakte het in de war. De robot begreep niet dat "grasper" of "schaar" in een operatievideo hetzelfde betekende als in een foto van een keuken. De kloof tussen de training van de robot en de chirurgische realiteit was te groot, en simpelweg de naam van het instrument roepen, werkte niet.

Dit artikel door Nakul Poudel en collega's pakt exact dat probleem aan. Ze wilden kijken of ze de robot konden laten zoeken naar en identificeren van chirurgische instrumenten zonder dat daar menselijk getekende contouren (maskers) of handmatig aanwijzen voor nodig waren. Ze probeerden niet alleen de robot te dwingen specifieële instrumentnamen te begrijpen; in plaats daarvan bouwden ze een tweestaps "detective-team". Eerst gebruikten ze de markeerstift (een nieuwe versie genaamd SAM3) met een zeer eenvoudige, generieke opdracht: "instrument". Dit vond succesvol de vorm van de instrumenten, zelfs als de robot de namen nog niet kende. Daarna gaven ze deze vormen door aan een tweede AI, een "brein" genaamd Qwen, die geleerd was om naar de gemarkeerde vormen te kijken en te raden wat voor soort instrument het was.

De resultaten waren een mix van "nog niet helemaal perfect" en "zeer veelbelovend". Het team kwam tot de conclusie dat hoewel hun nieuwe tweestapsmethode niet won van de beste robots die getraind waren met duizenden door mensen getekende contouren, het een enorme verbetering was ten opzichte van het direct proberen te gebruiken van de markeerstift met instrumentnamen. Sterker nog, de directe methode faalde vaak volledig, door instrumenten volledig te missen of de namen fout te geven. De nieuwe methode identificeerde de instrumenten in veel gevallen succesvol, wat bewees dat je een robot instrumenten kan laten "zien" zonder de zware last van handmatig tekenen. De auteurs merken echter voorzichtig op dat het systeem nog steeds fouten maakt, vooral wanneer instrumenten verborgen zijn of wanneer de markeerstift slordige vormen tekent. Ze suggereren dat, hoewel dit geen magische oplossing is die vandaag de dag alles oplost, het een deur opent naar een toekomst waarin chirurgische robots veel sneller en goedkoper kunnen leren, zonder dat er legers aan mensen nodig zijn om elke enkele afbeelding te tekenen.