Toward Mask Annotation-Free Surgical Instrument Segmentation from Endoscopic Images Using Text-Prompted Segment Anything Model 3 (SAM3)

Imaginez que vous essayiez d'apprendre à un robot à pratiquer la chirurgie. Pour ce faire en toute sécurité, le robot doit savoir exactement où se trouvent les instruments chirurgicaux dans le flux vidéo, en distinguant une paire de ciseaux d'un morceau de tissu ou d'une ombre. C'est ce qu'on appelle la « segmentation d'instruments chirurgicaux ». Pendant longtemps, la seule façon d'enseigner cette compétence aux robots était de faire appel à des experts humains pour dessiner, pixel par pixel, les contours de chaque outil sur des milliers d'heures de vidéo. C'est comme essayer d'apprendre à un enfant à reconnaître un chien en lui montant un million de photos où quelqu'un a méticuleusement colorié la fourrure de chaque chien. Cela fonctionne, mais c'est lent, coûteux et difficile à passer à l'échelle.

Récemment, un nouveau type d'IA appelé « Segment Anything Model » (ou SAM) est arrivé sur la scène. Considérez SAM comme un surligneur superpuissant capable de colorier instantanément n'importe quel objet dans une image si vous le pointez du doigt ou si vous donnez une commande textuelle simple comme « outil ». Il a été entraîné sur des millions de photos du quotidien, il est donc très doué pour trouver des choses dans le monde réel. Cependant, lorsque des chercheurs ont essayé d'utiliser ce surligneur dans le monde étrange, brillant et déroutant des vidéos de chirurgie intra-corporelle, il s'est emmêlé les pinceaux. Le robot ne comprenait pas que « pince » ou « ciseaux » signifiait la même chose dans une vidéo de chirurgie que dans une photo d'une cuisine. L'écart entre l'entraînement du robot et la réalité chirurgicale était trop grand, et le simple fait de crier le nom de l'outil ne fonctionnait pas.

Cet article de Nakul Poudel et de ses collègues s'attaque précisément à ce problème. Ils voulaient voir s'ils pouvaient faire en sorte que le robot trouve et identifie les outils chirurgicaux sans avoir besoin de contours (masques) dessinés par l'humain ou de pointage manuel. Ils n'ont pas seulement essayé de forcer le robot à comprendre des noms d'outils spécifiques ; au lieu de cela, ils ont construit une « équipe de détectives » en deux étapes. D'abord, ils ont utilisé le surligneur (une nouvelle version appelée SAM3) avec une commande très simple et générique : « outil ». Cela a permis de trouver avec succès la forme des outils, même si le robot ne connaissait pas encore leurs noms. Ensuite, ils ont transmis ces formes à une seconde IA, un « cerveau » appelé Qwen, qui a été entraîné à regarder les formes surlignées et à deviner de quel type d'outil il s'agissait.

Les résultats sont un mélange de « pas encore tout à fait parfait » et de « très prometteur ». L'équipe a constaté que, bien que leur nouvelle méthode en deux étapes ne batte pas les meilleurs robots qui ont été entraînés avec des milliers de contours dessinés par des humains, elle représentait une amélioration massive par rapport au simple fait d'utiliser le surligneur directement avec des noms d'outils. En fait, la méthode directe échouait souvent complètement, manquant totalement les outils ou se trompant de nom. La nouvelle méthode a identifié les outils avec succès dans de nombreux cas, prouvant que l'on peut apprendre à un robot à « voir » les outils chirurgicaux sans le lourd fardeau du dessin manuel. Cependant, les auteurs précisent avec prudence que le système fait encore des erreurs, notamment lorsque les outils sont cachés ou lorsque le surligneur dessine des formes désordonnées. Ils suggèrent que, bien que cela ne soit pas une solution magique qui résout tout aujourd'hui, cela ouvre une porte vers un avenir où les robots chirurgicaux pourront apprendre beaucoup plus vite et pour moins cher, sans avoir besoin d'armées d'humains pour dessiner chaque image.