Toward Mask Annotation-Free Surgical Instrument Segmentation from Endoscopic Images Using Text-Prompted Segment Anything Model 3 (SAM3)

Imagina que estás intentando enseñarle a un robot a realizar una cirugía. Para hacer esto de forma segura, el robot necesita saber exactamente dónde están las herramientas quirúrgicas en la transmisión de video, distinguiendo un par de tijeras de un trozo de tejido o de una sombra. Esto se llama "segmentación de instrumentos quirúrgicos". Durante mucho tiempo, la única forma de enseñar a los robots esta habilidad era contratar a expertos humanos para que dibujaran contornos píxel por píxel alrededor de cada herramienta en miles de horas de video. Esto es como intentar enseñarle a un niño a reconocer un perro mostrándole un millón de fotos donde alguien ha coloreado meticulosamente el pelaje de cada uno de los perros. Funciona, pero es lento, costoso y difícil de escalar.

Recientemente, llegó a la escena un nuevo tipo de IA llamado "Segment Anything Model" (o SAM). Piensa en SAM como un resaltador superpotente que puede colorear instantáneamente cualquier objeto en una imagen si solo lo señalas o le das un comando de texto sencillo como "herramienta". Fue entrenado con millones de fotos cotidianas, por lo que es muy bueno encontrando cosas en el mundo real. Sin embargo, cuando los investigadores intentaron usar este resaltador en el mundo extraño, brillante y confuso de los videos de cirugías dentro del cuerpo, este se confundió. El robot no entendía que "fórceps" o "tijeras" significaba lo mismo en un video de cirugía que en una foto de una cocina. La brecha entre el entrenamiento del robot y la realidad quirúrgica era demasiado amplia, y simplemente gritar el nombre de la herramienta no funcionaba.

Este artículo de Nakul Poudel y sus colegas aborda exactamente ese problema. Querían ver si podían lograr que el robot encontrara e identificara las herramientas quirúrgicas sin necesidad de contornos (máscaras) dibujados por humanos o de señalar manualmente. No se limitaron a intentar forzar al robot a entender nombres específicos de herramientas; en su lugar, construyeron un "equipo de detectives" de dos pasos. Primero, utilizaron el resaltador (una nueva versión llamada SAM3) con un comando muy simple y genérico: "herramienta". Esto encontró con éxito la forma de las herramientas, incluso si aún no sabía sus nombres. Luego, pasaron estas formas a una segunda IA, un "cerebro" llamado Qwen, que fue enseñado a observar las formas resaltadas y adivinar qué tipo de herramienta era.

Los resultados fueron una mezcla de "aún no es perfecto" y "muy prometedor". El equipo descubrió que, si bien su nuevo método de dos pasos no superó a los mejores robots que fueron entrenados con miles de contornos dibujados por humanos, fue una mejora masiva respecto al simple hecho de intentar usar el resaltador directamente con nombres de herramientas. De hecho, el método directo a menudo fallaba por completo, perdiendo las herramientas por completo o equivocándose en los nombres. El nuevo método identificó con éxito las herramientas en muchos casos, demostrando que puedes lograr que un robot "vea" las herramientas quirúrgicas sin la pesada carga del dibujo manual. Sin embargo, los autores son cuidadosos al señalar que el sistema todavía comete errores, especialmente cuando las herramientas están ocultas o cuando el resaltador dibuja formas desordenadas. Sugieren que, aunque esto no es una solución mágica que lo resuelva todo hoy, abre una puerta a un futuro donde los robots quirúrgicos puedan aprender de manera mucho más rápida y barata, sin necesidad de ejércitos de humanos dibujando cada una de las imágenes.