🤖 AI

SurgRAW: Multi-Agent Workflow with Chain of Thought Reasoning for Robotic Surgical Video Analysis

Este artículo presenta SurgRAW, un flujo de trabajo multiagente que aprovecha el razonamiento de Cadena de Pensamiento (Chain-of-Thought) y un nuevo benchmark (SurgCoTBench) para lograr una comprensión de cero disparos (zero-shot) superior y clínicamente alineada de escenas quirúrgicas robóticas, superando las limitaciones de los modelos aislados y de los modelos de visión y lenguaje generales mediante la colaboración jerárquica y la generación aumentada por recuperación.

Autores originales: Chang Han Low, Ziyue Wang, Tianyi Zhang, Zhu Zhuo, Zhitao Zeng, Evangelos B. Mazomenos, Yueming Jin

Publicado 2026-09-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chang Han Low, Ziyue Wang, Tianyi Zhang, Zhu Zhuo, Zhitao Zeng, Evangelos B. Mazomenos, Yueming Jin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En los quirófanos modernos, los sistemas robóticos se han convertido en herramientas esenciales, permitiendo a los cirujanos realizar procedimientos delicados con un nivel de precisión y estabilidad que las manos humanas por sí solas no siempre pueden alcanzar. Estas máquinas, a menudo guiadas por cámaras de alta definición, transforman los movimientos del cirujano en acciones diminutas y controladas dentro del cuerpo del paciente. Sin embargo, para que estos sistemas puedan asistir verdaderamente en el futuro, deben hacer más que simplemente mover instrumentos; deben comprender lo que está sucediendo en la pantalla. Esto requiere una forma de inteligencia artificial capaz de observar un video quirúrgico y captar la compleja historia que se desarrolla: identificar las herramientas que se están utilizando, reconocer las acciones específicas que el cirujano está realizando y predecir qué sucederá a continuación. El desafío radica en que las escenas quirúrgicas son visualmente caóticas, con instrumentos y tejidos que a menudo se superponen o se mueven rápidamente, lo que dificulta que las computadoras interpreten la escena sin confundirse o inventar detalles que no están ahí.

Los investigadores han intentado durante mucho tiempo enseñar a las computadoras a comprender estas escenas, pero los intentos anteriores a menudo dependían de programas separados diseñados para tareas individuales, como un programa para encontrar herramientas y otro para nombrar las acciones. Este enfoque creaba una visión fragmentada de la cirugía, donde la computadora no podía conectar los puntos entre lo que veía y por qué era importante. Más recientemente, los potentes modelos de lenguaje se han adaptado para observar imágenes, ofreciendo una forma de razonar a través de problemas visuales. Sin embargo, al aplicarse a la cirugía, estos modelos generales suelen tener dificultades con el lenguaje especializado y la lógica de la sala de operaciones, produciendo con frecuencia respuestas seguras pero incorrectas o fallando en la comprensión del flujo paso a paso de un procedimiento. Para resolver esto, un equipo de investigadores ha desarrollado un nuevo sistema que imita la forma en que un equipo quirúrgico colabora, utilizando un proceso de razonamiento estructurado y paso a paso para analizar videos de cirugía robótica con una precisión sin precedentes.

El equipo introdujo un nuevo marco llamado SurgRAW, que significa un flujo de trabajo de razonamiento diseñado específicamente para la inteligencia quirúrgica. En lugar de pedirle a una sola inteligencia artificial que observe un fotograma de video y adivine la respuesta, este sistema descompone el problema en un esfuerzo coordinado entre varios "agentes" especializados. Imagine un panel de expertos sentados alrededor de una mesa, cada uno con un rol específico: uno se enfoca en identificar los instrumentos, otro en las acciones que se están realizando y un tercero en el contexto del paciente. En este panel digital, estos agentes no trabajan de forma aislada; discuten la evidencia, verifican la lógica de los demás y refinan sus conclusiones antes de llegar a una decisión final. Este enfoque se basa en un nuevo conjunto de datos que los investigadores crearon, el cual contiene miles de pares de preguntas y respuestas derivados de videos quirúrgicos reales, cubriendo cinco áreas clave de razonamiento: reconocimiento de instrumentos, identificación de acciones, predicción del siguiente paso, comprensión de detalles del paciente y evaluación del resultado quirúrgico.

Para asegurar que el sistema piense como un cirujano, los investigadores diseñaron instrucciones específicas que guían a la inteligencia artificial a través de una cadena de pensamiento lógica. En lugar de permitir que el modelo salte a una conclusión, el sistema lo obliga a analizar primero la pregunta, luego extraer detalles visuales de la imagen, cotejar esos detalles con reglas quirúrgicas conocidas, eliminar opciones imposibles y, finalmente, verificar la respuesta contra la escena general. Para tareas que requieren conocimientos más allá de lo que es visible en el video, como predecir el siguiente paso en un procedimiento complejo, el sistema también consulta una biblioteca digital de guías médicas para fundamentar su razonamiento en hechos establecidos. Esta combinación de razonamiento estructurado, debate colaborativo entre agentes y acceso a conocimiento médico verificado permite al sistema evitar los errores comunes de la inteligencia artificial, tales como la alucinación de detalles que no existen o la mala interpretación de la relación entre las herramientas y el tejido.

Los resultados de las pruebas de este sistema fueron sorprendentes. Al compararlo con los modelos de inteligencia artificial existentes, incluyendo aquellos que han sido entrenados específicamente con grandes cantidades de datos médicos, el nuevo sistema funcionó significamente mejor. En las pruebas que medían la precisión en diversas tareas quirúrgicas, el sistema superó a un modelo supervisado estándar en un 14.61 por ciento, un margen sustancial en este campo. También demostró una consistencia notable, produciendo resultados fiables con muy poca variación entre diferentes ejecuciones, mientras que otros modelos a menudo fluctuaban salvajemente en su rendimiento. El sistema fue particularmente eficaz en tareas que requieren una comprensión profunda, como predecir el siguiente paso en una cirugía o inferir detalles del paciente a partir de pistas visuales, áreas donde los modelos anteriores habían tenido mayores dificultades. Al integrar con éxito estos diferentes flujos de razonamiento, los investigadores demostraron que un enfoque unificado y colaborativo puede proporcionar una comprensión mucho más clara y precisa de la cirugía robótica que los métodos aislados.

Este trabajo representa un paso significativo para convertir a la inteligencia artificial en un compañero confiable en el quirófano. Al alejarse del simple reconocimiento de patrones hacia un sistema que razona, debate y verifica sus propias conclusiones, los investigadores han creado una herramienta que puede explicar su pensamiento de una manera que se alinea con la realidad clínica. El sistema no solo identifica una herramienta; entiende qué está haciendo esa herramienta y por qué. No solo ve un fotograma; comprende la narrativa del procedimiento. Si bien el sistema actual opera sobre fotogramas individuales muestreados de videos continuos, la lógica subyacente está diseñada para soportar la naturaleza compleja y fluida de la cirugía. Los investigadores planean expandir este trabajo incluyendo más tipos de procedimientos y explorando cómo el sistema puede aprender del feedback en tiempo real de los cirujanos, con el objetivo de proporcionar eventualmente asistencia cognitiva que mejore la seguridad y los resultados en el quirófano.

Resumen Técnico: SurgRAW

Planteamiento del Problema

La cirugía asistida por robot (RAS) requiere sistemas inteligentes capaces de una comprensión precisa de la escena para proporcionar asistencia cognitiva a los cirujanos. Los enfoques de IA actuales para el análisis de video quirúrgico sufren tres limitaciones primarias:

Fragmentación: La mayoría de los métodos dependen de modelos aislados y específicos para cada tarea (por ejemplo, redes separadas para la detección de instrumentos o la clasificación de fases), lo que genera procesos con una capacidad de interpretación limitada y sin una comprensión unificada de la escena quirúrgica.
Brechas de Dominio y Alucinaciones: Aunque los Modelos de Lenguaje-Visión (VLMs) ofrecen razonamiento zero-shot, están entrenados principalmente en escenas naturales. Al aplicarse a la RAS, exhiben brechas de dominio significativas, luchan contra las alucinaciones y carecen del conocimiento de dominio específico requerido para una inferencia segura y fiable.
Falta de Razonamiento Unificado: Los VLMs actuales suelen tratar las tareas quirúrgicas de forma independiente, fallando al modelar las dependencias jerárquicas y las interdependencias del flujo de trabajo inherentes a los procedimientos quirúrgicos. Además, los conjuntos de datos existentes suelen proporcionar solo de uno a tres rótulos de tarea por escena, lo cual es insuficiente para entrenar marcos de razonamiento holísticos.

Metodología

Los autores proponen SurgRAW, un flujo de trabajo de agentes impulsado por la Cadena de Pensamiento (CoT) y alineado clínicamente, diseñado para el razonamiento multitarea zero-shot en RAS. El sistema opera sobre un marco multi-agente jerárquico sin requerir el ajuste fino (fine-tuning) de los VLMs subyacentes.

1. Conjunto de Datos SurgCoTBench

Para abordar la falta de datos unificados, los autores introdujeron SurgCoTBench, el primer benchmark enfocado en el razonamiento para RAS.

Composición: Derivado de 12 videos de pacientes (prostatectomía y lobectomía), que contienen 2,277 fotogramas curados y 14,256 pares de QA (pregunta-respuesta).
Taxonomía: Cubre cinco tareas de razonamiento principales: Reconocimiento de Instrumentos, Reconocimiento de Acciones, Predicción de Acciones, Extracción de Detalles del Paciente y Evaluación del Resultado Quirúrgico.
Anotación: Las preguntas se generan utilizando GPT-4o, aprovechando las narraciones de cirujanos (transcritas mediante WhisperX) para el anclaje semántico. El conjunto de datos incluye anotaciones a nivel de fotograma y está dividido por paciente para establecer líneas base supervisadas.

2. Flujo de Trabajo Multi-Agente Jerárquico

SurgRAW emplea un Orquestador central que clasifica las consultas entrantes en dos corrientes de razonamiento:

Corriente Visual-Semántica (VS): Se enfoca en el análisis perceptivo (por ejemplo, identificar instrumentos, reconocer acciones).
Corriente de Inferencia Cognitiva (CI): Se enfoca en la lógica procedimental, el contexto del paciente y la predicción de resultados.

El orquestador dirige las tareas a agentes especializados (Especialista en Instrumentos, Intérprete de Acciones, Predictor de Acciones, Defensor del Paciente, Analista de Resultados).

3. Mecanismos Clave

Discusión de Panel (para tareas VS): Para manejar la ambigüedad visual, los agentes de VS participan en una "discusión de panel" moderada por un Evaluador de Acciones. Este agente:
- Verifica la consistencia contra un Grafo de Conocimiento Quirúrgico (KG) que codifica las relaciones válidas entre instrumentos y acciones.
  la aplica las rúbricas de Coherencia Inter-Cadena y Sinergia Colaborativa Inter-Agentes para evaluar la alineación lógica y la calidad colaborativa.
- Refina iterativamente las respuestas hasta que se alcanzan los umbrales de consistencia o se llega a un límite máximo de iteraciones.
Generación Aumentada por Recuperación (RAG) (para tareas CI): Para cerrar la brecha de dominio, la corriente CI integra un módulo RAG. Este consulta un repositorio de recursos médicos (por ejemplo, MedlinePlus) para recuperar directrices quirúrgicas y normas procedimentales, que luego se inyectan en el proceso de razonamiento del agente para anclar las predicciones en la realidad clínica.
Prompts de CoT Específicos de la Tarea: En lugar de depender de CoTs genéricos autogenerados, los autores diseñaron prompts de CoT estructurados y específicos del dominio.
- CoTs de VS: Siguen un proceso de cinco etapas (Análisis de la Pregunta $\rightarrow$ Extracción de Características $\rightarrow$ Referencia Cruzada $\rightarrow$ Eliminación de Opciones $\rightarrow$ Verificación).
- CoTs de CI: Siguen un proceso de seis etapas que comienza con la Descomposición de la Pregunta e incorpora conocimientos de dominio recuperados antes de la verificación final.

Contribuciones Clave

SurgCoTBench: El primer benchmark para RAS enfocado en el razonamiento multitarea, unificando cinco tareas de visión principales con anotaciones a nivel de fotograma.
Marco SurgRAW: Un novedoso marco de agentes capaz de razonar zero-shot a través del flujo de trabajo quirúrgico, utilizando una estructura jerárquica para separar la percepción visual de la inferencia cognitiva.
Módulos Sinérgicos: La introducción de un mecanismo de Discusión de Panel para la verificación cruzada en tareas visuales y un módulo RAG para anclar las tareas cognitivas en el conocimiento médico externo.
Diseño de CoT Estructurado: Prompts de CoT específicos de la tarea adaptados a elementos de RAS (instrumentos, tejido, acciones) para mejorar la transparencia y reducir las alucinaciones.

Resultados Experimentales

Los experimentos se realizaron en un entorno zero-shot, comparando SurgRAW contra VLMs generales (por ejemplo, GPT-4o, Qwen3VL), VLMs médicos adaptados al dominio (por ejemplo, LLaVA-Med), métodos de prompting basados en CoT y otros marcos de agentes. También se incluyó una línea base supervisada (Surgical-VQA).

Desempeño: SurgRAW superó significativamente a todas las líneas base.
- Superó al modelo supervisado Surgical-VQA por un 14.61% en precisión general.
- En comparación con los VLMs zero-shot estándar, SurgRAW logró una mejora promedio general del 29.32%.
- Se observaron ganancias notables en las tareas de Inferencia Cognitiva, como un aumento del 86.77% en la Extracción de Detalles del Paciente en comparación con la línea base de GPT-4o.
Fiabilidad: A diferencia de la línea base supervisada, que exhibió una desviación estándar alta ( $\pm5.46\%$ ), SurgRAW mantuvo un desempeño consistente ( $\pm1.51\%$ ) a través de las ejecuciones.
Estudios de Ablación:
- El CoT fue identificado como el contribuyente más significativo, mejorando el desempeño de las tareas de CI en aproximadamente un ~38.86%.
- RAG proporcionó ganancias complementarias para las tareas de CI, logrando la combinación RAG-CoT la mayor precisión (70.39%).
- La Discusión de Panel fue crucial para las tareas de VS, particularmente para el Reconocimiento de Acciones, mostrando efectos sinérgicos cuando se combina con CoT.

Significado y Reivindicaciones

El artículo afirma que SurgRAW establece un nuevo estándar para la comprensión de video quirúrgico robótico al demostrar que el razonamiento multi-agente zero-shot puede superar tanto a los modelos supervisados como a los VLMs estándar en escenarios quirúrgicos complejos.

Los autores enfatizan que su enfoque aborda la necesidad crítica de interpretabilidad y alineación clínica en la IA quirúrgica. Al descomponer las tareas en agentes especializados y forzar la consistencia mediante discusiones de panel y conocimiento recuperado, SurgRAW mitiga las alucinaciones y las brechas de dominio que actualmente dificultan el despliegue de los VLMs en entornos quirúrgicos de alta seguridad. El trabajo sugiere que un marco unificado, impulsado por el razonamiento, es un camino viable para proporcionar asistencia cognitiva significativa a los cirujanos, yendo más allá de la detección de tareas aisladas hacia una comprensión holística de la escena.