MiDAS: A Multimodal Data Acquisition System and Dataset for Robot-Assisted Minimally Invasive Surgery

El artículo presenta MiDAS, un sistema de código abierto y agnóstico a la plataforma que permite la adquisición multimodal no invasiva y sincronizada de datos en cirugía mínimamente invasiva asistida por robot, superando las barreras de acceso a la telemetría propietaria mediante la validación en robots Raven-II y da Vinci Xi con conjuntos de datos anotados que incluyen tareas de sutura de reparación de hernias.

Lo esencial

¡Claro que sí! Imagina que la cirugía robótica es como un videojuego de alta tecnología donde un cirujano, sentado en una silla cómoda, mueve unos controles para que unos "brazos" robóticos realicen operaciones delicadas dentro del cuerpo del paciente.

El problema es que, hasta ahora, los fabricantes de estos robots (como los famosos da Vinci) guardaban los "datos del juego" (cómo se mueven los brazos, qué presionan los cirujanos, etc.) en cajas cerradas. Esto hacía muy difícil para los científicos estudiar cómo mejorar la cirugía o crear inteligencia artificial que ayude a los médicos.

Aquí es donde entra MiDAS.

¿Qué es MiDAS?

Piensa en MiDAS como un "traductor universal y espía amigable". Es un sistema de código abierto (gratis y transparente) que permite a los investigadores "escuchar" y "ver" lo que sucede durante la cirugía robótica sin necesidad de abrir el robot ni pedirle permiso al fabricante.

En lugar de hackear el robot, MiDAS usa sensores externos que se colocan alrededor del cirujano, como si fueran gafas y guantes mágicos que observan todo desde fuera.

¿Cómo funciona? (La analogía de los sentidos)

Imagina que el robot es un actor en un escenario y MiDAS es el director que quiere grabar la obra para analizarla después. MiDAS tiene cuatro "sentidos" principales:

1. Ojos que ven las manos (Rastreo Electromagnético):
   En lugar de pedirle al robot que diga dónde están sus manos, MiDAS pone pequeños sensores magnéticos en los controles que usa el cirujano. Es como si el cirujano llevara unos guantes invisibles que emiten una señal magnética. El sistema sabe exactamente dónde están sus dedos y cómo los mueve, incluso si hay cosas tapando la vista.

   • La magia: El sistema traduce esos movimientos de los dedos del cirujano en el movimiento exacto de los brazos robóticos dentro del paciente. ¡Es como adivinar qué hace el robot solo viendo lo que hace el piloto!

2. Cámaras 3D (Rastreo de Video):
   Hay una cámara especial que graba las manos del cirujano en 3D, como si fuera un videojuego de realidad virtual. Esto ayuda a ver detalles finos, como cómo agarra el cirujano una aguja.

3. Oídos para los pies (Sensores de Pedales):
   Los cirujanos usan pedales con los pies para activar herramientas o cambiar de modo. MiDAS pone unas "alfombrillas" sensibles en esos pedales. No necesitan modificar el robot; simplemente detectan cuándo el cirujano presiona con el pie, como un sensor de peso en una báscula.

4. Grabadora de Video (Cámara Estéreo):
   Graban el video de la cirugía en alta definición, tal como lo ve el cirujano a través de sus gafas especiales.

¿Por qué es tan importante? (El "Tesoro" de Datos)

Los autores no solo inventaron el sistema, sino que lo usaron para crear dos nuevos tesoros de datos (datasets) que ahora son públicos:

1. El entrenamiento básico (Raven-II): Un robot de investigación donde practicaron mover clavijas de un lado a otro (como un juego de destreza).
2. La cirugía real (da Vinci Xi): ¡Esto es lo más emocionante! Grabaron a residentes de cirugía real reparando hernias en modelos de tejido que parecen carne real. Es la primera vez que se tiene un registro tan detallado (video + movimientos de manos + pies + robot) de una cirugía de hernia tan realista.

¿Qué descubrieron?

Hicieron una prueba: ¿Puede la inteligencia artificial aprender a reconocer los movimientos del cirujano usando solo los datos externos (MiDAS) o necesita los datos internos del robot?

• El resultado: ¡Funciona casi igual de bien!
• La analogía: Es como si pudieras aprender a conducir un coche de Fórmula 1 viendo al conductor desde fuera (sus manos en el volante, sus pies en los pedales) y lograras predecir lo que hace el coche con la misma precisión que si tuvieras acceso directo a la computadora del motor.

En resumen

MiDAS es como un "kit de herramientas mágico" que rompe las barreras de los robots quirúrgicos cerrados. Permite que científicos de todo el mundo estudien, aprendan y creen mejores sistemas de IA para ayudar a los cirujanos, sin tener que comprar robots caros o pedir permiso a las grandes empresas.

Es una herramienta que hace que la cirugía robótica sea más transparente, segura y accesible para todos, democratizando el conocimiento de cómo se operan los pacientes hoy en día.

Resumen técnico

Resumen Técnico: MiDAS

1. Problema y Contexto

La investigación en cirugía mínimamente invasiva asistida por robots (RMIS) depende cada vez más de datos multimodales (video, cinemática del robot, eventos de interacción) para tareas como la evaluación de habilidades, la detección de errores y la transferencia de conocimiento. Sin embargo, el acceso a estos datos enfrenta barreras significativas:

• Propiedad y Cerrazón: Los sistemas comerciales dominantes (como el da Vinci de Intuitive Surgical) utilizan interfaces propietarias que restringen el acceso a los datos de telemetría interna (cinemática de los manipuladores).
• Limitaciones de Plataformas Abiertas: Los sistemas de investigación de código abierto (como Raven-II o dVRK) existen, pero a menudo requieren acceso especializado, son dependientes del hardware y no escalan fácilmente a entornos clínicos reales.
• Falta de Datos Multimodales: La mayoría de los conjuntos de datos disponibles son solo visuales (video) o se limitan a tareas de laboratorio en seco ("dry-lab"). Existen pocos conjuntos de datos que combinen cinemática, video y señales de interacción en tareas clínicas realistas (como reparaciones de hernias).

El objetivo principal es crear un sistema de adquisición de datos no invasivo, de código abierto y agnóstico a la plataforma que pueda capturar datos multimodales sincronizados sin modificar el hardware del robot ni requerir acceso a su software interno.

2. Metodología: El Sistema MiDAS

Los autores presentan MiDAS (Multimodal Data Acquisition System), una arquitectura cliente-servidor que integra sensores externos para aproximar la cinemática interna del robot. El sistema no requiere interfaces propietarias y se despliega en plataformas tanto de investigación (Raven-II) como clínicas (da Vinci Xi).

Componentes Clave del Sistema:

1. Rastreo Electromagnético de Manos (EmHT):
   • Utiliza el dispositivo NDI trakSTAR con cuatro sensores 6-DoF (posición y orientación).
   • Los sensores se montan en las almohadillas de contacto de los pulgares y dedos medios de los manipuladores maestros (MTM) del cirujano.
   • Procesamiento: Los datos brutos se transforman al marco de referencia del robot mediante una transformación rígida calibrada y se refinan con un MLP (Perceptrón Multicapa) para modelar residuos y errores de ruido, logrando aproximar la posición y orientación de las herramientas (PSM) y los controles (MTM).
2. Rastreo de Manos RGB-D:
   • Una cámara estéreo ZED Mini captura video 3D y mapas de profundidad de las manos del cirujano.
   • Se utilizan puntos clave (keypoints) de los dedos (pulgar e índice) para estimar la cinemática, transformándolos al marco del robot mediante un modelo ligero.
3. Sistema de Sensado de Pedales (PSS):
   • Un módulo de bajo costo basado en Arduino y resistencias sensibles a la fuerza (FSR) se adhiere a la superficie de los pedales del consola.
   • Captura el estado binario (presionado/no presionado) y señales analógicas de hasta 9 pedales sin alterar la experiencia táctil del cirujano.
4. Captura de Video Estéreo HD:
   • Uso de OBS (Open Broadcaster Software) para grabar flujos de video estéreo sincronizados desde las torres de visión de los robots.
5. Arquitectura de Sincronización:
   • Todos los flujos de datos (video, cinemática, pedales) se marcan con timestamps de Unix en el servidor central, permitiendo una alineación temporal precisa para el análisis posterior.

3. Contribuciones Clave

1. Sistema de Adquisición Abierto: MiDAS es un framework de código abierto que permite la recolección de datos multimodales sincronizados en tiempo real en cualquier sistema robótico teleoperado, sin necesidad de acceso interno al robot.
2. Modalidades Alternativas Validadas: Demuestran que el rastreo externo (EmHT y sensores de pedales) puede aproximar con alta fidelidad la cinemática interna del robot y el estado de los pedales, sirviendo como sustitutos viables cuando los datos internos no están disponibles.
3. Nuevos Conjuntos de Datos (Datasets):
   • Raven-II: 15 ensayos de transferencia de clavijas (Peg Transfer) con anotaciones de gestos.
   • da Vinci Xi (Novelty): El primer conjunto de datos multimodal que captura reparación de hernias (inguinal y ventral) en modelos de tejido de alta fidelidad (KindHeart). Incluye 17 ensayos realizados por residentes quirúrgicos, con anotaciones detalladas de gestos de sutura.
4. Taxonomía de Gestos Quirúrgicos: Desarrollo de una taxonomía estructurada para gestos de sutura (8 clases, desde orientar la aguja hasta hacer nudos cuadrados), validada por cirujanos expertos.

4. Resultados y Evaluación

Los autores validaron el sistema mediante análisis de correlación y tareas de reconocimiento de gestos.

Validación de Precisión (vs. Datos de Referencia):

• EmHT vs. Cinemática Interna (Raven-II):
  • La correlación coseno (CoS) para la posición entre EmHT y los manipuladores maestros/pacientes (MTM/PSM) superó el 0.80 en todos los ejes.
  • El Error Cuadrático Medio Normalizado (NRMSE) fue inferior al 20%.
  • El rastreo de pedales (PSS) logró un F1-score de 0.85 en Raven-II y 0.78 en da Vinci Xi, con una latencia de detección de ~130-160 ms.
• Limitaciones: El rastreo RGB-D (HandKP) mostró un rendimiento inferior debido a oclusiones y limitaciones del campo de visión, aunque mejoró significativamente cuando se fusionó con datos de video.

Reconocimiento de Gestos (Downstream Tasks):

• Se probaron modelos de vanguardia (MTRSAP y MS-TCN++) para reconocer gestos.
• Raven-II (Peg Transfer): El uso de EmHT alcanzó un rendimiento comparable a la cinemática interna del robot (F1 ~0.86 vs 0.87-0.88), superando ampliamente a los modelos basados solo en video (F1 ~0.48).
• da Vinci Xi (Suturing): La fusión de EmHT + Video obtuvo los mejores resultados (F1 ~0.70), superando a los modelos de solo video. Esto demuestra que las señales de movimiento no invasivas complementan eficazmente la visión, especialmente en condiciones de oclusión o baja calidad de video.

5. Significado e Impacto

• Democratización de la Investigación: MiDAS elimina la dependencia de sistemas robóticos cerrados y costosos, permitiendo que más instituciones recolecten datos multimodales de alta calidad.
• Generalización: Al no depender de la telemetría interna, el sistema es agnóstico a la plataforma, facilitando la comparación entre diferentes robots (comerciales y de investigación).
• Avance en IA Quirúrgica: La liberación de los datos anotados (especialmente la reparación de hernias en tejido realista) proporciona un banco de pruebas único para entrenar modelos de aprendizaje profundo para la comprensión de actividades quirúrgicas, la detección de errores y el desarrollo de asistentes cognitivos.
• Validación Clínica: La evaluación con residentes quirúrgicos confirmó que el sistema es no invasivo y no afecta el rendimiento psicomotor de los cirujanos (el 80% de los participantes indicó que los sensores no interfirieron con su desempeño).

En conclusión, MiDAS representa un paso crucial hacia la estandarización y apertura de la investigación en robótica quirúrgica, proporcionando una infraestructura robusta para la recolección de datos y demostrando que el sensado externo es una alternativa viable y precisa a la telemetría propietaria.