Real-Time Multimodal Activity-Aware Error Detection in Robot-Assisted Surgery

Declaración del Problema

La Cirugía Mínimamente Invasiva Asistida por Robot (RAMIS) mejora la precisión quirúrgica, pero introduce una complejidad que requiere una detección de errores técnica y robusta para garantizar la seguridad del paciente. Aunque los métodos actuales de evaluación de habilidades automatizados utilizan aprendizaje profundo sobre datos de video y cinemática, a menudo fallan al capturar descripciones contextuales detalladas de las actividades y los tipos de error dentro de la estructura jerárquica de los procedimientos quirúrgicos. Los métodos actuales de detección de errores de ejecución suelen depender de etiquetas de gestos predefinidas o pasan por alto información multimodal complementaria, como las interacciones instrumento-objeto y las definiciones específicas de error. Además, muchos enfoques recientes se limitan al procesamiento fuera de línea (offline) o no logran aprovechar plenamente los datos cinemáticos junto con las modalidades visuales y textuales para la inferencia en tiempo real.

Metodología

Los autores proponen un marco unificado para la detección de errores de ejecución en tiempo real que integra tres modalidades: video (RGB), cinemática del robot y prompts textuales descriptivos. El marco está diseñado como una tarea de clasificación binaria para detectar errores ($y=1$) o una ejecución normal ($y=0$) dentro de una ventana de tiempo deslizante.

Componentes Principales:

1. Prompting de Actividad (Activity Prompting): El marco introduce el "Activity Prompting", que codifica el contexto quirúrgico multinivel en descripciones textuales. Estos prompts cubren:

   • Gestos: Acciones quirúrgicas de alto nivel (p. ej., "recoger la aguja").
   • Interacciones Instrumento-Objeto: Estados de contexto de bajo nivel que describen qué pinza sujeta o contacta objetos específicos (p. ej., aguja, hilo, tejido).
   • Definiciones de Error: Descripciones explícitas de modos de falla (p. ej., "caída de aguja", "fuera de vista").
   • Prompts Combinados: Combinaciones tales como "Gesto + Error" o "Interacción + Error" para capturar contextos de falla específicos.
     Estos prompts se procesan mediante un codificador de texto CLIP para generar embeddings de actividad.

2. Embeddings Visuales Sensibles a la Actividad (Activity-Aware Visual Embeddings): Como alternativa a los prompts de texto, los autores exploran la extracción de características directamente de codificadores de visión (ResNet50) preentrenados en etiquetas de actividad quirúrgica (gestos o estados de interacción). Esto genera embeddings por fotograma que contienen intrínsecamente información a nivel de actividad.

3. Arquitectura de Fusión Multimodal:

   • Extracción de Características Visuales: Los fotogramas de video se procesan a través de un backbone ResNet50.
   • Fusión Cinemática: Los datos cinemáticos (posición, velocidad, ángulo de la pinza) se proyectan en el mismo espacio de características que los embeddings de video y se concatenan.
   • Contextualización: Un mecanismo de atención cruzada basado en transformadores fusiona las características espaciales (video/cinemática) con la información de actividad (ya sea prompts de texto o embeddings visuales preentrenados).
   • Modelado Temporal: Una Red Convolucional Temporal (TCN) resume la entrada espacial sobre la ventana, que luego se fusiona con los embeddings de actividad refinados para producir la probabilidad final de error.

El marco evalúa tres configuraciones específicas:

• (a) Prompting de Actividad (Img+Txt): Utiliza embeddings de texto de CLIP para el contexto de la actividad.
• (b) Fusión de Cinemática y Actividad (Img+Txt+Kin): Añade datos cinemáticos a la configuración de prompts de texto.
• (c) Embeddings Visuales Sensibles a la Actividad (Img+Label): Reemplaza los prompts de texto con embeddings de un codificador de visión preentrenado en etiquetas de actividad.

Contribuciones Clave

1. Marco Multimodal Unificado: El artículo presenta un sistema que integra de manera fluida video, cinemática y prompts textuales curados para la detección de errores en tiempo real.
2. Prompting y Embeddings de Actividad: La introducción del prompting de actividad para integrar descripciones de gestos, interacciones y errores, junto con un estudio comparativo de estos prompts frente a los embeddings visuales sensibles a la actividad derivados de modelos preentrenados.
3. Integración Cinemática: Demostrar el beneficio de fusionar datos cinemáticos con modalidades visuales y textuales para capturar desviaciones de movimiento finas.
4. Mejoras de Rendimiento: El marco logra mejoras significativas sobre los baselines de estado del arte (SOTA) en dos conjuntos de datos principales.

Resultados Experimentales

Los métodos fueron evaluados en los conjuntos de datos JIGSAWS (laboratorio seco) y SAR-RARP50 (in-vivo) utilizando Leave-One-Supertrial-Out (LOSO) y divisiones estándar de entrenamiento/prueba, respectivamente.

• Conjunto de Datos JIGSAWS:

  • La configuración de Fusión de Cinemática y Actividad con prompts de Gesto+Error alcanzó el F1 score más alto de 0.760.
  • Esto representa una mejora del 5% sobre el SOTA CoG y una mejora del 5% sobre el baseline de solo ResNet.
  • Añadir datos cinemáticos al mejor modelo de prompts de texto (Gesto+Error) mejoró el F1 score de 0.745 a 0.760.
  • El Prompting de Actividad (Gesto+Error) superó a los Embeddings Visuales Sensibles a la Actividad, lo que sugiere que los prompts de texto curados pueden igualar o exceder el rendimiento de los modelos que requieren un preentrenamiento denso de actividad a nivel de fotograma.

• Conjunto de Datos SAR-RARP50:

  • La estrategia de prompting Interacción+Error logró el mejor F1 score de 0.746.
  • Esto corresponde a una mejora del 16.6% sobre el SOTA SEDMamba y una ganancia significativa sobre el baseline de ResNet (0.590).
  • Los resultados resaltan que los prompts complejos que mezclan intenciones de comportamiento finas con condiciones de error son altamente efectivos.

• Eficiencia:

  • El marco propuesto demuestra aplicabilidad en tiempo real. El modelo con mejor rendimiento (Fusión de Cinemática y Actividad) tiene una latencia de extremo a extremo de aproximadamente 36 ms, lo que permite una ejecución cercana a 30 Hz. Esto es significativamente más rápido que el baseline SEDMamba (368 ms) y competitivo con CoG, a pesar de la menor latencia por fotograma de CoG.

Significancia y Reivindicaciones

El artículo sostiene que combinar prompts de texto curados con datos multimodales (video y cinemática) es una estrategia altamente efectiva para la detección precisa de errores quirúrgicos. Las ideas clave incluyen:

• Especificidad del Prompt: La calidad y el contenido semántico de los prompts (específicamente la combinación de contexto de actividad con descripciones de error explícitas) son más críticos que la cantidad de prompts.
• Contexto Multimodal: La incorporación de información de actividad multinivel (gestos, interacciones, cinemática) proporciona un marco contextual rico que supera a los enfoques unimodales o de un solo nivel.
• Eficiencia de Entrenamiento: El estudio sugiere que un fuerte rendimiento en la detección de errores no requiere necesariamente un etiquetado de actividad costoso y lento, ni un preentrenamiento de codificador separado. Los prompts de texto fundamentados en el conocimiento del dominio pueden lograr resultados comparables o superiores a los embeddings visuales derivados de modelos preentrenados, simplificando el flujo de trabajo de entrenamiento.
• Viabilidad en Tiempo Real: El marco aborda la brecha en la aplicabilidad en línea, ofreciendo un compromiso práctico entre granularidad de detección, precisión y eficiencia en tiempo real, a diferencia de algunos modelos SOTA que están restringidos al procesamiento fuera de línea.

Los autores reconocen limitaciones, incluyendo la dependencia de conjuntos de datos con video y cinemática sincronizados (lo que limita la aplicabilidad más amplia hasta que existan más conjuntos de este tipo), la dependencia de la curación manual de prompts de texto y la necesidad de una validación adicional en procedimientos quirúrgicos menos estructurados más allá de la sutura y el paso de la aguja.