Real-time Monocular 2D and 3D Perception of Endoluminal Scenes for Controlling Flexible Robotic Endoscopic Instruments

Título: Percepción Monocular 2D y 3D en Tiempo Real de Escenas Endoluminales para el Control de Instrumentos Robóticos Flexibles

1. El Problema

La cirugía endoluminal (a través de orificios naturales como la boca, el ano o la uretra) ofrece opciones mínimamente invasivas para el tratamiento de cánceres tempranos en el tracto gastrointestinal y urinario. Sin embargo, enfrenta desafíos críticos:

• Limitaciones de los instrumentos actuales: Los instrumentos quirúrgicos convencionales carecen de destreza y capacidad de retracción de tejidos efectiva, lo que resulta en resecciones tumorales de baja calidad y una alta tasa de recurrencia.
• Curva de aprendizaje empinada: La manipulación precisa de endoscopios largos y flexibles requiere una gran habilidad técnica, dependiendo fuertemente de la experiencia del cirujano.
• Desafíos de los robots continuos: Aunque los robots continuos (con estructuras curvilíneas y articulaciones elásticas infinitas) ofrecen la flexibilidad necesaria para espacios confinados, su control es difícil debido a la falta de acoplamiento rígido entre actuadores y efector final.
• Falta de percepción: La modelación cinemática es compleja y la percepción 3D en tiempo real de la forma del robot y su entorno es escasa. Los sensores físicos (como FBG o EM) son costosos, intrusivos y a menudo inviables en entornos clínicos críticos. Además, la mayoría de las plataformas existentes dependen de estereoscopía, lo cual es difícil de implementar en endoscopios miniaturizados.
• Necesidad de visión monocular: Se requiere un marco de percepción basado únicamente en imágenes de endoscopio monocular para estimar la posición, orientación y distancia de los instrumentos flexibles respecto a los tejidos circundantes.

2. Metodología

Los autores proponen una plataforma de percepción visual integrada que opera sobre imágenes de endoscopio monocular estándar. El sistema se compone de tres módulos principales y un entorno de simulación:

• A. Simulación Físicamente Realista:

  • Se desarrolló un simulador basado en Unity para generar datos sintéticos masivos, ya que los datos reales con etiquetas 3D son escasos.
  • El simulador modela instrumentos flexibles continuos utilizando el modelo de curvatura constante por tramos, dividido en tres segmentos (hombro, proximal y distal).
  • Se utiliza un pipeline de mapeo de texturas 3D (basado en reconstrucción de Poisson) para extraer texturas realistas de videos clínicos reales y aplicarlas a modelos 3D de órganos (colon), cerrando la brecha entre lo sintético y lo real.

• B. Módulo de Segmentación 2D (Instrumentos Flexibles):

  • Se propone un método de segmentación eficiente en anotaciones. Utiliza un modelo de visión fundacional pre-entrenado (Segment Anything Model - SAM) como "maestro" para generar máscaras de ground-truth pseudo.
  • Un segmento ligero basado en U-Net (el "estudiante") se entrena mediante knowledge distillation para aprender de las salidas de SAM, utilizando solo cajas delimitadoras simples como prompts iniciales.
  • Se emplea aumento de datos semántico para mejorar la robustez en diversos fondos endoscópicos.

• C. Estimación del Estado 3D del Robot:

  • Basado en la máscara de segmentación 2D, el sistema estima los parámetros de estado del robot (ángulos de curvatura y rotación).
  • Se utiliza una distribución de Fisher matricial para modelar probabilísticamente los parámetros de rotación en el espacio $SO(3)$. Esto permite no solo predecir el estado, sino también cuantificar la incertidumbre de la predicción, algo crucial para la seguridad quirúrgica.

• D. Estimación de Profundidad 3D (Escena Completa):

  • Se emplea un modelo de profundidad monoculo basado en fundamentos (como Depth Anything) mejorado con un módulo de refinamiento (PRMod).
  • Se introduce un modelo de iluminación para endoscopios (fuente puntual coaxial) que define un campo de renderizado por píxel (PPR).
  • Se utiliza una estrategia de aprendizaje de transferencia Maestro-Alumno: el modelo se entrena primero con datos sintéticos supervisados y luego se ajusta a datos clínicos reales no etiquetados mediante una función de pérdida auto-supervisada basada en la correlación entre el campo PPR y la intensidad de la imagen.

3. Contribuciones Clave

1. Marco de Percepción Integrado: Primer sistema que combina segmentación 2D, estimación de estado 3D del robot y estimación de profundidad de la escena utilizando exclusivamente visión monocular para robots continuos.
2. Simulador Físicamente Realista: Desarrollo de una plataforma de simulación que genera datos sintéticos de alta fidelidad con instrumentos flexibles y texturas de tejidos realistas, superando las limitaciones de simuladores existentes diseñados para instrumentos rígidos.
3. Algoritmos de Aprendizaje Profundo Avanzados:
   • Segmentación eficiente en anotaciones mediante distilación de conocimiento.
   • Estimación de estado probabilística que proporciona incertidumbre.
   • Estimación de profundidad auto-supervisada que considera la iluminación específica del endoscopio.
4. Validación en Sistema Robótico: Integración completa del sistema de percepción en un prototipo de robot continuo para evaluar el control en tiempo real.

4. Resultados

Las evaluaciones se realizaron tanto en módulos individuales como en el sistema completo utilizando datos ex-vivo (tractos GI de cerdo) y datos sintéticos:

• Segmentación 2D: Logró un puntaje Dice de ~95% y una precisión del 94.65%, superando significativamente a las líneas base (Syn y Copy-Paste) y manteniendo una velocidad de inferencia de 52.1 fps (frente a 1.4 fps de SAM).
• Estimación de Estado 3D: Redujo el error angular medio a ~2.6° para los parámetros de curvatura y ~6.6° para el guiñada/rodilla, superando a métodos basados en puntos clave, esqueletos y otras representaciones de rotación (Quat, Rot6D). El modelo también proporcionó una estimación de incertidumbre que correlacionaba bien con los errores reales.
• Estimación de Profundidad: Alcanzó un RMSE de 4.020 mm en datos sintéticos, superando a modelos de estado del arte como Metric3D, ZoeDepth y EndoOmni. La transferencia de aprendizaje maestro-alumno mejoró significativamente el rendimiento en datos reales.
• Evaluación del Sistema (Control):
  • La integración de la percepción mejoró drásticamente la eficiencia quirúrgica.
  • En una tarea de seguimiento de trayectoria, el tiempo de manipulación se redujo en un >71% para cirujanos expertos (de 233s a 66s) y en un ~72% para usuarios inexpertos (de 254s a 72s) gracias a la calibración automática y la retroalimentación de distancia.
  • El sistema opera a ~21 fps, cumpliendo con los requisitos de retroalimentación en tiempo real.

5. Significado e Impacto

Este trabajo representa un avance significativo en la cirugía robótica endoluminal al abordar la falta de percepción en entornos de espacio confinado.

• Seguridad y Precisión: Al proporcionar estimaciones de estado con incertidumbre y mediciones de distancia instrumento-tejido, el sistema reduce el riesgo de colisiones y daños a tejidos sanos.
• Accesibilidad: La reducción del tiempo de manipulación y la calibración automática sugieren que la tecnología puede reducir la curva de aprendizaje, permitiendo que cirujanos menos experimentados realicen procedimientos complejos con mayor precisión.
• Viabilidad Clínica: Al depender únicamente de la visión monocular (sin sensores físicos intrusivos costosos), la solución es más fácil de integrar en endoscopios comerciales estándar, facilitando su adopción clínica.
• Futuro: Aunque las validaciones actuales son ex-vivo y sintéticas, el marco establece una base sólida para la cirugía autónoma y asistida en espacios estrechos, con potencial para mejorar los resultados oncológicos mediante resecciones más precisas.