Point Cloud Segmentation for Autonomous Clip Positioning in Laparoscopic Cholecystectomy on a Phantom

Resumen Técnico: Segmentación de Nubes de Puntos para el Posicionamiento Autónomo de Clips en Colecistectomía Laparoscópica

Planteamiento del Problema
El artículo aborda el desafío de desplegar sistemas robóticos autónomos en entornos de alto riesgo como la Cirugía Asistida por Robot (RAS), específicamente durante la fase de colocación de clips en la colecistectomía laparoscópica (LC). En este procedimiento, los clips quirúrgicos deben colocarse en el conducto cístico y la arteria con una precisión submilimétrica (los vasos tienen 5 mm de diámetro, mientras que los clips tienen 6.5 mm de ancho). Los autores identifican tres obstáculos principales:

1. Precisión vs. Interpretabilidad: Los enfoques generalistas de extremo a extremo (por ejemplo, aprendizaje por refuerzo o regresión directa) a menudo carecen de la precisión requerida y no son interpretables, lo que hace que los cirujanos duden en confiar en ellos.
2. Escasez de Datos: Los dominios médicos sufren una falta de datos etiquetados; obtener nubes de puntos quirúrgicas del mundo real etiquetadas a mano es difícil y costoso.
3. Brecha Sim-to-Real: Los métodos tradicionales basados en RGB luchan contra la naturaleza homogénea y especular de los entornos quirúrgicos, mientras que la estimación de profundidad a partir de cámaras estándar suele ser ruidosa.

Metodología
Los autores proponen un sistema híbrido de visión y planificación que prioriza la interpretabilidad y la precisión sobre el control totalmente autónomo de extremo a extremo. El sistema opera sobre un fantoma físico que representa una vesícula biliar diseccionada, el conducto cístico y la arteria.

• Pipeline de Visión: En lugar de regredir directamente las coordenadas 3D, el sistema trata el problema como una tarea de segmentación de nubes de puntos.
  • Entrada: Una nube de puntos sin color capturada por una cámara 3D de alta precisión (Zivid One+ M).
  • Segmentación: Una red basada en PointTransformer segmenta la nube de puntos en regiones objetivo (conducto cístico y arteria).
  • Extracción de Objetivos: Las regiones objetivo segmentadas se esqueletizan y se ajustan a B-splines. Se derivan tres puntos objetivo de estas splines mediante interpolación. Este enfoque promedia múltiples puntos para mayor robustez y permite al sistema calcular un ángulo de aproximación óptimo (tangente a la spline).
  • Humano en el Bucle (Human-in-the-Loop): Un operador humano revisa la spline generada y los puntos objetivo a través de una interfaz de usuario. Puede ajustar las posiciones a lo largo de la spline o cambiar el orden de ejecución antes de que el robot actúe.
• Planificación de Movimiento: El sistema genera trayectorias en un espacio de tarea definido por la restricción de Centro Remoto de Movimiento (RCM) inherente a los trocares laparoscópicos (3 rotaciones y 1 traslación). La trayectoria es verificada por el operador humano antes de su ejecución.
• Estrategia de Aprendizaje (Abordando la Escasez de Datos):
  • Pre-entrenamiento: El modelo se pre-entrena con 128,000 nubes de puntos sintéticas generadas en Blender. Crucialmente, los datos sintéticos incluyen clases semánticas adicionales (por ejemplo, hígado, vesícula biliar, tejido graso) no presentes en la tarea final de ajuste fino en el mundo real para ayudar al modelo a aprender la estructura de la escena.
  • Ajuste Fino (Fine-tuning): El modelo se ajusta utilizando solo 60 nubes de puntos reales etiquetadas a mano.
  • Fusión de Logits (Logit-Merging): Para manejar la discrepancia entre las 7 clases del pre-entrenamiento y las 3 clases del ajuste fino, los autores introducen el "Logit-Merging", donde los logits de las clases no objetivo se suman antes de la conversión softmax. Esto resultó ser superior a la fusión en el espacio de probabilidad.
  • Aumentos Novedosos: Se desarrollaron dos técnicas de aumentación específicas:
    • VariableJitter: Ajusta dinámicamente la escala de ruido por cada nube de puntos para cerrar la brecha entre los datos sintéticos ruidosos y los datos altamente precisos de la cámara Zivid real.
    • RandomPatches: Elimina aleatoriamente parches de puntos para simular oclusiones (por ejemplo, del anillo RCM o del agarre).

Contribuciones Clave

1. Primer Sistema de Posicionamiento de Clips Autónomo: El artículo presenta el primer sistema robótico que demuestra el posicionamiento autónomo de clips en un fantoma físico en cirugía laparoscópica.
2. Segmentación Basada en Objetivos: Los autores demuestran que segmentar las regiones objetivo y ajustar B-splines es superior a la regresión directa de objetivos, logrando mayor precisión e interpretabilidad.
3. Técnicas de Eficiencia de Datos: El estudio valida que el pre-entrenamiento con clases semánticas adicionales (fusionadas mediante Logit-Merging) mejora significativamente el rendimiento en conjuntos de datos reales pequeños.
4. Innovaciones en Aumentación: Se muestra que la introducción de VariableJitter y RandomPatches es crítica para generalizar a través de la brecha sim-to-real y manejar oclusiones.
5. Validación: El sistema se valida en un conjunto de prueba del mundo real disjunto, con estudios de ablación que confirman la necesidad de cada componente (pre-entrenamiento, aumentaciones específicas y elecciones de arquitectura).

Resultados
El sistema fue evaluado en seis fantomas de vesícula biliar nuevos con morfologías variadas no vistas durante el entrenamiento.

• Localización de Objetivos: El sistema logró una tasa de éxito del 95% en la localización de objetivos dentro de una tolerancia de 0.75 mm (la mitad del espacio libre entre el vaso y el clip).
• Ejecución: En experimentos robóticos reales, el sistema logró una tasa de éxito del 100% para el posicionamiento autónomo de clips (36/36 clips aplicados correctamente).
• Hallazgos de la Ablación:
  • La regresión directa de objetivos falló, logrando solo un 1% de éxito con un error medio de ~5.7 mm.
  • Eliminar el pre-entrenamiento resultó en una tasa de éxito del 7.6%.
  • Usar "Probability-Merging" en lugar de "Logit-Merging" redujo la tasa de éxito al 41.4%.
  • Eliminar VariableJitter o RandomPatches redujo las tasas de éxito a ~60% y ~58%, respectivamente.
  • La arquitectura PointTransformer superó a PointNet++ y Stratified Transformer en este régimen específico de bajos datos.

Significado y Reivindicaciones
Los autores afirman que este trabajo representa un paso significativo hacia la traducción de las promesas del aprendizaje automático a la realidad clínica para la robótica quirúrgica. Al pasar de políticas de "caja negra" de extremo a extremo a un enfoque basado en la segmentación con supervisión humana, el sistema satisface los requisitos duales de alta precisión (exactitud submilimétrica) e interpretabilidad (planes verificables y objetivos ajustables). El artículo enfatiza que su método es aplicable a otras tareas quirúrgicas y no quirúrgicas que requieren la identificación y navegación precisa de objetivos, particularmente en entornos con escasez de datos.

Limitaciones Reconocidas
Los autores señalan que la cámara Zivid de alta precisión utilizada es demasiado grande para el despliegue clínico. Los experimentos con cámaras estéreo más pequeñas (ZED Mini) fallaron debido a una precisión insuficiente. Además, el planificador de movimiento actual no maneja la evitación de colisiones dinámica, dependiendo de que el operador humano verifique la seguridad y replanifique si el entorno cambia.