Overcoming Imperfect Kinematics in Surgical Robotics Through Sim-to-Real Visuomotor Learning

Resumen Técnico: Superación de la Cinemática Imperfecta en Robótica Quirúrgica mediante Aprendizaje Visomotor de Simulación a Realidad (Sim-to-Real)

Planteamiento del Problema
La Cirugía Asistida por Robot (RAS), particularmente con sistemas como el kit de investigación da Vinci (dVRK), enfrenta una barrera fundamental para la automatización total: la inexactitud cinemática inherente. Estos errores surgen de factores de hardware como la histéresis, la flexibilidad mecánica y el juego entre juntas, lo que conduce a sensores propioceptivos internos poco fiables. En consecuencia, existe una discrepancia entre la trayectoria comandada y el movimiento real del robot. Los métodos de calibración clásicos basados en modelos (por ejemplo, calibración geométrica, compensación de gravedad) a menudo fallan al generalizarse en diferentes entornos quirúrgicos y sufren de altos costos de implementación. Si bien los enfoques basados en el aprendizaje ofrecen una promesa, típicamente requieren mediciones precisas de la pose del efector final que son difíciles de obtener en la práctica. El desafío central abordado es el desarrollo de un controlador de bajo nivel capaz de ejecutar trayectorias precisas a pesar de datos de estado interno no fiables y errores cinemáticos dependientes de la configuración.

Metodología
Los autores proponen un marco de aprendizaje de Profesor-Estudiante (Teacher-Student) diseñado para la transferencia de simulación a realidad (sim-to-real), aprovechando la retroalimentación visual de bucle cerrado para compensar los déficits de los sensores internos.

1. Política del Profesor (Simulación):

   • Entrenamiento: Entrenada mediante Aprendizaje por Refuerzo (Optimización de Política de Proximidad, PPO) dentro de un simulador de alta fidelidad (NVIDIA Isaac Sim/Orbit-Surgical).
   • Información Privilegiada: El profesor tiene acceso a datos "privilegiados" no disponibles en el robot físico, incluyendo posiciones de las articulaciones, velocidades reales y poses precisas del efector final.
   • Arquitectura: Un Perceptrón Multicapa (MLP) que toma puntos de paso (waypoints) de la trayectoria futura y el estado real como entrada para producir incrementos de las articulaciones.
   • Ajuste de Robustez: El profesor se somete a una segunda etapa de entrenamiento que involucra perturbaciones de articulación procedimentales (ruido y sesgo) para transformarlo de un ejecutor perfecto en un "experto en recuperación", capaz de guiar al estudiante a través de desviaciones de estado.

2. Política del Estudiante (Despliegue en el Mundo Real):

   • Entrenamiento: Entrenada mediante Aprendizaje por Imitación utilizando el algoritmo DAgger (Agregación de Datos) para mitigar el cambio de distribución. El estudiante aprende a imitar las acciones del profesor, pero opera bajo restricciones realistas.
   • Representación de Estado: El estudiante fusiona datos propioceptivos no fiables (posiciones/velocidades de articulación con sesgo del dVRK) con retroalimentación visual externa fiable. La entrada visual consiste en puntos clave (keypoints) 2D rastreados en el extremo del instrumento.
   • Arquitectura: Un modelo basado en Transformer (4 capas de codificador, 1 de decodificador) inspirado en el Transformer de Segmentación de Acciones (ACT), que utiliza autoatención para modelar dependencias temporales y multimodales.
   • Aleatorización de Dominio (Domain Randomization): El entrenamiento implica la aleatorización de sesgos de articulación (±0.05 rad), poses de cámara (±2 cm de traslación, ±10° de rotación) y ruido de observación para asegurar que la política aprenda características invariantes a la vista y se generalice a los desfases cinemáticos.

3. Transferencia de Simulación a Realidad (Sim-to-Real):

   • Un algoritmo de flujo óptico Lucas-Kanade (LK) piramidal rastrea los puntos clave 2D en tiempo real en el dVRK físico.
   • La política del estudiante entrenada se despliega directamente en el robot físico sin necesidad de un ajuste fino adicional, utilizando el bucle de retroalimentación visual para corregir los errores cinemáticos en tiempo real.

Contribuciones Clave

• Controlador Visomotor: Un controlador de bajo nivel entrenado en un paradigma profesor-estudiante que compensa activamente los errores cinemáticos internos mediante la fusión de la propiocepción no fiable con la retroalimentación visual externa.
• Validación Sim-to-Real: Despliegue exitoso en una plataforma dVRK física, demostrando un rendimiento competitivo frente a los métodos de control clásicos y otras políticas basadas en el aprendizaje (ACT).
• Demostración de Robustez: Evidencia experimental de la capacidad de la política para generalizarse a través de reubicaciones del espacio de trabajo y variaciones en el punto de vista de la cámara, estableciendo una base para la automatización quirúrgica agnóstica a la tarea.

Resultados Experimentales
Los experimentos se realizaron en una tarea de transferencia de pernos (peg-transfer) modificada utilizando el dVRK.

• Rendimiento en Simulación: La política del estudiante logró un error de posición de ~1.2 mm y un error de orientación de ~0.03 rad, ligeramente superior al del profesor (0.6 mm, 0.015 rad), pero estable y preciso.
• Generalización de la Reubicación: Cuando el espacio de trabajo de la tarea se desplazó horizontalmente (−4 cm a +6 cm):
  • Reproducción de IK (Línea Base): Falló completamente (0% de éxito) en desplazamientos > ±2 cm, ya que depende de un modelo cinemático interno defectuoso que no tiene en cuenta los errores dependientes de la configuración.
  • Método Propuesto: Mantuvo una tasa de éxito >80% dentro de ±2 cm y alcanzó un 55% de éxito en el mayor desplazamiento (+6 cm), demostrando la capacidad de aprender un mapeo desde el error visual hacia la acción correctiva.
• Generalización del Punto de Vista: Bajo variaciones de la pose de la cámara (traslación ±3 cm, rotación ±10°):
  • El método propuesto superó significativamente a la línea base de ACT (por ejemplo, 40% vs. 15% de éxito en rotación de ±10°), atribuido a las características invariantes a la vista aprendidas durante el entrenamiento.
• Robustez de las Características Visuales:
  • La política toleró un ruido Gaussiano moderado en los puntos clave (la tasa de éxito descendió solo ligeramente de 90% a 80%).
  • El rendimiento se degradó significativamente cuando se enmascararon 2 puntos clave (30% de éxito) y falló por completo (0% de éxito) cuando se enmascararon 4 puntos clave o cuando se eliminó la entrada visual, confirmando la dependencia de la retroalimentación visual en lugar de la propiocepción sola.

Significancia y Reivindicaciones
El artículo afirma proporcionar una metodología de control fundamental y fiable para la automatización quirúrgica. Al cambiar de una calibración basada en modelos a un enfoque basado en el aprendizaje que compensa activamente las imprecisiones del hardware mediante visión externa, este trabajo aborda el cuello de botella crítico de la incertidumbre cinemática en los robots quirúrgicos. Los autores sostienen que esta investigación allana el camino para sistemas de automatización quirúrgica más avanzados, robustos e inteligentes que pueden operar eficazmente a pesar de las limitaciones físicas del hardware actual.

Los autores mantienen un tono modesto respecto a las limitaciones, reconociendo que el módulo de percepción visual actual requiere una inicialización manual, es sensible a la oclusión y la iluminación, y que el marco actualmente modela errores lineales en lugar de los errores sistemáticos no lineales presentes en el dVRK. Se propone un trabajo futuro para abordar estas restricciones específicas y expandir la evaluación a una gama más amplia de tareas quirúrgicas.