Hybrid Offline-Online Reinforcement Learning for Sensorless, High-Precision Force Regulation in Surgical Robotic Grasping

Resumen Técnico: Control Híbrido Offline–Online para Regulación de Fuerza de Agarre en Robótica Quirúrgica

1. Planteamiento del Problema

La regulación precisa de la fuerza de agarre en instrumentos quirúrgicos accionados por tendones (como los utilizados en el sistema da Vinci Xi) presenta desafíos fundamentales debido a la acoplamiento no lineal entre la dinámica del motor, la compliancia de la transmisión, la fricción y la mecánica distal.

• Limitaciones actuales: Las soluciones existentes dependen típicamente de sensores de fuerza distales (que aumentan la complejidad del hardware y dificultan la esterilización) o de compensación analítica (que degrada el rendimiento bajo movimientos dinámicos).
• Objetivo: Desarrollar un marco de control sin sensores (sensorless) que logre una regulación de fuerza de alta precisión en la punta del instrumento utilizando únicamente mediciones proximales (motor), manteniendo la compatibilidad mecánica y clínica.

2. Metodología

Los autores proponen un marco de aprendizaje por refuerzo (RL) híbrido que integra un gemelo digital de alta fidelidad con una pipeline de aprendizaje estructurada en tres etapas:

• A. Gemelo Digital Físico (Digital Twin):

  • Se desarrolló un modelo basado en primeros principios del mecanismo de agarre del da Vinci Xi.
  • El modelo captura la dinámica electromecánica acoplada mediante un sistema de ecuaciones diferenciales-algebraicas.
  • Incluye dinámicas eléctricas del motor, elasticidad de los tendones (considerando masa y rigidez), fricción viscosa y de Coulomb, y la cinemática de las mordazas.
  • No se introdujeron términos de ajuste artificial; todos los parámetros provienen de especificaciones del fabricante y mediciones físicas.

• B. Pipeline de Aprendizaje Híbrido (3 Etapas):

  1. Generación de Experto con Oráculo (CMA-ES): Dado que el aprendizaje directo desde cero es inestable debido a la rigidez del sistema, se utiliza un oráculo basado en Covariance Matrix Adaptation Evolution Strategy (CMA-ES) con horizonte recesivo. Este oráculo optimiza secuencias de voltaje para generar trayectorias expertas dinámicamente factibles.
  2. Aprendizaje Offline (IQL): Se utiliza Implicit Q-Learning (IQL) para entrenar una política inicial sobre el dataset generado por el oráculo (aprox. 1 millón de episodios). Esto evita la exploración insegura y asegura una inicialización estable sin interacción con el entorno real.
  3. Afinado Online (TD3): La política pre-entrenada se refina utilizando Twin Delayed Deep Deterministic Policy Gradient (TD3) para adaptarse a las dinámicas en línea y corregir posibles desviaciones de distribución.

• Entorno de Aprendizaje: El agente controla los voltajes de dos motores basándose en observaciones de posición, velocidad y corriente de los motores, ángulo de la mordaza y el error de fuerza. La recompensa penaliza desviaciones tanto en la fuerza de agarre como en el seguimiento de la trayectoria.

3. Contribuciones Clave

• Gemelo Digital Físico-Consistente: Creación de un entorno de RL que modela con precisión la dinámica acoplada (eléctrica, transmisión y mecánica) de un end-effector quirúrgico real.
• Pipeline de Aprendizaje Híbrido: Introducción de un flujo de trabajo que combina optimización evolutiva (CMA-ES), aprendizaje offline (IQL) y afinado online (TD3) para aprender políticas de control de alto rendimiento en sistemas no lineales rígidos de manera segura.
• Control sin Sensores de Alta Precisión: Demostración de que es posible lograr una regulación de fuerza distal precisa sin sensores en la punta, utilizando solo mediciones proximales y compensación basada en aprendizaje.
• Transferencia Sim-to-Real: Validación exitosa de la política aprendida en hardware físico, demostrando que el modelo de alta fidelidad permite una transferencia efectiva al mundo real.

4. Resultados

• Simulación:
  • El controlador mantiene la fuerza de agarre dentro del 1% de la referencia deseada durante movimientos de mordaza multi-armónicos.
  • El oráculo logra un error de seguimiento angular de ~1.17% y una desviación de fuerza del orden de $O(10^{-4})$.
  • La política afinada (TD3) alcanza una desviación de fuerza promedio del 1.16% y un error máximo absoluto de 0.37 N.
• Evaluación en Hardware (Realidad):
  • Se realizaron experimentos físicos midiendo la fuerza mediante una celda de carga y un elemento elástico.
  • Error promedio de fuerza: 3.84% (mejorado a 3.24% tras un ajuste manual de parámetros de fricción y rigidez).
  • El peor caso fue del 5.67% y el mejor del 1.84%.
  • Esto representa una mejora significativa frente a enfoques anteriores que reportaban errores del orden del 20%.
• Eficiencia Computacional:
  • La política final tiene ~71k parámetros (279 KB en FP32).
  • Latencia de inferencia de 0.0386 ms en CPU, permitiendo una tasa de inferencia de ~26 kHz, lo que es suficiente para el despliegue en tiempo real en controladores quirúrgicos.

5. Significado e Impacto

Este trabajo demuestra que es posible recuperar un comportamiento de fuerza distal preciso en robots quirúrgicos complejos sin añadir hardware de sensores costosos ni complejos.

• Viabilidad Clínica: Al eliminar la necesidad de sensores en la punta del instrumento, se preserva la esterilizabilidad, la compacidad y la compatibilidad clínica de los end-effectores existentes.
• Paradigma de Control: Establece un nuevo paradigma para el control de mecanismos robóticos acoplados y complacientes: combinar modelado de alta fidelidad con aprendizaje por refuerzo estructurado (offline-online) es más efectivo que el control analítico puro o el aprendizaje puramente basado en datos.
• Escalabilidad: La solución es escalable y mecánicamente compatible, ofreciendo una alternativa atractiva para la manipulación quirúrgica de alta precisión en el futuro.