A New Quaternion-Joint Cable-Driven Redundant Manipulator Configuration and its Control Through FABRIK and Residual Reinforcement Learning

Resumen Técnico: Una nueva configuración de manipulador redundante impulsado por cables con juntas de cuaternión y su control mediante FABRIK y Aprendizaje por Refuerzo Residual

Planteamiento del Problema
Los brazos robóticos capaces de navegar por trayectorias espaciales arbitrarias en entornos altamente obstruidos son críticos para industrias que van desde la reparación de satélites hasta la cirugía. Aunque los manipuladores redundantes impulsados por cables (CDRM, por sus siglas en inglés) ofrecen ventajas en reducción de peso y flexibilidad, los diseños tradicionales suelen requerir $3N$ motores para lograr $2N$ grados de libertad (DOF). Avances recientes utilizando juntas de cuaternión han reducido esto a $2N$ motores para $2N$ DOF, permitiendo estructuras más compactas. Sin embargo, controlar estos sistemas sigue siendo un desafío. Los complejos modelos cinemáticos de las juntas de cuaternión imponen altas demandas computacionales, y las no linealidades inherentes a estos sistemas amplifican las discrepancias entre el diseño y la fabricación física (por ejemplo, la imprecisión de fabricación o la histéresis de los cables). Los métodos de control existentes, como el algoritmo de Alcance Inverso hacia Adelante y hacia Atrás (FABRIK), a menudo tienen dificultades con la robustez de la convergencia en entornos no estructurados a menos que la fabricación sea casi perfecta.

Metodología
Los autores proponen un nuevo diseño mecánico y una estrategia de control híbrida para abordar estos desafíos.

1. Diseño Mecánico:

   • El equipo desarrolló un manipulador de 4 segmentos y 8 juntas. A diferencia de configuraciones previas (por ejemplo, Huang et al.) que utilizaban 3 juntas por segmento (12 en total), este diseño reduce el recuento a 2 juntas por segmento.
   • Para compensar la reducción en el número de juntas manteniendo el espacio de trabajo, el diseño aumenta el ángulo de flexión máximo por junta de $\pm 40^\circ$ a $\pm 70^\circ$.
   • Las juntas de cuaternión se modelan utilizando parámetros de Denavit-Hartenberg (DH) adaptados para mecanismos de junta universal, con aproximaciones polinómicas para la dirección de flexión ($\phi$) y el ángulo ($\theta$).

2. Estrategias de Control:

   • Implementación de FABRIK: Se implementó un modelo base de controlador. El estado del manipulador se convierte en un modelo equivalente virtual utilizando vectores posicionales y direccionales. El algoritmo realiza iteraciones internas (resolviendo 5 DOF mediante alcance hacia adelante y hacia atrás) e iteraciones externas (resolviendo el último grado de libertad de rotación o roll) para converger en una pose objetivo.
   • Aprendizaje por Refuerzo Residual (RRL): Para manejar las no linealidades y los errores de modelado, se desarrolló un enfoque de Aprendizaje por Refuerzo Residual.
     • Controlador Base: Un modelo directo profundo (deep Forward Model, basado en redes neuronales) combinado con un resolvedor de Cinemática Inversa (IK) genera un comando nominal de longitud de cable.
     • Política Residual: Un agente de RL (entrenado mediante Optimización de Política Próxima o PPO en el marco de trabajo Brax) aprende una acción de corrección "residual" para añadir al comando base.
     • Arquitectura de Entrenamiento: El sistema utiliza una configuración actor-crítico asimétrica. El Actor observa solo los datos disponibles en el mundo real (historial de sensores, pose objetivo, comando base), mientras que el Crítico (utilizado solo en simulación) tiene acceso a información privilegiada (longitudes de tendón reales, velocidades y errores de verdad de terreno).
     • Simulación-a-Realidad: Se aplicó una Extensa Aleatorización de Dominio (DR) a la amortiguación, fricción e inercia de los cables para cerrar la brecha entre simulación y realidad.

Contribuciones Clave

• Configuración Novedosa: El diseño e implementación de un manipulador de cuaternión de 4 segmentos y 8 juntas que logra un espacio de trabajo comparable al de los diseños de 12 juntas, pero con una complejidad de hardware y costos reducidos.
• Modelado Matemático: Un modelo cinemático completo para la junta de cuaternión y el manipulador multisegmento, incluyendo la derivación de modelos de vectores equivalentes para FABRIK.
• Marco de Control: Una descripción exhaustiva tanto del control FABRIK como de una implementación de Aprendizaje por Refuerzo Residual para este hardware específico.
• Validación Experimental: Evaluación comparativa de los dos métodos de control tanto en prototipos simulados (MuJoCo) como físicos.

Resultados

• Espacio de Trabajo: Al aumentar el ángulo de flexión de la junta a $70^\circ$, el diseño de 8 juntas logró con éxito un espacio de trabajo comparable al de la línea base de 12 juntas, validando la compensación entre el número de juntas y el rango angular.
• Desempeño de FABRIK: El algoritmo FABRIK alcanzó una tasa de éxito del 70.4% con un tiempo de computación promedio de 0.0221s. Aunque es rápido, mostró limitaciones en robustez en comparación con los métodos basados en aprendizaje.
• Desempeño de RRL: El artículo reporta que el enfoque de Aprendizaje por Refuerzo Residual supera a FABRIK por tres órdenes de magnitud en precisión posicional y orientacional.
  • Nota sobre la Convergencia: Los autores establecen explícitamente que, aunque la arquitectura RRL es funcional y aprende de forma monótona, la política específica entrenada en este estudio (50 millones de pasos) no llegó a converger totalmente a un estado listo para despliegue dentro del presupuesto experimental. La política residual entrenada redujo el error de posición medio en un 32% en relación con una política aleatoria, pero siguió siendo inferior al controlador base evaluado desde el reposo. Los autores atribuyen esto a la alta complejidad de muestreo de PPO de acción continua en la dinámica de cables rígidos y a la exigente distribución de evaluación.
• Desviación Cinemática: El análisis reveló que, si bien el modelo de la junta es ideal a ángulos bajos, operar a $\pm 70^\circ$ introduce desviaciones cinemáticas sistemáticas y predecibles (desviación elíptica de las trayectorias circulares ideales), las cuales el marco de RRL está diseñado para compensar.

Significación y Reivindicaciones
El artículo afirma que la configuración propuesta de 4 segmentos y 8 juntas ofrece una solución más efectiva en términos de espacio de trabajo y costo que los diseños anteriores. Demuestra que el Aprendizaje por Refuerzo Residual es un método viable y superior para controlar tales manipuladores, capaz de compensar las no linealidades y las discrepancias de fabricación que afectan a los controladores basados en modelos como FABRIK.

Los autores posicionan su trabajo como una herramienta para que los diseñadores desarrollen esta clase de manipuladores. Enfatizan que, si bien el diseño mecánico y los resultados del controlador base son robustos, el pleno potencial del componente RRL requiere más recursos computacionales y un ajuste de recompensas para alcanzar los niveles de precisión demostrados por el controlador base de forma aislada. El trabajo sirve como una prueba de concepto de que la infraestructura de entrenamiento residual opera correctamente y de que los métodos basados en el aprendizaje son necesarios para compensar las no linealidades mecánicas del mundo real en sistemas de alta precisión impulsados por cables.