Rainbow Deep Q-Learning with Kinematics-Aware Design for Cooperative Delta and 3-RRS Parallel Robot Insertion

Resumen Técnico: Aprendizaje por Refuerzo Profundo Rainbow con Diseño Consciente de la Cinemática para la Inserción Cooperativa en Robots Paralelos Delta y 3-RRS

Enunciado del Problema
El artículo aborda el desafío de la manipulación cooperativa de tipo eje-agujero utilizando un par heterogéneo de robots paralelos: un manipulador Delta (que proporciona tres grados de libertad de traslación) y un manipulador 3-RRS (Rotatorio-Rotatorio-Esférico) (que proporciona dos grados de libertad rotacionales y uno de traslación vertical). La tarea requiere una sincronización precisa para insertar un eje en un agujero objetivo sobre una plataforma en forma de domo transportada por el 3-RRS. Los autores identifican tres desafíos principales: (1) la necesidad de una alineación temporal precisa de la traslación y la rotación bajo condiciones dinámicas; (2) el requisito de adaptación a poses relativas cambiantes sin reprogramación explícita; y (3) la necesidad de mantener un movimiento seguro dentro de un espacio de trabajo confinado mientras se respetan las restricciones cinemáticas, específicamente evitando singularidades y límites del espacio de trabajo, lo cual complica el control de los mecanismos paralelos.

Metodología
La solución propuesta es un marco de Aprendizaje por Refuerzo Profundo (DRL) "informado por la cinemática" que integra una etapa de optimización de diseño geométrico con una Red de Q Profunda Rainbow (DQN).

1. Etapa de Optimización Geométrica: Antes de comenzar el aprendizaje, se optimizan los parámetros geométricos del manipulador 3-RRS. Utilizando un método simplex libre de gradientes (Nelder–Mead), los autores maximizan el área del espacio de trabajo de orientación libre de singularidades y mejoran el número de condición del Jacobiano. Esta etapa amplía la región segura disponible para que el agente de aprendizaje por refuerzo explore, reduciendo la probabilidad de que los episodios terminen debido a violaciones cinemáticas.
2. Formulación del Proceso de Decisión de Markov (MDP): La tarea cooperativa se modela como un MDP de horizonte finito.
   • Espacio de Estados: Un vector de 12 dimensiones que comprende la pose cartesiana de la plataforma Delta, la orientación (rodadura/pitch) y la posición vertical de la plataforma 3-RRS, el desplazamiento relativo entre la punta del eje y el agujero objetivo, y el vector normal del agujero objetivo.
   • Espacio de Acciones: Un conjunto discreto de 12 acciones, compuesto por comandos incrementales positivos y negativos para cada uno de los 6 grados de libertad controlados (3 traslaciones para Delta, 2 rotaciones y 1 traslación vertical para 3-RRS).
   • Función de Recompensa: Una recompensa conformada combina una guía densa de proximidad (distancia al objetivo, progreso incremental), penalizaciones por violaciones del espacio de trabajo o de la cinemática inversa (IK), y bonificaciones dispersas por inserciones exitosas.
3. Algoritmo de Aprendizaje: Los autores emplean Rainbow DQN, que integra seis extensiones a la DQN estándar: Double Q-learning (para reducir el sesgo de sobreestimación), una arquitectura Dueling (estimación separada del valor de estado y la ventaja), Replay de Experiencia Priorizada (para eficiencia de muestreo), retornos multi-paso (propagación más rápida de recompensas), Capas Lineales Ruidosas (para exploración dependiente del estado sin programas $\epsilon$-greedy) y una Cabeza de Valor Distribuido.
4. Protocolo de Entrenamiento: Se utiliza un currículo de dos etapas. El agente entrena primero en un subconjunto de cuatro agujeros periféricos (Etapa C0) y avanza a los seis agujeros (Etapa C1) una vez que la tasa de éxito de media móvil supera el 75%.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Flujo de Trabajo de Co-Diseño Secuencial: Una metodología donde la geometría del 3-RRS se optimiza para maximizar el espacio de trabajo libre de singularidades y mejorar el acondicionamiento antes del entrenamiento DRL. Esto amplía la región de exploración segura para el par heterogéneo Delta + 3-RRS.
2. Formulación Específica de la Tarea con Rainbow DQN: Un marco unificado que presenta un estado de 12 dimensiones, un conjunto de acciones discretas de 12 comandos incrementales y una función de recompensa que incorpora explícitamente conocimiento cinemático (restricciones del espacio de trabajo y validez de IK) para un conformado denso.
3. Estudio de Simulación Exhaustivo: Un estudio de ablación que evalúa el impacto de los componentes individuales de Rainbow DQN y la etapa de optimización geométrica, comparado con una Vanilla DQN y un planificador clásico basado en muestreo (RRT-Connect).

Resultados
La validación se realizó en un simulador cinemático de alta fidelidad utilizando un entorno Python personalizado. Los resultados, promediados sobre 100 episodios de prueba con 5 semillas, demuestran:

• Superioridad de Rendimiento: El enfoque Rainbow DQN logró una tasa de éxito del 95% ± 2%, superando significativamente a la Vanilla DQN (68% ± 5%) y al planificador clásico RRT-Connect (55% ± 4%).
• Eficiencia: El método propuesto redujo el tiempo promedio de finalización a 7.1 segundos (vs. 9.8 s para Vanilla DQN y 12.4 s para el planificador) y logró un error de trayectoria RMS más bajo (1.5 mm).
• Hallazgos de Ablación:
  • Eliminar el Replay Priorizado o la Cabeza Dueling resultó en las caídas de rendimiento más significativas (las tasas de éxito descendieron al 82% y al 85%, respectivamente).
  • Se demostró que la etapa de Optimización Geométrica reduce el número de pasos del entorno necesarios para alcanzar el 75% de éxito en aproximadamente un tercio (de $11.2 \times 10^5$ a $7.6 \times 10^5$ pasos) y eliminó completamente las terminaciones relacionadas con singularidades durante el entrenamiento.
• Robustez: La política mantuvo una tasa de éxito del 88% cuando se sometió a ruido gaussiano (1% del rango de estado normalizado) durante las pruebas.

Significado y Afirmaciones
El artículo afirma que la integración de la optimización geométrica con DRL informado por la cinemática proporciona una solución robusta para la manipulación cooperativa en entornos restringidos y propensos a singularidades. Los autores afirman que la optimización geométrica previa al entrenamiento no es meramente un paso de diseño, sino un habilitador crítico que reduce la complejidad de muestreo y previene fallos de entrenamiento causados por singularidades cinemáticas.

El trabajo se posiciona como un paso hacia la síntesis de políticas adaptativas y basadas en datos para sistemas multi-robot, donde las tuberías de planificación explícitas luchan con la coordinación dinámica y las tolerancias ajustadas. Los autores señalan explícitamente limitaciones, incluida la dependencia de la simulación (falta de validación en hardware), el uso de un espacio de acciones discreto que puede limitar la suavidad de la trayectoria y la naturaleza centralizada del controlador. Identifican la validación en hardware, las extensiones de acción continua (por ejemplo, SAC, PPO) y las formulaciones descentralizadas multiagente como direcciones futuras necesarias.