Learning Reactive Dexterous Grasping via Hierarchical Task-Space RL Planning and Joint-Space QP Control

Resumen Técnico: Aprendizaje de Agarre Dextro Reactivo Mediante Planificación RL Jerárquica en Espacio de Tareas y Control QP en Espacio Articular

Planteamiento del Problema
El agarre dextro reactivo con manos de múltiples grados de libertad (DoF) sigue siendo un desafío significativo debido a las dinámicas híbridas, los modos de contacto discontinuos y las complejas interacciones de fricción. Las tuberías secuenciales tradicionales (síntesis de agarre, planificación de movimiento, seguimiento de trayectorias) luchan en entornos dinámicos y no estructurados debido a la sobrecarga computacional y la reactividad limitada. Si bien el Aprendizaje por Refuerzo (RL) ofrece una alternativa sin modelo, los enfoques monolíticos de extremo a extremo enfrentan tres limitaciones críticas: (1) un entrenamiento computacionalmente costoso que escala mal con la diversidad de objetos; (2) un comportamiento impredecible que carece de garantías formales de seguridad; y (3) una baja capacidad de dirección, lo que dificulta la adaptación a nuevos obstáculos o restricciones de seguridad sin reentrenamiento. Los autores argumentan que estos problemas se derivan de colocar una carga de aprendizaje excesiva en una sola política, obligándola a resolver simultáneamente el razonamiento de tareas de alto nivel, la coordinación cinemática de bajo nivel y el cumplimiento de restricciones de seguridad.

Metodología
El artículo propone un marco de control jerárquico híbrido que desacopla explícitamente la intención espacial de alto nivel de la ejecución articular de bajo nivel. La arquitectura consta de dos capas distintas:

1. Planificador RL Multiagente de Alto Nivel (Espacio de Tareas):

   • Inspirado en el control motor humano, el planificador se descompone en dos agentes especializados entrenados dentro de un marco de Entrenamiento Centralizado con Ejecución Descentralizada (CTDE):
     • Agente del Brazo ($\pi_{arm}$): Responsable del transporte global, generando un giro deseado de la palma (velocidades lineales y angulares) en el marco del mundo.
     • Agente de la Mano ($\pi_{hand}$): Responsable de la manipulación local, generando velocidades lineales deseadas para las yemas de los dedos relativas al marco de la palma.
   • Observaciones: Los agentes utilizan estados propioceptivos y estados del objeto representados por una Caja Limitante de Volumen Mínimo (MVBB), evitando la necesidad de mallas 3D explícitas o posturas de agarre precalculadas.
   • Recompensas: El sistema emplea un indicador de agarre compartido y recompensas de elevación en el espacio de tareas para fomentar la colaboración, junto con regularización para la suavidad de las acciones.

2. Controlador QP Restringido en Espacio Articular de Bajo Nivel:

   • Los comandos de velocidad en el espacio de tareas de alto nivel son procesados por un solucionador de Programación Cuadrática (QP) paralelizado en GPU.
   • El QP mapea las velocidades en el espacio de tareas a velocidades articulares factibles ($\dot{q}_{des}$) minimizando el error de seguimiento sujeto a restricciones estrictas:
     • Límites de posición y velocidad articular.
     • Evitación de colisiones (robot-entorno y autocolisión).
     • Factibilidad cinemática.
   • La salida del QP se convierte en comandos de torque mediante un controlador PD de alta frecuencia.
   • Crucialmente, el solucionador QP se incrusta directamente en el bucle de entrenamiento de RL, asegurando que la política aprenda a operar dentro de las restricciones físicas del controlador en lugar de aprender a evitarlas mediante la configuración de recompensas.

Contribuciones Clave

1. Arquitectura Jerárquica Híbrida: Un marco que combina RL con un controlador basado en física explícito, permitiendo un aprendizaje eficiente en datos, el manejo explícito de restricciones y un comportamiento direccible.
2. Descomposición Multiagente: Demostración de que separar la política en agentes de transporte de palma (brazo) y manipulación de dedos (mano) produce un rendimiento superior y una convergencia más rápida que las políticas monolíticas, particularmente para manos de alto DoF.
3. Solucionador QP Paralelizado en GPU: El desarrollo y la publicación de código abierto de un solucionador QP paralelizado en GPU integrado directamente en la tubería de entrenamiento de RL, aplicable a diversas tareas de manipulación brazo-mano.
4. Transferibilidad Zero-Shot: Validación de un agarre robusto en diversos objetos sin modelos de objetos explícitos ni posturas precalculadas, logrando una transferencia simulación-real exitosa.

Resultados Experimentales
El marco se validó mediante simulaciones extensas y experimentos con hardware del mundo real utilizando un brazo de 7 DoF equipado con una mano antropomórfica de 20 DoF (ROBOTIS HX5-D20) y una pinza de 2 dedos de 8 DoF.

• Rendimiento en Simulación: El enfoque Multiagente logró una tasa de éxito del 81.4% en la mano de 5 dedos, superando significativamente a las líneas base de extremo a extremo (13.2%) y a las líneas base jerárquicas de agente único (80.9%). También demostró una precisión superior en el seguimiento de posturas (error de posición de 4.2 cm, error de orientación de 15.9°) en comparación con otras arquitecturas.
• Transferencia Simulación-Real: La política, entrenada puramente en simulación, se desplegó en hardware físico sin ajuste fino. Agarró y levantó con éxito 22 de 26 objetos no vistos, incluyendo artículos deformables.
• Robustez Reactiva: Los experimentos con hardware demostraron la capacidad del sistema para recuperarse de perturbaciones físicas inesperadas (por ejemplo, una botella de spray empujada hacia afuera durante el acercamiento) y volver a agarrar objetos deformables desplazados (un oso perezoso de juguete) recalculando continuamente las trayectorias en el espacio de tareas.
• Direccibilidad: El marco soporta direccibilidad zero-shot. Los operadores pueden ajustar dinámicamente los márgenes de seguridad (por ejemplo, límites de velocidad articular) o agregar campos potenciales repulsivos para la evitación de obstáculos sin reentrenar la política.

Significado y Afirmaciones
Los autores afirman que este aislamiento estructural de la toma de decisiones en el espacio de tareas frente a la ejecución de bajo nivel aborda las limitaciones centrales de los enfoques de RL puro. Al permitir que el QP basado en física maneje restricciones tratables (cinemática, seguridad), la política de RL queda liberada para centrarse exclusivamente en el razonamiento estratégico de alto nivel. Este diseño:

• Acelera la convergencia del entrenamiento al reducir la carga de aprendizaje y evitar señales de recompensa conflictivas.
• Garantiza la seguridad del hardware mediante la aplicación determinista de restricciones en lugar de la configuración probabilística de recompensas.
• Desbloquea la direccibilidad zero-shot, permitiendo el ajuste dinámico de márgenes de seguridad y estrategias de evitación de obstáculos después del entrenamiento.
• Demuestra robustez en entornos no estructurados, capaz de reaccionar a perturbaciones físicas y generalizar a geometrías de objetos no vistas utilizando únicamente información espacial gruesa (MVBB).

El artículo concluye que este enfoque híbrido cierra la brecha entre la adaptabilidad de los métodos basados en aprendizaje y las garantías de seguridad del control basado en modelos, proporcionando una solución escalable para la manipulación dextro reactiva.