Resumen Técnico: Evaluación Comparativa de los Espacios de Acción en el Aprendizaje por Refuerzo para la Manipulación Robótica Basada en Visión

Declaración del Problema

El aprendizaje por refuerzo (RL) ha emergido como un marco poderoso para el control robótico, sin embargo, su aplicación práctica en la manipulación del mundo real enfrenta obstáculos significativos relacionados con la seguridad, la suavidad del movimiento y el rendimiento de la transferencia de simulación a realidad (sim-to-real). Una elección de diseño crítica, aunque insuficientemente explorada, en las formulaciones de RL es el espacio de acción. Aunque estudios previos han investigado representaciones de espacios de acción (por ejemplo, posición de la articulación, par motor, velocidad), estos se han basado mayoritariamente en observaciones basadas en el estado dentro de entornos exclusivamente de simulación. Esto deja un vacío en la comprensión de cómo el diseño del espacio de acción impacta la dinámica de aprendizaje y el rendimiento de la transferencia cuando se utilizan observaciones basadas en visión (que introducen observabilidad parcial y ruido perceptual), particularmente en tareas de contacto rico como recoger y empujar.

Metodología

Los autores realizaron un estudio comparativo exhaustivo comparando cuatro representaciones comunes de espacios de acción a través de dos tareas de manipulación basadas en visión en un brazo robótico Franka Emika Panda:

1. PandaPickCuboid: Una tarea preensil que requiere que el robot alcance, agarre y levante un cubo rojo hasta una altura objetivo.
2. PandaPushCuboid: Una tarea no preensil que requiere que el robot empuje un cubo a través de una superficie.

Espacios de Acción Evaluados

El estudio comparó las siguientes representaciones:

• Incremento de Pose ($\delta x$): Incrementos de posición cartesiana y orientación.
• Velocidad de Pose ($\dot{x}$): Comandos de velocidad cartesiana.
• Incremento de Posición de la Articulación ($\delta q$): Incrementos en los ángulos de las articulaciones.
• Velocidad de la Articulación ($v$): Velocidades objetivo de las articulaciones.

Arquitectura del Sistema

• Algoritmo: Las políticas fueron entrenadas utilizando Proximal Policy Optimization (PPO), elegido por su compatibilidad con entradas visuales de alta dimensión y su efectividad demostrada en la transferencia sim-to-real.
• Simulación: El entrenamiento ocurrió en MuJoCo, utilizando aleatorización de dominio (perturbaciones visuales y dinámicas) para cerrar la brecha sim-to-real.
• Despliegue en el Mundo Real: Las políticas se desplegaron a través de la Interfaz Franka ROS. El sistema utilizó interfaces de actuación específicas:
  • Las acciones basadas en posición ($\delta x, \delta q$) se mapearon a objetivos de articulación mediante Cinemática Inversa (IK) y se ejecutaron utilizando un controlador de impedancia de articulación.
  • Las acciones basadas en velocidad ($\dot{x}, v$) se mapearon directamente a velocidades de articulación objetivo.
• Observaciones: El agente recibió una imagen RGB (64x64), datos propioceptivos (posiciones/velocidades de las articulaciones, estado del agarre), la altura del efector final y la acción previa.

Resultados Clave

1. Discrepancia entre Simulación y Mundo Real

En simulación, todos los espacios de acción lograron tasas de éxito comparables y elevadas (0.98–1.00) para la tarea de recogida. Sin embargo, este rendimiento no se tradujo linealmente al mundo real. La elección del espacio de acción alteró significativamente la robustez de la transferencia sim-to-real.

2. Rendimiento en PandaPickCuboid (Recogida)

• Velocidad de la Articulación ($v$): Logró una tasa de éxito del 100% con un tiempo de finalización mediana de 3.58s. Exhibió el menor jerk medido y evitó colisiones consistentemente.
• Incremento de Posición de la Articulación ($\delta q$): También logró una tasa de éxito del 100% con el tiempo mediano más rápido (2.12s). Sin embargo, el despliegue estable requirió un ajuste cuidadoso de las ganancias de impedancia para prevenir vibraciones.
• Incremento de Pose ($\delta x$): Funcionó deficientemente (41.67% de éxito). La política frecuentemente arrastró el objeto hacia la base del robot antes de levantarlo, un comportamiento no observado en simulación.
• Velocidad de Pose ($\dot{x}$): Falló completamente (0% de éxito), derivando a menudo hacia configuraciones inestables o saliendo del espacio de trabajo.

3. Rendimiento en PandaPushCuboid (Empuje)

• Velocidad de la Articulación ($v$): Logró el mayor desplazamiento mediano (0.405m) pero exhibió colisiones más fuertes con los bordes del objeto.
• Incremento de Posición de la Articulación ($\delta q$): Logró el segundo desplazamiento más alto (0.104m) pero demostró un comportamiento más complaciente con menos eventos de contacto forzados debido al controlador de impedancia ajustado.
• Acciones Cartesianas ($\delta x, \dot{x}$): Funcionaron deficientemente en términos de desplazamiento.

4. Análisis de Jerk y Seguridad

El estudio analizó el jerk (tasa de cambio de la aceleración) como un indicador de la suavidad del movimiento y la variación del par motor.

• La Velocidad de la Articulación produjo consistentemente el menor jerk tanto en simulación como en los ensayos del mundo real.
• Explicación: Los autores postulan que el control basado en posición (usando altas ganancias proporcionales $K_p$) amplifica las fluctuaciones de alta frecuencia en la salida de la política, lo que genera grandes variaciones de par y un alto jerk. En contraste, el control de velocidad actúa como un filtro de paso bajo; la integración de los comandos de velocidad para generar la posición suaviza naturalmente el ruido de alta frecuencia, resultando en trayectorias más suaves.
• Sensibilidad de la IK: Los espacios de acción cartesianos dependen de la Cinemática Inversa (IK). Las discrepancias en los parámetros de los eslabones entre la simulación y la realidad se propagan a través del mapeo de la IK, generando objetivos de articulación inexactos que los actuadores del mundo real luchan por seguir, especialmente cerca de las singularidades.

Contribuciones Clave y Significado

El artículo proporciona orientación práctica para los profesionales de RL al demostrar que la representación del espacio de acción es un factor crítico en la transferencia sim-to-real, particularmente para tareas basadas en visión.

• Superioridad de la Velocidad de la Articulación: Los autores concluyen que la velocidad de la articulación ofrece el mejor equilibrio de robustez, suavidad y rendimiento de la tarea para la recogida y el empuje basados en visión. Logró las tasas de éxito más altas y los movimientos más suaves sin requerir el complejo ajuste de impedancia necesario para los métodos basados en posición.
• Limitaciones de los Espacios Cartesianos: El estudio destaca que los espacios de acción cartesianos (incremento de pose/velocidad) son altamente sensibles a las discrepancias sim-to-real, particularmente respecto a los errores de mapeo de la IK y las capacidades de seguimiento de los actuadores.
• Seguridad y Cumplimiento: Si bien la velocidad de la articulación proporcionó el movimiento más suave, los autores señalan que las acciones basadas en posición (vía impedancia ajustada) ofrecieron un comportamiento más complaciente durante el contacto, reduciendo la severidad de las colisiones.

El trabajo subraya que, si bien el rendimiento en simulación es una línea base necesaria, es insuficiente para predecir el éxito en el mundo real. La elección del espacio de acción moldea fundamentalmente la dinámica de aprendizaje y la seguridad física de la política desplegada.