No More Marching: Learning Humanoid Locomotion for Short-Range SE(2) Targets

Resumen Técnico: No More Marching

1. Planteamiento del Problema

Los robots humanoides operan en entornos reales donde deben ejecutar frecuentemente movimientos cortos y orientados a tareas hacia poses objetivo específicas en el espacio SE(2) (posición $x, y$ y orientación $\theta$).

• El Desafío: Los métodos de locomoción existentes, basados en aprendizaje por refuerzo (RL), suelen optimizar el seguimiento de velocidad para distancias largas. Cuando se aplican a tareas de corto alcance, estos métodos generan comportamientos ineficientes y antinaturales, descritos como "estilo de marcha" (marching-style), donde el robot primero gira sobre su eje y luego camina, o viceversa.
• La Necesidad: Se requiere un controlador que optimice directamente el alcance de la pose objetivo (posición + orientación) de manera rápida, robusta y eficiente energéticamente, evitando la separación rígida entre rotación y traslación.

2. Metodología

Los autores proponen un enfoque de Aprendizaje por Refuerzo (RL) de extremo a extremo para entrenar un controlador llamado GoTo, diseñado específicamente para tareas de navegación punto a punto en SE(2).

A. Función de Recompensa Constelación (Constellation Reward)
El núcleo de la innovación es una nueva función de recompensa que evita la necesidad de sintonizar manualmente los pesos relativos entre la posición y la orientación.

• Concepto: Se define una "constelación" virtual de puntos rígidos unidos a la base del robot. Se calcula la distancia cuadrática media entre esta constelación actual y la constelación objetivo (transformada según la pose deseada).
• Ventaja Geométrica: Esta métrica acopla naturalmente la traslación y la rotación. La relación de compromiso entre precisión posicional y angular está gobernada por el momento de inercia de la constelación elegida, en lugar de parámetros de peso arbitrarios.
• Fórmula: La recompensa se calcula como una transformación exponencial negativa de la distancia de la constelación ($r_{con} = e^{-w_c d_{con}}$), lo que genera un acoplamiento multiplicativo que fomenta la reducción coordinada de ambos errores.

B. Arquitectura y Entrenamiento

• Red Neuronal: Se utiliza una red LSTM de dos capas (128, 128) que toma como entrada el estado propioceptivo del robot y la diferencia delta entre la pose actual y la objetivo ($\Delta x, \Delta y, \Delta \theta$).
• Algoritmo: Entrenamiento mediante PPO (Proximal Policy Optimization) con una pérdida de espejo para fomentar simetría.
• Simulación: Se utiliza el simulador NVIDIA IsaacLab con el robot Agility Digit v3.
• Randomización de Dominio: Se aplican perturbaciones masivas en rigidez de articulaciones, masas, ruido de sensores, retrasos de torque y coeficientes de fricción para garantizar la transferencia a la realidad (Sim-to-Real).

3. Contribuciones Clave

1. Enfoque de RL de Extremo a Extremo: Un controlador que mapea directamente las poses objetivo SE(2) a comandos de actuadores, eliminando la necesidad de planificadores de pasos explícitos o controladores de velocidad intermedios.
2. Recompensa Constelación: Una función de recompensa geométrica unificada que resuelve la ambigüedad entre rotar y avanzar, permitiendo un control intuitivo mediante la geometría de los puntos de referencia.
3. Marco de Evaluación Riguroso: Introducción de un conjunto de métricas estandarizadas para locomoción SE(2): error de posición, error de orientación, tiempo hasta el objetivo, conteo de pasos y eficiencia energética.
4. Validación Sim-to-Real: Demostración exitosa de la transferencia del controlador entrenado en simulación al hardware físico Digit v3 sin necesidad de ajuste fino adicional.

4. Resultados

El controlador GoTo se comparó contra tres líneas base:

• Una Máquina de Estados Finitos (FSM) con estrategia "orientar-luego-mover".
• Controladores basados en modelos del fabricante (Agility-2 y Agility-3).
• Un controlador jerárquico (política de alto nivel sobre un controlador de velocidad pre-entrenado).

Hallazgos Cuantitativos (Simulación):

• Eficiencia Energética: GoTo consumió un 37% menos de energía que el mejor controlador de referencia (Agility-2).
• Tiempo: Redujo el tiempo para alcanzar el objetivo en un 44%.
• Pasos: Disminuyó el número de pasos en un 33%.
• Precisión: Logró una precisión de orientación un 58% mejor y una precisión de posición un 40% mejor.
• Comportamiento: A diferencia de las líneas base que muestran fases discretas (girar, luego caminar), GoTo genera movimientos fluidos donde la rotación y la traslación ocurren simultáneamente de manera orgánica.

Hallazgos en el Mundo Real (Hardware Digit v3):

• Se logró una tasa de éxito del 90.23% en 72 tareas de navegación de corto alcance.
• Las métricas de rendimiento en el mundo real siguieron las mismas tendencias que en la simulación, confirmando la robustez del método frente al ruido de sensores y dinámicas no modeladas.

5. Significado e Impacto

Este trabajo demuestra que el diseño específico de funciones de recompensa es crucial para la locomoción práctica de humanoides.

• Superación del "Estilo de Marcha": El método elimina los comportamientos rígidos y antinaturales típicos de los controladores de velocidad aplicados a tareas cortas.
• Eficiencia Operativa: Al reducir el consumo de energía y el número de pasos, se extiende la autonomía de los robots en entornos de trabajo reales.
• Viabilidad de Despliegue: La transferencia exitosa a hardware real sin ajuste fino sugiere que este enfoque es inmediatamente aplicable en escenarios de robótica de servicio y logística, donde la precisión y la agilidad en espacios confinados son críticas.

En conclusión, el artículo establece un nuevo estándar para la locomoción de corto alcance en humanoides, priorizando la optimización directa de la pose objetivo sobre el seguimiento de velocidad, logrando comportamientos más naturales, eficientes y robustos.