Multi-Gait Learning for Humanoid Robots Using Reinforcement Learning with Selective Adversarial Motion Prior

Título: Aprendizaje Multi-Paso para Robots Humanoides Mediante Aprendizaje por Refuerzo con Prioridad de Movimiento Adversarial Selectiva

1. Planteamiento del Problema

El desarrollo de robots humanoides capaces de operar en entornos diseñados para humanos requiere la capacidad de ejecutar múltiples comportamientos de locomoción de forma adaptativa (caminar, correr, saltar, subir escaleras, etc.). El desafío central radica en que cada marcha impone requisitos de control fundamentalmente diferentes:

• Marchas estables y periódicas: (Caminar, paso militar, subir escaleras) requieren eficiencia energética, equilibrio constante y precisión en la colocación de los pies.
• Marchas dinámicas y explosivas: (Correr, saltar) demandan generación rápida de fuerza, gestión de la fase aérea e impulsos verticales máximos.

Aprender estas habilidades dentro de un marco unificado de Aprendizaje por Refuerzo (RL) es difícil debido a las contradicciones entre la estabilidad y la expresividad dinámica. Las soluciones actuales suelen entrenar políticas separadas para cada tarea con recompensas y arquitecturas distintas, lo que impide la escalabilidad. Además, el uso uniforme de Prioridades de Movimiento Adversariales (AMP) —una técnica que regulariza la política hacia movimientos de referencia humanos— puede ser contraproducente: mientras estabiliza marchas periódicas, puede restringir excesivamente la exploración necesaria para movimientos dinámicos extremos.

2. Metodología

Los autores proponen un marco unificado de RL que aprende cinco marchas distintas utilizando una arquitectura de política, espacio de acción y formulación de recompensas consistentes. La innovación principal es una estrategia de AMP Selectiva.

• Formulación Unificada de RL:

  • Espacio de Observación: Todas las marchas comparten el mismo vector de observación (50 dimensiones por frame, con un historial de 21 frames). Incluye velocidades del cuerpo, comandos, codificación de fase sinusoidal, gravedad proyectada, errores de posición y velocidad de las articulaciones.
  • Espacio de Acción: Vector de 12 dimensiones (offsets de posición para 12 grados de libertad actuados). Se utiliza un controlador PD de bajo nivel.
  • Recompensas: Una función de recompensa unificada basada en el seguimiento de trayectorias de referencia sinusoidales (o por tramos para saltos). La diversidad de marchas se logra ajustando los parámetros de la referencia, los pesos de las recompensas y términos específicos de la marcha (ej. altura de salto, extensión de pierna), sin cambiar la estructura del algoritmo.

• Estrategia de AMP Selectiva (Contribución Clave):

  • Principio: La efectividad del AMP depende de la naturaleza de la marcha.
  • Aplicación (AMP Activado): Se utiliza para marchas periódicas y críticas para la estabilidad (caminar, paso militar, subir escaleras). Aquí, el AMP acelera la convergencia, suprime comportamientos erráticos y mejora la consistencia de la colocación de los pies al regularizar la política hacia distribuciones de movimiento humano.
  • Omisión (AMP Desactivado): Se elimina para marchas altamente dinámicas (correr, saltar). En estos casos, las referencias humanas disponibles son limitadas y la regularización del AMP impediría que el agente explore los extremos de movimiento necesarios (amplitud articular grande, aceleración explosiva) para lograr velocidad o altura de salto.

• Transferencia Simulación-Realidad (Sim-to-Real):

  • Entrenamiento en Isaac Gym con 4096 entornos paralelos utilizando el algoritmo PPO.
  • Randomización de Dominio Extrema: Se aleatorizan fricción, masa, inercia, ganancias del controlador PD, retrasos de acción y perturbaciones externas para garantizar robustez.
  • Despliegue: Transferencia "zero-shot" (sin ajuste fino) a un robot humanoide físico de 12 DOF (plataforma Lite 11).

3. Contribuciones Clave

1. Marco Unificado de RL: Un solo sistema que aprende cinco marchas prácticas (caminar, paso militar, correr, saltar, subir escaleras) compartiendo arquitectura de red, espacio de observación y estructura de recompensas.
2. Estrategia de AMP Selectiva: Demostración empírica de que el AMP debe activarse o desactivarse dinámicamente según la marcha. Mejora la precisión y estabilidad en marchas periódicas sin sacrificar la agilidad en marchas dinámicas.
3. Validación en Robot Real: Despliegue exitoso de las cinco políticas en un hardware físico con transferencia cero-shot, proporcionando una línea base reproducible para el aprendizaje multi-marcha.

4. Resultados

Los experimentos cuantitativos y cualitativos en el robot físico demuestran:

• Rendimiento General: El marco unificado logra generar patrones de movimiento claramente diferenciados para las cinco marchas, desde la locomoción periódica estable hasta el movimiento explosivo.
• Comparación AMP vs. No-AMP:
  • En paso militar (goose-stepping) y caminar, el uso de AMP resultó en una convergencia más rápida, menor error de seguimiento y una tasa de éxito del 97% y 95% respectivamente. El AMP reforzó la estructura periódica y la consistencia del estilo.
  • En correr y saltar, la ausencia de AMP permitió al agente descubrir estrategias de alta velocidad y gran amplitud. El uso de AMP en estas tareas habría limitado la amplitud del movimiento, resultando en patrones de "caminata rápida" en lugar de correr o saltar genuinos.
• Robustez: Las políticas desplegadas mostraron continuidad a largo plazo, consistencia en ensayos repetidos y capacidad de recuperación ante perturbaciones externas leves y transiciones de inicio/parada.

5. Significado e Impacto

Este trabajo aborda una brecha crítica en la robótica humanoides: la necesidad de un marco de control unificado que pueda manejar la diversidad de comportamientos locomotores sin requerir diseños de controladores manuales específicos para cada tarea.

• Paradigma de Diseño: Introduce la idea de que las técnicas de regularización (como AMP) no deben aplicarse ciegamente, sino que deben adaptarse a las características dinámicas de la tarea.
• Viabilidad Práctica: Demuestra que es posible entrenar un "cerebro" único para múltiples comportamientos complejos en simulación y transferirlo directamente a un robot físico sin ajuste, lo cual es un paso fundamental hacia la autonomía real de los humanoides en entornos no estructurados.
• Eficiencia: Reduce la necesidad de hiperparámetros y arquitecturas específicas por tarea, simplificando el pipeline de desarrollo de habilidades robóticas.