Resumen Técnico: Aceleración y Escalamiento de el Aprendizaje por Refuerzo Guiado por MPC para la Locomoción y Manipulación de Humanoides

1. Planteamiento del Problema

El control de movimiento de humanoides enfrenta una dicotomía entre el Control de Modelo Predictivo (MPC) y el Aprendizaje por Refuerzo (RL). El MPC ofrece una predicción fundamentada en la física y un manejo explícito de restricciones, pero suele tener dificultades con la computación en tiempo real y la robustez ante desajustes del modelo. Por el contrario, el RL permite habilidades de cuerpo completo ágiles y robustas mediante simulaciones a gran escala, pero a menudo carece de la estructura física y las capacidades de planificación de largo horizonte inherentes al MPC.

Aunque existen enfoques híbridos, integrar el MPC dentro del bucle de entrenamiento de RL presenta desafíos significativos:

• Sobrecarga Computacional: Resolver problemas de MPC repetidamente durante el entrenamiento es lento.
• Cuellos de Botella de Escalabilidad: Los solvers de MPC actuales basados en GPU suelen paralelizar a través de entornos, pero fallan al paralelizar eficazmente a través del horizonte de predicción, dejando las recursiones secuenciales como un cuello de botella.
• Costos de Memoria y Compilación: Las formulaciones tradicionales de Programación Cuadrática (QP) dispersas para MPC requieren una construcción de problemas y una compilación simbólica que consumen mucho tiempo, lo que conduce a un uso de VRAM que escala pobremente con el tamaño del problema.
• Alcance Limitado: La mayoría de los marcos híbridos existentes se centran principalmente en la locomoción, dejando la loco-manipulación (locomoción y manipulación de objetos simultáneas) poco explorada, a pesar del alto valor de los modelos físicos en estas tareas.

2. Metodología

El marco propuesto, MPC-RL, desacopla las funciones de MPC y RL: el MPC actúa como una guía durante el tiempo de entrenamiento para generar recompensas estructuradas, mientras que la política aprendida opera sin MPC en el momento del despliegue.

A. Guía de MPC de Dinámica Centroidal (CD-MPC)

En lugar de usar el MPC para el control directo, el sistema utiliza un modelo de Dinámica Centroidal (CD) para generar referencias predictivas para el agente de RL.

• Modelo: El CD-MPC rastrea el Centro de Masa (CoM), el momento lineal centroidal ($l_G$) y el momento angular centroidal ($k_G$). Maneja la dinámica variante en el tiempo incorporando conjuntos de contacto activos (pies para locomoción; pies y manos para loco-manipulación).
• Extracción de Hitos (Landmarks): En lugar de forzar a la política a rastrear el siguiente paso inmediato del MPC (lo que descarta la estructura de largo horizonte), el sistema extrae un conjunto de hitos predictivos de la trayectoria completa del MPC en intervalos de tiempo específicos ($\delta_\ell$).
• Ponderación de Confianza de Predicción: La función de recompensa compara el CoM realizado contra estos hitos. Se aplica un esquema de ponderación monótona del horizonte ($\alpha_0 > \alpha_1 > \dots$), ponderando fuertemente los hitos cercanos al horizonte (que son más fiables) y disminuyendo el peso de los hitos lejanos (que están sujetos a desajustes del modelo y errores de integración). Esto crea una señal de recompensa acotada que fusiona la guía de largo horizonte con un seguimiento cercano y preciso.

B. $\pi$nMPC: Un Solver de Ejecución Paralela en el Horizonte y Libre de Construcción

Para hacer que el CD-MPC sea viable para el entrenamiento de RL masivamente paralelo, los autores introducen $\pi$nMPC, un solver de GPU por lotes (batched).

• Arquitectura: Extiende la estructura de ADMM paralela en el horizonte de trabajos previos ($\pi$MPC) para manejar la dinámica variante en el tiempo (esencial para robots con secuencias de contacto cambiantes).
• Innovaciones Clave:
  1. MPC de Formato de Velocidad: El solver optimiza sobre incrementos de entrada en lugar de entradas absolutas, elevando el estado para incluir entradas previas.
  2. División de Variables: Un esquema de división novedoso introduce variables auxiliares para desacoplar la dinámica de las restricciones. Esto permite que las actualizaciones de ADMM se ejecuten en paralelo a través de todo el horizonte de predicción en la GPU, en lugar de secuencialmente.
  3. Libre de Construcción (Construction-Free): El solver opera directamente sobre matrices de estado variantes en el tiempo ($A_k, B_k, e_k$) sin ensamblar una QP dispersa ni requerir generación de código simbólico/compilación en cada paso. Esto reduce significamente el uso de VRAM y elimina los retrasos de pre-compilación.
• Implementación: Realizado tanto en PyTorch como en JAX, soportando tamaños de lote masivos (hasta 4096 entornos) y horizontes largos (hasta $N=400$).

C. Entrenamiento y Despliegue

• Algoritmo: Se utiliza la Optimización de Política Próxima (PPO) con una arquitectura de actor-crítico asimétrica.
• Observaciones: El actor (desplegado en hardware) recibe solo propiocepción y comandos. El crítico (solo para entrenamiento) cuenta con el privilegio de las referencias de CoM y momento angular predichas por el MPC.
• Recompensas: La recompensa total combina la regularización estándar (límites articulares, despeje de pies) con los términos de guía de hitos del MPC (CoM, velocidad, momento angular, colocación de pies y fuerzas de reacción del suelo).

3. Contribuciones Clave

1. Formulación de Recompensa de MPC Estructurada: Un mecanismo de recompensa novedoso utilizando la ponderación de confianza de predicción para extraer guía de movimiento y dinámica de largo horizonte de las trayectorias de MPC de dinámica centroidal, validado mediante estudios de ablación sobre la longitud del horizonte y las tasas de actualización.
2. Solver $\pi$nMPC: Un solver de MPC por lotes en GPU, libre de construcción y eficiente en memoria, que logra la ejecución paralela en el horizonte para dinámicas variantes en el tiempo, superando los cuellos de botella de escalabilidad de los solvers de QP existentes.
3. Extensión a la Loco-Manipulación: La primera demostración de RL guiado por MPC para la loco-manipulación de humanoides, transferida con éxito al hardware para empujar cargas pesadas (hasta 290 kg).

4. Resultados

A. Escalabilidad del Solver

• Rendimiento: $\pi$nMPC escala favorablemente en GPUs en comparación con solvers de última generación (Consensus ADMM, qpth, qpax, CusADi).
• Eficiencia: A diferencia de CusADi, que requiere horas de compilación simbólica y alta RAM, $\pi$nMPC opera sin compilación. Sigue siendo factible para horizontes largos ($N=400$) y tamaños de lote grandes donde otros solvers se quedan sin VRAM o se vuelven prohibitivamente lentos.
• Implementación: La variante de JAX es computacionalmente más rápida, mientras que la variante de PyTorch ofrece un menor uso de memoria durante el entrenamiento de RL.

B. Locomoción de Humanoides

• Seguimiento de Velocidad: MPC-RL supera consistentemente al RL Puro en el seguimiento de la velocidad de traslación, incluyendo comandos fuera de la distribución (out-of-distribution).
• Recuperación de Empujes: El marco demuestra una robustez superior, recuperándose de empujes de hasta 450 N (dependiendo de la configuración), significativamente mayor que la línea base de RL Puro (300 N).
• Hiperparámetros: Un horizonte de $N=10$ (aprox. 0.7s, un ciclo de marcha) con una tasa de actualización de 10 Hz arrojó el mejor equilibrio entre rendimiento y eficiencia de entrenamiento. Horizontes más largos no produjeron mejoras monotónicas.
• Diseño de Recompensa: El esquema de ponderación de hitos "atenuado" (tapered) superó a los diseños de "siguiente paso" y "promedio" tanto en precisión de seguimiento como en recuperación de empujes.

C. Loco-Manipulación

• Validación en Hardware: La política fue desplegada en el robot Westwood Robotics Themis V2.
• Capacidad: El robot logró empujar un carro con una carga útil de 290 kg (639 lbs), lo que representa el 829% de la masa corporal del robot.
• Comparación: En simulación, la política guiada por MPC logró un mejor seguimiento de velocidad y capacidad de empuje comparado con el RL Puro, el cual a menudo se estancaba. Las recompensas estructuradas de MPC proporcionaron la guía física necesaria para la interacción de fuerza que el RL puro luchaba por descubrir mediante la exploración por sí solo.

5. Significado y Reivindicaciones

El artículo afirma que la optimización predictiva puede servir como una herramienta de entrenamiento práctica y una fuente de estructura física para aprender comportamientos de humanoides con una eficiencia de entrenamiento competitiva.

• Practicidad: El marco evita la necesidad de un MPC en tiempo real durante el despliegue, confiando en una política aprendida que es robusta a las perturbaciones (ej. pesos desconocidos, empujes).
• Eficiencia: Al introducir $\pi$nMPC, los autores demuestran que la guía de MPC de largo horizonte es computacionalmente factible dentro del paralelismo masivo del entrenamiento de RL moderno, eliminando la barrera de la "construcción de problemas lenta".
• Generalización: El éxito en la loco-manipulación sugiere que la guía de MPC no se limita a la locomoción, sino que es crítica para tareas que requieren interacciones de fuerza complejas y consistencia dinámica.

Limitaciones y Trabajo Futuro:
Los autores reconocen que el enfoque actual depende de dinámicas centroidales de orden reducido con esquemas de contacto prescritos. El trabajo futuro apunta a extender el marco a modos de contacto más ricos usando MPC no lineal e investigar solvers aumentados por redes neuronales para una guía aún más eficiente durante el tiempo de entrenamiento.