Dynamic Policy Learning for Legged Robot with Simplified Model Pretraining and Model-Homotopy-Inspired Transfer

Resumen Técnico: Aprendizaje de Políticas Dinámicas para Robots con Piernas mediante Preentrenamiento de Modelo Simplificado y Transferencia Inspirada en la Homotopía de Modelos

Planteamiento del Problema
Generar movimientos altamente dinámicos para robots con piernas sigue siendo un desafío significativo debido a la compleja interacción entre el momento del cuerpo, la inercia de las piernas y las fuerzas de contacto. Aunque el Aprendizaje por Refuerzo (RL) ha mostrado resultados prometedores, el entrenamiento de políticas para comportamientos complejos suele requerir una extensa ingeniería de recompensas o demostraciones expertas de alta calidad, ambos procesos que consumen muchos recursos. Por el contrario, los enfoques que utilizan modelos de orden reducido (por ejemplo, modelos de Cuerpo Rígido Único o SRB) ofrecen un entrenamiento más rápido y un diseño de recompensa más sencillo, pero sufren de un "gap de modelo" al transferir las políticas a la dinámica de cuerpo completo. La transferencia directa suele derivar en inestabilidad, convergencia subóptima o un fallo completo al replicar los comportamientos aprendidos en el mundo real debido a las discrepancias en la dinámica, particularmente en lo que respecta a la inercia de las piernas y las interacciones de contacto.

Metodología
Los autores proponen un marco de aprendizaje basado en la continuación que cierra la brecha entre los modelos simplificados y la dinámica de cuerpo completo a través de dos etapas principales:

1. Preentrenamiento de Modelo Simplificado (Preentrenamiento SRB):
   La política se preentrena primero en un entorno idealizado utilizando un modelo de Cuerpo Rígido Único (SRB). En este modelo, el robot se aproxima como un cuerpo rígido flotante con piernas sin masa y contactos de punto ideales. Las entradas de control son Fuerzas de Reacción del Suelo (GRF) durante la fase de apoyo y objetivos de pie residuales durante la fase de oscilación. Esta etapa permite que la política aprenda eficientemente patrones de movimiento centrales (como el control del momento del cuerpo) sin la carga computacional y la inestabilidad de la dinámica de cuerpo completo. El entorno utiliza planes de contacto predefinidos y trayectorias nominales de oscilación (por ejemplo, curvas de Bezier) para estructurar el aprendizaje de tareas específicas como marchas, mortales (flips) y maniobras asistidas por paredes.

2. Transferencia Inspirada en la Homotopía de Modelos (MHIT):
   Para transferir la política SRB preentrenada al entorno de cuerpo completo, los autores introducen un camino de continuación paramétrico. En lugar de un salto directo, definen un parámetro de transición continuo $\lambda \in (0, 1]$.

• Transición Paramétrica: El sistema redistribuye gradualmente la masa y la inercia entre el tronco y las piernas. Cuando $\lambda \approx 0$, las piernas tienen una masa insignificante (modelo SRB); a medida que $\lambda$ aumenta hacia 1, las piernas adquieren su masa e inercia completas, mientras que la masa del tronco se ajusta para mantener una masa total constante.
• Estrategia de Continuación: La política se entrena a lo largo de este camino, comenzando desde $\lambda = 0.01$ e incrementándola gradualmente hasta $\lambda = 1.0$ a lo largo de 900 iteraciones. Esto permite que la política se adapte a dinámicas cada vez más complejas mientras permanece en regiones de alta probabilidad de éxito.
• Conversión de Acciones: Durante la transferencia, las salidas de GRF de la política SRB se convierten en torques articulares utilizando las traspuestas de la Jacobiana durante la fase de apoyo, mientras que el control PD en el espacio de la tarea rastrea los objetivos del pie durante la fase de oscilación.
• Estimación de Estado: Dado que la información privilegiada (velocidad lineal real y estados de contacto) está disponible en simulación pero no en la realidad, se entrena una red de estimación concurrente (MLP) para inferir estos estados a partir del historial propioceptivo, permitiendo el despliegue sim-to-real.

Contribuciones Clave

• Marco Basado en la Continuación: El artículo presenta un nuevo marco que integra el preentrenamiento de modelos simplificados con una estrategia de transferencia inspirada en la homotopía de modelos para generar y refinar eficientemente movimientos dinámicos complejos.
• Camino de Transición Principiado: Los autores introducen un camino de transición paramétrico específico que interpola suavemente las propiedades inerciales entre los modelos SRB y de cuerpo completo. Se demuestra que este enfoque mejora la velocidad de convergencia y la estabilidad del aprendizaje en comparación con la transferencia directa o los baselines de aprendizaje por imitación.
• Validación en Tareas Complejas y Hardware Real: El método se valida en un conjunto diverso de tareas dinámicas desafiantes, incluyendo mortales hacia atrás (backflips), mortales laterales (sideflips), giros de guiñada (yaw spins) y maniobras asistidas por paredes (saltos y giros). Las políticas aprendidas se desplegaron con éxito en un robot cuadrúpedo real Unitree Go1.

Resultados

• Rendimiento en Simulación: En estudios comparativos contra la Transferencia Directa (DT), la Transferencia de Imitación (IT) y el RL Vanilla, el método propuesto MHIT demostró la convergencia más rápida y los resultados de aprendizaje más consistentes. Por ejemplo, en la tarea de backflip asistido por pared, MHIT convergió dos veces más rápido que IT y logró un retorno normalizado un 19.0% mayor. También exhibió una estabilidad superior, con una variación significativamente menor en el rendimiento entre diferentes semillas aleatorias en comparación con DT.
• Robustez: Las políticas MHIT mostraron mayor robustez ante perturbaciones de fuerza y torque externas en comparación con las políticas IT, debido a la preservación de los comportos reactivos aprendidos durante el preentrenamiento y la capacidad de explorar un espacio de estados más amplio sin las restricciones de terminación temprana utilizadas en el aprendizaje por imitación.
• Despliegue en el Mundo Real: En el robot Unitree Go1, la política MHIT ejecutó con éxito un backflip, una tarea donde la política SRB directa falló debido a un momento angular insuficiente causado por la inercia de las piernas no modelada. La política transferida logró una tasa de éxito del 90% en 10 ensayos consecutivos y demostró una precisión de seguimiento de velocidad superior (menor RMSE) en comparación con la política SRB no refinada.

Significancia
El artículo afirma que su principal significancia radica en proporcionar un proceso de refinamiento efectivo y estable para cerrar el gap de modelo entre la dinámica simplificada y la de cuerpo completo sin depender de demostraciones expertas costosas. Al aprovechar una estrategia de continuación, el marco permite el descubrimiento de comportamientos óptimos que superan las limitaciones de la guía inicial simplificada. El despliegue exitoso en hardware real demuestra la aplicabilidad práctica de este enfoque para generar comportos de locomoción con piernas complejos y dinámicos que son difíciles de lograr únicamente con métodos de RL de extremo a extremo o de seguimiento jerárquico estándar. Los autores señalan que, si bien el enfoque actual depende de secuencias de contacto predefinidas, el marco ofrece un punto de partida evolutivo prometedor para trabajos futuros orientados a automatizar los esquemas de contacto y adaptarse a diversas morfologías robóticas.