Resumen Técnico: Aprendizaje Eficiente de Locomoción Robusta Basada en Torque mediante Refuerzo con Supervisión Basada en Modelos

Declaración del Problema

El aprendizaje de políticas de locomoción efectivas basadas en torque para robots bípedos sigue siendo un desafío significativo. Si bien el control de torque permite comportamientos responsivos y complacientes, requiere un manejo preciso de la dinámica compleja y no lineal. El aprendizaje directo de políticas al nivel de torque es particularmente difícil ante la presencia de incertidumbres del mundo real, tales como la incertidumbre de contacto, el ruido de los sensores, los retrasos de actuación y la dinámica no modelada (por ejemplo, fricción articular, flexibilidades estructurales).

Los métodos tradicionales de control basados en modelos (por ejemplo, planificación de trayectoria de DCM con Control de Cuerpo Completo o WBC) dependen de modelos precisos del sistema. Sin embargo, su rendimiento se degrada cuando las discrepancias entre el modelo y el sistema físico se vuelven sustanciales. Por el contrario, los enfoques de Aprendizaje por Refuerzo Profundo (DRL) puramente basados en datos, aunque son robustos ante errores de modelado mediante la aleatorización de dominios, suelen sufrir de ineficiencia de datos, sensibilidad al diseño de recompensas y una falta de interpretabilidad o garantías de seguridad. Las estrategias híbridas existentes suelen depender únicamente de señales de recompensa, lo que requiere extensas iteraciones de ensayo y error y ofrece una guía limitada durante el entrenamiento.

Metodología

Los autores proponen un marco de control que integra la locomoción bípeda basada en modelos con el aprendizaje por refuerzo residual (RL), mejorado por un novedoso mecanismo de supervisión basado en modelos. La arquitectura consta de tres componentes primarios:

1. Política Base ($\pi_b$): Un controlador basado en modelos que comprende un planificador de trayectoria de Componente de Movimiento Divergente (DCM) y un Controlador de Cuerpo Completo (WBC) basado en la dinámica inversa. Esta política opera bajo un modelo de dinámica inexacto y observaciones de estado ruidosas, sirviendo como una base confiable pero imperfecta.
2. Política Oráculo ($\pi^*$): Un controlador basado en modelos con acceso "privilegiado" a la información del sistema de verdad fundamental (ground-truth), incluyendo la dinámica exacta del robot, el estado real (libre de ruido) y los parámetros del motor (por ejemplo, retrasos de actuación, eficiencia). Esta política genera acciones correctivas ideales bajo condiciones aleatorizadas, pero se utiliza únicamente durante el entrenamiento como supervisor.
3. Política de RL Residual ($\pi_r$): Una política aprendible entrenada mediante Optimización de Política Próxima (PPO) para emitir comandos de torque residuales que compensen las imprecisiones de la Política Base.

Componentes Técnicos Clave:

• Aleatorización de Dominio (Domain Randomization): El entorno de entrenamiento aleatoriza el ruido de los sensores, la dinámica del robot (masa, fricción, amortiguamiento, eficiencia del motor) y los factores ambientales (fricción del suelo, irregularidades) para exponer la política a la variabilidad del mundo real.
• Aprendizaje por Refuerzo Supervisado: A diferencia del RL estándar que depende únicamente del diseño de recompensas, este marco introduce un término de pérdida supervisada ($L_{sup}$). La política residual es guiada explícitamente para imitar las acciones correctivas de la Política Oráculo.
  • La pérdida total es una suma ponderada: $L_{total} = \omega_{rl} L_{rl} + \omega_{sup} L_{sup}$.
  • La pérdida supervisada fomenta que la política asigne una alta verosimilitud a la acción residual del Oráculo ($\tau^*_t - \tau^b_t$).
• Espacio de Observación: La política utiliza una red neuronal recurrente (LSTM) para procesar un historial de observaciones ruidosas (estados articulares, torques de la política base, errores de seguimiento). La red del crítico utiliza adicionalmente observaciones privilegiadas (estados reales, torques del Oráculo) para una estimación de valor más precisa durante el entrenamiento.

Principales Contribuciones

El artículo describe cuatro contribuciones principales:

1. Marco de Control Integrado: Una arquitectura novedosa que combina la confiabilidad estructurada del control basado en modelos con la adaptabilidad del RL residual para mitigar las imprecisiones del modelo.
2. Política Oráculo Basada en Modelos: La introducción de una política Oráculo que aprovecha información privilegiada para generar señales de control casi óptimas, sirviendo como supervisor para el proceso de aprendizaje.
3. Objetivo de RL Supervisado: Un marco de entrenamiento que incorpora las acciones del Oráculo en una pérdida supervisada, complementando el objetivo estándar de RL para mejorar la eficiencia del aprendizaje sin depender exclusivamente del diseño de recompensas.
4. Validación Multiplataforma: Evaluaciones exhaustivas en tres robots bípedos distintos (Kangaroo, Unitree H1-2 y Bruce), demostrando robustez y generalización a través de diferentes plataformas de hardware sin un ajuste de parámetros específico.

Resultados

El método fue evaluado en los robots Kangaroo, Unitree H1-2 y Bruce bajo una extensa aleatorización de dominio ($\beta=1$).

• Desempeño vs. Baselines:
  • Oráculo (O): Logró una tasa de éxito del 100% en todas las plataformas con errores de seguimiento mínimos, validando su rol como un supervisor efectivo.
  • Política Base (B): Falló completamente (0% de éxito) bajo aleatorización, resaltando la fragilidad del control basado en modelos estándar sin adaptación.
  • RL Residual Estándar (ResRL): Mostró un desempeño pobre (0-10% de éxito), luchando por aprender la locomoción basada en torque sin una guía explícita.
  • Aprendizaje por Imitación (IL): Funcionó bien en Kangaroo (70-100% de éxito) pero tuvo dificultades en Bruce (80% de éxito), sugiriendo sensibilidad a la confiabilidad del Oráculo en regímenes dinámicos específicos.
  • Método Propuesto (BOR - Base + Oracle Residual): Logró un 100% de éxito en Kangaroo e H1-2, y un 80% en Bruce. Superó significativamente al ResRL estándar y al IL puro, acercándose al nivel de desempeño del Oráculo en el seguimiento de DCM y de pies.
• Robustez ante la Incertidumbre: Al ser probado con niveles variables de aleatorización ($\beta \in [0.1, 0.7]$), el método propuesto mantuvo una tasa de éxito del 100%, mientras que el Controlador Basado en Modelos (MBC) estándar falló significativamente a medida que aumentaba la incertidumbre.
• Eficiencia de Entrenamiento: El enfoque supervisado convergió a una tasa de éxito superior al 80% en solo 1,500 episodios (aprox. 4.16 horas de simulación), mientras que el RL residual estándar mostró poco progreso bajo las mismas condiciones.
• Generalización: El marco transfirió con éxito a terrenos irregulares y diferentes morfologías de robot sin necesidad de reajuste, demostando la capacidad de aprender comportamientos adaptativos que van más allá de la simple imitación del Oráculo.

Significado y Reivindicaciones

El artículo afirma que este enfoque cierra eficazmente la brecha entre el control basado en modelos y el RL basado en datos. Al integrar los conocimientos previos (priors) basados en modelos con la adaptación basada en datos, el método ofrece una solución escalable para la transferencia de sim-to-real en la locomoción bípeda.

Los autores enfatizan que el marco mejora la eficiencia de aprendizaje y la robustez al utilizar al Oráculo para guiar a la política hacia comportamientos correctivos sin un extenso diseño de recompensas. Señalan que, si bien el Oráculo proporciona una señal supervisora fuerte, el componente de RL es crucial para explorar acciones que se desvíen del Oráculo cuando sea necesario (por ejemplo, en condiciones altamente estocásticas o en terrenos irregulares donde la planificación basada en modelos del Oráculo pueda ser subóptima). El trabajo demuestra que el aprendizaje por refuerzo supervisado proporciona una solución eficiente, robusta y transferible para el control de la locomoción basada en torque en robots humanoides.