ADP: Adversarial Dynamics Priors for Physically Grounded Humanoid Locomotion

Resumen Técnico: Priores de Dinámica Adversaria para la Locomoción Humanoide con Base Física

Planteamiento del Problema
El control de la locomoción humanoide sigue siendo significativamente más desafiante que el control cuadrúpedo debido a los altos grados de libertad, la dinámica de base flotante subactuada y la necesidad de mantener el equilibrio mediante contactos intermitentes. Si bien el aprendizaje basado en modelos ha tenido éxito en la generación de movimientos naturales utilizando conjuntos de datos de movimiento, los enfoques existentes enfrentan limitaciones en la resiliencia ante perturbaciones.

• Seguimiento Explícito: Métodos como DeepMimic dependen del seguimiento de poses y fases de referencia. Aunque son efectivos para la generación de movimiento natural, carecen de flexibilidad cuando las perturbaciones externas alejan al robot de la trayectoria de referencia.
• Priores Cinemáticos: Los Priores de Movimiento Adversario (AMP) mejoran la flexibilidad al igualar distribuciones de estilo de movimiento cinemático (poses articulares, velocidades, estados de los efectores finales) en lugar del seguimiento explícito. Sin embargo, el AMP no regulariza directamente las características a nivel de dinámica (por ejemplo, el movimiento del Centro de Masa, el momento centrino, las fuerzas de contacto y los estados de contacto) necesarias para una recuperación eficaz del equilibrio tras un empuje. En consecuencia, el AMP puede recuperar una postura visible pero dejar la dinámica rotacional subamortiguada o fallar al modular correctamente las fuerzas de contacto.

Metodología: Priores de Dinámica Adversaria (ADP)
Los autores proponen ADP, un marco que reemplaza las características de estilo de movimiento cinemático por características de dinámica seleccionadas como el objetivo para la regularización adversaria. El método opera sin el seguimiento explícito de poses o fases de referencia.

1. Construcción del Conjunto de Datos de Referencia ($D_{dyn}$):

   • En lugar de utilizar datos de captura de movimiento de cuerpo completo, los autores generan un conjunto de datos de referencia utilizando Optimización de Trayectoria (TO) basada en Dinámica de Cuerpo Rígido Único (SRBD).
   • El problema de TO minimiza la desviación de las velocidades comandadas mientras penaliza el exceso de momento angular centrino y las fuerzas de contacto, sujeto a la consistencia de SRBD, la activación de contacto y las restricciones del cono de fricción.
   • Este proceso produce trayectorias de locomoción físicamente fundamentadas (caminar, correr, girar, paso lateral) que satisfacen la dinámica a nivel de SRBD. A partir de estas, se extraen cantidades dinámicas (movimiento del CoM, momento centrino, fuerzas de contacto, indicadores de contacto) para formar la distribución de referencia.

2. Representación de Características de Dinámica:

   • ADP define un vector de características de dinámica por paso de tiempo $z_t$ que contiene: velocidad del CoM en el marco de orientación (heading-frame), momento angular centrino, tasa de momento angular planar, fuerzas de contacto del pie normalizadas e indicadores binarios de contacto.
   • Para manejar comandos variables, la entrada del discriminador está condicionada por el comando de velocidad y el error de seguimiento instantáneo, alineando la distribución de referencia con la tarea actual.
   • Crucialmente, el método utiliza una ventana temporal ($\Xi_t$) de estas características en lugar de pasos de tiempo únicos. Esto permite que el discriminador capture patrones temporales esenciales para la recuperación, tales como el cambio de contacto, la modulación de fuerza y la recuperación del momento.

3. Entrenamiento Adversario:

   • Se entrena un discriminador para distinguir entre ventanas muestreadas del conjunto de datos de referencia derivado de SRBD ($D_{dyn}$) y ventanas generadas por la ejecución de la política ($\Xi^\pi_t$).
   • La política se optimiza mediante Optimización de Política Próxima (PPO) con una recompensa total que comprende:
     • $r^G_t$: Recompensa de la tarea (locomoción).
     • $r^D_t$: Recompensa del prior de dinámica adversaria, derivada de la salida del discriminador. Esta recompensa incentiva a que las características de dinámica inducidas por la política se mantengan cerca de la distribución de referencia.
     • $r^R_t$: Términos de regularización.
   • La política aprende a recuperarse de las perturbaciones manteniendo sus características de dinámica dentro del soporte de la distribución de referencia, sin verse forzada a seguir poses articulares específicas.

Contribuciones Clave

1. Priores de Dinámica Adversaria (ADP): La introducción de un método que utiliza características de dinámica (CoM, momento, fuerzas de contacto) para la regularización adversaria en lugar de características cinemáticas, eliminando la necesidad de seguimiento de pose o fase de referencia.
2. Representación de Dinámica Sensible a la Perturbación: Una formulación de características dinámicas temporales que expone los transitorios inducidos por perturbaciones (en el momento y las fuerzas de contacto) de manera más directa y rápida que las características cinemáticas a nivel de articulación.
3. Evaluación de la Recuperación de Perturbaciones: Validación exhaustiva en simulación y hardware que demuestra que ADP mejora la recuperación de perturbaciones de los humanoides en comparación con el RL Vanilla, AMP y los baselines de coincidencia de características de dinámica directa.

Resultos Experimentales
Los autores evaluaron ADP en un robot humanoide de 29 DoF (Unitree G1) en simulación y proporcionaron demostraciones cualitativas en hardware. La evaluación comparó ADP contra RL Vanilla, AMP y un baseline de "Recompensa de Dinámica" (que utiliza el emparejamiento de características punto a punto sin un discriminador adversario).

• Recuperación de Perturbaciones: Bajo impulsos de velocidad externos (hasta 4.5 m/s), ADP logró un umbral de éxito de impulso ($J_{80}$) de 115.5 N·s, una mejora del 16.7% sobre el baseline más fuerte (AMP, 99.0 N·s).
• Métricas de Recuperación: Comparado con AMP, ADP redujo el tiempo de recuperación promedio de dirección en un 47.9% (de 4.76s a 2.48s) y el error de seguimiento de velocidad en un 35.4% (de 1.30 m/s a 0.84 m/s).
• Sensibilidad de la Representación: El análisis mostró que la representación dinámica propuesta detectó los transitorios inducidos por la perturbación 20 ms después del impacto (alcanzando una desviación de 6.0x respecto al baseline), mientras que la representación cinemática tardó 160 ms (alcanzando una desviación de 4.3x).
• Estudios de Ablación:
  • Eliminar el momento angular centrino redujo la tasa de éxito a 45.3%.
  • Eliminar los indicadores de contacto (estado de contacto binario) causó la degradación más significativa, cayendo la tasa de éxito al 30.5% y aumentando el tiempo de recuperación a 8.82s, lo que destaca el papel crítico del tiempo de contacto en la alineación.
  • Se encontró que una longitud de ventana temporal de $K=8$ era óptima, equilibrando la necesidad de contexto temporal (cambio de contacto) frente a la estabilidad del entrenamiento.

Significancia y Reivindicaciones
El artículo afirma que ADP aborda con éxito la limitación de los priores cinemáticos en la recuperación de perturbaciones al regularizar la política al nivel de la dinámica. Al aprovechar las trayectorias derivadas de SRBD como una distribución de referencia para las características de dinámica, el método incentiva a la política a aprender comportamientos de recuperación que están físicamente fundamentados (consistentes con las restricciones de momento y contacto) sin la rigidez del seguimiento de movimiento explícito.

Los autores señalan que, si bien ADP mejora la robustez, no impone explícitamente la naturalidad del movimiento a nivel articular. Sugieren que el trabajo futuro podría combinar priores de dinámica y cinemática para lograr tanto robustez como naturalidad. Además, el artículo reconoce que la comparación con AMP utilizó el mismo origen de referencia derivado de TO para asegurar la equidad, en lugar de un baseline de AMP basado en captura de movimiento de alta calidad, dejando la caracterización de la brecha entre los priores derivados de TO y los basados en mocap para investigaciones futuras.