Resumen Técnico: Stubborn – Un Marco de Aprendizaje por Refuerzo Unificado para el Seguimiento de Movimiento y la Recuperación de Caídas en Humanoides

1. Planteamiento del Problema

Los avances recientes en el aprendizaje por refuerzo (RL) han mejorado el seguimiento de movimiento y la recuperación de caídas en humanoides, sin embargo, persisten desafíos significativos para unificar estas capacidades. Los enfoques actuales suelen tratar el seguimiento de movimiento y la recuperación de caídas como tareas distintas, lo que requiere un entrenamiento multietapa, recompensas de recuperación especializadas o políticas de recuperación separadas. Además, el entrenamiento estándar de RL suele emplear una "terminación dura" (hard termination), donde los episodios terminan inmediatamente tras un fallo grave de seguimiento (por ejemplo, una caída). Este diseño limita la capacidad del agente para explorar comportamientos de recuperación en estados inestables o de caída, ya que la señal de aprendizaje se corta antes de que se pueda intentar la recuperación. Asimismo, los datos de entrenamiento muestreados uniformemente suelen subrepresentar los segmentos de movimiento difíciles y los estados inestables, lo que obstaculiza la exploración de estrategias de recuperación robustas por parte de la política.

2. Metodología: El Marco Stubborn

Los autores proponen Stubborn, un marco de RL simplificado y unificado diseñado para entrenar una única política capaz de realizar un seguimiento de movimiento robusto y una recuperación de caídas autónoma. El marco se basa en una arquitectura de Actor-Crítico asimétrica e integra tres componentes técnicos principales:

A. Representación de Seguimiento Alineada con el Yaw

Para mitigar la sensibilidad al deriva de guiñada (yaw drift) y las perturbaciones de orientación, preservando la información de equilibrio relacionada con la gravedad, Stubborn adopta una representación de seguimiento alineada con el yaw. Este enfoque elimina la rotación de guiñada global de la trayectoria de referencia, permitiendo que la política se concentre en la dinámica relativa del cuerpo en lugar de corregir desviaciones absolutas de traslación y guiñada tras las perturbaciones.

B. Mecanismo de Terminación Probabilística (PT) Basado en Bernoulli

En lugar de terminar el episodio de forma determinista cuando los errores de seguimiento superan un umbral, Stubborn emplea un mecanismo de terminación de Bernoulli condicional.

• Mecanismo: Cuando el error de altura de la raíz ($e_{root,z}$) o el error de orientación ($e_{root}$) exceden umbrales predefinidos, el episodio termina con una probabilidad especificada por el usuario ($p_{term}$) en lugar de hacerlo inmediatamente.
• Racionalidad: Esto crea una "ventana de recuperación" probabilística. Si el episodio continúa, se incentiva a la política a explorar acciones resilientes y a aprender comportes de recuperación emergentes sin requerir diseños de recompensa auxiliares específicos para la recuperación.
• Parametrización: La probabilidad de terminación se deriva de las restricciones físicas de recuperación. Con una frecuencia de control de 50 Hz y un tiempo de recuperación física objetivo de 4 segundos, los pasos de supervivencia esperados se fijan en 200 ($p_{term} = 0.005$). Esto asegura que más del 99% de los episodios inestables terminen antes del límite máximo de pasos, mitigando la distorsión de la diferencia temporal (TD) mientras permite suficiente tiempo para la exploración de la recuperación.

C. Terminación Probabilística y Muestreo Adaptativo Impulsado por el Error de Seguimiento

Bajo el mecanismo de PT, la terminación del episodio ya no es un indicador fiable de la dificultad del segmento debido a la terminación estocástica. Para abordar esto, los autores proponen una estrategia de muestreo adaptativo impulsada por el rendimiento del seguimiento en línea:

• Actualización de Pesos: El peso de muestreo de los fotogramas de referencia se reconfigura dinámicamente basándose en el error promedio de seguimiento de puntos clave ($\bar{e}$) del episodio actual.
• Lógica:
  • Si el error promedio es alto ($\bar{e} \ge \theta_{success}$), se aumentan los pesos de los fotogramas involucrados para priorizar estos segmentos difíciles.
  • Si un episodio termina prematuramente a pesar de tener un error bajo, los pesos se redistribuyen para enfocarse en los segmentos específicos donde ocurrió la terminación.
  • Si un episodio llega a su longitud máxima con un error bajo, los pesos se reducen ligeramente para evitar el sobreentrenamiento en segmentos fáciles.
• Objetivo: Esta estrategia aumenta la frecuencia de entrenamiento para segmentos de movimiento difíciles y estados inestables, mejorando la eficiencia del aprendizaje sin depender de estadísticas de terminación dura.

3. Contribuciones Clave

El artículo describe tres contribuciones primarias:

1. Aprendizaje de Política Unificada: Una única política que logra un seguimiento de movimiento robusto y recuperación de caídas sin controladores de recuperación separados o entrenamiento de múltiples etapas.
2. Terminación Suave Basada en Bernoulli: Un mecanismo que fomenta el aprendizaje de acciones resilientes en estados inestables, sintetizando comportamientos de recuperación emergentes sin ingeniería de recompensas especializada.
3. Estrategia de Muestreo Adaptativo: Una distribución de muestreo novedosa que se ajusta dinámicamente según los errores de seguimiento y la terminación probabilística, apuntando eficazmente a segmentos de movimiento difíciles y estados de recuperación.

4. Resultados Experimentales

El marco fue evaluado en el robot humanoide Unitree G1 de 29 DoF tanto en simulación (IsaacLab/MuJoCo) como en entornos reales, utilizando movimientos de los conjuntos de datos LAFAN1 y AMASS.

Rendimiento de Seguimiento de Movimiento

Comparado con las líneas base de vanguardia (HoloMotion, Any2Track, BFM-Zero y una línea base de RL desde cero), Stubborn logró una precisión de seguimiento superior:

• MPBPE (Error de Posición de la Raíz): Reducido de 62.68 mm (Desde cero) a 48.85 mm.
• MPJVE (Error de Velocidad de Articulación): Reducido de 887.87 rad/s a 624.03 rad/s.
  El método demostró un rendimiento estable con desviaciones estándar más bajas a través de todo el conjunto de datos LAFAN1.

Robustez y Recuperación de Caídas

Los estudios de ablación bajo fuertes perturbaciones externas (5 m/s) demostraron la eficacia de los componentes propuestos:

• Terminación Probabilística (PT): El marco completo de Stubborn logró una tasa de éxito de recuperación del 100% tanto en los umbrales estricto (0.15 m) como moderado (0.25 m). En contraste, la variante sin PT (w/o PT) logró solo 77.5% y 85.0%, respectivamente. La variante con PT también convergió más rápido y requirió menos pasos de recuperación.
• Muestreo Adaptativo (AdpS): La inclusión de la estrategia de muestreo adaptativo redujo aún más los errores de posición, velocidad y aceleración de las articulaciones, particularmente en las etapas media y tardía del entrenamiento.

Despliegue en el Mundo Real

Los experimentos en el mundo real con el Unitree G1 confirmaron la capacidad de la política para seguir diversos movimientos dinámicos (incluyendo giros y acrobacias), resistir perturbaciones y recuperarse de caídas en entornos físicos.

5. Significación y Reivindicaciones

El artículo sostiene que Stubborn representa un paso significativo hacia la unificación del seguimiento de movimiento y la recuperación de caídas dentro de un marco único y simplificado. Al aprovechar las transiciones naturales hacia estados de caída en lugar de evitarlos, el marco logra un seguimiento de alta fidelidad y robustez sin la complejidad arquitectónica de un entrenamiento de múltiples etapas o políticas de recuperación separadas. Los autores afirman que el mecanismo de terminación probabilística y la estrategia de muestreo adaptativo son los principales impulsores de las mejoras de rendimiento observadas tanto en simulación como en el despliegue en el mundo real.

El trabajo concluye señalando que, si bien el marco actual es efectivo, los esfuerzos futuros se centrarán en mejorar la agilidad y la suavidad de los movimientos de recuperación tras caídas severas y en extender el marco a terrenos más desafiantes.