Generalizing from References using a Multi-Task Reference and Goal-Driven RL Framework

Título: Generalización a partir de Referencias utilizando un Marco de RL Multi-Tarea y Orientado a Objetivos

1. Planteamiento del Problema

El aprendizaje de comportamientos ágiles para robots humanoides a partir de datos de movimiento humano enfrenta una compensación persistente (trade-off):

• Políticas de seguimiento de referencia: Son robustas y producen movimientos naturales, pero suelen ser frágiles fuera del conjunto de datos de demostración, limitando su capacidad de generalización a nuevos objetivos o entornos.
• Aprendizaje por Refuerzo (RL) puramente orientado a tareas: Logra adaptabilidad y generalización, pero a menudo sacrifica la calidad del movimiento, resultando en comportamientos no coordinados, agresivos o carentes de estilo humano.

El desafío actual es desarrollar un controlador que pueda aprender habilidades motoras estructuradas y naturales de datos de referencia, pero que sea capaz de adaptarse y generalizar a condiciones iniciales y objetivos no vistos durante el entrenamiento, sin depender de las referencias en tiempo de ejecución.

2. Metodología

Los autores proponen un marco unificado de RL multi-tarea que combina la imitación guiada por referencias con la generalización orientada a objetivos. La clave es tratar el movimiento de referencia como un prior para la configuración del comportamiento (shaping), no como una restricción de despliegue.

Componentes principales:

• Política Única Condicionada al Objetivo: Se entrena una sola política que comparte el mismo espacio de observación y acción para dos tareas distintas:

  1. Tarea de Imitación Guiada por Referencia:
     • Entrada: El robot no recibe las trayectorias de referencia como entrada.
     • Recompensa: Utiliza las referencias para definir recompensas de imitación densas (seguimiento de pose, velocidad y configuraciones articulares) y condiciones de objetivo.
     • Objetivo: Proporcionar una señal de aprendizaje densa y rica para adquirir habilidades motoras naturales y coordinadas.
  2. Tarea de Generalización Orientada a Objetivos:
     • Entrada: Los objetivos se muestrean independientemente de cualquier referencia.
     • Recompensa: Basada puramente en el éxito de la tarea (ej. llegar a una posición y orientación específicas), sin recompensas de seguimiento.
     • Objetivo: Forzar a la política a adaptar las habilidades aprendidas a nuevas condiciones y objetivos.

• Formulación MDP (Proceso de Decisión de Markov):

  • Observación: Estado del robot (configuración articular, velocidades, gravedad proyectada) + variable de objetivo (posición 2D del torso). No incluye fases temporales ni trayectorias futuras.
  • Acción: Controladores PD a nivel de articulación que generan acciones residuales sobre posiciones predeterminadas.
  • Curriculum de Entrenamiento: Se utiliza un esquema de dificultad progresiva (variable escalar $\lambda$) que:
    • Ajusta la magnitud de una "fuerza virtual asistiva" (wrench) para estabilizar el aprendizaje temprano.
    • Controla la mezcla de muestreo entre la tarea de imitación (al inicio) y la de generalización (a medida que avanza el entrenamiento).
  • Inicialización: La tarea de imitación se inicializa cerca de las referencias, mientras que la tarea de generalización utiliza distribuciones amplias y aleatorias para forzar la adaptación.

3. Contribuciones Clave

1. Desacoplamiento de Referencia y Despliegue: La política aprendida no utiliza referencias en tiempo de ejecución. Solo depende del estado actual y la especificación del objetivo, permitiendo una generalización real más allá de los datos de demostración.
2. Optimización Conjunta sin Adversarios: Logra un equilibrio entre calidad de movimiento y adaptabilidad mediante la optimización conjunta de dos tareas en un espacio de observación compartido, evitando la inestabilidad de los métodos adversarios (AIL) o el seguimiento explícito de trayectorias.
3. Composición de Habilidades a Largo Plazo: Demuestra que las habilidades aprendidas (caminar, saltar, escalar) pueden modularizarse y componerse mediante una máquina de estados para ejecutar secuencias complejas de parkour en entornos no estructurados.
4. Validación en Hardware: El método se evalúa en un robot humanoide real (Unitree G1) en un entorno de parque de obstáculos basado en cajas, demostrando transferencia sim-to-real exitosa.

4. Resultados

Los experimentos se realizaron en simulación (MuJoCo, Isaac Lab) y en el robot Unitree G1 (29 grados de libertad). Se evaluaron tres comportamientos: caminar-saltar, caminar-escalar y bajar de la escalada.

• Robustez y Generalización:

  • El método propuesto mantiene altas tasas de éxito (hasta 100% en condiciones nominales y >60-98% en condiciones fuera de distribución) frente a variaciones en la posición inicial, orientación y altura de los obstáculos.
  • En comparación con el RL puro (tabula rasa), el método propuesto produce movimientos mucho más naturales y coordinados, evitando comportamientos agresivos o "greedy" (ej. saltar directamente en lugar de escalar).
  • En comparación con el seguimiento de referencia (ZEST), el método propuesto es significativamente más robusto ante condiciones iniciales no nominales, donde los métodos de seguimiento fallan al intentar re-alinear forzosamente con la trayectoria original.

• Calidad del Movimiento:

  • Se logra un equilibrio óptimo: el error de orientación del torso y la posición de las articulaciones son bajos (movimiento natural), pero el robot puede adaptar su estrategia (ej. cambiar de pierna líder o ajustar la longitud del salto) según la situación.

• Composición de Habilidades:

  • Se demostró la capacidad de encadenar habilidades (caminar -> escalar -> saltar -> bajar) para completar secuencias largas de parkour sin reinicios específicos ni ajuste fino de condiciones iniciales.

• Estudios de Ablación:

  • Sin el curriculum de tareas, el aprendizaje de habilidades dinámicas (saltar/escalar) falla.
  • Sin la tarea de imitación, la política no aprende habilidades motoras coordinadas y colapsa en comportamientos inestables.
  • Sin la tarea de generalización, la política no puede adaptarse a condiciones fuera de la distribución de entrenamiento.

5. Significado e Impacto

Este trabajo presenta un avance significativo hacia la autonomía de humanoides en entornos no estructurados. Al tratar el movimiento de referencia como una herramienta de configuración del comportamiento en lugar de una restricción de ejecución, el marco propuesto resuelve el dilema clásico entre la fidelidad del movimiento y la adaptabilidad.

La capacidad de aprender habilidades complejas a partir de datos humanos y desplegarlas de forma flexible en robots reales, sin necesidad de referencias en tiempo de ejecución, abre la puerta a aplicaciones prácticas en navegación ágil, rescate y asistencia física en entornos dinámicos y variados. Además, la demostración de composición de habilidades sugiere un camino viable hacia la planificación de alto nivel para tareas complejas de larga duración.