Embodiment-Aware Generalist Specialist Distillation for Unified Humanoid Whole-Body Control

El artículo presenta EAGLE, un marco de destilación iterativa generalista-especialista que permite entrenar una única política de control unificada y robusta para múltiples humanoides heterogéneos, superando las limitaciones de adaptación a diferentes dinámicas y capacidades sin necesidad de ajuste de recompensas por robot.

Lo esencial

Imagina que quieres enseñar a un grupo de robots humanoides (que son como robots con forma de humano) a caminar, agacharse y mantener el equilibrio. El problema es que cada robot es diferente: uno es alto y delgado, otro es bajo y ancho, uno tiene 19 articulaciones y otro 29.

En el pasado, los científicos tenían que entrenar a cada robot por separado, como si fueran a crear un entrenador personal único para cada persona del mundo. Era lento, costoso y tedioso.

Este paper presenta una solución genial llamada EAGLE. Aquí te explico cómo funciona usando analogías sencillas:

1. El Problema: "Un entrenador para cada alumno"

Imagina que tienes una escuela de baile con alumnos de diferentes alturas y pesos. Si usas un solo entrenador que no sabe nada de las diferencias entre ellos, el alumno alto se chocará con el techo y el pequeño no llegará a la barra.
Antes, para que cada robot aprendiera a caminar, los ingenieros tenían que ajustar manualmente los "premios" (recompensas) para cada modelo específico. Era como tener que reescribir el manual de instrucciones cada vez que comprabas un nuevo robot.

2. La Solución: EAGLE (El Maestro Generalista y sus Especialistas)

EAGLE es como un sistema de aprendizaje en dos pasos que crea un "Maestro Generalista" capaz de dirigir a cualquier robot, sin importar su tamaño o forma.

El proceso funciona así:

• Paso 1: El Generalista (El Director de Orquesta)
  Primero, crean un "Generalista". Imagina a un director de orquesta que intenta tocar música con instrumentos muy diferentes (un violín, un tambor, una trompeta) al mismo tiempo. Al principio, suena un poco mal porque no sabe cómo manejar cada instrumento en detalle.

• Paso 2: Los Especialistas (Los Solistas)
  Luego, el Generalista se "copia" varias veces. Cada copia se convierte en un Especialista dedicado a un solo tipo de robot.

  • El Especialista A se va a entrenar solo con el robot "Unitree H1".
  • El Especialista B se va a entrenar solo con el robot "Fourier N1".
    Como cada especialista solo se enfoca en un robot, aprende trucos específicos y se vuelve muy bueno en esa tarea.

• Paso 3: La "Distilación" (El Intercambio de Sabiduría)
  Aquí viene la magia. Los Especialistas vuelven con el Generalista y le enseñan lo que aprendieron.

  • Imagina que el Especialista del robot alto le dice al Generalista: "Oye, cuando este robot quiere agacharse, debe doblar las rodillas así".
  • El Generalista absorbe ese conocimiento y lo mezcla con lo que aprendió de los otros robots.
  • Luego, el ciclo se repite. El Generalista mejora, se vuelve más listo, y vuelve a crear nuevos Especialistas que empiezan desde una base más fuerte.

Este ciclo se repite hasta que el Generalista es tan bueno que puede controlar a cualquier robot de la familia, incluso si nunca lo ha visto antes.

3. El "Lenguaje Universal" (Comandos de Alta Dimensión)

Para que esto funcione, necesitan un lenguaje que todos entiendan. En lugar de dar órdenes complicadas como "mueve la pierna izquierda 30 grados", EAGLE usa un lenguaje simple pero poderoso:

• "¿A qué velocidad quieres ir?" (Caminar).
• "¿Qué tan alto quieres estar?" (Agacharse o ponerse de puntillas).
• "¿Qué tan inclinado quieres estar?" (Levantarse o inclinarse).

Gracias a este lenguaje, un solo cerebro (el Generalista) puede decirle a un robot pequeño y a uno grande cómo hacer lo mismo, adaptándose automáticamente a sus cuerpos.

4. El Resultado: ¡Funciona en la vida real!

Lo más impresionante es que no solo funcionó en simulaciones de computadora. Los investigadores probaron este cerebro único en cuatro robots reales diferentes (como el Unitree H1, G1, Fourier N1, etc.).

Sin necesidad de reprogramar nada ni ajustar parámetros para cada uno, el mismo cerebro logró que todos:

• Caminaran.
• Se agacharan (como haciendo una sentadilla).
• Se inclinaran sin caerse.

En resumen

EAGLE es como un sistema de aprendizaje que crea un "Super-Entrenador" que, en lugar de tener un manual diferente para cada alumno, aprende a entender la esencia de cada cuerpo y adapta sus instrucciones en tiempo real. Esto nos acerca al día en que tengamos una flota de robots de diferentes formas trabajando juntos en una fábrica o en un hospital, todos controlados por el mismo "cerebro" inteligente.

Resumen técnico

Resumen Técnico: EAGLE

1. El Problema

El control de cuerpo completo (Whole-Body Control - WBC) para humanoides mediante Aprendizaje por Refuerzo (RL) ha logrado avances notables, pero actualmente está limitado a un solo tipo de robot (un solo "embodiment").

• Desafío de la Generalización: Las variaciones en la dinámica, los grados de libertad (DoFs) y la topología cinemática entre diferentes robots humanoides impiden que una sola política de control funcione en múltiples plataformas sin reentrenamiento.
• Limitaciones de Comandos: Los métodos existentes suelen restringirse a comandos de velocidad de baja dimensión (caminar). Lograr una política generalista que soporte comportamientos ricos y complejos (como agacharse, inclinarse o mantener el equilibrio en posturas variadas) y que se transfiera a hardware real diverso sigue siendo un gran reto.
• Ineficiencia: Enfoques actuales requieren ajustar recompensas específicas para cada robot o reiniciar el pipeline de entrenamiento para cada nuevo modelo, lo que frena el despliegue a escala.

2. Metodología: EAGLE

Los autores proponen EAGLE (Embodiment-Aware Generalist-Specialist Distillation), un marco de entrenamiento iterativo que produce una única política unificada capaz de controlar múltiples humanoides heterogéneos.

Componentes Clave:

• Interfaz de Comando Unificada y de Alta Dimensión:

  • Se define un vector de comando $c_t = [v_x, v_y, \omega, h, p]^T$ que incluye:
    • Tarea: Velocidades lineales ($v_x, v_y$) y angular ($\omega$).
    • Comportamiento: Altura de la base ($h$) y ángulo de inclinación del cuerpo (pitch, $p$).
  • Esto permite ejecutar no solo caminata, sino también agacharse, inclinarse y mantener posturas estáticas complejas.

• Alineación de Observación y Acción (Embodiment Alignment):

  • Para manejar robots con diferentes números de articulaciones y estructuras, se utilizan rellenos con ceros (zero padding) y mapas de índices fijos para estandarizar los vectores de acción a una longitud única ($D_a = 32$).
  • Observación Consciente del Embodiment: Se introduce información privilegiada sobre la morfología (masa, centro de masa, matriz de inercia de torso y pies) tanto para el crítico como para el actor. Esto ayuda a la red neuronal a distinguir las dinámicas específicas de cada robot.

• Bucle Iterativo de Destilación Generalista-Especialista:
  El proceso sigue un ciclo continuo hasta la convergencia:

  1. Fase de Especialización: Se copia la política generalista actual ($\pi_g$) para crear $N$ especialistas ($\pi_{s_i}$), uno por cada tipo de robot. Cada especialista se ajusta (fine-tune) exclusivamente en su robot correspondiente.
  2. Fase de Generalización (Destilación): Se recogen trayectorias ejecutando el generalista. Las acciones propuestas por el generalista se reetiquetan con las acciones óptimas de los especialistas correspondientes.
  3. Entrenamiento: Se actualiza el generalista minimizando una función de pérdida compuesta por:
     • Pérdida PPO (para exploración y RL).
     • Pérdida de alineación de acciones ($L_a$) basada en DAgger.
     • Pérdida de alineación de representación ($L_e$): Una contribución clave que alinea las características ocultas (hidden features) de la red, no solo las acciones finales, asegurando que el generalista aprenda representaciones morfológicas robustas.

3. Contribuciones Principales

1. Marco de Destilación Consciente del Embodiment: Introducen un bucle iterativo que unifica el control de cuerpo completo en humanoides heterogéneos sin necesidad de ajustar recompensas específicas por robot.
2. Interfaz de Comandos Rica: Demuestran que una sola política puede manejar comandos de alta dimensión (velocidad, altura, inclinación), permitiendo comportamientos complejos como agacharse e inclinarse, algo que los enfoques anteriores no soportaban bien en múltiples robots.
3. Validación Extensiva: Realizan experimentos en 5 robots diferentes en simulación (Unitree H1, G1, Booster T1, Fourier N1, PNDbotics Adam) y en 4 robots en el mundo real, logrando una transferencia zero-shot (sin ajuste adicional en el mundo real).

4. Resultados Experimentales

• Precisión en el Seguimiento de Comandos: EAGLE supera significativamente a las líneas base (PPO estándar, COMPASS, Kickstarting) en la precisión de seguimiento de comandos.
  • En comparación con PPO entrenado en todos los robots, EAGLE reduce el error de seguimiento en la mayoría de las métricas.
  • Supera a métodos de destilación anteriores (como Kickstarting) que a menudo se vuelven inestables en ciertos robots (ej. errores 5 veces mayores en el robot T1).
• Ablación de Observación: La eliminación de la "observación consciente del embodiment" (PPO w/o EO) degrada drásticamente el rendimiento, confirmando que la red necesita entender explícitamente las diferencias morfológicas para generalizar.
• Visualización de Representaciones: Mediante t-SNE, se demuestra que la política de EAGLE aprende clusters latentes bien separados para cada robot, mientras que los métodos sin esta observación colapsan los robots en un solo grupo, incapaces de distinguir sus dinámicas.
• Desempeño Sim2Real: La política entrenada exclusivamente en simulación se despliega exitosamente en robots reales (H1, G1, N1, T1) ejecutando caminar, inclinarse y agacharse de forma estable y robusta, sin necesidad de reentrenamiento en el mundo real.

5. Significado e Impacto

Este trabajo representa un paso crucial hacia el control de flotas de humanoides escalable.

• Eficiencia de Desarrollo: Elimina la necesidad de reentrenar o ajustar recompensas para cada nuevo modelo de robot, acelerando el despliegue de nuevas plataformas.
• Robustez: Demuestra que es posible aprender una política "generalista" que no solo camina, sino que realiza tareas de cuerpo completo complejas en hardware físico diverso.
• Futuro: Abre la puerta a la creación de sistemas de control unificados para la próxima generación de robots humanoides, donde un solo cerebro (política) puede adaptarse a diferentes cuerpos físicos mediante mecanismos de distilación y representación consciente del diseño.

En resumen, EAGLE resuelve el problema de la fragmentación en el control de humanoides mediante una arquitectura de destilación iterativa que combina la especialización por robot con la generalización de políticas, logrando un control unificado, rico en comportamientos y robusto en el mundo real.