LHM-Humanoid: Learning a Unified Policy for Long-Horizon Humanoid Whole-Body Loco-Manipulation in Diverse Messy Environments

El artículo presenta LHM-Humanoid, un marco de aprendizaje y un conjunto de datos que permiten a un agente humanoides ejecutar tareas complejas de locomoción y manipulación en entornos desordenados mediante una política unificada de extremo a extremo que supera a los métodos anteriores en generalización y robustez.

Lo esencial

¡Hola! Imagina que tienes un robot humanoide (un robot con forma de humano) llamado LHM-Humanoid. Su trabajo no es tan sencillo como caminar por un pasillo vacío o levantar una caja en un laboratorio ordenado.

Imagina que entras a tu casa y ves un caos total: hay zapatos en el pasillo, una caja de cartón bloqueando la puerta del salón, un libro en el sofá y una taza en el suelo. Tu robot tiene una misión muy difícil:

1. Caminar entre todo ese desorden hasta encontrar un objeto.
2. Agarrarlo sin caerse (¡equilibrio es clave!).
3. Llevarlo rodeando los muebles y otros obstáculos.
4. Colocarlo en su sitio correcto.
5. Y lo más difícil: ¡Hacerlo todo de nuevo inmediatamente para otro objeto, sin que nadie lo apague ni lo reinicie!

El problema es que la mayoría de los robots actuales son como estudiantes que solo saben hacer un ejercicio a la vez. Si les pides que hagan una cadena larga de tareas en un entorno desordenado, se confunden, se caen o se quedan atascados.

La Solución: El "Entrenador Doble" y el "Estudiante Genio"

Los autores de este paper (un equipo de investigadores de Manchester, Pekín y Hong Kong) crearon un sistema inteligente para entrenar a este robot. Usaron una analogía de entrenamiento deportivo que es muy fácil de entender:

1. El Problema: El "Entrenador Único" falla

Si intentas enseñarle al robot todo el proceso de golpe (caminar, agarrar, llevar, soltar, repetir), es como intentar enseñar a un niño a tocar una sinfonía entera sin que sepa ni las notas básicas. El robot se pierde, no sabe qué hacer cuando se tropieza y el aprendizaje falla.

2. La Estrategia: Dos Entrenadores Especializados

En lugar de un solo entrenador, crearon dos "maestros" (Teachers) que trabajan por turnos:

• El Maestro 1 (El Especialista en el Inicio): Se encarga de la primera tarea. Le enseña al robot a caminar, agarrar el objeto, llevarlo y colocarlo. Pero tiene un truco especial: cuando termina, le enseña al robot a retroceder y soltar el objeto con cuidado, quedando en una posición estable y lista para empezar de nuevo. Imagina que es como un bailarín que termina su paso y se coloca perfectamente en el centro del escenario para esperar la siguiente música.
• El Maestro 2 (El Especialista en la Recuperación): Este es el héroe. A veces, el robot no termina en una posición perfecta; puede estar un poco torcido, agachado o mirando hacia otro lado. El Maestro 2 no se preocupa por eso. Su trabajo es enseñarle al robot a recuperarse de esa posición rara, girar, volver a equilibrarse y empezar la siguiente tarea sin que nadie reinicie el sistema.

3. El Estudiante: La Fusión (Distillation)

Una vez que estos dos maestros han aprendido sus partes, crean a un Estudiante Único.
Imagina que tomas todas las lecciones del Maestro 1 y del Maestro 2, las mezclas en una gran olla de sopa de sabiduría, y le pides al Estudiante que aprenda a hacerlo todo él solo.

• El Estudiante no necesita que le digan "ahora camina" o "ahora suelta".
• Él ve el desorden, decide qué hacer, camina, agarra, lleva, suelta, se recupera y vuelve a empezar, todo en un solo flujo continuo.

¿Por qué es tan especial esto?

• Generalización (Adaptabilidad): La mayoría de los robots se entrenan en una sola habitación. Si cambias la posición de una silla, fallan. Este robot se entrenó en 350 habitaciones diferentes (cocinas, dormitorios, almacenes, salas de estar) con muebles y objetos en posiciones aleatorias. Es como si el robot hubiera vivido en miles de casas diferentes antes de salir al mundo real.
• Sin Reinicios: En la vida real, no puedes apagar a un robot cuando se cae y decirle "vamos a empezar de nuevo". Este sistema permite que el robot se caiga, se levante y siga trabajando.
• Habla y Ve: Además, lo entrenaron para que entienda instrucciones en lenguaje natural (como "pon la taza en la mesa") y use su cámara (como si fuera un ojo humano) en lugar de depender de sensores mágicos que solo los robots de laboratorio tienen.

El Resultado Final

Cuando probaron a este robot en escenarios que nunca había visto (como una cocina llena de trastos o un almacén con cajas apiladas), ganó por mucho a los robots anteriores.

• Los robots viejos se quedaban atascados o se caían en el primer obstáculo.
• El LHM-Humanoid lograba mover varios objetos uno tras otro, manteniendo el equilibrio incluso cuando cargaba cosas pesadas o pasaba por espacios muy estrechos.

En resumen:
Este paper nos dice que para que un robot sea realmente útil en nuestra casa desordenada, no podemos darle un solo comando simple. Necesitamos enseñarle a ser flexible, a recuperarse de sus errores y a ver el panorama completo, tal como lo hace un humano cuando limpia su habitación: "Agarro esto, lo muevo, me estorba esa silla, la aparto, y sigo con lo siguiente". ¡Y todo sin que nadie tenga que darle un "reset"!

Resumen técnico

Resumen Técnico: LHM-Humanoid

1. Planteamiento del Problema

El trabajo aborda un desafío fundamental en la robótica de humanoides: la locomanipulación de largo horizonte en entornos desordenados y diversos. A diferencia de trabajos anteriores que se limitan a interacciones de un solo paso, objetos únicos o entornos controlados, LHM-Humanoid propone un escenario donde un agente humanoide debe:

1. Navegar hacia un objetivo en un entorno con obstáculos.
2. Agarrar el objeto utilizando posturas de cuerpo completo bajo restricciones de equilibrio.
3. Transportar el objeto esquivando obstáculos.
4. Colocar el objeto en una ubicación designada.
5. Repetir este ciclo múltiples veces (mínimo dos, hasta cinco) en un solo episodio continuo sin reiniciar el entorno.

Desafíos clave:

• Generalización cruzada: Los entornos (dormitorio, sala, cocina, almacén), la disposición de los objetos, sus masas y formas varían drásticamente.
• Control unificado: Se requiere una sola política que maneje todo el episodio, en lugar de bibliotecas de habilidades preentrenadas o controladores específicos por escenario.
• Estados no canónicos: Después de colocar un objeto, el robot puede quedar en posturas inestables o desorientadas, lo que dificulta iniciar el siguiente ciclo.
• Falta de datos de demostración: No se proporcionan secuencias de movimiento de referencia específicas para cada escena, lo que impide el aprendizaje por imitación directa tradicional.

2. Metodología

Los autores proponen un marco de aprendizaje basado en dos políticas maestras (Teachers) y una política estudiantil unificada (Student), entrenadas mediante Refuerzo (RL) y destilación (DAgger).

A. Entrenamiento de las Políticas Maestras (Teachers):

• Teacher 1 (Primer ciclo): Se entrena para completar el primer ciclo de "agarrar-transportar-colocar". Su objetivo crítico es aprender una conducta de "soltar y retirarse" (release-and-retreat). Tras colocar el objeto, el robot debe soltarlo y retroceder a una posición segura y estable. Esto asegura que el estado final sea manejable para el siguiente ciclo.
• Teacher 2 (Recuperación y siguiente ciclo): Se entrena para continuar el episodio desde el estado terminal no canónico generado por Teacher 1. Este agente debe recuperar el equilibrio, reorientarse hacia el siguiente objetivo y realizar el siguiente ciclo de locomanipulación. Esto expone al modelo a una distribución de estados mucho más amplia y difícil que la de un estado inicial estándar.

B. Destilación en una Política Unificada (Student):

• Se utiliza el algoritmo DAgger (Dataset Aggregation) para destilar a ambas políticas maestras en una única red neuronal estudiantil.
• Durante el entrenamiento, un autómata de estados finito (FSM) selecciona qué maestro supervisa al estudiante en cada paso (Teacher 1 para el primer objeto, Teacher 2 para el segundo).
• El resultado es una política "end-to-end" (de extremo a extremo) que ejecuta el episodio completo sin necesidad de reinicios ni cambios de controladores.

C. Extensión a Modelo VLA (Visión-Lenguaje-Acción):

• La política unificada se destila nuevamente en un modelo VLA.
• Este modelo reemplaza las entradas de estado privilegiado (oracle) por observaciones RGB egocéntricas e instrucciones de lenguaje natural.
• Permite que el robot siga instrucciones secuenciales en tiempo real basándose solo en lo que "ve" y "escucha".

3. Contribuciones Clave

1. BenchMark LHM-Humanoid: Un conjunto de datos y evaluación con 350 escenas diversas en 4 tipos de habitaciones, con 79 objetos (25 movibles) y tareas de largo horizonte sin reinicios.
2. Marco de Destilación Dual-Maestro: Una arquitectura innovadora que divide el problema de largo horizonte en dos fases de entrenamiento (ciclo inicial + recuperación) para luego unificarlas, resolviendo el problema de la asignación de crédito en horizontes largos y la inestabilidad de las transiciones.
3. Política Unificada y Robusta: Demuestra que es posible entrenar una sola política que generaliza a escenas no vistas y secuencias más largas de las que se entrenó (hasta 5 objetos), superando a enfoques jerárquicos y de RL directo.
4. Integración VLA: Extensión exitosa del control físico a un modelo guiado por visión y lenguaje, acercándose a la implementación en el mundo real.

4. Resultados Experimentales

Los experimentos se realizaron en el simulador Isaac Gym con un humanoide.

• Rendimiento en Escenas de Entrenamiento (350 tareas):

  • La metodología propuesta (LHM-Humanoid-T) alcanzó un 72.38% de éxito en completar ambos ciclos (Success All), superando significativamente a las líneas base.
  • El RL directo de extremo a extremo falló completamente (0% de éxito) debido a la dificultad de explorar espacios de acción complejos.
  • Los métodos jerárquicos y basados en habilidades fijas (TokenHSI, InterMimic) mostraron fragilidad ante variaciones geométricas.

• Generalización a Escenas No Vistas (66 tareas):

  • La política propuesta mantuvo un 63.20% de éxito en tareas totalmente nuevas, mientras que las líneas base cayeron drásticamente (ej. RL curricular al 39.50%, HumanVLA al 25.06%).
  • Esto demuestra una fuerte capacidad de generalización cruzada y robustez ante cambios en la disposición de obstáculos.

• Escalabilidad a Largo Horizonte (>2 objetos):

  • Al probar con secuencias de hasta 5 objetos sin ajuste fino, la política propuesta logró un 18.07% de éxito en completar toda la secuencia.
  • En contraste, todas las líneas base cayeron a cerca de 0% después del tercer objeto, evidenciando la acumulación de errores en otros métodos.

• Validación VLA:

  • El modelo VLA destilado mantuvo un alto rendimiento (63.71% de éxito en dos ciclos), demostrando que la política física robusta sobrevive a la transición a entradas sensoriales ruidosas (RGB + Lenguaje).

5. Significado e Impacto

El trabajo LHM-Humanoid representa un avance significativo hacia la autonomía real de los humanoides en entornos domésticos y logísticos.

• Superación de la fragmentación: Demuestra que el enfoque de "un solo controlador para todo" es viable y superior a las arquitecturas jerárquicas complejas para tareas de manipulación continua.
• Robustez en la transición: La introducción de la fase de "soltar y retirarse" y el entrenamiento desde estados no canónicos resuelve uno de los mayores cuellos de botella en la manipulación secuencial: la recuperación tras una tarea.
• Hacia el mundo real: Al integrar observaciones visuales y lenguaje, el marco se alinea con las tendencias actuales de los modelos de acción visuales (VLA), sentando las bases para humanoides que puedan recibir instrucciones complejas y ejecutarlas en entornos caóticos sin intervención humana constante.

En conclusión, el artículo establece un nuevo estándar para la locomanipulación de humanoides, demostrando que mediante una estrategia de destilación inteligente y un diseño de recompensas cuidadoso, es posible lograr comportamientos robustos y generalizables en escenarios de largo horizonte.