Resumen Técnico: Humanoid-DART

Declaración del Problema

La loco-manipulación humanoide requiere un control coordinado de todo el cuerpo y una interacción dinámica con objetos. Si bien los avances recientes en aprendizaje por imitación y aprendizaje por refuerzo (RL) han permitido habilidades de locomoción impresionantes mediante el seguimiento de demostraciones expertas, escalar estos enfoques a la loco-manipulación rica en contactos sigue siendo un desafío significativo. A diferencia de la locomoción, la loco-manipulación implica un espacio de tareas amplio y continuo definido conjuntamente por el movimiento del cuerpo, los estados del objeto y las interacciones con el entorno. Las variaciones en la pose del objeto, la configuración de transporte, la estrategia de agarre y el tiempo de interacción crean un espacio combinatorio que es prohibitivamente costoso de cubrir únicamente con demostraciones humanas. Los métodos existentes suelen depender de grandes conjuntos de datos de movimiento humano o se centran en rastrear un único comportamiento de referencia, fallando al resolver de forma robusta diversas tareas de loco-manipulación bajo condiciones variables con datos iniciales escasos.

Metodología

El artículo propone Humanoid-DART, un marco de trabajo iterativo y auto-supervisado diseñado para arrancar a partir de un conjunto disperso de demostraciones iniciales y expandir progresivamente su repertorio de comportamiento. El flujo de trabajo alterna entre dos componentes estrechamente acoplados: un generador de movimiento condicionado por objetivos y una política de seguimiento de movimiento basada en física.

1. Visión General del Algoritmo

El sistema opera como un currículo evolutivo sobre una distribución de habilidades definida por un archivo de élite $E$ de trayectorias exitosas.

• Muestreo de Objetivos: En cada iteración, el currículo muestrea nuevos estados objetivo alrededor de la distribución actual en $E$, apuntando tanto al refinamiento de las habilidades existentes como a la exploración de regiones subrepresentadas.
• Generación Cinemática: Un modelo de difusión condicionado por objetivos ($\pi_\theta$) genera trayectorias de referencia cinemáticas para los objetivos muestreados. Estas trayectorias pueden contener inconsistencias físicas (p. ej., deslizamiento de pies, penetraciones).
• Evaluación Física: Una política de seguimiento de movimiento ($\pi_\phi$), entrenada mediante RL, ejecuta estas referencias cinemáticas en un simulador de física. Actúa como un filtro dinámico, convirtiendo planes potencialmente inviables en ejecuciones físicamente consistentes.
• Selección y Relabelado: Las trayectorias resultantes se evalúan utilizando una función de aptitud $F(\tau)$ que mide la fidelidad de seguimiento, la corrección del contacto y la estabilidad. Las trayectorias que superan un umbral $\tau_f$ se retienen en el archivo de élite $E$. Crucialmente, las ejecuciones exitosas que no coinciden perfectamente con el objetivo muestreado son re-etiquetadas (relabelled) con sus métricas de tarea alcanzadas, convirtiendo los "casi aciertos" en señales de entrenamiento válidas.
• Actualización Iterativa: Tanto el generador de difusión como la política de seguimiento se reentrenan sobre el archivo expandido, aumentando progresivamente la diversidad de las trayectorias factibles y la cobertura del espacio de tareas.

2. Componentes Arquitectónicos Clave

• Generador de Movimiento Cinemático (Transformer de Difusión):
  • Backbone de Doble Rama: La arquitectura separa el estado en un flujo global (movimiento de la raíz y características relativas al objeto) y un flujo local (pose del cuerpo/articulaciones). El flujo local realiza una atención cruzada con el flujo global, desacoplando la navegación gruesa de la síntesis de pose fina mientras mantiene la sincronización.
  • Desenmascaramiento Parcial Estructurado: Durante el entrenamiento, el modelo revela selectivamente grupos de características con ruido de fotogramas futuros. Esto incentiva al planificador a inferir componentes de movimiento faltantes a partir de observaciones parciales, aprendiendo correlaciones entre grupos de características (p. ej., entre la pose de todo el cuerpo y la interacción con el objeto) en lugar de tratarlos de forma independiente.
  • Inferencia: Utiliza la síntesis auto-regresiva sobre segmentos superpuestos con inpainting de historial (estilo RePaint) para asegurar la consistencia temporal.
• Política de Seguimiento de Movimiento:
  • Un controlador actor-crítico asimétrico inspirado en DeepMimic entrenado con Optimización de Política de Proximidad (PPO).
  • Observa un horizonte de referencia de 5 pasos, el estado propioceptivo y la pose del objeto, con el crítico recibiendo el estado privilegiado de la simulación.
  • El entrenamiento incorpora aleatorización de dominio (masa del objeto, fricción, empujes) para asegurar la transferencia de simulación a realidad (sim-to-real).
• Currículo y Relabelado de Objetivos:
  • Muestreo de Objetivo de Frontera: El espacio de tareas se discretiza en contenedores (bins). Se asignan pesos de muestreo basados en la distancia de los contenedores respecto al conjunto de élite actual: Refinar (cerca de las élites existentes), Explorar (distancia intermedia) y Frontera (lejos, regiones no resueltas). Los contenedores de exploración tienen el peso más alto para impulsar la expansión de la cobertura.
  • Relabelado de Objetivos: En lugar de descartar las ejecuciones que fallan el objetivo muestreado, el sistema trata retroactivamente el estado alcanzado como el objetivo pretendido, proporcionando una señal de aprendizaje densa incluso cuando el generador está subentrenado.

Principales Contribuciones

1. Pipeline Humanoid-DART: El primer pipeline de aumento de trayectoria iterativo para aprender habilidades de loco-manipulación condicionadas por objetivos a partir de demostraciones dispersas.
2. Diseños de Novedad:
   • Un Transformer de Difusión (DiT) jerárquico condicionado por objetivos con una arquitectura de doble rama y desenmascaramiento parcial estructurado para mejorar la síntesis de trayectorias en regímenes de datos dispersos.
   • Un controlador de cuerpo completo por RL condicionado a la pose del objeto para rastrear las trayectorias generadas.
   • Un algoritmo basado en currículo con una estrategia de relabelado de objetivos que convierte las ejecuciones de casi acierto en señales de entrenamiento válidas.
3. Validación Empírica: Demostración del marco en cuatro tareas de loco-manipulación (empujar, patear, entrega manual y pick-and-place), utilizando un humanoide Unitree G1. El sistema logra la cobertura del espacio de tareas partiendo de tan solo cuatro demostraciones base y se generaliza a objetivos significativamente más allá de la distribución semilla.

Resultados Experimentales

• Cobertura del Espacio de Tareas: En la tarea de pick-and-place, Humanoid-DART logró una cobertura del 96.4% del espacio de la tarea objetivo partiendo de solo cuatro demostraciones base (aprox. 20 segundos de movimiento). Esto representa un crecimiento del 0.1% a una cobertura casi completa en cuatro generaciones.
• Generalización: El sistema generó y rastreó con éxito trayectorias hacia objetivos situados a 4–5 veces la distancia de las demostraciones base, demostrando una generalización robusta.
• Despliegue en el Mundo Real: Las trayectorias generadas se desplegaron con éxito en un humanoide físico Unitree G1 para las tareas de empuje, patada y pick-and-place, confirmando la viabilidad dinámica en hardware.
• Estudios de Ablación:
  • Arquitectura: Eliminar la estructura de doble rama (colapsando a un DiT plano único) causó que la tasa de éxito de alcance de objetivo cayera de 1.00 a 0.25. El desenmascaramiento parcial estructurado mejoró la rectitud de la trayectoria y la consistencia del agarre.
  • Líneas Base: Comparado con "Movimiento Parametrizado" (que se enfoca en regiones de alta calidad estrechas) y "Difusión Jerárquica + RL" (entrenados conjuntamente sin el bucle evolutivo), Humanoid-DART demostró una cobertura del espacio de tareas superior. El bucle evolutivo fue identificado como el principal motor del rendimiento.
  • Inicialización: Las trayectorias semilla dinámicamente factibles (DF) condujeron a una convergencia más rápida y una mayor cobertura en comparación con las semillas cinemáticamente factibles (KF), que a menudo contenían inconsistencias físicas que el modelo de difusión amplificaba.

Significado y Reivindicaciones

El artículo afirma que Humanoid-DART aborda el cuello de botella de la escasez de datos en la loco-manipulación humanoide aprovechando los modelos generativos para expandir iterativamente el conjunto de referencias de trayectoria. Al desacoplar la generación de movimiento de alto nivel del control de bajo nivel y utilizar un currículo con relabelado de objetivos, el marco permite el aprendizaje de políticas robustas y condicionadas por objetivos con una supervisión experta mínima. Los autores enfatizan que este enfoque permite el descubrimiento de comportamientos diversos y habilidades de largo horizonte que se extienden mucho más allá del alcance de las demostraciones semilla iniciales, ofreciendo un camino escalable hacia la manipulación humanoide generalista sin la necesidad de conjuntos masivos de datos de movimiento humano.

Limitaciones y Trabajo Futuro: La evaluación actual está restringida a una única geometría de objeto y terreno plano. Los autores señalan que el pipeline hereda sesgos de las demostraciones semilla y depende de una función de aptitud ajustada manualmente. El trabajo futuro tiene como objetivo extender el marco a diversos objetos, propiedades de contacto y terrenos irregulares, así como reemplazar la función de aptitud con un criterio aprendido y adaptativo.