DreamControl-v2: Simpler and Scalable Autonomous Humanoid Skills via Trainable Guided Diffusion Priors

1. El Problema

El desarrollo de habilidades autónomas de locomoción y manipulación para humanoides sigue siendo un desafío abierto en robótica. Aunque el Aprendizaje por Refuerzo (RL) ha tenido éxito en la locomoción, aplicarlo a tareas de manipulación complejas y ricas en interacción es difícil debido a los retos de planificación a largo plazo.

El enfoque anterior, DreamControl, utilizaba modelos de difusión de movimiento humano "de caja negra" (como OmniControl) para generar trayectorias, que luego se retargeteaban (adaptaban) al robot. Este enfoque presentaba limitaciones críticas:

• Pérdida de restricciones espaciales: Las restricciones espaciales (ej. "agarrar una caja en la posición X") se aplicaban en el espacio humano. Al retargetear al robot, la efectora final no llegaba a la posición deseada, requiriendo un ajuste manual y por ensayo y error de los parámetros de entrada.
• Falta de escalabilidad: El proceso dependía de filtrado manual y soluciones específicas para cada tarea (como Cinemática Inversa manual), lo que impedía escalar a un conjunto diverso de habilidades.
• Datos limitados: Los modelos originales se entrenaban principalmente en datos de captura de movimiento humano (AMASS), que no cubrían suficientes interacciones con objetos articulares o manipulaciones específicas de robots.

2. Metodología: DreamControl-v2

DreamControl-v2 propone un marco mejorado que entrena un modelo de difusión guiado directamente en el espacio de acción del robot (ej. Unitree-G1), eliminando la necesidad de retargeteo posterior y ajuste manual. La pipeline consta de cuatro etapas principales:

A. Construcción del Dataset en Espacio Robot (Pre-retargeting)

En lugar de generar movimiento humano y luego adaptarlo, el equipo crea un dataset unificado en el espacio del robot:

• Fuentes de Datos: Se combinan grandes datasets de movimiento humano (AMASS, HumanML3D, GRAB, Nymeria) y datos de robots (OmniRetarget).
• Retargeting Masivo: Se retargetean todas las secuencias humanas al esqueleto cinemático del robot Unitree-G1 antes del entrenamiento. Esto incluye resolver problemas de optimización para alinear ángulos articulares, posiciones relativas y compensar diferencias de escala.
• Normalización de Datos: Se resuelven inconsistencias entre diferentes formatos de datos (ej. convertir datos de trajes Xsens a parámetros SMPL) para asegurar una representación coherente.
• Filtrado Automatizado: Se aplican filtros de viabilidad física (basados en PHC) para eliminar movimientos no realistas (como correr en una cinta sin conocer la velocidad) y se extraen segmentos específicos de tareas usando búsqueda por palabras clave en anotaciones de texto.

B. Entrenamiento del Prior de Difusión

Se entrena un modelo de difusión en el espacio del robot:

• Entradas: El modelo se condiciona con instrucciones de texto de vocabulario abierto y señales de control espacio-temporal (posiciones 3D para articulaciones específicas en tiempos concretos).
• Arquitectura: Se utiliza la arquitectura OmniControl (basada en MDM) pero inicializada con pesos preentrenados de movimiento humano y adaptada al espacio de estados del robot (22 puntos clave canónicos, velocidades, contactos con el suelo, etc.).
• Generación: El modelo genera trayectorias de referencia que ya son físicamente plausibles para el robot, cumpliendo las restricciones espaciales directamente en el espacio del robot, sin necesidad de ajustes posteriores.

C. Entrenamiento de RL y Despliegue

• Política de RL: Se entrena un controlador basado en física (usando PPO en IsaacSim) que recibe las trayectorias generadas por el modelo de difusión como objetivos. La recompensa incluye la finalización de la tarea y el seguimiento preciso de la trayectoria.
• Despliegue Sim2Real: La política se despliega en un robot Unitree-G1 real. El sistema utiliza solo señales de propiocepción y la posición relativa de objetos, sin necesidad de referencias externas durante la inferencia.

3. Contribuciones Clave

1. Entrenamiento Nativo en Espacio Robot: Cambiar el paradigma de "Generar Humano -> Retargetear" a "Entrenar en Espacio Robot". Esto elimina la pérdida de precisión en las restricciones espaciales y la necesidad de ajuste manual por ensayo y error.
2. Pipeline Escalable y Automatizada: La eliminación del filtrado manual y la IK específica por tarea permite escalar la generación de trayectorias a grandes volúmenes de datos heterogéneos.
3. Mejora de la Diversidad de Habilidades: Al entrenar con una mezcla masiva de datos (incluyendo interacciones con objetos articulares como cajones y gabinetes), el modelo aprende habilidades que no estaban presentes en los datasets originales de movimiento humano.
4. Análisis de Escalado: Demuestran que aumentar la cantidad de datos de entrenamiento y el número de trayectorias de referencia generadas mejora consistentemente el rendimiento de la política de RL.

4. Resultados

Los experimentos se realizaron en simulación y en un robot Unitree-G1 real:

• Calidad de Trayectorias: El modelo "Full-Mix" (entrenado con todos los datasets) superó significativamente al modelo base OmniControl (Zero-shot) en métricas de fidelidad (FID más bajo), alineación texto-movimiento (R-Precision) y precisión de control espacial (Control L2).
• Rendimiento de RL:
  • En tareas complejas de interacción (Grupo 1: Abrir cajones, Agacharse profundo y agarrar), DreamControl-v2 logró tasas de éxito muy altas (ej. 96% para abrir cajones, 94% para agacharse), mientras que el enfoque anterior fallaba o requería intervención manual.
  • En tareas más simples (Grupo 2: Golpear, Agarrar), igualó o superó el rendimiento del estado del arte.
• Eficiencia: El método de pre-retargeting logró una tasa de trayectorias válidas del 68%, comparado con solo el 4-8% del método de calibración de prompts por ensayo y error.
• Generalización: El modelo entrenado con datos mixtos mantuvo el rendimiento en datos de dominio original (AMASS) mientras mejoraba drásticamente en datos fuera de distribución (Nymeria, GRAB).

5. Significado e Impacto

DreamControl-v2 representa un avance significativo hacia la adquisición autónoma de habilidades en humanoides. Al integrar la generación de movimiento directamente en el espacio de acción del robot, el enfoque resuelve el cuello de botella de la adaptación de datos humanos a robots. Esto permite:

• Escalabilidad: La capacidad de utilizar grandes datasets heterogéneos sin intervención humana intensiva.
• Robustez: Políticas de RL más robustas que pueden manejar interacciones complejas con el entorno y objetos articulares.
• Simplicidad: Un pipeline más limpio que elimina la necesidad de ajustes manuales costosos, facilitando el despliegue de nuevas habilidades en robots reales.

En resumen, el trabajo demuestra que entrenar priores de difusión específicos para la encarnación del robot, en lugar de depender de modelos humanos genéricos, es la clave para lograr habilidades de locomoción y manipulación autónomas, escalables y de alta fidelidad.