Resumen Técnico: MotionWAM

Planteamiento del Probleza

Los sistemas actuales de loco-manipulación humanoide autónoma dependen predominantemente de un paradigma jerárquico que desacopla la parte superior de la inferior. En esta configuración, una política de manipulación de alto nivel genera objetivos de articulación finos para los brazos, mientras que un controlador de bajo nivel sigue comandos de base gruesos (velocidad, altura, orientación) para las piernas. Esta arquitectura obliga al robot a operar en espacios de acción inconsistentes, restringiendo las piernas a una preservación pasiva del equilibrio y evitando la interacción de pies impulsada por tareas (por ejemplo, pisar un pedal o patear un balón).

Si bien los Modelos de Acción de Mundo (WAMs) han mostrado resultados prometedores en la manipulación de mesas al acoplar prior much de la dinámica de video a las políticas, las implementaciones existentes son demasiado lentas para el control en tiempo real. Dependen de un proceso de eliminación de ruido iterativo sobre latentes de video-acción de alta dimensión, lo que crea un cuello de botella computacional que impide el despliegue en bucle cerrado en humanoides dinámicos y en equilibrio. El desafío central es desplegar los ricos conocimientos previos de la dinámica de los WAMs en un espacio latente unificado para el control de cuerpo completo de humanoides, manteniendo al mismo tiempo velocidades de inferencia en tiempo real.

Metodología: MotionWAM

MotionWAM es un Modelo de Acción de Mundo (WAM) de extremo a extremo diseñado para dirigir la loco-manipulación humanoide autónoma a partir de una única cámara egocéntrica. Reemplaza la división jerárquica superior-inferior con un latente de movimiento unificado que predice tokens de movimiento de cuerpo completo que cubren locomoción, movimiento del torso, regulación de altura, interacción de pies y manipulación de manos simultáneamente.

1. Arquitectura del Modelo

MotionWAM emplea un marco de doble DiT (Transformer de Difusión):

• Video DiT: Inicializado a partir de Cosmos-Predict2.5-2B, esta rama comprime los fotogramas de condicionamiento egocéntricos y los fotogramas futuros en latentes. Crucialmente, en lugar de esperar la eliminación de ruido completa, el modelo intercepta los estados ocultos ($h^{\tau_f}_t$) de la red de velocidad en un paso de flujo temporal fijo cerca del ruido puro ($\tau_f \approx 1$). Este régimen de "imaginación de un solo paso" codifica hacia dónde se dirige la escena sin el costo computacional de la eliminación de ruido iterativa.
• Motion DiT: Esta rama consume las características intermedias del Video DiT, junto con los estados propioceptivos y los tokens de movimiento con ruido, para predecir el campo de velocidad para el latente de movimiento.
• Latente Unificado ($m_t$): El resultado es un latente de movimiento unificado que comprende:
  • Un vector continuo ($m^{cont}_t$) para comandos de mano/pinza diestros.
  • Un índice de token discretizado ($k_t$) derivado de un slot escalar ($\tilde{k}_t$), que resume la intención de locomoción, torso, altura e interacción de pies. Este token es decodificado por SONIC, un controlador de cuerpo completo universal, en comandos de articulación.

2. Marco de Entrenamiento de Tres Etapas

Para adaptar el modelo de mundo de video a la dinámica egocéntrica y a la encarnación específica del humanoide, los autores proponen una receta de entrenamiento progresiva:

• Etapa 1: Preentrenamiento de Video Egocéntrico: El Video DiT se entrena solo con ~2,136 horas de videos de humanos y humanoides-robot en primera persona. Esto desplaza la distribución del modelo de mundo hacia la dinámica visual en primera persona sin verse limitado por la escasez de datos etiquetados con acciones.
• Etapa 2: Post-entrenamiento de Acción de Multi-encarnación: Se adjunta el Motion DiT y se entrena conjuntamente en una mezcla heterogénea de datos de Unitree G1 (con variaciones en efectores finales y formatos de anotación). El objetivo de video se retiene como un regularizador para evitar que el conocimiento previo de la dinámica sea sobrescrito, anclando la señal de acción a través de diferentes encarnaciones.
• Etapa 3: Ajuste Fino de Cuerpo Completo: El modelo completo se ajusta mediante demostraciones de cuerpo completo teleoperadas recolectadas en el Unitree G1 objetivo. La salida de acción cambia a tokens de movimiento unificados de cuerpo completo, permitiendo el control de extremo a extremo.

Contribuciones Clave

1. Arquitectura MotionWAM: Un WAM en tiempo real que condiciona la política en las características de eliminación de ruido intermedias de un modelo de mundo de video, permitiendo el control de cuerpo completo en un único espacio de acción.
2. Latentes de Movimiento Unificados: El reemplazo de las políticas desacopladas superior-inferior por tokens de movimiento unificados permite que la parte inferior del cuerpo participe activamente en las tareas (por ejemplo, patear, dar pasos) en lugar de solo estabilizar la base.
3. Aprendizaje de Tres Etapas: Un marco que adapta progresivamente un modelo de mundo de video desde la dinámica egocéntrica genérica hacia el anclaje de acción de una encarnación específica, y luego al ajuste fino de tareas específicas.
4. Control de Cuerpo Completo en Tiempo Real: El primer modelo basado en WAM de bucle cerrado y extremo a extremo capaz de realizar loco-manipulación humanoide en tiempo real, incluyendo comportamientos de interacción de pies impulsados por tareas.

Resultados Experimentales

Los autores evaluaron MotionWAM en nueve tareas del mundo real con Unitree G1 que requieren control de cintura, regulación de altura, locomoción en cuclillas, interacción de pies y coordinación de cuerpo-mano.

• Rendimiento vs. Baselines: MotionWAM se comparó con cinco modelos de referencia, incluyendo modelos de Visión-Lenguaje-Acción (VLA) de última generación (GR00T-N1.7, $\pi_0.5$) y ablaciones personalizadas. MotionWAM logró una tasa de éxito general del 76.1%, superando sustancialmente al baseline más fuerte (76.1% vs. 43.9% para GR00T-N1.7), lo que representa una ganancia absoluta de >30%.
• Ganancias Específicas de Tarea: La brecha de rendimiento fue más significativa en tareas que requieren coordinación de cuerpo completo, como Kick Soccer (+40%), Load Cart (+40%) y Wipe Board (+45%). Los baselines de solo VLA colapsaron en tareas con mucha carga de locomoción, indicando que los conocimientos previos semánticos por sí solos son insuficientes para el control de física en bucle cerrado.
• Estudios de Ablación: Eliminar la Etapa 1 (preentrenamiento egocéntrico) o la Etapa 2 (anclaje de multi-encarnación) resultó en caídas significativas de rendimiento (11% y 28% respectivamente), validando la necesidad de la estrategia de entrenamiento progresivo.
• Inferencia en Tiempo Real: MotionWAM se ejecuta a 4.9 Hz en una NVIDIA A100. Esto es significativamente más rápido que otras políticas basadas en modelos de mundo (por ejemplo, Cosmos Policy a 0.7 Hz) porque evita la eliminación de ruido iterativa, lo que lo hace adecuado para el control de equilibrio de humanoides en bucle cerrado.

Significancia y Reivindicaciones

El artículo afirma que MotionWAM demuestra que los WAMs preentrenados en video pueden extenderse de la manipulación de mesas al control coordinado de cuerpo completo de tipo humanoide. Al aprovechar las características de eliminación de ruido intermedias, el modelo logra cerrar la brecha entre los ricos conocimientos previos de la dinámica de los modelos de video a gran escala y los requisitos de tiempo real y seguridad crítica de los humanoides en equilibrio. El trabajo sugiere que un espacio de acción unificado, condicionado por la dinámica del mundo de video, es un camino viable hacia robots autónomos que pueden usar activamente todo su cuerpo (incluyendo los pies) para interactuar con el entorno, en lugar de estar restringidos a la manipulación de la parte superior del cuerpo.

Limitaciones

Los autores reconocen que el ajuste fino de la Etapa 3 solo ha sido validado en la encarnación Unitree G1, y la transferibilidad de la receta a otras plataformas de hardware permanece sin verificar. Además, la evaluación no incluyó estudios controlados sobre la generalización a objetos novedosos, ya que los objetos de entrenamiento y prueba compartían similitudes visuales. El sistema también depende de una única cámara egocéntrica, lo que conduce a modos de falla cuando los objetos manipulados salen del campo de visión o cuando el punto de vista se desvía significativamente de la distribución de entrenamiento.