World Action Models are Zero-shot Policies

El artículo presenta DreamZero, un modelo de acción mundial basado en difusión de video que supera a los modelos VLA actuales al aprender dinámicas físicas para lograr una generalización cero-shot superior y transferencias entre diferentes cuerpos robóticos mediante demostraciones de video o datos de juego limitados.

Lo esencial

¡Hola! Imagina que quieres enseñar a un robot a hacer cosas en el mundo real, como doblar una camisa, atar un zapato o preparar una taza de café. Hasta ahora, los robots eran como estudiantes muy obedientes pero poco creativos: si les enseñabas a "agarrar una manzana", podían hacerlo, pero si les pedías que "agarraran una pera" o que hicieran algo nuevo que nunca habían visto, se quedaban congelados.

El nuevo trabajo de NVIDIA, llamado DreamZero, cambia las reglas del juego. Aquí te lo explico como si fuera una historia:

1. El Problema: El Robot que solo memoriza

Imagina que enseñas a un robot a cocinar dándole una receta paso a paso. Si le pides que haga un pastel, lo hace perfecto. Pero si le pides que haga una pizza, se confunde porque no tiene la "receta" de la pizza.
Los robots anteriores (llamados modelos VLA) funcionaban así: aprendían a asociar palabras con movimientos. Si decías "mueve la taza", el robot movía la mano. Pero no entendían la física de las cosas. No sabían que si empujas una taza fuerte, se cae y se rompe. Solo memorizaban el movimiento.

2. La Solución: El "Soñador" (DreamZero)

DreamZero es diferente. En lugar de solo memorizar movimientos, aprende a soñar.

• La Analogía del Director de Cine: Imagina que DreamZero es un director de cine que tiene una cámara mental. Cuando le das una instrucción ("dame el jugo"), el robot no solo mueve el brazo. Primero, imagina en su cabeza cómo se verá la escena en los próximos segundos: ve la mano acercándose, ve el vaso siendo agarrado, ve el jugo cayendo.
• El Secreto: DreamZero hace dos cosas al mismo tiempo:
  1. Crea un video mental de lo que pasará en el futuro.
  2. Decide qué movimiento hacer para que ese video mental se haga realidad.

Es como si el robot dijera: "Voy a mover mi brazo así... y si lo hago, en mi 'video mental' veré que el objeto se mueve correctamente. ¡Perfecto! Entonces, ¡hagámoslo!".

3. ¿Por qué es tan especial?

A. Aprende viendo, no solo haciendo

La mayoría de los robots necesitan ver a un humano hacer la misma tarea 100 veces para aprenderla. DreamZero es como un niño que ve un documental sobre la naturaleza y aprende cómo se mueven los animales sin tener que ser un animal él mismo.

• El truco: Se entrenó viendo miles de horas de videos de internet (como YouTube). Aprendió cómo caen los objetos, cómo se dobla la ropa y cómo se mueve el agua. Por eso, cuando le piden hacer algo nuevo, usa esa "memoria visual" para entender la física, no solo para repetir un movimiento.

B. Generalización (El superpoder de la adaptación)

Si le pides a un robot antiguo que "atrape una pelota", y le das una pelota de tenis, funciona. Pero si le das un balón de fútbol o un globo, falla.
DreamZero, en cambio, entiende el concepto de "atrapar".

• La prueba: En el paper, probaron el robot en tareas que nunca había visto, como "desatar los cordones de un zapato" o "planchar una camisa". ¡Funcionó! Porque su "video mental" le dijo cómo debería verse el resultado, y ajustó sus movimientos para lograrlo.

C. Aprender de otros (Transferencia de Cuerpos)

Imagina que tienes un robot con dos brazos (como un humano) y quieres enseñarle a un robot con un solo brazo. Normalmente, tendrías que volver a entrenarlo desde cero.
DreamZero puede aprender viendo videos de humanos o de otros robots.

• La magia: Si ves a un humano atar un zapato en un video, DreamZero puede decir: "Ah, así es como se hace. Aunque yo tengo un brazo diferente, entiendo la física del movimiento, así que puedo adaptarlo". Con solo 30 minutos de video de un robot nuevo, ¡ya sabe trabajar!

4. El Reto de la Velocidad (Hacerlo en tiempo real)

Hay un problema: "soñar" o generar un video mental toma tiempo. Si el robot tarda 5 segundos en imaginar el movimiento, el mundo real ya pasó y el robot se queda atrás.

• La solución: Los ingenieros crearon una versión llamada DreamZero-Flash. Es como si el robot aprendiera a soñar muy rápido, en una fracción de segundo. Lograron que el robot piense y actúe 7 veces por segundo (7 Hz), lo suficientemente rápido para moverse en tiempo real sin chocar con nada.

En resumen

DreamZero es un robot que no solo obedece órdenes, sino que imagina el futuro.

• En lugar de ser un robot que repite movimientos como un disco rayado, es un robot que piensa visualmente.
• Si le pides hacer algo nuevo, primero "ve" cómo se hace en su mente y luego ejecuta los movimientos necesarios para que esa visión se haga realidad.
• Esto le permite aprender de videos de internet, adaptarse a robots nuevos y hacer tareas complejas que antes eran imposibles para una máquina.

Es el paso de tener un robot que es un "buen actor" (sigue el guion) a tener un robot que es un "director de cine" (entiende la historia y crea la escena).

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "World Action Models are Zero-shot Policies" (Los Modelos de Acción del Mundo son Políticas de Cero Disparos), presentado por NVIDIA.

1. El Problema

Los modelos fundacionales actuales de robótica, conocidos como Modelos Visión-Lenguaje-Acción (VLAs), han demostrado un gran éxito en la generalización semántica (entender instrucciones complejas y objetos diversos). Sin embargo, presentan limitaciones críticas:

• Falta de generalización física: Tienen dificultades para generalizar a nuevos movimientos físicos o entornos no vistos, especialmente si esas habilidades específicas no estaban presentes en los datos de entrenamiento.
• Dependencia de datos repetitivos: Los VLAs suelen requerir grandes cantidades de demostraciones repetitivas y específicas de una tarea para aprender dinámicas físicas precisas.
• Brecha de generalización: Aunque pueden identificar qué hacer a nivel semántico, carecen de representaciones precisas de cómo ejecutarlo con conciencia espacial, dinámica y control motor alineado.

2. Metodología: DreamZero y el Modelo de Acción del Mundo (WAM)

El artículo introduce DreamZero, un modelo fundacional de 14 mil millones de parámetros (14B) diseñado como un Modelo de Acción del Mundo (WAM). A diferencia de los VLAs que mapean directamente observación a acción, DreamZero aprende la dinámica física prediciendo simultáneamente el futuro visual (video) y las acciones.

Arquitectura y Diseño

• Base Preentrenada: Se construye sobre un modelo de difusión de video preentrenado (Wan2.1-I2V-14B), aprovechando los ricos priores espaciotemporales de datos de video a escala web.
• Predicción Conjunta: El modelo genera futuros frames de video y acciones de robot de manera alineada. Esto transforma el aprendizaje de acción en un problema de dinámica inversa: alinear los comandos motores con los futuros visuales predichos.
• Arquitectura Autoregresiva: Utiliza una arquitectura autoregresiva (en lugar de bidireccional) para la generación de video. Esto permite:
  • Uso eficiente de caché KV (Key-Value) para inferencia rápida.
  • Preservación de la tasa de cuadros nativa (FPS) sin submuestreo, asegurando una alineación precisa entre video y acción.
  • Mejor consistencia temporal en movimientos largos.
• Entrenamiento: Se entrena con un objetivo de flujo de coincidencia (flow matching) que denoisa latentes de video y acción conjuntamente. Utiliza teacher forcing (forzamiento del profesor) donde el modelo predice el siguiente bloque (chunk) condicionado por bloques anteriores limpios.

Optimizaciones para Tiempo Real

Los modelos de difusión suelen ser lentos para el control en bucle cerrado. DreamZero implementa una serie de optimizaciones para lograr 7 Hz (control en tiempo real):

1. Paralelismo CFG: Ejecuta las pasadas condicionales y no condicionales en dos GPUs simultáneamente.
2. Caché DiT: Reutiliza vectores de velocidad cuando la similitud coseno entre pasos consecutivos es alta, reduciendo los pasos de difusión de 16 a 4.
3. Optimizaciones de Sistema: Uso de Torch Compile, gráficos CUDA, y cuantización (NVFP4) en arquitecturas Blackwell.
4. DreamZero-Flash: Una innovación clave que desacopla los horarios de ruido entre video y acción. Entrena al modelo para predecir acciones limpias a partir de contextos visuales ruidosos (pocos pasos de denoising para video), permitiendo inferencia en un solo paso sin degradar la calidad de la acción.

3. Contribuciones Clave

1. Aprendizaje Eficiente de Datos Diversos: DreamZero demuestra que se pueden aprender políticas generalistas a partir de datos heterogéneos y no repetitivos (500 horas de datos reales en 22 entornos distintos), superando la necesidad de demostraciones repetitivas por tarea.
2. Generalización de Cero Disparos (Zero-Shot): Logra una mejora de más de 2x en la generalización a nuevas tareas y entornos en comparación con los mejores VLAs existentes.
3. Transferencia Cruzada de Encarnación (Cross-Embodiment):
   • Solo Video: Utilizar demostraciones de video de otros robots o humanos (sin etiquetas de acción) mejora el rendimiento en tareas no vistas en un 42% con solo 10-20 minutos de datos.
   • Adaptación Few-Shot: Un modelo preentrenado en un robot (AgiBot G1) se adapta a un robot completamente nuevo (YAM) con solo 30 minutos de datos de juego, manteniendo la capacidad de generalización cero disparos.
4. Velocidad de Inferencia: Consigue una aceleración de 38x respecto a la implementación base, habilitando control en bucle cerrado a 7 Hz.

4. Resultados Experimentales

Los experimentos se realizaron en dos plataformas: AgiBot G1 (manipulador móvil bimanual) y Franka (brazo robótico de un solo brazo), utilizando datos de DROID y datos propios de teleoperación.

• Generalización a Tareas No Vistas: En tareas completamente ausentes del entrenamiento (ej. desatar cordones, planchar, dar la mano), DreamZero alcanzó un progreso de tarea promedio del 39.5%, mientras que los VLAs de scratch (desde cero) obtuvieron <1% y los VLAs preentrenados solo ~16%.
• Rendimiento en Tareas Vistas: DreamZero superó a los baselines preentrenados en un 62.2% de progreso de tarea frente al 27.4% del mejor VLA preentrenado, demostrando que aprende mejor de datos diversos.
• Adaptación de Encarnación: La adaptación a un nuevo robot con solo 30 minutos de datos mantuvo la capacidad de seguir instrucciones de lenguaje natural y generalizar a objetos no vistos (ej. poner naranjas en calabazas, recoger osos de peluche).
• Ablaciones:
  • Diversidad de Datos: El entrenamiento con datos diversos superó significativamente al entrenamiento con datos repetitivos (50% vs 33% de éxito).
  • Escala: El modelo de 14B superó claramente al de 5B, mientras que escalar VLAs no mejoró su capacidad para manejar datos diversos.
  • Arquitectura: La arquitectura autoregresiva proporcionó movimientos más suaves y una inferencia 3-4 veces más rápida que la bidireccional.

5. Significado e Impacto

El trabajo de DreamZero representa un cambio de paradigma en la robótica de aprendizaje profundo:

• De la Imitación a la Planificación Visual: Al predecir el futuro visual, el modelo actúa como un planificador implícito, alineando la acción con la física del mundo real.
• Escalabilidad de Datos: Abre la puerta a utilizar la inmensa cantidad de datos de video de internet (incluyendo videos humanos) para entrenar robots, sin necesidad de costosas anotaciones de acción o teleoperación masiva para cada nueva tarea.
• Eficiencia de Encarnación: Demuestra que la "intuición física" aprendida de videos puede transferirse entre diferentes robots y formas corporales con muy pocos datos, reduciendo drásticamente el costo de despliegue de robots en nuevos entornos.
• Viabilidad en Tiempo Real: Resuelve el cuello de botella computacional de los modelos de difusión, haciéndolos viables para el control robótico reactivo.

En resumen, DreamZero establece un nuevo estándar para los modelos fundacionales robóticos, demostrando que los modelos de acción del mundo pueden lograr una generalización superior, una adaptación eficiente y un control en tiempo real, superando las limitaciones inherentes de los modelos puramente semánticos (VLAs).