World Simulation with Video Foundation Models for Physical AI

El artículo presenta Cosmos-Predict2.5 y Cosmos-Transfer2.5, modelos de fundación de mundo generados por flujo que unifican la creación de mundos a partir de texto, imágenes y video, mejorando significativamente la calidad, el control y la fidelidad para la generación de datos sintéticos, la evaluación de políticas y la simulación en sistemas de IA física y robótica.

Lo esencial

¡Hola! Imagina que NVIDIA ha creado un "Oráculo de Video" llamado Cosmos-Predict2.5. Piensa en él no como un simple programa de computadora, sino como un soñador digital que ha visto millones de horas de videos reales y ahora puede soñar con futuros que nunca han ocurrido, pero que se sienten completamente reales.

Aquí te explico cómo funciona y por qué es tan importante, usando analogías sencillas:

1. ¿Qué es este "Oráculo"? (El Soñador)

Imagina que quieres enseñar a un robot a hacer café, pero no quieres romper la cocina real ni quemarte. Necesitas un simulador.

• Antes: Los simuladores eran como dibujos animados rígidos. Si el robot empujaba una taza, la taza se movía de forma extraña o se caía a través de la mesa.
• Ahora (Cosmos-Predict2.5): Es como un director de cine con una cámara mágica. Le das una instrucción (texto) o una foto inicial, y el modelo "filma" lo que pasaría a continuación. Si le dices "un robot agarra una manzana", el modelo genera un video donde la manzana se mueve físicamente, la luz cambia y el robot la sostiene con la fuerza correcta. ¡Es tan real que parece una película!

2. ¿Cómo aprendió a ser tan bueno? (La Biblioteca de 200 Millones)

Para que este soñador aprendiera, no le dieron solo unos pocos videos. Le dieron una biblioteca gigante de 200 millones de clips de video.

• El filtro de calidad: Imagina que tienes una pila de 100 libros, pero 96 son basura (videos borrosos, con texto encima o sin sentido). El equipo de NVIDIA creó un "bibliotecario robot" muy estricto que revisó cada clip. Solo dejó pasar el 4% (los mejores 200 millones).
• El resultado: El modelo no aprendió de basura; aprendió de los momentos más claros, dinámicos y físicamente correctos del mundo real (coches conduciendo, robots trabajando, gente bailando).

3. El "Cerebro" Mejorado (La Mezcla de Habilidades)

La versión anterior (Cosmos-Predict1) era como un estudiante que tenía que cambiar de libro para aprender cosas diferentes.

• La nueva versión: Es como un polímata (un genio en todo). Ahora, un solo modelo puede hacer tres cosas a la vez:
  1. Texto a Mundo: "Crea un video de un coche en la lluvia" (y lo hace).
  2. Imagen a Mundo: "Aquí hay una foto de un robot, ¿qué hace después?" (y lo simula).
  3. Video a Mundo: "Aquí hay un clip de 5 segundos, ¿qué pasa en los siguientes 10?" (y continúa la historia).
• Además, usa un nuevo "traductor" de lenguaje (llamado Cosmos-Reason1) que entiende mejor las instrucciones complejas, como si el director de cine entendiera perfectamente lo que el guionista quiere decir.

4. El "Entrenador" (Refuerzo por Aprendizaje)

Imagina que el modelo es un actor que ensaya una escena. Al principio, puede actuar un poco raro.

• NVIDIA le puso un entrenador humano (y de IA) que le dice: "Esa caída de la taza no se ve real, inténtalo de nuevo".
• Usando una técnica llamada Aprendizaje por Refuerzo, el modelo practica millones de veces, recibe "puntos" por hacer las cosas bien y "penalizaciones" por fallar. Al final, el actor (el modelo) se vuelve un profesional de la física y la realidad.

5. ¿Para qué sirve todo esto? (Los Superpoderes)

Este modelo no es solo para hacer videos bonitos; es una herramienta para entrenar a robots y coches autónomos de forma segura.

• Para Robots (El Gimnasio Virtual):

  • Imagina que quieres que un robot aprenda a doblar ropa. En el mundo real, tardaría años y rompería mucha ropa.
  • Con Cosmos-Transfer2.5 (una herramienta hermana que funciona como un "filtro de realidad"), puedes tomar un video de un robot en un entorno simple y transformarlo en un video donde el robot está en una cocina llena de gente, con luces diferentes y objetos nuevos.
  • Resultado: El robot se entrena en millones de escenarios "falsos" pero realistas antes de tocar un solo objeto real. ¡Es como tener un videojuego de entrenamiento infinito!

• Para Coches Autónomos (El Simulador de Tráfico):

  • Puedes decirle: "Simula un coche conduciendo bajo la lluvia en una carretera de montaña con niebla".
  • El modelo genera un video de 7 cámaras a la vez (como si el coche tuviera ojos en todos lados) mostrando exactamente cómo se vería esa situación. Esto ayuda a los ingenieros a probar si el coche de conducción autónoma reaccionaría bien antes de ponerlo en la calle.

6. La Gran Novedad: ¡Es Gratis y Abierto!

Lo más emocionante es que NVIDIA no se guardó este secreto. Han regalado el código, los modelos y los datos a la comunidad.

• Es como si un chef estrella te diera su receta secreta, sus ingredientes y sus utensilios, diciendo: "¡Ahora tú puedes cocinar platos increíbles!".
• Esto permite que cualquier investigador, estudiante o empresa pueda usar esta tecnología para crear sus propios robots, mejorar la seguridad en las carreteras o inventar nuevas formas de interactuar con el mundo.

En Resumen

Cosmos-Predict2.5 es un simulador de realidad que aprendió viendo millones de videos reales, se entrenó con un entrenador exigente y ahora puede predecir el futuro visual de cualquier situación física. Su objetivo es que los robots y los coches autónomos aprendan en un mundo virtual seguro y perfecto, para que cuando salgan al mundo real, ya sean expertos y no cometan errores peligrosos.

Es, básicamente, el puente mágico entre la imaginación digital y la realidad física.

Resumen técnico

1. Problema y Contexto

Los sistemas de IA Física (agentes encarnados como robots y vehículos autónomos) requieren interactuar con el entorno físico para realizar tareas. Sin embargo, entrenar estos sistemas directamente en el mundo real es lento, costoso y peligroso, especialmente en etapas tempranas donde los errores pueden dañar el agente o el entorno.

El desafío principal radica en la falta de simuladores del mundo de alta fidelidad que puedan generar entornos visuales diversos y realistas basados en las acciones de un agente. Los modelos existentes a menudo carecen de:

• Precisión física y coherencia temporal a largo plazo.
• Control fino sobre la generación mediante instrucciones de texto o condiciones visuales.
• Capacidad para generalizar en dominios específicos (robótica, conducción autónoma).
• Acceso abierto para investigación y adaptación.

2. Metodología Propuesta

NVIDIA introduce Cosmos-Predict2.5 y Cosmos-Transfer2.5, una nueva generación de modelos fundacionales del mundo diseñados para la IA Física.

A. Arquitectura y Modelo Base (Cosmos-Predict2.5)

• Enfoque de Entrenamiento: Se basa en Flow Matching (Emparejamiento de Flujos) en lugar de difusión tradicional, lo que ofrece un objetivo de entrenamiento más directo (predecir la velocidad de la trayectoria de difusión) y una optimización más suave.
• Arquitectura Unificada: Unifica tres capacidades en un solo modelo: Text2World, Image2World y Video2World.
• Codificadores Mejorados:
  • Reemplaza el codificador de texto T5 anterior por Cosmos-Reason1, un modelo de lenguaje visión-idioma (VLM) de arquitectura decoder-only, especializado en IA Física. Esto proporciona representaciones textuales más ricas y un control más granular.
  • Utiliza un tokenizador visual WAN2.1 VAE para comprimir secuencias de video (4x8x8), reduciendo costos computacionales.
• Eliminación de Posiciones Absolutas: Se eliminan las incrustaciones de posición absolutas a favor de las relativas (RoPE 3D), permitiendo mayor flexibilidad para resoluciones y longitudes de secuencia no vistas durante el entrenamiento.

B. Pipeline de Datos y Entrenamiento

• Curación de Datos: Se procesaron más de 200 millones de clips de video curados de 35 millones de horas de datos brutos. El pipeline incluye filtrado multi-etapa (calidad estética, movimiento, OCR, artefactos semánticos) y deduplicación semántica.
• Datos Específicos de Dominio: Se crearon datasets especializados para Robótica, Conducción Autónoma, Espacios Inteligentes, Dinámica Humana y Física, con anotaciones detalladas y prompts personalizados.
• Estrategia de Entrenamiento:
  1. Pre-entrenamiento progresivo: Desde Text2Image (256p) hasta Video2World (720p), aumentando gradualmente la resolución y la diversidad de tareas.
  2. Ajuste Fino Supervisado (SFT): Entrenamiento específico por dominio (ej. manipulación robótica, conducción) seguido de una fusión de modelos (Model Soup) para unificar las capacidades especializadas sin perder rendimiento general.
  3. Aprendizaje por Refuerzo (RL): Se utiliza un modelo de recompensa basado en VLM (VideoAlign) para alinear la salida del modelo con las preferencias humanas (calidad visual, alineación con el prompt, calidad del movimiento).
  4. Destilación de Tiempo: Se aplica destilación para reducir los pasos de inferencia a 4, acelerando la generación sin perder calidad.

C. Cosmos-Transfer2.5 (ControlNet)

Se introduce un marco estilo ControlNet para tareas de traducción de mundos visuales (Sim2Real y Real2Real).

• Arquitectura: Distribuye bloques de control de manera uniforme a lo largo de la red principal (en lugar de solo al inicio), integrando condiciones espaciales (bordes, profundidad, segmentación, desenfoque) de manera más gradual.
• Capacidades: Permite generar videos realistas condicionados a mapas de escenarios del mundo (para conducción) o a vistas de cámaras específicas (para robótica), facilitando la simulación de entornos complejos.

3. Contribuciones Clave

1. Modelos Fundacionales Unificados: Lanzamiento de modelos de 2B y 14B parámetros que unifican generación de texto, imagen y video a mundo, superando a modelos anteriores más grandes en eficiencia y calidad.
2. Mejora en la Alineación y Control: Integración de Cosmos-Reason1 para una comprensión semántica superior y control preciso mediante instrucciones de texto y condiciones visuales.
3. Datos de Alta Calidad para IA Física: Creación de un pipeline de curación de datos masivo y específico para dominios físicos, incluyendo física realista y dinámicas humanas.
4. Capacidades de Simulación Avanzada:
   • Generación de video de largo horizonte con menor acumulación de errores.
   • Generación multivista coherente con control de cámara (ej. convertir vista de cabeza de robot a vista de pinza).
   • Simulación de conducción autónoma basada en mapas de escenario del mundo.
5. Código Abierto: Liberación de código, checkpoints pre-entrenados y benchmarks bajo licencia abierta para fomentar la investigación en IA Física.

4. Resultados

• Benchmarks (PAI-Bench):
  • Cosmos-Predict2.5-2B supera a modelos más grandes como Wan2.2 5B en tareas de generación de imagen a mundo (I2W) y texto a mundo (T2W), logrando puntuaciones comparables a Wan2.1 14B y Wan2.2 27B-A14B con solo una fracción de los parámetros.
  • En la evaluación humana, el modelo de 14B post-entrenado es preferido significativamente sobre Wan2.1 14B (48.6% vs 31.8%) y es comparable a Wan2.2 27B-A14B (38.1% vs 35.9%).
• Cosmos-Transfer2.5:
  • A pesar de ser 3.5 veces más pequeño que su predecesor (Transfer1-7B), logra mayor fidelidad y menor acumulación de errores en la generación de videos largos.
  • En simulación de conducción, mejora las métricas de detección de objetos 3D y líneas de carril en un 60% respecto a modelos anteriores.
• Aplicaciones en Robótica:
  • El uso de datos sintéticos generados por Cosmos-Transfer2.5 para aumentar el entrenamiento de políticas de robots resultó en una tasa de éxito del 80% (24/30) en escenarios de prueba fuera de distribución (objetos nuevos, cambios de iluminación, fondos), superando ampliamente a las políticas entrenadas solo con datos reales o aumentación de imagen estándar.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia un ecosistema de "Simulación Primero" para la IA Física.

• Reducción de Barreras: Al liberar modelos de código abierto y datos curados, democratiza el acceso a simuladores de alta fidelidad, permitiendo a investigadores y desarrolladores entrenar y validar políticas de IA física sin depender de costosos entornos reales.
• Escalabilidad: Demuestra que es posible lograr un rendimiento de clase mundial con modelos más pequeños (2B/14B) mediante arquitecturas eficientes y curación de datos rigurosa, lo que facilita el despliegue en hardware con recursos limitados.
• Puente Simulación-Realidad: Las capacidades de Sim2Real y Real2Real de Cosmos-Transfer2.5 permiten cerrar la brecha entre el entrenamiento en simulación y el despliegue en el mundo real, crucial para la seguridad y eficacia de robots y vehículos autónomos.

En resumen, Cosmos-Predict2.5 y Cosmos-Transfer2.5 establecen un nuevo estándar para la generación de mundos virtuales físicos, proporcionando las herramientas necesarias para escalar la inteligencia encarnada de manera segura y eficiente.