World Simulation with Video Foundation Models for Physical AI

O artigo apresenta o Cosmos-Predict2.5 e o Cosmos-Transfer2.5, modelos de fundação de mundo aprimorados para IA física que unificam a geração de cenários a partir de texto, imagem e vídeo, oferecendo maior fidelidade e controle para simulação, geração de dados sintéticos e inteligência corporificada, com recursos de código aberto disponibilizados pela NVIDIA.

O essencial

Imagine que você quer ensinar um robô a cozinhar, dirigir um carro ou montar um móvel. A maneira tradicional seria colocar o robô no mundo real e deixá-lo tentar e errar. O problema? Se ele errar, pode quebrar a geladeira, bater no carro ou se machucar. É caro, lento e perigoso.

A NVIDIA resolveu isso criando um "Universo de Simulação" digital, chamado Cosmos-Predict2.5. Pense nele como um "Simulador de Realidade" super avançado, feito especificamente para ensinar inteligência artificial (IA) física.

Aqui está como funciona, explicado de forma simples:

1. O Grande "Chef de Cozinha" de Vídeos

O Cosmos-Predict2.5 é como um chef de cozinha que não apenas assiste a receitas, mas cria novos vídeos do zero.

• O que ele faz: Você diz a ele: "Faça um vídeo de um robô pegando uma maçã vermelha e colocando em uma tigela azul, mas com a luz do pôr do sol". E bip, ele gera um vídeo ultra-realista dessa cena.
• A mágica: Ele não apenas copia vídeos existentes. Ele entende a física do mundo. Se você pedir para derrubar um copo, ele sabe que o copo vai quebrar e os pedaços vão voar, não que vai flutuar como num filme de fantasia.

2. Como ele aprende? (A Escola de 200 Milhões de Vídeos)

Para se tornar tão bom, o modelo "estudou" 200 milhões de vídeos curados com muito cuidado.

• A Limpeza: Imagine que você tem uma pilha de 6 bilhões de clipes de vídeo da internet. A maioria é ruim, tremida ou tem texto estranho. A equipe da NVIDIA criou um "filtro de peneira" super inteligente que jogou fora 96% desses vídeos, deixando apenas os 200 milhões mais bonitos, claros e úteis.
• O Professor: Eles também usaram um "professor" (um modelo de linguagem chamado Cosmos-Reason1) para garantir que o robô entenda exatamente o que você pediu. Se você disser "robô rápido", ele não faz um robô lento.

3. O "Gêmeo Digital" para Treinar Robôs (Transferência)

Aqui entra o irmão gêmeo do sistema, chamado Cosmos-Transfer2.5.

• A Analogia do Maquiador: Imagine que você tem um vídeo de um robô em um laboratório cinza e chato. O Cosmos-Transfer2.5 age como um maquiador digital. Ele pega esse vídeo cinza e o transforma em um vídeo realista, como se estivesse acontecendo em uma cozinha de luxo, ou muda a cor dos objetos, ou adiciona chuva na janela.
• Por que isso é útil? Se você quer treinar um robô para operar em uma fábrica escura, você não precisa ir até lá. Você pega vídeos de um robô em um lugar iluminado e usa o "maquiador" para escurecer a cena e treinar o robô no computador. Isso economiza tempo e dinheiro.

4. O "Cinema de Múltiplas Câmeras"

Para carros autônomos e robôs que precisam ver o mundo de vários ângulos, o sistema pode gerar vídeos de 7 câmeras ao mesmo tempo (frente, trás, lados).

• A Analogia do Espectador: É como se você estivesse assistindo a um filme e pudesse girar a câmera 360 graus ao redor da ação, e o filme continuasse fazendo sentido, sem cortes ou erros. Isso é crucial para ensinar carros a não baterem em pedestres que estão em pontos cegos.

5. O Treinamento com "Recompensas" (Aprendizado por Reforço)

Depois de aprender a fazer vídeos, o sistema passou por um "treinamento de elite".

• O Jogo de Pontuação: Imagine que o robô gera 8 vídeos diferentes para o mesmo pedido. Um "juiz" (uma IA avaliadora) olha para todos e dá pontos: "Este vídeo tem física correta? O texto bateu com a imagem? A luz está boa?". O sistema recebe uma "recompensa" pelos melhores e aprende a fazer ainda melhor na próxima vez. É como um aluno que faz um teste, recebe a nota, estuda o erro e faz o próximo teste melhor.

Por que isso é revolucionário?

Antes, para treinar um robô, você precisava de anos de testes reais. Com o Cosmos:

1. Segurança: O robô comete todos os erros no computador, não no mundo real.
2. Velocidade: Você pode gerar anos de experiência de treinamento em dias.
3. Custo: Não gasta peças quebradas ou combustível.

Resumo Final:
A NVIDIA criou uma "fábrica de realidades" onde robôs e carros autônomos podem viver milhões de vidas virtuais, aprender com os erros e chegar ao mundo real prontos para trabalhar, sem precisar quebrar nada no processo. Eles liberaram o código e os modelos para que qualquer pessoa possa usar essa tecnologia e acelerar o futuro da inteligência artificial física.

Resumo técnico

1. Problema e Motivação

Os sistemas de IA Física (agentes corporificados como robôs e veículos autônomos) dependem da interação com o mundo real para realizar tarefas. No entanto, treinar esses sistemas diretamente no mundo físico é:

• Lento e Custoso: Requer hardware físico e tempo de operação.
• Arriscado: Erros iniciais podem danificar o agente, o ambiente ou causar acidentes.
• Limitado em Dados: Coletar dados de cenários raros ou perigosos é difícil.

A solução proposta é o uso de simuladores de mundo baseados em modelos de fundação de vídeo. O objetivo é gerar ambientes visuais de alta qualidade, diversos e fisicamente coerentes baseados em ações do agente, permitindo o treinamento e a validação de políticas ("sim-to-real") de forma segura e escalável. O trabalho anterior da NVIDIA, Cosmos-Predict1, foi superado em qualidade, controle e eficiência.

2. Metodologia

O trabalho introduz duas famílias de modelos principais: Cosmos-Predict2.5 (geração de mundo) e Cosmos-Transfer2.5 (tradução de mundo/controle).

A. Arquitetura e Fundamentos (Cosmos-Predict2.5)

• Base de Fluxo (Flow Matching): O modelo utiliza Flow Matching em vez de difusão tradicional (EDM). Isso permite prever a velocidade da trajetória de difusão, resultando em otimização mais suave e melhor qualidade de amostras.
• Arquitetura Unificada: Um único modelo unifica três capacidades: Text2World, Image2World e Video2World.
• Codificadores Avançados:
  • Texto: Substitui o T5 antigo pelo Cosmos-Reason1, um modelo VLM (Vision-Language Model) decoder-only especializado em IA Física, oferecendo representações textuais mais ricas e controle fino.
  • Visual: Utiliza o WAN2.1 VAE para compressão espaço-temporal (4x8x8), reduzindo custos computacionais enquanto preserva a estrutura.
• Escala: Modelos disponíveis em 2B e 14B parâmetros.

B. Pipeline de Dados e Treinamento

• Curadoria de Dados: Processamento de 200 milhões de clipes de vídeo curados a partir de 35 milhões de horas de vídeo bruto.
  • Filtragem Rigorosa: Pipeline de 7 estágios (incluindo detecção de artefatos semânticos, OCR, qualidade estética e filtragem por VLM) que reduz a taxa de sobrevivência dos dados para apenas 4%, garantindo alta qualidade.
  • Domínios Específicos: Dados especializados foram curados para Robótica, Dirigir Autônomo, Espaços Inteligentes, Dinâmica Humana e Física.
• Estratégia de Treinamento:
  1. Pré-treinamento Progressivo: Começa em baixa resolução (256p) e aumenta para 720p, introduzindo gradualmente tarefas de Text2Image, Image2World e Video2World.
  2. Ajuste Fino Supervisionado (SFT): Modelos especializados por domínio (ex: robótica, direção) são treinados separadamente e depois mesclados (Model Merging via Model Soup).
  3. Aprendizado por Reforço (RL): Utiliza o VideoAlign (um modelo de recompensa baseado em VLM) para alinhar a geração com preferências humanas, melhorando a coerência temporal e a aderência ao prompt.
  4. Destilação de Timestep: Técnica para acelerar a inferência, permitindo geração de alta fidelidade em apenas 4 passos.

C. Cosmos-Transfer2.5 (Controle e Tradução)

• Baseado em uma arquitetura estilo ControlNet, mas otimizada.
• Aceita condições espaciais como: bordas (edges), mapas de profundidade, segmentação e vídeos borrados.
• Inovação Arquitetural: Distribui os blocos de controle de forma mais uniforme na rede (um a cada 7 blocos) em vez de agrupá-los no início, melhorando a integração da condição.
• É 3,5x menor que o predecessor (Cosmos-Transfer1-7B) e gera vídeos de longo horizonte com menos acumulação de erros.

3. Principais Contribuições

1. Cosmos-Predict2.5: O modelo de fundação de mundo mais avançado para IA Física, unificando geração baseada em texto, imagem e vídeo com controle fino via Cosmos-Reason1.
2. Cosmos-Transfer2.5: Um framework de controle eficiente e de alta fidelidade para tarefas de tradução de mundo (Sim2Real e Real2Real), superando modelos maiores em qualidade e robustez.
3. Pipeline de Dados em Escala: Uma infraestrutura capaz de processar petabytes de dados, filtrando rigorosamente para criar um conjunto de treinamento de 200M clipes de alta qualidade focados em física e dinâmica real.
4. Aplicações Práticas: Demonstrações concretas em:
   • Robótica: Geração de dados sintéticos para treinar políticas de manipulação (ex: pegar objetos, lidar com variações de cor/iluminação).
   • Dirigir Autônomo: Geração de vídeos multiview consistentes condicionados a mapas de cenário do mundo (HD Maps).
   • VLA (Vision-Language-Action): Criação de dados sintéticos para treinar modelos que mapeiam visão e linguagem para ações.
5. Open Source: Liberação de códigos, checkpoints pré-treinados e benchmarks sob licença NVIDIA Open Model License.

4. Resultados

• Benchmarks (PAI-Bench):
  • O Cosmos-Predict2.5-2B (pós-treinado) supera modelos maiores como o Wan2.2 5B e é comparável ao Wan2.1 14B em tarefas de Image2World e Text2World, apesar de ter 60-85% menos parâmetros.
  • O modelo de 14B supera o Wan2.1 14B e alcança desempenho par ao Wan2.2 27B-A14B (metade dos parâmetros) em avaliações humanas.
• Qualidade de Vídeo Longo: O Cosmos-Transfer2.5 demonstra significativamente menos acumulação de erros e alucinações em gerações de vídeo longas (30-120s) comparado ao Transfer1.
• Robótica (Sim-to-Real):
  • Políticas treinadas com dados aumentados pelo Cosmos-Transfer2.5 alcançaram 24/30 sucessos em cenários de teste não vistos (mudança de objetos, iluminação, fundos), superando drasticamente políticas baseadas apenas em dados reais ou aumentação de imagem tradicional (que tiveram apenas 5/30 sucessos).
• Dirigir Autônomo: O modelo multiview gerou vídeos com métricas de detecção de objetos e faixas (3D cuboids/lanes) superiores a 60% em relação ao modelo anterior, mantendo consistência temporal e entre câmeras.

5. Significado e Impacto

Este trabalho representa um avanço crucial para a IA Física e a Inteligência Corporificada. Ao fornecer modelos de mundo abertos, de alta fidelidade e controláveis, a NVIDIA remove barreiras para a pesquisa e desenvolvimento de robôs e sistemas autônomos.

• Aceleração do Desenvolvimento: Permite o treinamento de políticas em "silício" antes do deploy físico, reduzindo custos e riscos.
• Generalização: A capacidade de gerar dados sintéticos para cenários raros ou perigosos (ex: chuva forte, objetos não vistos) melhora a robustez dos agentes.
• Ecossistema Aberto: A liberação dos modelos e dados fomenta a inovação comunitária, estabelecendo o Cosmos como uma plataforma fundamental para a próxima geração de simulações físicas.

Em resumo, o Cosmos-Predict2.5 e Cosmos-Transfer2.5 não são apenas geradores de vídeo, mas ferramentas essenciais para criar um ecossistema de "simulação primeiro" que acelera a transição da IA teórica para aplicações físicas reais.