Resumo Técnico: Nano World Models

Declaração do Problema

Apesar dos avanços rápidos na geração de vídeo interativa em escala industrial e em modelos de mundo, a comunidade de pesquisa mais ampla carece de implementações compactas, reproduzíveis e facilmente extensíveis para estudar as escolhas de design fundamentais subjacentes a esses sistemas. A pesquisa atual está fragmentada entre diversos conjuntos de dados, receitas de treinamento, protocolos de avaliação e tarefas downstream, tornando difícil a comparação científica rigorosa. Além disso, embora os modelos industriais alcancem alta fidelidade visual, eles frequentemente obscurecem as contribuições específicas de escolhas arquitetônicas, objetivos de treinamento e composição de dados por trás de pipelines complexos e proprietários. Há uma necessidade de um framework "baterias inclusas" que trate a modelagem de mundo como uma ferramenta científica, permitindo que pesquisadores isolem e experimentem eixos de design específicos (por exemplo, alvos de previsão, espaços latentes, injeção de ação) sem reescrever pipelines inteiros.

Metodologia

Nano World Models é uma base de código PyTorch minimalista e de código aberto centrada em Diffusion Forcing como uma interface unificada para previsão futura de vídeo. O framework foi projetado para suportar experimentação modular em várias dimensões:

• Interface Unificada (Diffusion Forcing): A abstração central permite que diferentes quadros em uma trajetória ocupem estágios diferentes do processo de geração por meio de um conjunto de índice de ruído $K$. Ao ajustar o cronograma de ruído (por exemplo, mantendo quadros de contexto limpos enquanto adiciona ruído a quadros futuros), a mesma interface de modelo suporta previsão forçada por professor, previsão de futuro mascarada e execução autoregressiva.
• Objetivos Generativos: O framework suporta objetivos de Difusão e Flow-Matching com vários alvos de previsão: previsão de $x$, previsão de $\epsilon$ e previsão de $v$. Estes são implementados como componentes intercambiáveis dentro do mesmo loop de treinamento.
• Arquitetura e Escala: O sistema suporta backbones de transformador sobre tokens de vídeo latentes, variando de NanoWM-S (40M) a NanoWM-XL (830M). Inclui vários tamanhos de patch (por exemplo, /2, /4, /8) para controlar a resolução latente.
• Condicionamento de Ação: Múltiplos mecanismos para injetar sequências de ação no modelo são suportados, incluindo adição elemento a elemento, Normalização de Camada Adaptativa (AdaLN), FiLM e Atenção Cruzada.
• Espaços Latentes: O modelo prevê observações codificadas em vez de pixels brutos. Suporta três tipos de espaços latentes:
  • SD-VAE: Orientado à reconstrução, decodificável para RGB.
  • Web-DINO: Recursos auto-supervisionados orientados à semântica/geometria.
  • V-JEPA: Recursos preditivos pré-treinados em vídeo.
• Geração de Longo Horizonte: O sistema permite execuções autoregressivas além do horizonte de treinamento usando abordagens de janela deslizante, onde quadros gerados servem como contexto para previsões subsequentes.
• Aplicações: O framework inclui interfaces para Geração de Cenas 3D (exportando execuções para nuvens de pontos/splats gaussianos) e Planejamento Condicionado a Objetivos (usando o modelo como simulador para Controle Preditivo de Modelo).

Contribuições Principais

1. Framework Modular: Uma base de código unificada que desacopla escolhas de design (objetivos, arquiteturas, espaços latentes, injeção de ação) do pipeline de treinamento e amostragem, permitindo estudos de ablação controlados.
2. Ecossistema de Código Aberto: O projeto disponibiliza totalmente o código, configurações, scripts de avaliação e mais de uma dúzia de checkpoints pré-treinados em diferentes tamanhos de modelo e ambientes.
3. Estudos de Ablação Abrangentes: O artigo fornece dados empíricos sobre como escolhas de design específicas afetam o desempenho em controle simples, simulação de jogos e dados de robôs reais.
4. Avaliação Padronizada: Um protocolo de avaliação fixo em semente e reproduzível cobrindo fidelidade visual (PSNR, SSIM, LPIPS, FID) e capacidades de tomada de decisão (Taxa de Sucesso no planejamento).

Resultados e Descobertas Principais

O artigo apresenta seis descobertas primárias derivadas de experimentos em ambientes incluindo D4RL (Maze, Wall), PushT, Rope, Granular, CS:GO e RT-1:

1. Alvos de Previsão: A previsão de $\epsilon$ tem desempenho inferior comparada à previsão de $x$ e $v$. A previsão de $x$ produz as melhores métricas de reconstrução (PSNR, SSIM), enquanto a previsão de $v$ fornece a melhor similaridade distribucional (FID) e é adotada como padrão.
2. Escala: O desempenho melhora monotonicamente com o tamanho do modelo. A escala de NanoWM-S para NanoWM-L melhora consistentemente todas as métricas de fidelidade visual no conjunto de dados RT-1.
3. Injeção de Ação: A eficácia da injeção de ação é dependente da tarefa. FiLM alcança a melhor fidelidade visual no RT-1, enquanto uma linha de base simples de adição elemento a elemento performa melhor no PushT e oferece o melhor trade-off qualidade-parâmetro.
4. Espaços Latentes e Planejamento: Espaços latentes semânticos (Web-DINO, V-JEPA) não produzem automaticamente melhores modelos de mundo para planejamento. Na tarefa PushT, apenas o espaço latente SD-VAE (orientado à reconstrução) alcançou sucesso não nulo na chegada ao objetivo (25%). Latentes semânticos falharam em aprender dinâmicas condicionadas à ação, tornando-se quase agnósticos à ação apesar da mesma interface de treinamento.
5. Execuções de Longo Horizonte: Embora o modelo possa produzir execuções de longo horizonte plausíveis, a geração autoregressiva inevitavelmente acumula erros perceptivos ao longo do tempo. Aumentar o orçamento de amostragem DDIM mitiga consistentemente esse erro cumulativo.
6. Generalização de Domínio: A mesma receita de treinamento e avaliação funciona em navegação, empurrão de mesa, manipulação deformável e dados de robôs reais. O desempenho é mais alto em domínios simulados mais simples e diminui em domínios visual ou dinamicamente complexos (por exemplo, Granular, RT-1).

Significado

Os autores posicionam o Nano World Models não como um simulador industrial de última geração, mas como um substrato científico para a comunidade de pesquisa. Seu significado reside em deslocar o foco da pesquisa da invenção de novas técnicas monolíticas para o desenvolvimento de uma compreensão nuances de "decisões de design científico mais sutis". Ao fornecer uma plataforma minimalista, modular e totalmente aberta, o projeto visa democratizar a pesquisa de modelos de mundo, permitindo que a comunidade construa uma "Torre de Babel" onde conjuntos de dados, objetivos e arquiteturas possam falar a mesma língua. O framework facilita estudos controlados de como decisões específicas de modelagem governam previsão, interação e planejamento, abordando a fragmentação atual no campo.