minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models

Resumo Técnico: minWM

Declaração do Problema
Modelos fundamentais recentes baseados em difusão alcançaram sucesso significativo na geração de alta qualidade de texto para vídeo (T2V) e de texto e imagem para vídeo (TI2V). No entanto, transformar esses geradores bidirecionais offline em modelos de mundo de vídeo interativos em tempo real permanece um desafio substancial. Um modelo de mundo interativo eficaz deve suportar a projeção causal, responder a ações do usuário (como trajetórias de câmera) e gerar quadros futuros com latência suficientemente baixa. Embora trabalhos recentes tenham explorado a destilação de difusão autoregressiva (AR) para preencher essa lacuna, essas técnicas estão atualmente dispersas em pipelines separados. Construir um sistema interativo completo ainda exige esforço substancial e desconexo na construção de dados, ajuste fino controlável, treinamento AR, destilação em poucos passos e alinhamento de inferência. Existe uma falta de um framework unificado, reproduzível e extensível para gerenciar todo esse pipeline.

Metodologia
Os autores apresentam o minWM, um framework de código aberto de ponta a ponta projetado para converter modelos fundamentais bidirecionais T2V/TI2V existentes em modelos de mundo autoregressivos em poucos passos e controláveis por câmera. O pipeline é modular e consiste em duas fases principais:

1. Fase 1: Treinamento Controlável por Câmera para Modelos de Difusão Bidirecionais

   • Objetivo: Equipar uma espinha dorsal de difusão bidirecional de múltiplos passos com a capacidade de seguir trajetórias de câmera prescritas, preservando a qualidade visual original.
   • Técnica: O framework adota o PRoPE (Projective Rotation and Position Embedding) como método de injeção. Dados os parâmetros da câmera (matriz intrínseca $K_i$ e transformação extrínseca $T^{cw}_i$), o PRoPE constrói uma matriz projetiva elevada para cada quadro. Essa transformação é injetada no mecanismo de atenção auto-relacional na forma de GTA (Generalized Token Attention), permitindo que o modelo condicione-se a trajetórias de câmera codificando intrínsecas e poses relativas da câmera sem perturbar a estrutura gerativa original de atenção auto-relacional.

2. Fase 2: Destilação de Difusão AR para Modelos Interativos em Tempo Real

   • Objetivo: Transformar o modelo bidirecional de múltiplos passos controlável por câmera em um gerador autoregressivo em poucos passos adequado para inferência de baixa latência.
   • Pipeline: O framework implementa o pipeline Causal Forcing ou Causal Forcing++, compreendendo três estágios:
     • Estágio 1 (Treinamento de Difusão AR): O modelo bidirecional é ajustado fino em um modelo de difusão AR via teacher forcing. Isso envolve concatenar vídeo limpo com contrapartes ruidosas e treinar sob uma máscara de atenção causal. Isso concede capacidade autoregressiva, mas retém latência de múltiplos passos e problemas de viés de exposição.
     • Estágio 2 (Inicialização): O modelo é destilado em um gerador em poucos passos. O framework oferece duas opções:
       • Causal ODE: Regressão de quadros intermediários ruidosos para quadros limpos usando trajetórias PF-ODE geradas pelo professor AR.
       • Causal CD (Consistency Distillation): Uma alternativa teoricamente equivalente que elimina a necessidade de geração de dados ODE offline, reduzindo a sobrecarga de armazenamento e tempo.
     • Estágio 3 (DMD Assimétrica): Para superar as limitações de qualidade herdadas do professor AR, é aplicada uma etapa de Destilação com um Modelo de Difusão (DMD) assimétrica. O modelo estudante AR de poucos passos realiza projeções próprias para gerar sequências completas, que são então otimizadas contra um modelo professor bidirecional de alta qualidade congelado (a "pontuação real") usando gradientes DMD padrão.
   • Integração da Câmera: Ao longo de todos os estágios de destilação, as condições da câmera são consistentemente alimentadas no professor AR, no modelo estudante e nos estimadores de pontuação ($s_{real}$ e $s_{fake}$), garantindo que o modelo final em poucos passos permaneça controlável por câmera.

Principais Contribuições

• Framework minWM: O lançamento de um pipeline totalmente de código aberto, de ponta a ponta, para construir modelos de mundo de vídeo interativos em tempo real. Ele cobre todo o fluxo de trabalho, desde a construção de dados condicionados à câmera e ajuste fino controlável até a destilação Causal Forcing e inferência de baixa latência.
• Generalização de Arquitetura: Demonstração de que o framework é agnóstico à arquitetura. Os autores instanciaram o minWM em duas espinhas dorsais abertas distintas:
  • Wan2.1-T2V-1.3B: Utilizando injeção de condição baseada em atenção cruzada.
  • HY1.5-TI2V-8B: Utilizando uma arquitetura no estilo MMDiT.
• Adaptabilidade: O framework suporta a adaptação de modelos de mundo existentes (por exemplo, HY-WorldPlay) a novas distribuições de dados, receitas de treinamento e metas de latência.
• Ablações Práticas: O artigo fornece orientações acionáveis sobre fatores críticos de treinamento, incluindo a necessidade de trajetórias de câmera de verdade (vs. poses estimadas por percepção), o número mínimo de passos de treinamento necessários para controlabilidade e requisitos mínimos de tamanho de lote.

Resultados

• Redução de Latência: Os modelos AR de poucos passos alcançaram reduções dramáticas na latência do primeiro quadro em comparação com baselines bidirecionais de múltiplos passos.
  • HY1.5: Redução da latência de 771,04s para 3,446s (um aceleração de 223,75×).
  • Wan2.1: Redução da latência de 269,055s para 1,137s (uma aceleração de 236,64×).
  • Essa baixa latência permite interação em tempo real, onde os usuários podem visualizar quadros enquanto a geração está em andamento.
• Preservação da Controlabilidade: Resultados visuais confirmam que os modelos AR de poucos passos destilados mantêm a capacidade de gerar vídeos sob diferentes ações de câmera, validando a eficácia do algoritmo de destilação em preservar a controlabilidade.
• Descobertas de Ablação:
  • Qualidade dos Dados: O treinamento em conjuntos de dados com poses de câmera estimadas por percepção (SpatialVid) falhou em produzir controlabilidade confiável. O treinamento bem-sucedido exigiu trajetórias de verdade obtidas via reconstrução/re-renderização 3D (DL3DV) ou geração pelo WorldPlay.
  • Passos de Treinamento: A controlabilidade da câmera emergiu progressivamente; os modelos eram amplamente incontroláveis em 1–2k passos, começaram a responder em ~5k passos e alcançaram forte controlabilidade em 8k passos.
  • Tamanho do Lote: Um tamanho de lote menor que 4 frequentemente resultou em falha ao aprender controlabilidade. Um tamanho de lote de 16 foi encontrado como necessário para treinamento estável e de alta controlabilidade.

Significado
O artigo posiciona o minWM não como um único ponto de verificação treinado, mas como uma receita reproduzível e extensível para a comunidade. Ele aborda a fragmentação na pesquisa atual ao fornecer um pipeline unificado que converte modelos fundamentais offline poderosos em agentes interativos em tempo real. Ao liberar scripts executáveis, pontos de verificação e documentação, o minWM visa reduzir a barreira para pesquisadores construírem, adaptarem e estenderem modelos de mundo de vídeo interativos em tempo real, particularmente para aplicações que exigem geração controlável por câmera de baixa latência. Os autores observam explicitamente que, embora foquem atualmente no controle de câmera, o framework foi projetado para ser estendido a outras condições de controle (por exemplo, pose) e modelos adicionais no futuro.