WorldCam: Interactive Autoregressive 3D Gaming Worlds with Camera Pose as a Unifying Geometric Representation

Resumo Técnico: WorldCam

1. O Problema

Avanços recentes em Transformers de Difusão de Vídeo (Video DiTs) permitiram a criação de modelos de mundo interativo para jogos. No entanto, as abordagens existentes enfrentam dois desafios fundamentais:

• Controle de Ação Preciso: Os modelos anteriores tratam as ações do usuário (teclado e mouse) como sinais de condicionamento abstratos, ignorando o acoplamento geométrico fundamental entre a ação e o mundo 3D. Isso resulta em movimentos de câmera desalinhados e imprecisos.
• Consistência 3D de Longo Prazo: Ao navegar por longas distâncias ou revisitar locais, os modelos falham em manter a consistência geométrica do mundo 3D, gerando distorções e incoerências espaciais.
• Falta de Dados: A ausência de grandes conjuntos de dados de gameplay humano autêntico, com anotações de pose de câmera e descrições textuais, limita o treinamento de modelos fundacionais robustos.

2. Metodologia

O WorldCam é um modelo fundacional baseado em um Video Diffusion Transformer (DiT) que utiliza a pose da câmera como uma representação geométrica unificada para resolver tanto o controle de ação quanto a consistência 3D.

A. Mapeamento Ação-para-Câmera (Lie Algebra)

• Em vez de injetar ações brutas diretamente no modelo, o WorldCam define um espaço de ação contínuo baseado na física.
• As entradas do usuário (velocidades lineares e angulares) são representadas no álgebra de Lie ($\mathfrak{se}(3)$) como vetores de torção (twist).
• Através do mapa exponencial matricial, essas ações são convertidas em poses relativas de câmera precisas de 6 graus de liberdade (6-DoF) no grupo $SE(3)$.
• Isso captura dinâmicas acopladas (como movimento de rosca/screw motion), que aproximações lineares decopladas falham em modelar.

B. Geração de Vídeo Controlada por Câmera

• As poses de câmera globais são convertidas em embutimentos de Plücker e injetadas no modelo DiT através de um módulo de embedding de câmera leve.
• Isso garante que a saída gerada adira estritamente à física do movimento da câmera desejado.

C. Memória de Longo Prazo Ancorada em Pose (Pose-Anchored Memory)

• Para garantir consistência 3D em horizontes longos, o sistema mantém um pool de memória de latentes gerados anteriormente, indexados por suas poses globais de câmera.
• Durante a inferência, o modelo recupera latentes relevantes do passado baseando-se na similaridade da pose da câmera atual com poses passadas (primeiro por posição, depois por orientação).
• Esses latentes recuperados são concatenados à sequência atual, estabelecendo correspondências geométricas explícitas e permitindo que o modelo "lembre" e recrie consistentemente locais visitados anteriormente.

D. Inferência Autoregressiva Progressiva

• O modelo utiliza um agendamento de ruído progressivo e um mecanismo de Attention Sink (inspirado no StreamingLLM) para estabilizar a geração de longas sequências, prevenindo o acúmulo de erros e a degradação visual.
• Utiliza uma memória de curto prazo (latentes recentes) para reduzir o drift de erro durante a geração autoregressiva.

3. Contribuições Principais

1. WorldCam (Modelo): Um modelo fundacional que unifica o controle de ação e a consistência 3D através da representação geométrica da pose da câmera, superando as limitações de métodos baseados em sinais abstratos.
2. WorldCam-50h (Dataset): Introdução de um novo conjunto de dados de grande escala com 3.000 minutos de gameplay humano autêntico (de Counter-Strike, Xonotic e Unvanquished). O dataset inclui anotações ricas de trajetórias de câmera (poses globais) e descrições textuais detalhadas, sendo totalmente aberto para pesquisa reprodutível.
3. Arquitetura Unificada: A proposta de usar a pose da câmera não apenas como sinal de controle, mas como índice espacial para recuperação de memória, resolvendo o problema de consistência em longas durações.

4. Resultados

Os experimentos demonstram que o WorldCam supera significativamente os modelos de estado da arte (como GameCraft, Matrix-Game 2.0, Yume e métodos controlados por câmera como CameraCtrl):

• Controle de Ação: Redução drástica nos erros de pose relativa (RPE). O WorldCam obteve um erro de câmera (RPEcamera) de 0.086, superando o segundo melhor (GameCraft com 0.100) e mostrando uma melhoria de 36.1% em comparações de curto prazo com métodos controlados por câmera.
• Qualidade Visual de Longo Prazo: Alcançou a maior pontuação média no VBench++ (0.844), superando o GameCraft (0.781) em 8.1%, mantendo a fidelidade visual e a suavidade do movimento por mais de 200 quadros.
• Consistência 3D: Em tarefas de trajetórias de loop fechado (revisitar locais), o WorldCam obteve o melhor desempenho em todas as métricas (PSNR, LPIPS, MEt3R e Similaridade DINO), indicando uma reconstrução geométrica superior e ausência de distorção.
• Avaliação Humana: Em um estudo com 30 participantes, o WorldCam recebeu as maiores notas médias em controle de ação (4.31/5), qualidade visual (4.44/5) e consistência 3D (4.36/5).

5. Significado e Impacto

O trabalho WorldCam representa um avanço crucial na direção de motores de jogo generativos funcionais. Ao estabelecer a pose da câmera como o elo central entre a intenção do usuário e a geometria do mundo, o modelo resolve o dilema histórico entre controle preciso e consistência espacial.

• Reprodutibilidade: A liberação do dataset WorldCam-50h e do código permite que a comunidade de pesquisa treine e avalie modelos de mundo interativo sem depender de dados proprietários fechados.
• Aplicabilidade: A capacidade de gerar mundos 3D consistentes sob controle direto do usuário abre caminho para novas experiências de jogos, simulações e ambientes virtuais interativos gerados dinamicamente.

Em resumo, o WorldCam demonstra que modelar explicitamente a geometria da câmera (via álgebra de Lie e recuperação baseada em pose) é a chave para criar mundos virtuais interativos que são tanto controláveis quanto geometricamente coerentes.