Resumo Técnico: WBENCH - Um Benchmark Abrangente de Várias Rodadas para Avaliação de Modelos de Mundo de Vídeo Interativo

1. Declaração do Problema

Os modelos de mundo de vídeo interativo estão avançando rapidamente, capazes de gerar sequências de vídeo controláveis em resposta a ações do usuário em domínios como jogos, direção autônoma e interação corporificada. No entanto, o campo carece de um padrão unificado para avaliação sistemática. Os benchmarks existentes estão fragmentados: alguns focam exclusivamente na qualidade perceptiva do vídeo (por exemplo, VBench) sem testar o controle interativo, enquanto outros avaliam aspectos específicos de modelagem de mundo (por exemplo, navegação ou memória), mas falham em cobrir o espectro completo de cenas de domínio aberto, perspectivas e tipos de interação. Consequentemente, é difícil comparar modelos de forma justa com interfaces nativas diferentes (texto, pose de câmera, ações discretas) ou diagnosticar modos de falha específicos na geração de longo horizonte, consistência e conformidade física.

2. Metodologia

2.1 Construção do Conjunto de Dados (WBENCH)

Os autores introduzem o WBENCH, um benchmark abrangente de várias rodadas composto por 289 casos de teste e 1.058 rodadas de interação. O conjunto de dados é construído com base no princípio "definição primeiro":

• Definições de Mundo: Cada caso define um estado inicial do mundo $W$ composto por quatro atributos: Cena (6 categorias: natureza, urbana, interior, espaço de trabalho, fantasia, esportes), Estilo (fotorrealista a estilizado), Perspectiva (Primeira Pessoa ou Terceira Pessoa) e Sujeito (humano, animal, veículo, robô ou outro).
• Sequências de Interação: Cada caso inclui uma sequência de várias rodadas de controles do usuário extraídos de quatro tipos de interação:
  1. Navegação: Movimento da câmera ou do agente ego usando WASD (translação) e teclas de seta (rotação).
  2. Ação do Sujeito: Ações realizadas pelo sujeito principal (manipulação, locomoção, uso de ferramentas, combate, gestos).
  3. Edição de Eventos: Mudanças ambientais impostas externamente (clima, hora do dia, aparência de objetos).
  4. Troca de Perspectiva: Transições entre vistas em primeira pessoa e terceira pessoa.
• Controle Unificado: Para permitir comparação justa entre paradigmas, as interações de navegação são representadas em três formas alinhadas: prompts de texto, poses de câmera de 6 graus de liberdade (6-DoF) e ações de teclado discretas.

2.2 Suite de Avaliação

O WBENCH avalia modelos em cinco dimensões complementares usando 22 sub-métricas automáticas de alta granularidade, todas validadas contra julgamentos humanos:

1. Qualidade de Vídeo: Mede a qualidade perceptiva (estética, imagem, cintilação, grau dinâmico, suavidade, HPSv3-Norm) independente da condição.
2. Adesão à Definição: Avalia a fidelidade à definição inicial do mundo, incluindo Adesão à Cena (manutenção de elementos visíveis e revelação de elementos fora da tela) e Adesão ao Sujeito (aparência e estilo de movimento).
3. Adesão à Interação: Avalia a execução correta das solicitações do usuário.
   • Navegação: Usa MegaSaM para estimativa de pose para calcular o Erro de Trajetória Absoluto Normalizado (nATE) contra a verdade sintética.
   • Interações Semânticas (Edição de Eventos, Ação do Sujeito, Troca de Perspectiva): Usa Modelos Visão-Linguagem (VLMs) com verificações binárias estruturadas (por exemplo, ocorrência do evento, conclusão, ausência de anomalias).
4. Consistência: Mede a estabilidade da geometria, aparência e perspectiva ao longo do tempo. Inclui métricas para consistência espacial (trajetórias de ida e volta), continuidade de segmentos (detecção de cortes), consistência de perspectiva (rastreamento do sujeito) e consistência de reconstrução (reprojeção geométrica e fotométrica).
5. Conformidade Física: Avalia a adesão às regras físicas via Fidelidade Causal (avaliação baseada em VLM da física de renderização e lógica causal) e Plausibilidade Visual (pontuação de artefatos de baixo nível por Qwen3-VL ajustado finamente).

2.3 Protocolo Experimental

O benchmark foi aplicado a 20 modelos de última geração abrangendo três paradigmas:

• Orientado a Texto (9 modelos): por exemplo, Kling 3.0, Wan 2.7, Seedance 1.5. Avaliados nos 289 casos completos via encaminhamento iterativo do último quadro.
• Controlado por Câmera (5 modelos): por exemplo, HY-World 1.5, LingBot-World. Avaliados em um subconjunto compartilhado de navegação (158 casos) usando entradas de pose nativas.
• Condicionado a Ação (6 modelos): por exemplo, Genie 3, Matrix-Game 3.0. Avaliados no subconjunto de navegação usando entradas de ação discretas.
• Alinhamento Humano: Um estudo com 400 anotadores realizando comparações cegas em pares confirmou que as métricas automatizadas alcançam uma correlação de Spearman ($\rho \ge 0,94$) com preferências humanas.

3. Resultados Principais

• Nenhum Modelo Dominante: Nenhum modelo único desempenha fortemente em todas as cinco dimensões. O desempenho é altamente especializado com base no paradigma do modelo e nos dados de treinamento.
• Independência da Navegação: A capacidade de navegação é em grande parte desacoplada de outras dimensões. Um forte desempenho em renderização ou física não garante movimento controlável. Por outro lado, a correção física correlaciona-se mais fortemente com a qualidade do vídeo e a consistência do que com as capacidades de controle.
• Controle vs. Consistência: O controle da câmera não garante consistência de perspectiva. Modelos com controle nativo de câmera (por exemplo, HY-World 1.5) se destacam na navegação, mas frequentemente lutam para manter um movimento coerente do sujeito em vistas de terceira pessoa em comparação com modelos orientados a texto.
• Degradação ao Longo das Rodadas: O desempenho de navegação degrada-se significativamente ao longo de sequências de várias rodadas (caindo ~33 pontos da Rodada 1 para Rodada 4+), pois os erros de pose se acumulam. Interações semânticas (edição de eventos, ação do sujeito) degradam-se de forma mais moderada. A troca de perspectiva permanece a tarefa mais difícil no geral (pontuação média ~30,7).
• Competitividade de Código Aberto: Modelos de código aberto (por exemplo, HY-World 1.5, LingBot-World, Matrix-Game 3.0) alcançam pontuações líderes em dimensões específicas (navegação, consistência, controle condicionado a ação), igualando ou superando alternativas de código fechado.
• Dificuldade Estruturada: A dificuldade do benchmark varia conforme a definição. A navegação em primeira pessoa é mais fácil do que em terceira pessoa. Cenas de esportes/jogos e sujeitos animais apresentam a maior dificuldade devido a dinâmicas complexas, enquanto cenas de espaço de trabalho e robôs são mais fáceis devido à geometria estática.

4. Contribuições Principais

1. Benchmark Unificado: Um framework abrangente abrangendo cinco dimensões de avaliação com 22 sub-métricas de alta granularidade, abordando a lacuna nos benchmarks existentes que cobrem apenas competências parciais.
2. Conjunto de Dados de Várias Rodadas: Um conjunto de dados cobrindo ambas as perspectivas, quatro tipos de interação e uma interface de navegação unificada, permitindo comparação justa entre paradigmas.
3. Pipeline de Diagnóstico: Um pipeline de avaliação totalmente automático aplicado a 20 modelos, estabelecendo linhas de base de diagnóstico e trazendo à tona insights acionáveis (por exemplo, a independência da navegação de outras capacidades) para o desenvolvimento futuro de modelos.

5. Significado e Alegações

O artigo afirma que o WBENCH fornece o primeiro protocolo unificado para avaliar modelos de mundo interativo em cenas de domínio aberto, ambas as perspectivas e todos os principais tipos de interação. Ao revelar que os modelos atuais ainda não unificaram a renderização de alta fidelidade com controlabilidade confiável, consistência e física, o benchmark destaca as lacunas específicas no campo. Os autores afirmam que suas descobertas — particularmente o desacoplamento da navegação de outras capacidades e a dificuldade estruturada baseada em tipos de cena/sujeito — oferecem um roteiro para o desenvolvimento de modelos de mundo mais robustos. O trabalho é posicionado como uma ferramenta de diagnóstico para orientar pesquisas futuras, em vez de uma solução para os desafios subjacentes de geração.

Limitações Reconhecidas: O conjunto de testes atual foca em sequências de ação discretas em vez de controle contínuo, e a dimensão física depende parcialmente de avaliação baseada em LLM, que pode ter limites de confiabilidade para efeitos sutis.