Resumo Técnico: WorldRoamBench

Definição do Problema

Apesar dos rápidos avanços nos Modelos de Mundo Interativos (IWMs) capazes de gerar ambientes fotorrealistas em resposta a entradas do usuário (ex: teclas WASD), os benchmarks existentes falham em avaliar adequadamente a estabilidade de longo horizonte. Os métodos de avaliação atuais sofrem de quatro limitações críticas:

1. Avaliação de Ação: A maioria dos benchmarks baseia-se em métricas de trajetória (ex: Erro de Pose Relativa, Erro de Trajetória Absoluta) derivadas de caminhos de câmera 3D recuperados. Essas métricas sofrem com disparidades de escala semântica entre modelos (onde diferentes modelos interpretam a mesma ação com magnitudes vastamente distintas) e podem mascarar falhas por quadro (ex: um modelo ignorando uma tecla pressionada e compensando excessivamente depois).
2. Estabilidade Visual: As métricas existentes frequentemente medem a qualidade visual média, ignorando a degradação temporal. Modelos autorregressivos frequentemente exibem um colapso de qualidade não monotônico (deriva, desfoque, quebra estrutural) no meio da sequência, o que comparações entre início e fim não conseguem detectar.
3. Física de Interação: Os benchmarks atuais carecem de uma avaliação sistemática da plausibilidade física sob controle ativo, como resposta de colisão, clipping (atravessar objetos), gravidade e consistência óptica (reflexos/sombras).
4. Consistência de Memória: A memória é frequentemente avaliada via comparações simétricas de pares de quadros, assumindo uma execução de ação perfeita. Na realidade, a deriva cumulativa faz com que o quadro de "revisita" sofra um deslocamento espacial em relação ao ground truth, confundindo erros de seguimento de ação com degradação de memória.

Metodologia

Os autores introduzem o WorldRoamBench, um benchmark de mundo aberto projetado para avaliar IWMs através de 10 a 60 segundos de interação contínua em diversos cenários (Natureza, Urbano, Interior) e perspectivas (Visão em Primeira Pessoa - FPV, Visão em Terceira Pessoa - TPV). O benchmark compreende mais de 600 casos de teste e avalia mais de 10 modelos de última geração (tanto de código aberto quanto proprietários).

A estrutura de avaliação é construída sobre quatro dimensões complementares:

1. Seguimento de Ação (Action Following)

• Precisão de Ação Discreta por Quadro: Em vez de recuperar trajetórias, o benchmark discretiza a pose estimada da câmera (usando ViPE) em ações atômicas (W, A, S, D, I, J, K, L) utilizando um mecanismo de stride latente (agrupando quadros em janelas de $K=4$ para corresponder à cadência de geração do modelo). Ele reporta tanto a Precisão Estrita (correspondência exata de todas as subações) quanto a Precisão Parcial (correspondência de pelo menos uma subação).
• Pontuação de Trajetória (TrajScore): Uma métrica geométrica que compara o caminho gerado contra um ground truth adaptativo. O GT adaptativo preserva a própria magnitude de deslocamento do modelo, mas impõe a direção e a forma ideais (ex: uma linha reta para "frente"). Isso desacopla "o quanto" o modelo se moveu de "se ele se moveu corretamente". Os erros são normalizados pelo comprimento do caminho e rotação para garantir a comparabilidade entre modelos.

2. Qualidade Visual

• Qualidade Absoluta: Medida via Qualidade de Imagem (MUSIQ) e Qualidade Estética (preditor baseado em CLIP).
• Deriva Temporal: Uma métrica baseada em segmentos que divide a execução em $N=10$ janelas para identificar a maior queda de qualidade ($D = \frac{\bar{s}_{best} - \bar{s}_{worst}}{|\bar{s}_{best}|}$). Isso captura colapsos no meio da sequência que as pontuações médias ignoram.

3. Física de Interação

Uma avaliação controlada por gatilho de controlabilidade garante que o modelo responda às ações antes de avaliar a física. Cobre três domínios usando julgamento baseado em VLM (Qwen3-VL-PLUS):

• Mecânica: Colisão, clipping (passar através de sólidos), deformação (pegadas/ondulações), seguimento de terreno e gravidade.
• Óptica: Plausibilidade de reflexo e consistência de sombras.
• Consistência 3D: Preservação da estrutura espacial rígida e ordenação de profundidade durante o movimento da câmera.

4. Memória

A memória é avaliada sob controle imperfeito usando duas trilhas:

• Memória de Cena: Em vez de comparação de pares de quadros, o benchmark localiza a transição observação-revisita, reconstrói nuvens de pontos para ambos os segmentos e os alinha. Calcula uma pontuação F1 baseada em Retenção (geometria observada recuperada) e Alucinação (geometria da revisita não suportada pela observação).
• Memória do Sujeito (Apenas TPV): Utiliza rastreamento (SAM2) e raciocínio de VLM para avaliar a preservação da identidade, estrutura e aparência do protagonista ao longo do tempo.

Principais Resultados

O benchmark avaliou mais de 10 modelos, incluindo líderes proprietários (Genie 3, Happy Oyster) e modelos de código aberto (Matrix-Game 2.0/3.0, HY-World 1.5, Lyra 2.0, SANA-WM, etc.).

• Não há Modelo Dominante: Nenhum modelo único satisfaz todas as dimensões. Modelos proprietários geralmente se destacam em física e memória, enquanto modelos abertos costumam liderar em seguimento de ação e qualidade visual.
• Trajetória $\neq$ Correção por Quadro: Modelos com altas pontuações de trajetória (>85) podem exibir baixa precisão de ação estrita (<65%), revelando falhas ocultas onde os modelos derivam ao longo do caminho correto, mas perdem teclas individuais.
• Qualidade Visual $\neq$ Controlabilidade: Altas pontuações estéticas não garantem seguimento de ação preciso; fidelidade visual e controlabilidade parecem ser capacidades amplamente independentes.
• Troca (Trade-off) entre Física e Ação: Modelos que aderem estritamente à física (ex: parando em paredes) frequentemente desviam das trajetórias predefinidas, resultando em pontuações de seguimento de ação mais baixas, apesar de um comportamento fisicamente plausível.
• Controlabilidade em Terceira Pessoa: Existe uma lacuna significativa nas taxas de controle de TPV. O Happy Oyster alcançou uma taxa de controle de 84,43%, enquanto o HY-World 1.5 teve dificuldades com 21,23%, indicando que a estabilidade em terceira pessoa ainda não é um problema resolvido para muitos modelos abertos.

Significância e Alegações

O artigo afirma que o WorldRoamBench fornece uma base diagnóstica para medir o progresso em direção a simulações de mundo genuinamente interativas e estáveis. Ao expor modos de falha ocultos por clipes curtos e métricas de apenas trajetória, o benchmark destaca que os atuais IWMs ainda não são confiáveis para implantação no mundo real.

Os autores enfatem que os futuros modelos de mundo devem integrar responsividade de ação, fundamentação física e memória persistente de cena/sujeito simultaneamente. O benchmark serve como uma ferramenta padronizada para impulsionar a pesquisa nessas áreas específicas e muitas vezes desacopladas, movendo o campo além da "geração de vídeo fotorrealista" em direção a "ambientes interativos estáveis e fisicamente fundamentados".