Out of Sight, Out of Mind? Evaluating State Evolution in Video World Models

1. O Problema

Os modelos de mundo baseados em vídeo (video world models) atuais geram "mundos" sintetizando quadros de imagem 2D. Uma premissa fundamental de um verdadeiro modelo de mundo é que a evolução do estado físico do ambiente deve ocorrer independentemente da observação. No mundo real, processos como água sendo derramada, gelo derretendo ou objetos caindo continuam a evoluir mesmo quando não estão sendo vistos (devido a oclusões ou desvio de câmera).

O problema central investigado é: Os modelos de geração de vídeo atuais conseguem desacoplar a evolução do estado da observação? Ou seja, se a câmera se desvia ou um objeto é ocultado durante um processo dinâmico, o modelo consegue continuar a simulação física corretamente quando a visão é restaurada, ou ele "congela" o estado, reinicia o processo ou gera inconsistências?

O artigo argumenta que os benchmarks existentes focam em física sob observação completa ou consistência estática, falhando em testar a capacidade do modelo de evoluir o mundo quando a observação é interrompida.

2. Metodologia: StEvo-Bench

Os autores propõem o StEvo-Bench, um benchmark projetado especificamente para avaliar se os modelos de mundo podem manter a evolução do estado durante períodos de não observação.

Construção das Tarefas

• Estrutura: O benchmark consiste em 225 tarefas únicas divididas em 6 categorias de evolução natural:
  1. Processo Contínuo (ex: água enchendo um copo).
  2. Cinemática (ex: objetos caindo).
  3. Mudança Relacional (ex: empurrar objetos).
  4. Mudança Causal (ex: acender um fósforo).
  5. Transformação de Estado (ex: derreter gelo).
  6. Comportamento Esperado de Humanos/Animais.
• Controle de Observação: Cada tarefa inicia com uma imagem e um prompt de texto. O modelo deve executar duas ações de controle:
  1. Controle de Ação: Iniciar um processo evolutivo (ex: "uma mão inclina uma jarra").
  2. Controle de Observação: Interromper a visão do processo no meio da evolução. Isso é feito de duas formas:
     • Oclusão Intra-cena: Adicionar um objeto (cortina, cartão) ou apagar as luzes.
     • Controle de Câmera: Mover a câmera para longe do objeto ("lookaway") e depois trazê-la de volta.
• Avaliação: O modelo é testado para ver se, ao revelar o objeto novamente, o estado evoluiu corretamente (ex: o copo está mais cheio, a vela queimou mais).

Pipeline de Verificação Automática

Para avaliar automaticamente os vídeos gerados, o StEvo-Bench utiliza verificadores especialistas baseados em Modelos de Linguagem Visual (VLMs), especificamente o Gemini 3.1 Pro. O processo é dividido em duas etapas:

1. Sucesso de Controle: Verificadores confirmam se a oclusão/controle de câmera ocorreu e se a ação inicial foi executada.
2. Sucesso de Evolução: Se o controle for bem-sucedido, três verificadores avaliam a evolução:
   • Progresso do Estado: O processo continuou durante a oclusão?
   • Plausibilidade Física: A evolução seguiu leis físicas (ex: gravidade, conservação de massa)?
   • Coerência: O objeto e a cena permaneceram consistentes (sem teletransporte, desaparecimentos ou mudanças abruptas de material) após a oclusão?

3. Principais Contribuições

1. StEvo-Bench: O primeiro benchmark a avaliar sistematicamente a capacidade de desacoplar a evolução do estado da observação em modelos de mundo de vídeo.
2. Protocolo de Verificação Especializada: Desenvolvimento de verificadores automáticos que dissecam modos de falha (progresso, física, coerência), permitindo uma análise granular dos erros.
3. Análise de Viés: Identificação de falhas fundamentais na arquitetura e nos dados de treinamento dos modelos atuais, revelando que eles tendem a "congelar" o mundo quando não observam.

4. Resultados e Descobertas Chave

Os autores avaliaram modelos de ponta, incluindo geradores de vídeo gerais (Veo 3, Sora 2 Pro, WAN 2.2) e modelos controlados por câmera (Genie 3, HunyuanWorld, etc.).

• Falha Generalizada na Desacoplagem: Tanto modelos de vídeo gerais quanto os controlados por câmera têm taxas de sucesso inferiores a 10% em evoluir estados corretamente sob controle de observação interrompida.
• Modo de Falha 1: Parada da Evolução (Evolution Stopping): Quando a observação é interrompida, os modelos frequentemente param o processo. Exemplo: Um colchão de ar que deveria continuar esvaziando quando a luz é apagada, para de esvaziar.
• Modo de Falha 2: Incoerência: Ao remover a oclusão, os objetos mudam de forma, tamanho ou material de maneira inexplicável (ex: uma esponja retangular torna-se redonda).
• Viés para Cenas Estáticas em Modelos Controlados por Câmera: Modelos que aceitam trajetórias de câmera (como Genie 3) tendem a "congelar" a cena completamente quando a câmera se move, falhando em evoluir o estado dinâmico.
• Trade-off Dinâmica vs. Controle: Quando os modelos conseguem evoluir o estado, eles frequentemente ignoram os comandos de movimento da câmera, mantendo a câmera estática.
• Arquiteturas de Memória não Ajudam: Modelos que utilizam módulos de memória explícita (como VMem) reforçam o viés para cenas estáticas. Eles conseguem lembrar a aparência inicial do objeto, mas falham em simular a evolução dinâmica desse objeto quando ele está fora de vista.

5. Significado e Conclusão

O trabalho demonstra que os modelos de mundo de vídeo atuais são fundamentalmente dependentes da observação contínua para gerar dinâmicas. Eles não possuem uma representação interna robusta de "estado do mundo" que evolua independentemente dos pixels visíveis.

• Implicações para Arquitetura: A dependência de atenção bidirecional "all-to-all" em quadros ocultos pode ser ineficiente. O artigo sugere a necessidade de novas arquiteturas que separem a representação de estado da geração de pixels.
• Implicações para Dados: O viés para cenas estáticas em modelos controlados por câmera pode ser atribuído aos dados de treinamento (muitos vídeos renderizados de cenas estáticas ou jogos com pouca física natural).
• Futuro: O StEvo-Bench estabelece um novo patamar para avaliar a "inteligência" de simulação de modelos de vídeo, indo além da qualidade visual para testar a compreensão causal e física do mundo.

Em resumo, o artigo conclui que, atualmente, "se está fora da vista, está fora da mente" para os modelos de mundo de vídeo, indicando que eles ainda não são verdadeiros simuladores de mundo, mas sim geradores de sequências de pixels coerentes apenas sob observação direta.