Resumo Técnico: What-If World: Um Benchmark Causal para Modelos de Mundo Gerais em Cenários Incorporados

Declaração do Problema

Modelos de geração de vídeo são cada vez mais propostos como simuladores de mundo de propósito geral para aplicações incorporadas, como direção autônoma e manipulação robótica. No entanto, os paradigmas de avaliação existentes falham em avaliar uma capacidade crítica necessária para esses cenários: sensibilidade causal. Os benchmarks atuais (por exemplo, VBench, EvalCrafter, VideoPhy) avaliam vídeos geridos isoladamente, atribuindo pontuações com base no realismo visual ou na plausibilidade física em relação a um único prompt. Essa abordagem não consegue detectar um modo de falha fundamental no qual um modelo produz dois vídeos visualmente plausíveis que são quase idênticos, apesar de receber prompts descrevendo intervenções físicas diferentes (por exemplo, "frear suavemente" vs. "frear bruscamente").

Para simuladores condicionados por ação e planejadores baseados em modelo, um sistema que falha em rastrear mudanças de entrada controladas é inutilizável, pois as simulações que não divergem de acordo com a intervenção não podem ser usadas para comparar ações alternativas. Os benchmarks causais existentes (por exemplo, CLEVRER, NExT-QA) testam a capacidade de um modelo de perceber a estrutura causal em um vídeo dado, e não sua capacidade de gerar dinâmicas causais fisicamente corretas a partir do zero com base em variações de entrada.

Metodologia

1. O Benchmark What-If World

Os autores introduzem o What-If World, o primeiro benchmark projetado especificamente para intervenção contrastiva em modelos de mundo de vídeo. O benchmark é construído através de um pipeline de três etapas:

• Definição da Taxonomia (O que testar): Dois especialistas de domínio (direção autônoma e manipulação robótica) analisaram 1.000 vídeos do mundo real provenientes do nuScenes e do DROID. Eles identificaram variáveis físicas que governam os resultados e as fundiram em uma taxonomia unificada de seis primitivas abrangendo dois domínios:

  • Domínio do Ambiente ($D_{env}$): Atrito da Superfície, Material e Meio, Configuração de Obstáculos.
  • Domínio da Interação ($D_{int}$): Alinhamento Espacial, Força/Grado, Sequenciamento Temporal.
    Essas primitivas foram selecionadas com base em serem fisicamente fundamentais, compartilhadas entre diferentes incorporações e operacionalmente isoláveis.

• Construção do Conjunto de Dados (Como testar): O benchmark consiste em 319 instâncias de teste pareadas. Cada instância é construída por:

  1. Selecionar um clipe de vídeo real e extrair um quadro $x_0$ no ponto de ramificação causal (o momento imediatamente anterior ao início da ação) para fixar o estado inicial.
  2. Construir um par de prompts contrastivos $(p^+, p^-)$ que compartilham a perspectiva da câmera e o estado inicial da cena, mas diferem em exatamente uma variável semântica (a intervenção).
  3. Ocultar o resultado físico no prompt para forçar o modelo a simular a consequência em vez de recuperá-la de priores textuais.
     O conjunto de dados cobre 18 subcategorias abrangendo direção autônoma e manipulação de braço robótico.

• Protocolo de Avaliação (Como avaliar): Os autores propõem o framework APEO, que pontua pares de vídeos em quatro dimensões:

  • Aderência (A): O vídeo executa a ação solicitada?
  • Física (P): O movimento respeita as restrições físicas?
  • Ambiente (E): O fundo e a cena não-alvo estão estáveis?
  • Resultado (O): Os dois vídeos divergem na direção prevista pela intervenção?

  Crucialmente, A, P e E são pontuados tanto no modo vídeo único (plausibilidade independente) quanto no modo pareado (consistência comparativa). O Resultado (O) é apenas pareado. Esse design separa a plausibilidade por vídeo da correção causal. Um juiz VLM (Gemini 3.1-Pro), validado contra anotação humana (82,3% de concordância), realiza a pontuação.

Principais Resultados

O benchmark foi aplicado a nove modelos de geração de vídeo de última geração (quatro de código aberto, cinco de código fechado). Os resultados revelam limitações significativas nos modelos de mundo atuais:

1. Baixa Sensibilidade Causal: Nenhum modelo supera 52% na métrica pareada principal (pAvg). O modelo de melhor desempenho, Grok Imagine, alcança 51,7%, enquanto os modelos de código aberto se agrupam perto de 28%.
2. O Gargalo Contrastivo: Há uma lacuna substancial entre as pontuações de vídeo único e as pontuações pareadas. Por exemplo, o HunyuanVideo-1.5 alcança uma pontuação de física de vídeo único ($P_s$) de 64,4%, mas cai para 12,2% na pontuação de física pareada ($P_p$). Isso indica que os modelos podem gerar vídeos individualmente convincentes que falham em diferenciar com base em mudanças de entrada.
3. Proeminência Visual vs. Tratamento Físico: O desempenho correlaciona-se mais fortemente com a proeminência visual das consequências da intervenção do que com a física subjacente.
   • Força/Grado (produzindo diferenças dramáticas de movimento) pontua mais alto, com 40,4%.
   • Atrito da Superfície (produzindo diferenças sutis de trajetória em variáveis latentes) pontua mais baixo, com 14,2%.
   • Sequenciamento Temporal mostra uma faixa de desempenho comprimida em todos os modelos, sugerindo que é um desafio fundamental ainda não resolvido pela escalabilidade.
4. Modos de Falha Ocultos: Em 13,1% dos casos em que todas as verificações de vídeo único passaram, a verificação de física pareada falhou. Essas "falhas ocultas" representam um alto risco para aplicações downstream, como planejamento contrafactual, pois a simulação parece válida, mas não fornece distinção causal.

Significado e Alegações

O artigo afirma que o What-If World fornece o primeiro framework unificado e reproduzível para diagnosticar onde os sistemas atuais de geração de vídeo lutam como modelos de mundo. Seu significado reside em:

• Expor um Ponto Cego: Demonstra que as métricas de avaliação por vídeo existentes são insuficientes para aplicações incorporadas porque não conseguem detectar o "gargalo contrastivo"—a falha em rastrear mudanças de entrada controladas.
• Definir um Padrão: Estabelece uma taxonomia de seis primitivas que unifica variáveis de intervenção física entre direção autônoma e manipulação robótica, indo além de casos de teste ad hoc.
• Quantificar a Lacuna: Fornece evidências quantitativas de que os modelos atuais, mesmo os sistemas de código fechado mais avançados, ainda não são confiáveis para simulação condicionada por ação ou planejamento baseado em modelo, pois falham em uma grande fração de intervenções causais.

Os autores concluem que, embora os modelos mostrem alguma capacidade em cenários visualmente óbvios, eles carecem de sensibilidade física generalizável, particularmente para variáveis latentes (como atrito ou massa) e raciocínio relacional (como sequenciamento temporal). O trabalho destaca uma lacuna crítica de capacidade que deve ser abordada antes que esses modelos possam ser implantados com segurança em sistemas incorporados críticos para a segurança.