Resumo Técnico: CRONOS – Avaliação da Consistência Física Contrafactual em Modelos de Vídeo

Declaração do Problema

Avanços recentes na modelagem generativa de vídeo permitiram a síntese de futuros temporalmente coerentes e de alta fidelidade, alimentando a hipótese de que a escalabilidade da previsão de vídeo pode gerar "modelos de mundo" generalizáveis capazes de capturar dinâmicas do mundo real [19, 22, 21]. No entanto, o realismo visual não implica necessariamente a aquisição de representações causais que capturem relações entre objetos, cenas e dinâmicas [42]. Os modelos atuais podem depender de regularidades estatísticas superficiais em vez de leis físicas subjacentes, falhando em produzir previsões estáveis quando as condições visuais (por exemplo, ponto de vista, aparência) mudam enquanto o evento físico permanece constante. Benchmarks existentes para realismo físico frequentemente avaliam previsões sob observações visuais fixas ou dependem de julgamentos humanos/VLM de plausibilidade, falhando em testar sistematicamente se a representação preditiva de um modelo é estável e estruturada sob intervenções controladas [30, 36, 52]. Existe uma lacuna crítica em avaliações principiais que vão além da qualidade perceptiva para testar diretamente a consistência física contrafactual: se as previsões de um modelo sobre eventos físicos respondem adequadamente a mudanças controladas na entrada visual.

Metodologia

Os autores introduzem o CRONOS, um benchmark baseado em intervenções projetado para avaliar a consistência física contrafactual. A metodologia depende de um ambiente de simulação de alta fidelidade e fotorrealista construído no Unreal Engine para gerar sequências de vídeo controladas onde o tipo de evento físico subjacente é fixo, mas fatores visuais específicos são variados sistematicamente.

1. Geração de Dados e Intervenções

O CRONOS gera vídeos em três cenários canônicos de interação física:

• Queda (Rolar-para-cair): Um objeto rola e cai de uma borda.
• Colisão: Um objeto impacta outro.
• Oclusão: Um objeto rola atrás de um obstáculo e reaparece.

Para cada evento, o benchmark emprega um desenho fatorial completo para renderizar observações contrafactuais intervindo em quatro dimensões enquanto mantém as outras fixas:

• Cena: Alteração do ambiente de fundo e do layout (por exemplo, altura da superfície).
• Ponto de Vista da Câmera: Alteração do ângulo de renderização enquanto se preserva a dinâmica 3D.
• Aparência do Objeto: Alteração de atributos visuais (por exemplo, cor) sem alterar parâmetros físicos.
• Categoria do Objeto: Substituição do objeto por um diferente compatível, alterando tanto propriedades visuais quanto parâmetros físicos (massa, atrito).

O conjunto de dados compreende 675 vídeos (3 eventos × 5 cenas × 5 categorias de objetos × 4 pontos de vista × 3 aparências), com a variação de ponto de vista omitida para eventos de oclusão para preservar a estrutura de visibilidade.

2. Métricas de Avaliação

O CRONOS decompõe a qualidade da geração em métricas centradas no objeto para desentrelaçar o movimento 3D da aparência, validadas através de um estudo com usuários humanos:

• Estabilidade da Aparência: Mede a preservação da identidade visual usando embeddings DINOv2.
• Estabilidade do Fundo: Mede a coerência do fundo via erro pixel a pixel (MSE).
• Estabilidade da Forma 3D: Avalia a estabilidade geométrica comparando malhas reconstruídas (via SAM3D) ao longo do tempo usando distância de Chamfer.
• Semelhança de Movimento: Avalia o acordo de movimento usando um codificador de movimento invariante à aparência (DisMo).
• Plausibilidade Física: Utiliza um VLM como juiz (Qwen3-VL-32B) para detectar violações físicas de alto nível (por exemplo, permanência do objeto, gravidade).
• Taxa de Sucesso: Um sinal binário de aprovação/reprovação exigindo que todas as métricas excedam limiares calibrados.
• Sensibilidade: Mede o desvio no desempenho entre os tipos de intervenção; menor sensibilidade indica maior consistência contrafactual.

Principais Contribuições

1. Benchmark CRONOS: Um benchmark novo e baseado em intervenções que avalia sistematicamente como os modelos de vídeo respondem a mudanças controladas no ponto de vista, cena, categoria do objeto e aparência, isolando a consistência física contrafactual da qualidade geral de geração.
2. Ambiente Sintético de Alta Fidelidade: Diferentemente de benchmarks sintéticos anteriores que dependiam de texturas planas, o CRONOS utiliza renderização fotorrealista do Unreal Engine com ativos 3D profissionais para simular iluminação realista, sombras e dinâmicas.
3. Framework de Avaliação Centrada no Objeto: Um conjunto de métricas que desentrelaça movimento de aparência e forma, incluindo um juiz baseado em VLM para plausibilidade física e um método robusto de agregação (mínimo/máximo robusto sobre quadros) para lidar com erros transitórios.
4. Análise Empírica Abrangente: Uma avaliação de modelos de vídeo open-source de última geração (Cosmos2.5, CogVideoX1.5, MAGI-1, Wan2.2) em configurações de Imagem para Vídeo (I2V) e Vídeo para Vídeo (V2V).

Resultados

A avaliação de geradores de vídeo open-source recentes revela falhas substanciais na consistência física contrafactual:

• Baixas Taxas de Sucesso: Mesmo os modelos mais fortes avaliados alcançam baixas taxas de sucesso. Cosmos2.5-2B (V2V) e Wan2.2-14B (I2V) alcançaram apenas 22% e 20% de taxas de sucesso, respectivamente, enquanto a maioria dos outros modelos marcou abaixo de 15%.
• Alta Sensibilidade a Intervenções: Os modelos mostram variação substancial na qualidade da geração entre os tipos de intervenção.
  • Sensibilidade ao Ponto de Vista: Mudanças no ponto de vista induziram a maior variação, indicando que os modelos codificam previsões de maneira fortemente dependente da vista, em vez de aprender dinâmicas conscientes de 3D.
  • Sensibilidade a Objeto e Cena: Mudanças na categoria do objeto e no layout da cena também causaram quedas significativas de desempenho, sugerindo dependência de correlações específicas do objeto em vez de regras físicas generalizáveis.
• Efeito do Condicionamento: O condicionamento de vídeo (V2V) geralmente melhorou o desempenho sobre o condicionamento de imagem (I2V), particularmente na semelhança de movimento e estabilidade do objeto, provavelmente devido ao sinal temporal adicional fornecendo direção e velocidade iniciais.
• Efeito do Tamanho do Modelo: A escalabilidade do Cosmos de 2B para 14B parâmetros não gerou nenhuma melhoria na geração de eventos físicos; de fato, a variante de 14B performou pior em várias métricas, sugerindo que o aumento isolado da contagem de parâmetros não garante melhor consistência física contrafactual.

Significado e Alegações

O artigo afirma que o CRONOS fornece um ambiente de teste controlado e reproduzível para diagnosticar as limitações dos modelos de vídeo atuais. As descobertas sugerem que os modelos modernos dependem principalmente de correlações visuais superficiais em vez de desenvolver representações estáveis e causais das dinâmicas da cena. Os autores postulam que representações estruturadas e causalmente significativas são essenciais para generalização robusta e tomada de decisão, e que os modelos atuais falham em alcançá-las, particularmente sob variações de incômodo como mudanças no ponto de vista.

O benchmark estabelece um alvo concreto para o desenvolvimento de modelos que performam consistentemente através de mudanças em múltiplas condições. Os autores enfatizam que, embora o CRONOS utilize dados sintéticos, sua alta fidelidade visual permite testes diagnósticos rigorosos de capacidades de previsão física que são difíceis de alcançar com vídeo do mundo real devido à incapacidade de controlar variáveis independentemente. O trabalho não afirma que os modelos atuais alcançaram a modelagem geral de mundo, mas sim destaca a lacuna entre realismo visual e consistência física, instando pesquisas futuras a focarem na robustez sob intervenções controladas.