Resumo Técnico: GeoT2V-Bench

Declaração do Problema

Modelos de texto-para-vídeo (T2V) são cada vez mais instruídos com comandos de movimento de câmera (ex: "orbitar uma estátua", "fazer um dolly através de uma sala") para sintetizar capturas de câmera virtuais. Embora os benchmarks existentes avaliem a plausibilidade visual, a suavidade temporal e o alinhamento com o texto, eles falham em verificar se os frames gerados constituem evidências multi-visuais coerentes de uma única cena 3D estática. Vídeos visualmente plausíveis ainda podem violar a consistência 3D global ao exibir texturas à deriva, imitações de paralaxe 2D ou deformações de cena não físicas. Além disso, a avaliação baseada em reconstrução é inerentemente frágil: a estimativa de pose da câmera pode falhar devido a uma paralaxe fraca, e a reconstrução 3D estática pode falhar se os frames não corresponderem a uma cena estável. As métricas atuais frequentemente confundem falhas de geração de vídeo com falhas do backend de reconstrução ou dependem de consistência geométrica local (ex: GeCo), que não garante a explicabilidade de uma cena estática global.

Metodologia: GeoT2V-Bench

Os autores introduzem o GeoT2V-Bench, um benchmark de diagnóstico baseado em reconstrução que avalia saídas de T2V com comandos de câmera como aquisições de cena estática sintética. Em vez de produzir um rótulo escalar de passar/falhar, o benchmark gera um perfil de reconstrução contínuo.

Visão Geral do Pipeline

O pipeline de avaliação processa um vídeo gerado $V$ e um prompt $p$ através das seguintes etapas:

1. Estimativa de Câmera (VGGT):
   O sistema estima as intrínsecas ($K_t$) e poses ($T_t$) por frame usando VGGT [33], um estimador de geometria feed-forward. Isso estabelece uma trajetória de câmera candidata. O pipeline primeiro verifica a "evidência de aquisição ativa" (movimento aparente suficiente e trajetória coerente) para garantir que o vídeo não seja trivialmente estático.

2. Ajuste Flexível (DeformableGS):
   Usando as câmeras estimadas, o sistema ajusta uma representação DeformableGS [40] sobre-parametrizada. Este modelo 4D flexível pode absorver inconsistências (ex: repintura dependente de visão, deriva não física) como variações temporais. O erro de renderização deste ajuste ($E_{fit}$) serve como uma linha de base para o quão bem o vídeo pode ser explicado por qualquer geometria variante no tempo.

3. Proxy Estático (MedianGS):
   Para testar a explicabilidade de cena estática, o sistema deriva um proxy MedianGS ($G_{med}$) aplicando uma agregação de mediana temporal aos parâmetros do DeformableGS (offsets de posição, rotação e escala). Isso cria uma representação 3D estática que representa o componente temporalmente estável da sequência.

4. Comparação de Mesma Câmera:
   O proxy MedianGS é renderizado ao longo do caminho de câmera original estimado pelo VGGT. O sistema compara esta renderização estática com o vídeo gerado para medir o quão bem uma cena estática explica as observações.

Métricas Principais

O benchmark reporta um perfil de diagnósticos contínuos:

• $E_{LPIPS}^{med}$ (Erro de Renderização Estática MedianGS): Mede a diferença de aparência por frame entre o vídeo gerado e a renderização estática do MedianGS.
• CEMR (Razão de Movimento Explicado pela Câmera): Compara o fluxo óptico do vídeo gerado com o fluxo óptvel induzido pela renderização estática do MedianGS. Um CEMR alto indica que a cena estática explica o movimento temporal; um CEMR baixo/negativo indica que o movimento não é explicado pela geometria estática.
• $\Delta_{stat}$ (Gap Estático-vs-Flexível): Definido como $E_{LPIPS}^{med} - E_{LPIPS}^{fit}$. Um grande gap indica que uma representação flexível e variante no tempo explica o vídeo significativamente melhor do que uma estática, sugerindo mudanças de cena não físicas.
• Energia de Deformação ($E_{deform}$): Quantifica a magnitude dos offsets temporais no ajuste DeformableGS, fornecendo contexto para o gap estático-vs-flexível.
• Descritores de Evidência Ativa: Inclui magnitude média de fluxo óptico ($\bar{F}_{orig}$) e giro de câmera cumulativo suavizado ($\Theta_s$) para validar a presença de evidência de aquisição.

ControlBench

Para interpretar esses diagnósticos, os autores introduzem o ControlBench, um conjunto de testes de estresse usando aquisições estáticas reais e transformações reais derivadas (vídeo congelado, zoom digital, distorção lateral, repintura de textura, deformação de primeiro plano). Este conjunto valida se as métricas respondem plausivelmente a mudanças geométricas e de aparência conhecidas.

Configuração Experimental

• Dataset: 3.840 clipes gerados a partir de 80 prompts de cena estática controlados (de GeCo-Eval [9]) em 12 configurações de modelos de pesos abertos (incluindo CogVideoX, HunyuanVideo, LTX-Video, MAGI-1, Open-Sora, SkyReels, Wan) e 4 sementes de geração.
• Formato: Todos os clipes padronizados para 49 frames, resolução de 256×256, 8 fps.
• Comparação: Os resultados são comparados com o GeCo [9], um trabalho anterior focado em consistência geométrica local.

Resultados Principais

A avaliação revela que classificações de escalar único são enganosas e que diferentes modos de falha são frequentemente ortogonais:

• Modos de Falha Divergentes: Modelos com baixo erro de renderização estática (ex: MAGI-1) frequentemente falham no teste de evidência ativa ou exibem um CEMR ruim (movimento temporal incompatível). Inversamente, modelos com movimento ativo (ex: HunyuanVideo-1.5) podem mostrar altos erros de renderização estática e alta energia de deformação.
• Complementaridade com GeCo: O GeoT2V-Bench captura modos de falha que o GeCo perde. Um clipe pode ter baixa inconsistência geométrica local (bom score GeCo), mas falhar na auditoria de reconstrução global (baixo CEMR ou alto gap estático-flexível), indicando que a consistência local não garante uma trajetória de câmera global coerente ou uma cena estática.
• Interdependência de Métricas: Um LPIPS baixo por frame não garante coerência temporal. O CEMR é crítico para distinguir entre clipes que são meramente estáticos e aqueles que genuinamente suportam uma explicação 3D estática sob movimento de câmera.

Significância e Alegações

O artigo afirma que o GeoT2V-Bench desloca o paradigma de avaliação de "plausibilidade de vídeo" para "evidência multi-visual reconstruível". Suas principais contribuições são:

1. Formulação: Definir a avaliação de T2V com comando de câmera como um teste de se um vídeo pode ser explicado como observações de uma única cena estática ao longo de um caminho de câmera estimado.
2. Caracterização de Dificuldade em Estágios: Destacar que tanto a estimativa de pose da câmera quanto a reconstrução 3D são estágios frágeis que podem falhar devido às próprias inconsistências sendo medidas.
3. Perfil Diagnóstico: Introduzir um perfil contínuo (erro MedianGS, CEMR, gap estático-vs-flexível) que separa evidência ativa, comportamento de reconstrução estática e explicação de movimento temporal, evitando a confusão de diferentes tipos de falha.
4. Diagnósticos Complementares: Demonstrar que diagnósticos baseados em reconstrução revelam modos de falha (incoerência de trajetória global, mudanças de cena não físicas) que métricas de geometria local como o GeCo não detectam.

Os autores enfatizam que o benchmark é uma ferramenta de diagnóstico, não um classificador de qualidade visual. Resíduos baixos podem indicar evidência de aquisição fraca em vez de alta qualidade, e resíduos altos podem advir de limitações do backend ou movimentos complexos, em vez de falha de geração. O trabalho apoia a interpretação desses diagnósticos através dos testes de estresse do ControlBench.