Resumo Técnico: ImageTime – Um Novo Benchmark para Sondar a Modelagem de Mundo Visual através da Consistência Espaciotemporal

1. Declaração do Problema

Os atuais modelos de geração de imagem alcançaram uma proficiência notável na síntese de imagens estáticas, produzindo visuais de alta qualidade e semanticamente alinhados. No entanto, sua capacidade de representar como um mundo visual evolui ao longo do tempo permanece mal compreendida. Fluxos de trabalho práticos, como o storyboard, a ilustração passo a passo e a pré-visualização de vídeo, exigem que os modelos preservem a identidade da entidade, o estado dos objetos, as relações espaciais e a ordem causal através de múltiplos estados visuais.

Os protocolos de avaliação existentes concentram-se amplamente na correção de imagem única (ex: presença de objetos, vinculação de atributos, relações espaciais) ou na qualidade de vídeo denso (ex: suavidade do movimento, cintilação). Essas abordagens falham em diagnosticar se um modelo consegue imaginar coerentemente um processo temporalmente ordenado. Um modelo pode gerar um quadro final plausível enquanto pula ações intermediárias necessárias, duplica objetos, sofre deriva na identidade da cena ou viola a ordem causal. Existe uma lacuna crítica na avaliação de se os modelos de imagem conseguem manter um mundo visual coerente através de estados ordenados, em vez de meramente renderizar snapshots isolados.

2. Metodologia

2.1 O Benchmark ImageTime

O ImageTime é um benchmark de diagnóstico projetado para sondar a modelagem de mundo visual através da consistência espaciotemporal. Em vez de gerar vídeos contínuos, o benchmark utiliza um protocolo de quatro quadros-chave para evitar os confundimentos da dinâmica de vídeo denso (ex: interpolação de fluxo óptico), ao mesmo tempo em que impõe demandas temporais superiores à geração de imagem única.

• Formulação da Tarefa: Dado um comando de ação (e opcionalmente uma imagem de referência para o estado inicial), o modelo deve gerar uma única imagem quadrada contendo quatro estados temporais ordenados em um layout $2 \times 2$:
  1. $t_1$ Estado Inicial: A configuração de partida.
  2. $t_2$ Início da Ação: O começo da interação.
  3. $t_3$ Estado de Transição: Uma interação ou mudança de estado intermediária.
  4. $t_4$ Estado Final: A conclusão da ação.
• Escala do Dataset: O benchmark compreende 750 casos abrangendo 22 domínios (ex: doméstico, cozinha, laboratório, esportes) e 375 conceitos de ação.
• Configurações: A avaliação principal utiliza uma configuração estrita de apenas prompt, onde os modelos sintetizam todos os quatro painéis apenas a partir de texto. Uma configuração de andaime condicionada por referência também é definida, mas excluída da comparação entre modelos principal para isolar as capacidades generativas.

2.2 Árvore de Capacidades Progressiva (L0–L6)

Para estruturar a avaliação, o ImageTime introduz uma hierarquia de sete níveis de capacidade. As tarefas não são planas; níveis superiores dependem da execução bem-sucedida de compromissos de níveis inferiores:

• L0 (Fundamentação Estática): Instanciar o sujeito, a cena, o estilo e o estado inicial.
• L1 (Identidade e Âncoras): Preservar atores, objetos, materiais e âncoras de fundo através dos painéis.
• L2 (Transição Espacial): Representar mudanças objetivas em posição, contenção e orientação.
• L3 (Transição de Estado do Objeto): Rastrear mudanças de estado (ex: níveis de preenchimento, contagens) e conservação de origem-destino.
• L4 (Interação e Acessibilidade/Affordance): Depictar contato plausível, uso de ferramentas e biomecânica.
• L5 (Processo Causal): Garantir que as mudanças de estado sigam gatilhos visíveis e estágios intermediários (sem estados finais prematuros).
• L6 (Restrição/Contrafactual): Obedecer a negações, ações bloqueadas e resultados condicionais.

2.3 Avaliação Estruturada com VLM-como-Juiz

O artigo emprega um GPT-5.5 estruturado como juiz para pontuar as imagens geradas, indo além de pontuações de preferência holísticas. O protocolo de avaliação inclui:

• Validação de Layout: Garantir que a saída seja uma folha de movimento $2 \times 2$ válida e legível.
• Sistema de Pontuação Duplo:
  • Pontuações de Capacidade (C0–C9): Pontuações de granularidade grossa cobrindo layout, consistência de entidade, estabilidade de visão espacial, continuidade de movimento, ordenação temporal, processo causal, interação, sensibilidade à restrição e qualidade visual.
  • Subpontuações Diagnósticas (D0–D14): Pontuações de granularidade fina que fornecem evidência visual para falhas (ex: integridade de parsing de painel, permanência de objeto, acoplamento trajetória-pose, visibilidade de transição de estado, execução de restrição).
• Agregação: As pontuações de nível de árvore ($T_L$) são computadas como uma média equilibrada das dimensões C e D mapeadas, garantindo que as afirmações de capacidade de alto nível sejam sustentadas por evidências visuais específicas.

3. Principais Contribuições

1. Uma Sonda Comportamental para Modelagem de Mundo Visual: O ImageTime introduz um benchmark de diagnóstico que utiliza a consistência espaciotemporal através de estados-chave ordenados como uma sonda observável. Ele desloca a avaliação da correção de estado único para a consistência de múltiplos estados ordenados, fornecendo um padrão concreto com 750 casos.
2. Árvore de Capacidades de Sete Níveis e Avaliação Estruturada: Os autores projetam uma hierarquia L0–L6 e um protocolo estruturado de VLM-como-juiz. Isso permite tanto a análise de nível de árvore da degradação progressiva de capacidade quanto a localização de falhas finas via subpontuações diagnósticas.
3. Benchmarking Sistemático de Múltiplos Modelos: O artigo avalia oito modelos de geração de imagem diversos (incluindo GPT Image 2, Nano Banana 2, Seedream 5.0 Lite, FLUX.2 Pro, Qwen-Image-2512, Z-Image-Turbo, HunyuanImage-2.1 e SDXL) usando o benchmark de 750 casos, revelando modos de falha recorrentes como deriva de identidade, ausência de estados intermediários e violações de ordem causal.

4. Resultados Experimentais

• Hierarquia de Desempenho: O GPT Image 2 alcançou a maior pontuação média Geral (7.86), seguido pelo Nano Banana 2 (7.45) e Seedream 5.0 Lite (7.16). O SDXL obteve a pontuação mais baixa (1.57), principalmente devido a falhas na geração da interface de quatro painéis ordenada exigida.
• Lacunas de Capacidade: Os sistemas mais fortes (GPT Image 2, Nano Banana 2) mantêm envelopes amplos em consistência de entidade, estabilidade de visão espacial e processo causal. No entanto, mesmo esses modelos de topo mostram quedas significativas em Processo Causal (C6) e Sensibilidade à Restrição (C8) comparado à fundamentação estática.
• Insights Diagnósticos:
  • Continuidade de Movimento (C4) e Ordenação Temporal (C5) são grandes diferenciadores. Modelos mais fracos frequentemente produzem "estados finais prematuros" ou pulam fases intermediárias.
  • Violações de Precondição Causal: Muitos modelos geram interações fisicamente impossíveis (ex: um objeto aparecendo na mão antes de uma gaveta ser aberta) ou falham em conservar quantidades (ex: níveis de líquido não mudando durante o despejo).
  • Degradação de Nível de Árvore: Modelos de menor desempenho exibem degradação acentuada em níveis de capacidade superiores (L4–L6), indicando que, embora possam construir cenas estáticas, lutam para manter um processo causal coerente sobre estados ordenados.
• Confiabilidade: A análise de distribuição mostra que modelos de alto nível não são apenas altos em média, mas mantêm consistência através de diversos prompts, enquanto modelos de nível inferior mostram caudas pesadas de falha, particularmente em tarefas focadas em restrições e quantidades.

5. Significância e Alegações

O artigo posiciona o ImageTime não como uma medida de um modelo de mundo interno, mas como uma sonda comportamental de se os modelos de imagem podem externalizar um comportamento semelhante ao de um modelo de mundo.

• Além da Síntese Estática: Os resultados demonstram que a alta qualidade visual não garante a construção confiável de processos temporais. Os modelos atuais frequentemente falham em preservar as "variáveis ocultas" (ex: quantidades de origem, gatilhos causais) necessárias para um processo coerente.
• Capacidades Emergentes: O benchmark revela que mesmo sistemas de pesos abertos e de menor custo (ex: Qwen-Image-2512, Z-Image-Turbo) podem produzir folhas de movimento legíveis e exibir preservação de entidade não trivial, sugerindo que a geração de processos espaciotemporais básicos está emergindo fora dos modelos de fronteira fechados.
• Limitações do Raciocínio Atual: Embora sistemas orientados ao raciocínio (como o GPT Image 2) se destaquem no planejamento entre painéis, eles ainda lutam com conservação de estado de objeto, geometria de contato e raciocínio contrafactual.
• Direção Futura: Os autores argumentam que o progresso na geração de imagem deve ser reportado não apenas através da qualidade visual e seguimento de prompt, mas também através de diagnósticos explícitos de persistência de estado e coerência causal. O ImageTime serve como uma ponte entre a avaliação de imagem estática e a avaliação de vídeo denso, oferecendo uma interface controlada para rastrear a evolução da modelagem de mundo visual.

O artigo conclui que, embora os modelos atuais exibam um comportamento básico semelhante ao de um modelo de mundo visual, seu rastreamento de estado temporal permanece frágil sob processos mais longos, mais restritos ou causalmente exigentes.