Resumo Técnico: TEMPVIZ – Sobre a Avaliação do Conhecimento Temporal em Modelos de Texto-para-Imagem

Declaração do Problema

O tempo altera fundamentalmente a aparência visual de entidades no mundo real, incluindo objetos, lugares, animais e paisagens. Embora exista uma pesquisa substancial sobre conhecimento e raciocínio temporal no Processamento de Linguagem Natural (NLP), o cenário de recursos e métodos de avaliação para o conhecimento temporal em modelos de Texto-para-Imagem (T2I) permanece amplamente inexplorado. Os usuários esperam que os modelos T2I gerem imagens contextualmente relevantes com base em instruções temporais (ex: uma paisagem no inverno versus no verão, ou um edifício antes versus depois de um evento histórico específico). No entanto, atualmente não está claro o quão bem os modelos T2I existentes conseguem interpretar e aplicar essas pistas temporais, nem existe um método confiável para avaliar automaticamente tais capacidades.

Metodologia

Para abordar essa lacuna, os autores introduzem o TEMPVIZ, um novo conjunto de dados e um framework de avaliação projetado para avaliar holisticamente o conhecimento temporal na geração de imagens.

1. O Conjunto de Dados TEMPVIZ

O conjunto de dados consiste em 7.940 prompts abrangendo cinco categorias distintas de assuntos, escolhidas para refletir casos de uso comuns onde os efeitos temporais são visualmente observáveis:

• Paisagens: Testa variações sazonais e diárias (ex: "um lago em janeiro na Europa").
• Animais: Testa o envelhecimento biológico através de estágios de vida (ex: "uma alpaca de um mês de idade"), utilizando dados de tempo de vida do HAGR.
• Edifícios: Testa a existência histórica e destruição (ex: "o Muro de Berlim em 23/10/1983"), focando em estruturas com datas conhecidas de início e demolição.
• Mapas: Testa mudanças geopolíticas de fronteiras ao longo do tempo (ex: "um mapa da Europa em 1938").
• Obras de Arte: Testa a adesão a períodos e estilos históricos da arte específicos (ex: "uma obra de arte no estilo do Impressionismo").

Para cada prompt, os autores geraram quatro variações parafraseadas. O conjunto de dados inclui >600 imagens de referência (obtidas do Wikidata, Google Arts & Culture e OpenHistoricalMap) e "valores esperados" (descritores textuais de atributos visuais) para apoiar a anotação. Notavelmente, o conjunto de dados exclui seres humanos para evitar complicações éticas relacionadas a vieses demográficos e reforço de estereótipos.

2. Protocolo de Avaliação

O estudo emprega uma abordagem de dupla avaliação:

• Avaliação Humana: Dois anotadores avaliaram uma amostra estratificada de 500 imagens geradas em cinco modelos T2I (Stable Diffusion v1.5, SDXL-Turbo, SDXL-Base, SD 3.5 e FLUX.1-dev). Os anotadores responderam a três perguntas binárias:
  1. A imagem está livre de erros de geração visual?
  2. O assunto correto está presente?
  3. O modelo aplicou o conhecimento temporal de forma correta?
• Avaliação Automática: Os autores testaram vários métodos automatizados estabelecidos contra julgamentos humanos para determinar sua confiabilidade na detecção de pistas temporais. Estes incluíram:
  • CLIPScore: Medindo a similaridade de embedding entre texto e imagem.
  • Legendagem (Captioning): Gerando legendas de imagem e comparando-as com o prompt.
  • VQA Decomposicional: Usando um LLM para decompor prompts em perguntas detalhadas respondidas por um Modelo de Linguagem-Visão (VLM).
  • Julgamento Direto por VLM: Instruindo VLMs (Qwen2.5-VL, GPT-4o mini, GPT-5) a julgar diretamente se a imagem corresponde às restrições temporais do prompt.

Principais Resultados

Descobertas da Avaliação Humana

• Baixa Competência Temporal: Em todos os cinco modelos e categorias, a competência temporal é geralmente fraca. Nenhum modelo excedeu 75% de precisão na aplicação correta de pistas temporais para qualquer categoria individual.
• Variância de Categoria: A categoria Mapas provou ser a mais desafiadora, com mesmo o melhor modelo (FLUX) alcançando apenas 50% de geração livre de erros. Obras de Arte mostraram as taxas mais altas de geração sem erros, embora isso possa ser devido aos anotadores interpretarem erros de geração como variações estilísticas.
• Desempenho de Assunto vs. Temporal: Embora os modelos tenham tido um bom desempenho geral na presença do assunto (Q2), isso não correlacionou com a precisão temporal (Q3). Por exemplo, o FLUX alcançou pontuações altas para qualidade de imagem e presença de assunto, mas apenas 38% de precisão temporal, enquanto o SD v1.5 alcançou a maior precisão temporal média (46%) apesar de menor coerência geral.
• Conclusão: A qualidade geral da imagem não é um indicador do codificação de conhecimento temporal. Os modelos T2I atuais lutam para integrar pistas temporais de forma consistente, mesmo em categorias que parecem mais simples.

Descobertas da Avaliação Automática

• Ineficácia de Métricas Tradicionais: O CLIPScore não mostrou correlação significativa com os julgamentos humanos em relação à correção temporal. A avaliação baseada em legendas mostrou alguma correlação com a presença do assunto, mas apresentou correlações negativas para pistas temporais, indicando que esses métodos podem ser enganosos quando a correção depende do tempo e não da identidade do objeto.
• Limitações de Juízes VLM: Mesmo VLMs avançados (incluindo GPT-5) falharam em fornecer avaliações confiáveis. A melhor configuração (GPT-5 com prompting de 3-shot) alcançou um F1 score macro de apenas 72%, bem abaixo do limiar para uma avaliação automatizada confiável.
• Desalinhamento com a Dificuldade Humana: Juízes automatizados não se alinharam consistentemente com a dificuldade da tarefa percebida pelos humanos. Por exemplo, o GPT-5 frequentemente julgou erroneamente a categoria "Animais" (envelhecimento), apesar de os humanos acharem esta menos desafiadora do que "Edifícios" ou "Mapas".

Significância e Contribuições

O artigo faz três contribuições primárias:

1. Conjunto de Dados TEMPVIZ: O primeiro conjunto de dados especificamente desenhado para analisar o conhecimento temporal em modelos T2I, compreendendo 7,9 mil prompts em cinco categorias diversas com imagens de referência e valores esperados.
2. Benchmarking Empírico: Uma avaliação humana abrangente de cinco modelos T2I de última geração, revelando que mesmo os modelos mais fortes falham em aplicar consistentemente o conhecimento temporal, com a precisão raramente excedendo 75%.
3. Análise de Lacuna de Avaliação: Uma avaliação sistemática dos métodos de avaliação automática, demonstrando que as abordagens atuais (CLIPScore, legendagem, VQA e julgamento direto por VLM) são insuficientes para julgar pistas temporais em imagens geradas de forma confiável.

Os autores concluem que há uma necessidade premente de pesquisas futuras focadas tanto na melhoria da geração de pistas temporais em modelos T2I quanto no desenvolvimento de métricas de avaliação capazes de avaliar essas relações visuais-temporais detalhadas. O artigo posiciona o TEMPVIZ como um recurso fundamental para motivar essa direção, em vez de alegar ter resolvido os desafios subjacentes de geração ou avaliação.