Synthetic History: Evaluating Visual Representations of the Past in Diffusion Models

Este trabalho apresenta um novo benchmark para avaliar a representação histórica em modelos de difusão Texto-para-Imagem, revelando que eles frequentemente cometem erros sistemáticos ao estereotipar estilos visuais, introduzir anacronismos e falhar na representação demográfica plausível de períodos passados.

O essencial

Imagine que você pediu a um pintor muito talentoso, mas que nunca saiu de casa, para desenhar cenas do passado: um ferreiro no século 17, uma mãe cozinhando nos anos 1950 ou uma festa na década de 1990. O problema é que esse pintor só conhece o passado através de fotos antigas, filmes e livros que ele "devorou" na internet.

É exatamente isso que os pesquisadores Maria-Teresa De Rosa Palmini e Eva Cetini´c fizeram ao estudar os Modelos de Difusão de Texto para Imagem (como o DALL-E, Midjourney ou Stable Diffusion). Eles criaram um "teste de realidade" chamado HistVis para ver se essas IAs conseguem realmente representar a história com precisão ou se elas apenas estão repetindo estereótipos.

Aqui está o resumo do que eles descobriram, usando analogias simples:

1. O "Filtro de Estilo" Automático (Associações Estilísticas)

A Analogia: Imagine que você pede para a IA desenhar uma cena do século 17. Em vez de pensar "como as pessoas viviam", a IA pensa: "Ah, século 17 é antigo, então vou desenhar como um gravura antiga ou um desenho em preto e branco".
O que o estudo mostrou:
As IAs têm um "gosto" automático por certos estilos visuais dependendo da época, mesmo que você não peça isso.

• Para os séculos 17 e 18, elas tendem a fazer tudo parecer um desenho antigo (gravura).
• Para os anos 1910 a 1950, elas insistem em fazer tudo em preto e branco, como se o mundo fosse cinza.
• Só a partir dos anos 1970/80 é que elas "acordam" para as cores.
• O problema: Isso cria uma falsa ideia de que o passado era sempre "desenhado" ou "sem cor", ignorando que as pessoas viviam em cores vibrantes.

2. O "Vestido de Festa" Errado (Inconsistências Históricas)

A Analogia: Imagine que você está em um filme de época, no ano de 1800, e de repente alguém tira um iPhone do bolso para tirar uma selfie. Isso é um "anacronismo" (algo fora do tempo).
O que o estudo mostrou:
As IAs adoram colocar objetos modernos em cenários antigos.

• Elas colocaram fones de ouvido em pessoas do século 18.
• Colocaram aspiradores de pó em cozinhas do século 19.
• Colocaram laptops em cenas dos anos 1930.
• O motivo: A IA entende a ação (ex: "alguém ouvindo música") melhor do que o tempo. Ela pensa: "Música = fone de ouvido", esquecendo que no século 18 a música era ao vivo ou em instrumentos antigos. É como se a IA tivesse amnésia sobre a linha do tempo.

3. O "Casting" Desigual (Representação Demográfica)

A Analogia: Imagine que a IA é um diretor de cinema que, ao pedir um elenco para um filme sobre "trabalho no campo no século 19", escolhe quase sempre homens brancos, mesmo que a história real fosse diferente.
O que o estudo mostrou:
As IAs tendem a reforçar preconceitos atuais em vez de mostrar a realidade histórica.

• Gênero: Em atividades como "cozinhar" ou "cuidar da família", a IA muitas vezes desenha homens, mesmo que historicamente (e estatisticamente) mulheres fossem as principais responsáveis nessas tarefas na época.
• Raça: A IA tende a desenhar quase todos os personagens como brancos, especialmente em épocas mais antigas, ignorando a diversidade real que existia em diferentes partes do mundo. Ela parece estar "atualizando" o passado para parecer mais como o mundo atual (ou como o mundo que ela acha que é).

Por que isso importa?

Pense nas IAs como máquinas de fazer memórias. Se elas criam imagens falsas do passado (com roupas erradas, objetos modernos e pessoas erradas), elas podem distorcer como a sociedade entende a história.

• Se uma criança usa uma IA para ver como era a vida no século 19 e vê apenas homens brancos com roupas modernas, ela aprende uma história falsa.
• Se a IA insiste que o passado era sempre preto e branco, ela apaga a vivacidade da vida real das pessoas de antes.

A Conclusão dos Pesquisadores

O estudo não diz que as IAs são "más", mas que elas são preguiçosas em relação à história. Elas usam atalhos visuais (estilos antigos, objetos modernos, estereótipos de gênero) porque foi assim que elas foram treinadas.

Para corrigir isso, os pesquisadores dizem que precisamos:

1. Ensinar as IAs a serem mais precisas com o tempo (não colocar smartphones no século 18).
2. Treiná-las com dados mais diversos para que elas não pensem que o passado era apenas "branco e masculino".
3. Criar regras (benchmarks) para testar se elas estão mentindo sobre a história antes de deixarmos que elas criem imagens para museus, escolas ou livros.

Em resumo: A IA está tentando contar a história do passado, mas até agora, ela está contando uma versão muito estereotipada, colorida de forma errada e cheia de objetos do futuro. O trabalho deles é o primeiro passo para consertar essa "máquina de memórias".

Resumo técnico

Resumo Técnico: Synthetic History

1. O Problema

Os modelos de difusão Texto-para-Imagem (TTI) tornaram-se ferramentas influentes na criação de conteúdo, mas a literatura existente foca predominantemente em vieses demográficos (gênero e raça) e culturais do presente. Há uma lacuna significativa na compreensão de como esses modelos representam contextos históricos.

• Riscos: A representação sintética do passado pode distorcer a memória cultural, reforçar estereótipos visuais, introduzir anacronismos (objetos modernos em contextos antigos) e falhar em refletir a diversidade demográfica plausível de diferentes épocas.
• Limitação Atual: Avaliações anteriores focam em reconhecimento de marcos históricos ou figuras famosas, mas não investigam como os modelos constroem interpretações visuais gerais do passado ou como lidam com a coerência cronológica e estilística.

2. Metodologia e o Benchmark HistVis

Os autores introduzem o HistVis, um benchmark abrangente e reproduzível para avaliar a representação histórica em imagens geradas por IA.

• Dataset HistVis:

  • Escala: 30.000 imagens sintéticas.
  • Geração: Criadas por três modelos de difusão de última geração: Stable Diffusion XL (SDXL), Stable Diffusion 3 (SD3) e FLUX.1 Schnell.
  • Prompts: 100 prompts curados baseados em 20 atividades humanas universais (ex: agricultura, música, educação) aplicadas a 10 períodos históricos (5 séculos do século XVII ao XXI, mais 5 décadas do século XX).
  • Design: Os prompts são neutros ("Uma pessoa [atividade] no [período]") para evitar viés explícito e isolar as associações internas do modelo.

• Protocolo de Avaliação (Três Dimensões):

  1. Associações Estilísticas Implícitas:
     • Objetivo: Medir se os modelos tendem a associar automaticamente certos períodos a estilos visuais específicos (ex: gravuras para o século XVII, fotografia monocromática para o início do século XX).
     • Métrica: Visual Style Dominance (VSD). Um classificador de estilo (baseado em DINOv2) foi treinado no WikiArt para classificar as imagens em 5 categorias (desenho, gravura, ilustração, pintura, fotografia). O VSD calcula a proporção máxima de uma única classe de estilo por período.
  2. Consistência Histórica (Anacronismos):
     • Objetivo: Detectar a presença de artefatos modernos em contextos pré-modernos.
     • Pipeline Automatizado:
       • Proposta: Um LLM (GPT-4o) gera uma lista de possíveis anacronismos para cada prompt.
       • Detecção: Três Modelos de Linguagem Visuais (VLMs: GPT-4o, LLaMA-3.2, Qwen2.5) respondem a perguntas binárias (Sim/Não) sobre a presença desses itens nas imagens. A decisão final é por votação majoritária.
     • Métricas: Frequência (proporção de imagens com o erro) e Severidade (consistência do erro quando proposto).
     • Validação: Estudo com usuários humanos (crowdsourcing) validou o método, alcançando 75% de concordância com o julgamento humano.
  3. Representação Demográfica:
     • Objetivo: Comparar a distribuição de gênero e raça nas imagens geradas com estimativas historicamente plausíveis.
     • Abordagem: Como dados históricos globais completos não estão disponíveis para todas as categorias, os autores usam um LLM (GPT-4o) para estimar a distribuição demográfica "plausível" para cada par (atividade, período).
     • Extração: Um classificador de faces (FairFace) detecta gênero e raça nas imagens geradas.
     • Métricas: Cálculo de sub-representação e super-representação (desvio absoluto) em relação à linha de base estimada pelo LLM.

3. Principais Resultados

• Vieses Estilísticos Sistêmicos:

  • Os modelos exibem fortes associações estereotipadas. O SDXL tende a gerar gravuras para os séculos XVII e XVIII, enquanto SD3 e FLUX.1 preferem pinturas.
  • Para o início do século XX (décadas de 1910-1950), todos os modelos convergem fortemente para fotografia monocromática, mesmo sem instrução explícita.
  • Tentativas de mitigação via prompt engineering (pedindo "fotorrealismo") falharam em superar completamente esses padrões aprendidos, indicando que os vieses estão profundamente enraizados nos espaços latentes dos modelos.

• Inconsistências Históricas (Anacronismos):

  • Os modelos falham frequentemente em manter a coerência cronológica. O SD3 apresentou a maior taxa de anacronismos (até 25% das imagens em certas décadas, como os anos 1930).
  • Itens como dispositivos de áudio (fones de ouvido) e equipamentos de ferro aparecem com alta severidade em contextos antigos.
  • Isso sugere que os modelos priorizam cues conceituais do prompt (ex: "música") em detrimento do condicionamento temporal.

• Distorções Demográficas:

  • Há uma super-representação consistente de figuras brancas e masculinas em períodos anteriores ao século XX, mesmo em atividades onde a participação feminina ou de outras etnias era historicamente significativa.
  • Exemplo: No século XVII, o FLUX.1 gerou predominantemente homens em atividades de "cozinha e refeições", contradizendo estimativas de que mulheres dominavam essa esfera na época.
  • A diversidade racial aumenta apenas a partir do século XX, refletindo possivelmente a distribuição dos dados de treinamento em vez de uma compreensão histórica.

4. Contribuições Chave

1. Primeira Avaliação Sistemática: É o primeiro trabalho a avaliar sistematicamente a representação histórica em modelos de difusão, indo além do reconhecimento de objetos para analisar a construção contextual do passado.
2. Dataset HistVis: Disponibilização de 30.000 imagens e prompts padronizados, permitindo comparações justas entre arquiteturas e versões de modelos.
3. Protocolo de Avaliação Reproduzível: Introdução de métricas quantitativas para estilo (VSD), anacronismo (Frequência/Severidade) e demografia, validadas com humanos e múltiplos VLMs.
4. Análise de Mitigação: Demonstração de que o prompt engineering simples é insuficiente para corrigir vieses históricos complexos, sugerindo a necessidade de intervenções mais profundas no treinamento ou arquitetura.

5. Significado e Conclusão

O trabalho conclui que os modelos TTI atuais não possuem uma compreensão "histórica" robusta; eles operam com base em estereótipos visuais aprendidos e correlações superficiais em seus dados de treinamento.

• Impacto Educacional e Cultural: O uso dessas imagens para fins educacionais ou de patrimônio cultural sem verificação pode perpetuar narrativas distorcidas e excludentes.
• Futuro: A pesquisa aponta para a necessidade de integrar conhecimento histórico mais rico e expertise interdisciplinar no desenvolvimento de modelos. O benchmark HistVis serve como uma base fundamental para o desenvolvimento de futuros modelos que sejam não apenas esteticamente agradáveis, mas também historicamente precisos e sensíveis.

Limitações Notadas: O uso de LLMs para estabelecer linhas de base demográficas e a simplificação de categorias raciais/gênero por classificadores automáticos são reconhecidos como aproximações, mas suficientes para identificar desvios extremos e padrões sistemáticos.