ImagenWorld: Stress-Testing Image Generation Models with Explainable Human Evaluation on Open-ended Real-World Tasks

1. Problema e Motivação

O avanço rápido em modelos de geração de imagens (difusão, autoregressivos e híbridos) permitiu a criação de sistemas de alta qualidade para tarefas como geração texto-para-imagem, edição e composição guiada por referência. No entanto, a avaliação desses modelos enfrenta limitações críticas:

• Benchmarks Fragmentados: As avaliações existentes focam em tarefas isoladas (apenas geração ou apenas edição) ou em domínios estreitos (apenas arte ou apenas gráficos de texto).
• Falta de Explicabilidade: As métricas atuais fornecem pontuações opacas (escalares) sem explicar por que um modelo falhou, dificultando a depuração e o aprimoramento.
• Desconexão com o Mundo Real: Não está claro como os modelos unificados generalizam para o espectro completo de casos de uso do mundo real, que envolvem múltiplos tipos de entrada e domínios variados.

O ImagenWorld foi criado para preencher essa lacuna, oferecendo um benchmark rigoroso e uma ferramenta de diagnóstico para avançar a robustez da geração de imagens.

2. Metodologia

2.1. O Benchmark ImagenWorld

O dataset consiste em 3.600 conjuntos de condições organizados em uma matriz de 6 tarefas x 6 domínios temáticos:

• 6 Tarefas Principais:

  1. Geração Guiada por Texto (TIG)
  2. Edição Guiada por Texto (TIE)
  3. Geração com Imagem de Referência Única (SRIG)
  4. Edição com Imagem de Referência Única (SRIE)
  5. Geração com Múltiplas Imagens de Referência (MRIG)
  6. Edição com Múltiplas Imagens de Referência (MRIE)

• 6 Domínios Temáticos:

  1. Obras de Arte (Artworks)
  2. Imagens Fotorealistas (Photorealistic Images)
  3. Gráficos de Informação (Information Graphics)
  4. Gráficos Textuais (Textual Graphics)
  5. Gráficos Computacionais (Computer Graphics)
  6. Capturas de Tela (Screenshots)

2.2. Avaliação Explicável (Human-in-the-Loop)

Diferente de benchmarks anteriores que dependem apenas de pontuações globais, o ImagenWorld utiliza uma esquema de avaliação explicável baseado em anotação humana detalhada:

• Critérios de Pontuação: Quatro dimensões avaliadas em escala Likert (1-5): Relevância do Prompt, Qualidade Estética, Coerência de Conteúdo e Artefatos.
• Rastreamento de Erros (Explainability):
  • Erros Nível Objeto: Identificação de objetos ausentes, distorcidos ou incorretos (ex: "o gato não tem cauda").
  • Erros Nível Segmento: Uso de máscaras de segmentação (Set-of-Mark) para marcar regiões específicas com falhas visuais (ex: bordas distorcidas, texto ilegível).
• Dados: O processo gerou 20.000 anotações humanas de alta granularidade.

2.3. Configuração Experimental

• Modelos Avaliados: 14 modelos no total, incluindo 4 modelos unificados de última geração (capazes de geração e edição, como GPT-Image-1, Gemini 2.0 Flash, BAGEL, OmniGen2) e 10 modelos especializados (baselines).
• Métricas Automáticas: Além da avaliação humana, foram utilizados modelos de Visão-Linguagem (VLM) como juízes (ex: Gemini-2.5-Flash) e métricas tradicionais (CLIPScore, LPIPS) para comparação.

3. Principais Resultados e Descobertas

A avaliação em larga escala revelou quatro insights fundamentais:

1. Dificuldade na Edição vs. Geração:

   • Os modelos consistentemente performam pior em tarefas de edição do que em geração.
   • Padrão de Falha: Em tarefas de edição, os modelos tendem a exibir dois modos de falha distintos: (i) regenerar uma imagem completamente nova ignorando a entrada, ou (ii) retornar a imagem original sem alterações. Isso sugere uma falta de mecanismos de controle fino para modificar regiões localizadas sem "quebrar" o contexto.

2. Desempenho por Domínio (O "Gap" de Símbolos e Texto):

   • Modelos excellem em domínios artísticos e fotorealistas.
   • Há uma queda drástica de desempenho em domínios simbólicos e ricos em texto (Gráficos de Informação, Capturas de Tela, Gráficos Textuais).
   • Exceção Notável: O modelo Qwen-Image superou consistentemente outros modelos (inclusive sistemas fechados) em gráficos textuais. Isso é atribuído a um pipeline de curadoria de dados sintéticos explicitamente projetado para imagens ricas em texto, indicando que a curadoria de dados é tão crucial quanto a arquitetura.

3. Fechado vs. Aberto:

   • Sistemas fechados (Closed-source) lideram globalmente, especialmente em tarefas complexas de edição e composição multimodal.
   • Modelos abertos são competitivos principalmente em geração texto-para-imagem (devido à abundância de dados de treinamento e otimização comunitária), mas ficam para trás em edição e composição, sugerindo que a escala sozinha não resolve a necessidade de curadoria de dados direcionada para edição.

4. Validação de Métricas Automáticas (VLMs):

   • Métricas baseadas em VLMs alcançaram precisão Kendall de até 0,79 em relação ao ranking humano, aproximando-se da concordância humano-humano.
   • Limitação: Embora bons para ranking relativo, os VLMs falham na atribuição de erros explicáveis. Eles não conseguem identificar falhas finas (como artefatos específicos ou inconsistências lógicas sutis) com a mesma precisão que humanos, que permanecem indispensáveis para o diagnóstico detalhado.

4. Contribuições Principais

1. ImagenWorld Benchmark: A primeira unificação de 6 tarefas centrais e 6 domínios temáticos, permitindo uma avaliação cruzada consistente de sistemas de geração de imagens.
2. Esquema de Avaliação Explicável: Introdução de um protocolo que vai além de pontuações escalares, fornecendo anotações de erros em nível de objeto e segmento, permitindo diagnósticos interpretáveis de falhas.
3. Estudo Humano de Falhas: O primeiro estudo em larga escala que mapeia padrões de falha sistemáticos (como a tendência de regeneração total na edição) e identifica a importância crítica da curadoria de dados para domínios específicos (como texto).

5. Significado e Impacto

O trabalho do ImagenWorld estabelece um novo padrão para a avaliação de modelos de geração de imagens. Ao demonstrar que os modelos atuais ainda lutam com a edição precisa e o conteúdo simbólico, o paper direciona a pesquisa futura para:

• O desenvolvimento de mecanismos de controle mais finos para edição local.
• A importância da curadoria de dados sintéticos e direcionados (especialmente para texto e gráficos).
• O uso de anotações humanas explicáveis como dados de treinamento para refinar modelos e criar métricas automáticas mais robustas e interpretáveis.

Em suma, o ImagenWorld não é apenas um benchmark, mas uma ferramenta de diagnóstico essencial para guiar o desenvolvimento de sistemas de geração de imagens mais robustos, controláveis e alinhados com as necessidades humanas.