Resumo Técnico: Qwen-Image-Bench: Da Geração à Criação na Avaliação de Texto-para-Imagem

1. Declaração do Problema

A geração de Texto-para-Imagem (T2I) evoluiu da produção de imagens visualmente plausíveis para o suporte à reconstrução fotorrealista e à expressão criativa complexa. No entanto, os benchmarks de avaliação existentes permanecem ancorados em critérios fundamentais, como o alinhamento grosseiro entre texto e imagem e a qualidade visual genérica, dependendo frequentemente da similaridade CLIP ou de Grandes Modelos de Linguagem Multimodais (MLLMs) não supervisionados como juízes. Os autores identificam três limitações críticas nos paradigmas de avaliação atuais:

1. Saturação em Eixos Básicos: À medida que os modelos se aproximam do teto no cumprimento de prompts comuns, os benchmarks existentes comprimem modelos fortes em faixas de pontuação indistinguíveis, carecendo de poder discriminativo para diferenciar sistemas de última geração.
2. Caracterização Insuficiente da Fidelidade ao Mundo Real: Conjuntos atuais falham em distinguir entre saídas visualmente plausíveis e aquelas que genuinamente respeitam o senso comum físico, o embasamento cultural ou a estrutura factual.
3. Falta de Supervisão Especializada na Geração Criativa: Os benchmarks frequentemente carecem de taxonomias refinadas para criatividade (originalidade, coerência estilística) e dependem cada vez mais de juízes MLLM únicos, que herdam vieses sistemáticos em vez de refletir padrões humanos profissionais baseados em intuição estética treinada.

Consequentemente, existe um hiato entre os objetivos dos benchmarks e as demandas reais de criadores profissionais, que exigem a reconstrução fiel da realidade e a expressão criativa autêntica.

2. Metodologia

Os autores introduzem o Qwen-Image-Bench, um benchmark centrado no criador, co-projetado com artistas profissionais e fundamentado em cenários de criação do mundo real. A metodologia consiste em três componentes estreitamente acoplados:

A. Taxonomia de Capacidade Hierárquica

Em vez de uma lista de verificação plana, o benchmark emprega uma taxonomia descendente que espelha fluxos de trabalho artísticos profissionais (ideação, estilização, refinamento iterativo). É estruturado em três níveis:

• Nível 1 (Pilares): Cinco dimensões: três convencionais (Qualidade, Estética, Alinhamento Texto-Imagem) e duas orientadas à aplicação (Fidelidade ao Mundo Real e Geração Criativa).
• Nível 2 (Subcapacidades): 23 subcapacidades (ex: Conhecimento de Mundo, Narrativa Visual, Aplicações de Design).
• Nível 3 (Facetas): 56 rubricas verificáveis (ex: Precisão de Texto, Lógica Física, Fidelidade Anatômica).
  Esta estrutura permite diagnósticos granulares, localizando forças e fraquezas do modelo em sub-habilidades artísticas específicas, em vez de pontuações agregadas.

B. Construção de Prompts com Especialista no Ciclo (Expert-in-the-Loop)

O benchmark compreende 1.000 prompts bilíngues estratificados (500 em chinês, 500 em inglês), equilibrados entre comprimentos curtos e longos para testar a robustez. Os prompts são gerados via um pipeline de quatro estágios:

1. Amostragem direcionada a facetas: Garantindo que cada prompt exercite pelo menos três pilares e múltiplas facetas.
2. Redação bilíngue: Usando LLMs para gerar rascunhos alinhados com notas de instanciação explícitas.
3. Revisão de especialistas: Artistas profissionais descartam prompts ambíguos e reescrevem aqueles com instanciação fraca.
4. Expansão de variante de comprimento: Criando variantes longas para testar a riqueza do contexto da cena.
   Este processo garante que os prompts estejam ancorados em cenários criativos concretos (ex: diários de receitas, design de jogos, storyboards cinematográficos) em vez de pedidos vagos.

C. Modelo de Juiz Unificado (Q-Judger)

Para evitar os vieses de juízes MLLM únicos e o custo da revisão manual, os autores treinaram o Q-Judger, um modelo unificado baseado no Qwen3.6-27B.

• Dados de Treinamento: Supervisionado por 80 anotadores profissionais de academias de arte (fotografia, direção, belas artes) sob protocolos de rotulagem cega e revisão tripla.
• Protocolo de Pontuação: O modelo pontua cada par prompt-imagem em todas as 56 facetas de terceiro nível de forma independente, usando um protocolo baseado em rubricas (0: Falha, 1: Passa, 2: Excelência, N/A).
• Agregação: As pontuações são agregadas de baixo para cima do L3 para o L2, L1 e, finalmente, para uma pontuação geral, garantindo que as métricas agregadas sejam rastreáveis a falhas específicas e granulares.

3. Resultados Principais

O benchmark foi utilizado para avaliar 18 modelos líderes de T2I (incluindo GPT Image 2, Nano Banana Pro, Seedream 5.0 e Qwen Image 2.0 Pro) sob prompts em chinês e inglês.

• Desempenho Geral: O GPT Image 2 alcançou a maior pontuação geral (64,69 em prompts em chinês), seguido pelo Nano Banana 2.0 e GPT Image 1.5. Os modelos se separaram naturalmente em cinco níveis distintos de desempenho, demonstrando o alto poder discriminativo do benchmark.
• Poder Discriminativo de Novas Dimensões: Os dois pilares orientados à aplicação, Geração Criativa e Fidelidade ao Mundo Real, exibiram a maior variância entre modelos (mais de 11× superior à de Qualidade). Isso confirma que essas dimensões visam lacunas de capacidade onde os benchmarks existentes oferecem pouco insight.
• Tetos Sistêmicos: Quatro facetas de Nível 3 — Lógica Física, Fidelidade Anatômica, Animais e Interação de Contato — emergiram como gargalos universais. Mesmo os modelos de melhor desempenho pontuaram abaixo de 44 nessas facetas, indicando uma fronteira de "percepção-para-cognição" onde os modelos lutam com conhecimento implícito do mundo e raciocínio lógico.
• Robustez Cross-Lingual: Os achados e estruturas de níveis permaneceram consistentes entre prompts em chinês e inglês, validando a independência linguística do benchmark.
• Alinhamento do Modelo Juiz: O Q-Judger alcançou uma correlação de ranking de Spearman de 0,92 com os rankings de especialistas humanos, confirmando sua capacidade de rastrear o julgamento profissional enquanto reduz significativamente os custos de avaliação.

4. Significância e Alegações

O artigo alega que o Qwen-Image-Bench representa uma mudança da "geração" (alinhamento básico) para a "criação" (utilidade profissional). Sua significância reside em:

1. Design Centrado no Criador: Ao ser co-projetado com artistas, o benchmark avalia dimensões que importam em fluxos de trabalho profissionais (ex: Conhecimento de Mundo, Renderização de Texto, Narrativa Visual) em vez de apenas correção semântica.
2. Diagnósticos Granulares: A granularidade de 56 facetas fornece insights acionáveis para a melhoria de modelos, indo além de pontuações agregadas opacas para identificar déficits de sub-habilidades específicas.
3. Revelação do Hiato Percepção-Cognição: A avaliação expõe que os modelos T2I atuais dominaram a reprodução de superfície visual (estilo, estética), mas carecem da compreensão latente de leis físicas, estrutura biológica e raciocínio espacial necessários para a verdadeira fidelidade ao mundo real.
4. Sinal de Otimização Confiável: Ao depender da supervisão de especialistas humanos em vez de proxies MLLM, o benchmark fornece um sinal confiável para o desenvolvimento de T2I em nível de produção, particularmente para as dimensões orientadas à aplicação onde os modelos atuais divergem mais drasticamente.

Os autores concluem que fechar o hiato entre as capacidades atuais e as necessidades profissionais requer uma integração mais profunda de conhecimento de mundo e raciocínio estruturado no processo de geração, uma direção explicitamente destacada pelas capacidades diagnósticas do benchmark.