CREval: An Automated Interpretable Evaluation for Creative Image Manipulation under Complex Instructions

Título: CREval: Uma Avaliação Automatizada e Interpretável para Manipulação Criativa de Imagens sob Instruções Complexas

1. O Problema

O campo de manipulação de imagens baseada em instruções multimodais avançou rapidamente, com modelos capazes de realizar edições complexas. No entanto, existem lacunas críticas na avaliação desses modelos:

• Falta de Alinhamento Humano: Os métodos de avaliação existentes focam principalmente em tarefas comuns (adição/remoção de objetos, ajuste de cor) e falham em avaliar cenários de "edição criativa livre" (free-style), que envolvem transformações artísticas, narrativas e conceituais complexas.
• Interpretabilidade e Incompletude: As abordagens atuais dependem frequentemente de Modelos de Linguagem Multimodal (MLLMs) que atribuem pontuações diretas ("black-box"). Isso resulta em critérios de avaliação opacos, falta de justificativa transparente para as notas e cobertura incompleta das dimensões de qualidade (como consistência visual e qualidade estética).
• Desempenho Insuficiente: Modelos atuais ainda lutam para seguir instruções criativas complexas, mantendo a consistência visual dos elementos originais e garantindo alta qualidade visual sem artefatos.

2. Metodologia

Os autores propõem uma nova estrutura composta por um benchmark (CREval-Bench) e um framework de avaliação automatizado (CREval).

A. CREval-Bench (O Benchmark)

• Escala: Contém mais de 800 pares de imagem-instrução e 13.000 consultas de avaliação.
• Estrutura de Dimensões Criativas: As tarefas são categorizadas em 3 níveis principais e 9 dimensões específicas:
  1. Customização: Derivação de personagens (ex: chibi), Reimaginação de representações (ex: selos, postais) e Fantasia Surreal.
  2. Contextualização: Cenários em contêineres (ex: esferas de neve), Design Comercial e Expressão Narrativa/Informacional (ex: quadrinhos, infográficos).
  3. Estilização: Transformação de Estilo Artístico, Transformação de Identidade/Cultural e Transformação de Material (ex: transformar em cerâmica, LEGO).
• Geração: As instruções são geradas assistidas por MLLMs (como GPT-4o) com few-shot learning para garantir complexidade e diversidade, cobrindo cenários que vão além das tarefas objetivas tradicionais.

B. CREval (O Framework de Avaliação)
Em vez de pedir ao MLLM para dar uma nota direta, o CREval utiliza um pipeline baseado em Perguntas e Respostas (QA) para garantir transparência e interpretabilidade:

1. Geração de QA: Para cada par (Imagem Original, Instrução), o sistema gera pares de perguntas e respostas binárias (Sim/Não) usando raciocínio Chain-of-Thought (CoT).
2. Três Métricas Principais:
   • Seguimento de Instrução (IF - Instruction Following): Avalia se a imagem editada reflete exatamente as modificações solicitadas.
   • Consistência Visual (VC - Visual Consistency): Avalia se os elementos visuais críticos da imagem original (identidade, características icônicas) foram preservados. Atribui pesos (1-3) a diferentes elementos com base na sua importância para a identidade.
   • Qualidade Visual (VQ - Visual Quality): Avalia realismo, ausência de artefatos, coerência estrutural e plausibilidade visual.
3. Cálculo de Pontuação: O MLLM (avaliador) responde às perguntas geradas para a imagem editada. Se a resposta corresponder à resposta de referência ("Sim"), pontos são atribuídos.
4. Pontuação Final: Uma média ponderada é calculada:
   $$S = 0.4 \times S_{IF} + 0.4 \times S_{VC} + 0.2 \times S_{VQ}$$
   (Nota: O peso menor para VQ deve-se à sensibilidade limitada atual dos MLLMs em detectar artefatos visuais sutis, enquanto IF e VC são mais discriminativos).

3. Contribuições Principais

1. Framework CREval: Uma metodologia totalmente automatizada e baseada em QA que supera as limitações de pontuação opaca dos MLLMs, oferecendo uma avaliação interpretável e multidimensional.
2. CREval-Bench: O primeiro benchmark abrangente focado especificamente em manipulação criativa sob instruções complexas, cobrindo 9 dimensões criativas distintas.
3. Avaliação Abrangente: Testes extensivos em modelos open-source e closed-source de última geração, revelando pontos fortes e fracos específicos em tarefas criativas.
4. Validação Humana: Estudos demonstram alta correlação entre as métricas automatizadas do CREval e as preferências humanas, validando a confiabilidade do framework.

4. Resultados Experimentais

O estudo avaliou diversos modelos, incluindo open-source (Qwen-Image-Edit, FLUX.1 Kontext, Bagel, OmniGen2, etc.) e closed-source (Seedream 4.0, Gemini 2.5 Flash Image, GPT-Image-1).

• Desempenho Geral: Modelos closed-source geralmente superam os open-source em tarefas complexas e criativas. O Seedream 4.0 obteve o melhor desempenho geral, seguido pelo Gemini 2.5 Flash Image e Qwen-Image-Edit-2509 (que liderou entre os open-source).
• Desafios Identificados:
  • Consistência Visual (VC): É a métrica mais difícil para todos os modelos. Muitos modelos falham em preservar elementos-chave da imagem original (como acessórios específicos ou características faciais) ao realizar transformações criativas drásticas.
  • Seguimento de Instrução (IF): Modelos como Seedream 4.0 e GPT-Image-1 alcançaram pontuações próximas a 90% em IF, indicando boa compreensão de instruções complexas, mas muitas vezes às custas da VC.
  • Qualidade Visual (VQ): A maioria dos modelos avançados (especialmente closed-source) apresenta alta qualidade visual, com pontuações consistentes, embora os MLLMs avaliadores ainda possam subestimar artefatos sutis.
• Comparação: O GPT-Image-1, apesar de ter um IF alto, apresentou a pior consistência visual (VC) em quase todas as dimensões criativas, sugerindo que ele tende a "alucinar" ou alterar drasticamente a identidade do sujeito para atender à instrução.

5. Significado e Impacto

• Padrão de Referência: O CREval estabelece uma base sólida e padronizada para avaliar a próxima geração de modelos de edição de imagens, movendo o foco de tarefas simples para cenários criativos complexos.
• Direcionamento de Pesquisa: Os resultados destacam que, embora a compreensão de instruções (IF) tenha amadurecido, a preservação de identidade e consistência visual (VC) em cenários de "estilo livre" é o maior gargalo atual.
• Transparência: Ao substituir pontuações diretas por avaliações baseadas em perguntas, o CREval oferece aos pesquisadores e desenvolvedores insights claros sobre onde e por que um modelo falha, facilitando o desenvolvimento de algoritmos mais robustos.
• Futuro: O framework sugere que, com o avanço tecnológico, os modelos open-source têm potencial para alcançar ou superar os modelos proprietários, especialmente em métricas de consistência e qualidade.

Em resumo, o CREval preenche uma lacuna crítica na comunidade de visão computacional, fornecendo as ferramentas necessárias para medir e impulsionar a capacidade dos modelos de IA de realizar edições de imagens verdadeiramente criativas e fiéis às intenções humanas complexas.