CROC: Evaluating and Training T2I Metrics with Pseudo- and Human-Labeled Contrastive Robustness Checks

1. O Problema

A avaliação de modelos de geração de imagem a partir de texto (T2I) depende criticamente de métricas automáticas para classificar a qualidade e o alinhamento entre texto e imagem. No entanto, a meta-avaliação (avaliar a própria métrica) enfrenta desafios significativos:

• Custo e Tempo: A meta-avaliação baseada em humanos é lenta e dispendiosa.
• Escassez de Alternativas: Métodos automatizados robustos são raros.
• Limitações Atuais: As abordagens existentes frequentemente dependem de correlações com rótulos humanos (que podem vazar dados ou ter viés) e cobrem apenas uma gama limitada de propriedades de imagem.
• Falhas Específicas: Métricas atuais falham em detectar nuances como negações, relações espaciais complexas e partes do corpo, mas não há um framework padronizado para diagnosticar essas falhas de forma granular.

O objetivo do trabalho é preencher essa lacuna criando um framework escalável para testar a robustez das métricas T2I e, consequentemente, treinar uma nova métrica superior.

---

2. Metodologia: O Framework CROC

Os autores propõem o CROC (Contrastive Robustness Checks), um framework de meta-avaliação automatizada que utiliza pares de texto-imagem contrastivos.

A. Lógica Contrastiva

Em vez de apenas classificar uma imagem, o CROC testa se uma métrica $M$ atribui uma pontuação maior ao par correspondente (texto e imagem alinhados) do que ao par contrastivo (texto e imagem não alinhados).

• Entrada: Um prompt original ($T_O$) e um prompt contrastivo ($T_C$) que diferem em uma única propriedade (ex: cor, posição, existência de um objeto).
• Geração: Gera-se imagens correspondentes ($I_O$ e $I_C$).
• Critério de Sucesso: A métrica deve satisfazer $M(T_O, I_O) > M(T_O, I_C)$ e $M(T_C, I_C) > M(T_C, I_O)$.
• Direções de Avaliação: O framework testa quatro cenários:
  1. Baseado em Imagem (Forward/Inverse): Mantém o texto, troca a imagem.
  2. Baseado em Texto (Forward/Inverse): Mantém a imagem, troca o texto.

B. Geração de Dados (Dois Pipelines)

1. CROCsyn (Pseudo-rótulo):
   • Um pipeline automatizado que gera mais de 1 milhão de pares prompt-imagem.
   • Utiliza uma taxonomia hierárquica (64 propriedades, 51 tópicos, 158 entidades).
   • Usa LLMs (como DeepSeek e QwQ) para criar prompts contrastivos e modelos de difusão (FLUX, Stable Diffusion) para gerar imagens.
   • Para mitigar erros de geração, gera-se múltiplas imagens por prompt ($n=5$) e seleciona-se a melhor correspondência automaticamente.
2. CROChum (Supervisão Humana):
   • Um conjunto menor, mas de alta qualidade, focado em categorias desafiadoras onde os modelos T2I falham frequentemente (ex: partes do corpo, contagem, negação, relações espaciais).
   • Envolve validação humana rigorosa (filtragem de imagens que não atendem ao prompt) para garantir o "ground truth".

C. Treinamento de CROCScore

• Os autores utilizam o dataset CROCsyn para treinar uma nova métrica chamada CROCScore.
• Baseado em um modelo multimodal (phi4-multimodal-instruct), o modelo é fine-tuned para responder "Sim" ou "Não" à pergunta: "Esta imagem mostra o conteúdo '{prompt}'?".
• A pontuação é calculada como $P(\text{Sim}) - P(\text{Não})$, alinhando-se diretamente com a lógica contrastiva do framework.

---

3. Principais Contribuições

1. Framework CROC: O primeiro framework de meta-avaliação que combina perturbações geradas por LLMs (propriedade a propriedade) com verificações contrastivas em pares, reduzindo a necessidade de anotação humana massiva.
2. Datasets em Escala:
   • CROCsyn: >1 milhão de pares pseudo-rótulados para comparação e treinamento.
   • CROChum: Um benchmark supervisionado por humanos focado em casos de borda difíceis.
3. CROCScore: Uma nova métrica de código aberto que atinge o estado da arte (SOTA) entre métodos abertos, superando métricas existentes em benchmarks desafiadores.
4. Análise de Robustez: Identificação sistemática de falhas em métricas atuais, revelando que muitas falham em negações e confundem partes do corpo em cerca de 25% dos casos.

---

4. Resultados e Análise

Desempenho nas Métricas Existentes

• CROCsyn: O VQAScore (baseado em VQA) geralmente performou melhor na maioria dos cenários, seguido por métricas baseadas em embeddings (AlignScore, BLIP2-ITM) em casos específicos.
• CROChum (Casos Difíceis): As lacunas de desempenho aumentaram significativamente.
  • Métricas baseadas em embeddings (como AlignScore) tiveram desempenho inferior em avaliações baseadas em imagem, especialmente em partes do corpo e relações espaciais.
  • Muitas métricas falharam em detectar negações corretamente.
  • O VQAScore com backend GPT-4o teve o melhor desempenho geral, mas é caro e lento.

Desempenho do CROCScore

• O CROCScore (treinado no CROCsyn) superou todas as outras métricas de código aberto no CROChum, no GenAI-Bench, no Winoground e no TIFA.
• Eficiência: Com apenas 5.6B de parâmetros, o CROCScore é mais eficiente em recursos do que o VQAScore (que usa modelos maiores como CLIP-Flan-T5-XXL com 11.3B), oferecendo um custo-benefício superior ao GPT-4o.
• Robustez: O fine-tuning melhorou a robustez em 14 de 16 categorias testadas em comparação com a versão não ajustada.

Validação Humana

• Anotações humanas no CROCsyn e CROChum mostraram que as métricas automáticas ainda não atingem o nível de precisão humana (especialmente em CROChum, onde a precisão humana foi ~0.95 vs ~0.80-0.90 para as melhores métricas).
• Isso confirma que o framework CROC expõe falhas reais que as métricas atuais não conseguem resolver.

---

5. Significado e Impacto

O trabalho do CROC representa um avanço crucial na avaliação de IA generativa:

• Mudança de Paradigma: Move a meta-avaliação de uma dependência de correlações com dados humanos antigos para uma abordagem baseada em geração sintética contrastiva, permitindo testes granulares e escaláveis.
• Diagnóstico Preciso: Permite que pesquisadores identifiquem exatamente onde e por que uma métrica falha (ex: falha em negação vs. falha em cor), guiando o desenvolvimento futuro.
• Solução Prática: O CROCScore demonstra que é possível treinar métricas de alta performance usando dados pseudo-rótulados gerados automaticamente, reduzindo a barreira de entrada para o desenvolvimento de avaliadores robustos e acessíveis.
• Futuro: Abre caminho para o uso de datasets contrastivos gerados para refinar continuamente métricas de T2I, especialmente em domínios onde a precisão é crítica (como medicina ou design industrial).

Em resumo, o CROC fornece as ferramentas e os dados necessários para entender as limitações atuais das métricas T2I e oferece uma solução treinada (CROCScore) que supera o estado da arte atual em código aberto.