Resumo Técnico: SANEval

Declaração do Problema

Apesar dos rápidos avanços nos modelos de Texto-para-Imagem (T2I) (ex: Stable Diffusion, Imagen, GPT-4o), sua capacidade de renderizar fielmente prompts complexos envolvendo múltiplos objetos, atributos específicos e relações espaciais permanece um gargalo significativo. Os métodos de avaliação atuais sofrem de três limitações primárias:

1. Vocabulários de Conjunto Fechado: Benchmarks existentes frequentemente dependem de detectores de objetos treinados em conjuntos de dados fixos (ex: as 80 classes do MS-COCO), criando um "descompasso de vocabulário" onde objetos do mundo real ou raros não podem ser avaliados.
2. Falta de Granularidade Diagnóstica: Muitas métricas fornecem uma pontuação única e não interpretável (ex: CLIPScore) ou julgamentos binários de passar/falhar, falhando em identificar falhas composicionais específicas (ex: objetos ausentes, vinculação incorreta de atributos ou erros espaciais).
3. Escalabilidade e Subjetividade: A avaliação humana é dispendiosa e difícil de padronizar, enquanto métricas automatizadas como FID ou IS falham em capturar erros composicionais detalhados.

Metodologia: O Framework SANEval

Os autores introduzem o SANEval (Avaliação Espacial, de Atributos e de Numeracia), um benchmark composicional de vocabulário aberto, projetado para fornecer avaliação escalável, confiável e interpretável. O framework consiste em um pipeline modular composto por dois módulos técnicos principais e três eixos de avaliação.

Módulos Principais

1. Módulo de Compreensão de Prompt:

   • Utiliza um Modelo de Linguagem de Grande Escala (LLM) guiado por prompts de sistema específicos para analisar entradas de linguagem natural.
   • Extrai uma representação estruturada incluindo:
     • Objetos: Listas de entidades únicas.
     • Atributos: Mapeados para objetos específicos (cor, forma, textura).
     • Relações Espaciais: Representadas como triplas <objeto_1, relação, objeto_2>.
     • Numeracia: Contagens esperadas para cada objeto.
   • Projetado para ser robusto contra variações gramaticais e estruturas de sentenças complexas.

2. Módulo de Detecção de Objetos (OD) Aprimorado:

   • Aborda a limitação de vocabulário dos detectores tradicionais integrando um Detector de Mundo Aberto (especificamente o YOLO-E) com expansão de sinônimos impulsionada por LLM.
   • Processo:
     • O LLM expande os nomes dos objetos esperados em um conjunto de sinônimos e termos relacionados (ex: "albatroz" $\rightarrow$ {albatroz, ave marinha, grande ave}).
     • O YOLO-E detecta objetos na imagem gerada.
     • Os rótulos detectados são alinhados com os conjuntos de sinônimos expandidos para mapear as detecções de volta aos objetos pretendidos pelo prompt.
   • Esta abordagem híbrida aproveita a interpretabilidade estruturada de OD com a flexibilidade de raciocínio de VLMs.

Eixos de Avaliação

O framework avalia três dimensões composicionais distintas:

1. Vinculação de Atributos (Attribute Binding):

   • Processo: Objetos detectados são recortados e passados para um Modelo de Linguagem e Visão (VLM) que atua como "juiz" para identificar atributos específicos (ex: "Qual é a cor do banco?").
   • Pontuação: Um LLM compara o atributo previsto pelo VLM com a verdade fundamental (ground truth), atribuindo uma pontuação de similaridade contínua (0.0 a 1.0) para permitir crédito parcial (ex: "turquesa" vs. "azul").
   • Saída: Gera feedback estruturado identificando atributos ausentes ou incorretos.

2. Relações Espaciais:

   • Processo: Utiliza caixas delimitadoras (bounding boxes) do módulo de OD Aprimorado e triplas espaciais do módulo de Compreensão de Prompt.
   • Pontuação: Aplica funções de avaliação geométrica (ex: verificar se o centroide do Objeto A está à esquerda do Objeto B) para computar pontuações de aderência.
   • Saída: Reporta explicitamente erros como "Esperava-se o gato à direita do cachorro: Objeto ausente: gato."

3. Numeracia:

   • Processo: Compara a contagem de instâncias detectadas contra as contagens esperadas extraídas do prompt.
   • Pontuação: 1.0 para correspondência exata, 0.5 para presença com contagem incorreta, 0.0 para ausência.
   • Saída: Reporta supergeração ou subgeração (ex: "duas malas extras detectadas").

Principais Contribuições

1. Suíte de Benchmark SANEval: Um framework de avaliação abrangente para modelos T2I cobrindo aderência espacial, de atributos e de numeracia com capacidades de vocabulário aberto.
2. Dataset de Código Aberto: Lançamento do SANEval-Simple (algorítmico, ~5.000 prompts) e SANEval-Hard (gerado por humanos, 250 prompts complexos), acompanhados de imagens geradas e rótulos de conformidade diagnóstica.
3. Pipeline Plug-and-Play: Um pipeline de avaliação escalável que desacopla a avaliação em eixos distintos e fornece tanto pontuações quantitativas quanto feedback diagnóstico estruturado e interpretável.
4. Validação de Robustez: Demonstração de que o framework é robusto à escolha do LLM "juiz" subjacente (testado ao trocar Gemini Flash 2.5 por Llama-4) e que o módulo de expansão de sinônimos é crítico para detectar objetos raros.

Resultados e Análise

Os autores avaliaram seis modelos de ponta de T2I (Imagen 3.0/4.0/4.0 Ultra, Nano Banana, Seedream 3.0, GPT Image 1) usando o framework SANEval.

• Tendências de Desempenho: Nenhum modelo único domina todas as categorias. O Imagen 4.0 Ultra alcançou a maior pontuação média geral, destacando-se em numeracia e vinculações finas (forma/textura). O Seedream 3.0 superou os demais em raciocínio espacial e vinculação de cores.
• Sensibilidade à Complexidade: O desempenho degrada consistentemente conforme a complexidade do prompt (cardinalidade de objetos) aumenta. A vinculação de forma foi identificada como a métrica mais frágil, enquanto a vinculação de cor permaneceu a mais robusta. Por exemplo, a precisão de forma do Imagen 3.0 caiu de ~0.31 em prompts de objeto único para ~0.06 em prompts com >10 objetos.
• Comparação com Benchmarks Existentes: Uma análise de correlação de rank de Spearman contra o CompBench++ revelou diferenças estatisticamente significativas (p-valores frequentemente < $10^{-20}$) em tarefas espaciais e de numeracia. Isso indica que o SANEval fornece uma perspectiva de avaliação complementar e não redundante, capturando falhas perdidas por métodos existentes.
• Estudo de Ablação: Remover o módulo de expansão de sinônimos impulsionado por LLM resultou em uma degradação substancial de desempenho (ex: uma queda relativa de 75,69% nas pontuações espaciais) e uma redução significativa no número de objetos únicos detectados, validando a necessidade do tratamento de vocabulário aberto.

Significância e Alegações

O artigo alega que o SANEval aborda a lacuna crítica na avaliação de T2I ao ir além de vocabulários fixos e pontuações subjetivas em direção a um benchmarking de mundo aberto e baseado em feedback.

• Utilidade Diagnóstica: Ao contrário de benchmarks anteriores que oferecem pontuações opacas, o SANEval fornece feedback acionável e interpretável (ex: identificando objetos ausentes específicos ou vinculações de atributos incorretas), o que é essencial para diagnosticar o comportamento do modelo.
• Fundação para Melhoria: Os autores postulam que este framework transforma a avaliação em uma forma de supervisão, potencialmente guiando futuras melhorias de modelos e Aprendizado por Reforço com Feedback de IA (RLAIF).
• Modéstia: Os autores reconhecem que, embora o SANEval melhore os métodos existentes, ele depende de priors baseados em linguagem (LLMs/VLMs), que podem refletir vieses inerentes. Eles enfatizam que o trabalho foi desenhado para avaliação e análise, não para adicionar novas capacidades generativas, e visa encorajar uma avaliação mais transparente e cuidadosa de sistemas generativos.