Resumo Técnico: MaSC – Uma Métrica de Similaridade Mascarada para Avaliação de Geração Orientada a Conceitos

Declaração do Problema

A avaliação da personalização de texto-para-imagem (T2I) exige a captura de dois sinais distintos: Preservação de Conceito (CP), que mede a fidelidade de identidade de um assunto renderizado em relação a uma referência, e Seguimento de Prompt (PF), que mede o quão bem a cena gerada aderiu ao prompt de texto. As métricas padrão atuais (por exemplo, CLIP-I, DINO-I para CP; CLIP-T para PF) dependem de embeddings globais de imagem. Os autores argumentam que esses mecanismos de agrupamento global falham em correlacionar-se com a percepção humana porque confundem o assunto com o fundo. Especificamente:

1. Falha de CP: A similaridade cosseno global média sobre toda a imagem, penalizando pontuações de identidade para variações de fundo que os humanos ignoram corretamente ao julgar um assunto.
2. Falha de PF: A similaridade global texto-imagem combina a aderência à cena com a presença estática da classe do assunto, criando uma linha de base persistente que obscurece o sinal real de seguimento de prompt.

Tentativas existentes de melhorar o alinhamento envolvem atualizar codificadores (gerando ganhos menores) ou usar Grandes Modelos de Linguagem (LLMs) como GPT-4V/4o. Embora os LLMs se correlacionem bem com julgamentos humanos, eles são limitados por APIs, não são diferenciáveis e carecem de atribuição por região, tornando-os ineficientes para desenvolvimento iterativo.

Metodologia: MaSC

Os autores introduzem o MaSC (Métrica de Similaridade Mascarada), um framework de avaliação unificado que desacopla a avaliação do assunto e do fundo usando decomposição espacial. O MaSC opera em um único codificador de visão SigLIP2 SO400M-NaFlex congelado e requer uma máscara de conceito de primeiro plano fornecida externamente para ambas as imagens de referência e geradas.

A métrica processa a imagem em dois ramos paralelos derivados de uma única passagem direta:

1. Preservação de Conceito (CP): Masked-MaxCos

Em vez de agrupamento global, o MaSC foca exclusivamente no primeiro plano.

• Mecanismo: Para cada patch na máscara de primeiro plano da imagem de referência, o algoritmo calcula a similaridade cosseno máxima contra todos os patches na imagem gerada.
• Agregação: Essas similaridades máximas são médias sobre os patches de primeiro plano da referência.
• Racional: Esta abordagem garante que a métrica meça se as características locais do conceito estão presentes em qualquer lugar na saída, permitindo a relocação espacial sem penalidade. Evita as restrições estritas de um-para-um do casamento de vizinhos mais próximos mútuos, que os autores mostram penalizar severamente a preservação parcial.

2. Seguimento de Prompt (PF): Pooling de Fundo e Remoção de Assunto

Para isolar o sinal de aderência à cena, o MaSC remove o assunto tanto das entradas visuais quanto textuais.

• Lado Visual: O pooler de atenção SigLIP2 treinado é aplicado à imagem gerada, mas os patches de primeiro plano são explicitamente mascarados (suprimidos) durante o cálculo de atenção. Isso produz um embedding apenas de fundo.
• Lado Texto: O nome canônico do assunto (por exemplo, "gatinho") é removido do prompt de texto usando correspondência de expressões regulares.
• Pontuação: A pontuação PF é a similaridade cosseno entre o embedding de imagem apenas de fundo e o embedding de texto removido.
• Racional: Ao remover o assunto do pool de imagens e do prompt de texto, a métrica elimina a linha de base estática, forçando a pontuação a refletir apenas o alinhamento entre o fundo gerado e a descrição da cena do prompt.

Contribuições Principais

O artigo descreve cinco contribuições primárias:

1. CP Não-LLM de Estado da Arte: No benchmark DreamBench++, o MaSC atinge um $\alpha$ de Krippendorff de +0,471 para CP. Isso supera todas as linhas de base não-LLM testadas (incluindo DreamSim, DINOv3 e AM-RADIO) e supera o GPT-4V, alcançando 72% do teto de inter-annotação humana.
2. Discriminação de Identidade Superior: No ORIDa (um benchmark de discriminação de identidade de fotos reais), o MaSC atinge uma AUC de 0,992, tornando-se a primeira métrica não-LLM a superar o GPT-4o neste cenário.
3. Validação da Estratégia de Agregação: Através de ablações com a mesma espinha dorsal, os autores demonstram que o ganho de desempenho é impulsionado pela estratégia de decomposição espacial (agregação mascarada) e não apenas pela escolha do codificador. Substituir o agregador do MaSC por agrupamento global na mesma espinha dorsal SigLIP2 reduz o desempenho de CP em $\Delta\alpha = 0,102$.
4. Eficiência e Arquitetura: Com um orçamento de parâmetros correspondente, o MaSC supera transformadores de visão destilados como o AM-RADIO. Os autores argumentam que o mascaramento explícito no tempo de inferência é mais eficaz para avaliação de personalização do que a supervisão de máscara internalizada dentro dos pesos do codificador.
5. Sinal PF Eficiente: A pontuação PF é obtida como um "subproduto gratuito" da passagem direta de CP (reutilizando características em cache) sem chamadas adicionais ao codificador de visão. Embora não seja o SOTA absoluto para PF (atrasando-se atrás do VQAScore e ImageReward), supera a linha de base CLIP-T padrão ($\Delta\alpha = +0,027$) com custo computacional significativamente menor do que modelos de recompensa dedicados.

Resultados

• DreamBench++ (CP): O MaSC ($\alpha=0,471$) supera o GPT-4V ($\alpha=0,432$) e fica atrás apenas do GPT-4o ($\alpha=0,499$) por uma margem estreita ($\Delta\alpha = 0,028$).
• ORIDa (Identidade): O MaSC ($AUC=0,992$) supera o GPT-4o ($AUC=0,986$), demonstrando separação superior de pares dentro do assunto versus pares entre assuntos em ambientes do mundo real.
• DreamBench++ (PF): O MaSC atinge $\alpha=0,354$, superando o CLIP-T ($\alpha=0,327$) e o pool global SigLIP2 ($\alpha=0,326$), embora permaneça abaixo de modelos de recompensa PF dedicados como o VQAScore ($\alpha=0,504$).
• Eficiência Computacional: O MaSC requer aproximadamente 161 ms por par para CP e 91 ms para PF em uma RTX 3090. Embora mais lento do que linhas de base leves como CLIP-I, é significativamente mais rápido do que modelos PF pesados (por exemplo, HPSv3 em 301 ms) e métricas baseadas em difusão (DIFT-SDXL em 1.400 ms).

Significado e Alegações

O artigo alega que a atribuição espacial é um princípio de design central para avaliar modelos generativos, argumentando que a estratégia de agregação importa tanto quanto, ou mais do que, a escolha da espinha dorsal do codificador. O MaSC estabelece um novo estado da arte para preservação de conceito não-LLM, oferecendo um padrão unificado, eficiente e diferenciável para avaliação de personalização.

Os autores são modestos em relação ao componente PF, afirmando explicitamente que o MaSC não reivindica estado da arte em PF, mas fornece um sinal de diagnóstico eficiente derivado da passagem principal de CP. Eles também reconhecem limitações: o método depende de máscaras fornecidas externamente (embora a análise de sensibilidade mostre robustez entre diferentes modelos de segmentação), e a remoção de assunto não é adequada para prompts que descrevem estilos visuais em vez de cenas. O trabalho é posicionado como uma ferramenta para benchmarking rigoroso, e não como um substituto para revisão humana em aplicações sensíveis.