Resumo Técnico: As Métricas Imagem–Texto Respeitam Invariâncias Semânticas?

Declaração do Problema

Avaliadores de imagem para texto sem referência (por exemplo, CLIPScore, PAC-S, UMIC, FLEUR) tornaram-se padrão para pontuar o alinhamento imagem-legenda na pesquisa multimodal, frequentemente mostrando fortes correlações agregadas com julgamentos humanos. No entanto, permanece incerto se essas métricas respeitam invariâncias semânticas—a propriedade de que um avaliador confiável deve produzir pontuações estáveis quando um par imagem-legenda sofre perturbações que preservam a semântica.

As correlações agregadas atuais podem mascarar sensibilidades sistemáticas a fatores não semânticos, como layout espacial (inversões, reposicionamento), escala/categoria do objeto e enquadramento socio-linguístico (adjetivos culturais ou econômicos). Quando os sistemas são separados por lacunas de fração de porcentagem, essas sensibilidades podem inverter classificações em rankings e confundir conclusões sobre equidade. Isso é particularmente crítico, pois as saídas das métricas impulsionam decisões downstream na seleção de modelos, modelagem de recompensas e ranqueamento de recuperação.

Metodologia

Os autores propõem um framework de auditoria de invariância centrada na métrica. Em vez de correlacionar pontuações com referências ou anotadores, o estudo mantém um significado fixo e aplica perturbações controladas que preservam a semântica para testar a estabilidade da pontuação.

1. Configuração Experimental

• Conjuntos de Dados: Três fontes de imagem (MS-COCO 2017, OpenImages V7, Objects365) e três suites de avaliação de legendas (Flickr8k-CF, Pascal-50S, COMPOSITE).
• Curadoria de Dados: Uma "fatia de objeto único" foi curada para maximizar a validade interna. Imagens foram selecionadas com um objeto dominante, visibilidade clara e área suficiente para estratificação por tamanho. Legendas foram geradas programaticamente a partir de modelos para preservar a semântica enquanto variavam o enquadramento.
• Avaliadores: Cinco avaliadores sem referência foram auditados:
  • Similaridade de embeddings: CLIPScore, PAC-S.
  • Qualidade aprendida de legenda: UMIC, FLEUR.
  • Juiz LLM determinístico: Um juiz baseado em GPT-5 com uma rubrica fixa.
• Eixos de Perturbação:
  • Espacial: Inversões verticais/horizontais, reposicionamento que preserva o contexto (movendo o objeto para o canto superior esquerdo, superior direito, inferior esquerdo, inferior direito) e rotações leves no plano (±10°).
  • Objeto: Variação na escala do objeto (intervalos de cobertura) e categoria (taxonomia harmonizada).
  • Socio-linguístico: Substituição de adjetivos neutros por modificadores culturais (por exemplo, Americano vs. Africano), econômicos (barato vs. caro), de gênero e de emoção. Todas as variantes incluíram controles com comprimento correspondido.

2. Validação

Um estudo de validação humana ($N=480$ itens pareados) confirmou que, para 97,3% dos itens, os anotadores julgaram tanto a versão original quanto a perturbada como aceitáveis, com 96,6% mostrando preferências empatadas. Isso confirma que as mudanças de pontuação refletem o comportamento do avaliador e não uma degradação semântica percebida.

3. Métricas

• Mudança Relativa Mediana (%$\Delta$): Mede a mudança nas pontuações sob perturbação.
• Risco de Inversão de Ranking (RRF): Uma função que estima a probabilidade de que o ranking de dois sistemas quase empatados (separados por uma lacuna fixa, por exemplo, 0,7%) se inverta após a aplicação de uma perturbação que preserva a semântica.
• Pontuação Calibrada por Invariância: Um método de ajuste post-hoc que subtrai a sensibilidade a ruídos estimada das pontuações brutas sem retreinar o modelo subjacente.

Principais Resultados

1. Invariância Espacial (RQ1)

Todos os cinco avaliadores exibiram sensibilidade significativa a mudanças espaciais:

• Inversões Verticais: As pontuações aumentaram em 6–8% (mediana) em todos os conjuntos de dados e avaliadores.
• Reposicionamento: Mover um objeto do canto superior esquerdo para o inferior direito induziu mudanças de 7–9%.
• Rotações: Rotações leves (±10°) causaram mudanças de 4–6%.
• Conclusão: Essas mudanças não são impulsionadas pela perda de textura (controlada via desfoque gaussiano), mas por sensibilidade posicional não semântica.

2. Sensibilidade ao Objeto (RQ2)

• Escala: As pontuações seguiram uma curva em U invertido, atingindo o pico em 50–70% de cobertura do objeto. Tamanhos extremos (muito pequenos ou muito grandes) foram penalizados em 6–9% em relação à faixa intermediária para métricas de embedding.
• Categoria: Diferenças sistemáticas existiam entre categorias (por exemplo, "Animal" pontuou mais alto que "Pessoa"), persistindo mesmo após ajuste por tamanho.

3. Enquadramento Socio-linguístico (RQ3)

Os avaliadores mostraram vieses consistentes e não semânticos baseados na redação:

• Modificadores Culturais: "Africano" induziu uma mudança negativa de ≈-7% para o CLIPScore, enquanto "Americano/Europeu" foram levemente positivos (≈+1%).
• Modificadores Econômicos: "Caro" foi consistentemente negativo (≈-6%), enquanto "barato" foi levemente positivo (≈+2%).
• Mecanismo: A análise dos embeddings de texto do CLIP revelou que esses modificadores projetam-se em uma direção latente de "valência" no espaço de texto, sugerindo que priores induzidos pelo pré-treinamento impulsionam essas assimetrias.

4. Instabilidade de Ranking (RQ5)

O estudo quantificou o Risco de Inversão de Ranking (RRF) para sistemas separados por uma lacuna de 0,7%:

• Perturbações espaciais (especialmente reposicionamento) causaram a maior instabilidade, com RRF atingindo 36% para o CLIPScore.
• Enquadramento socio-linguístico também induziu riscos materiais (por exemplo, 16% para mudanças culturais).
• Isso implica que, para sistemas quase empatados, mudanças benignas podem inverter a ordem do ranking em aproximadamente um em cada três casos.

5. Mitigação (RQ6)

Os autores propuseram pontuação calibrada por invariância, um ajuste post-hoc que subtrai a sensibilidade a ruídos estimada.

• Resultados: Este método reduziu pela metade aproximadamente a sensibilidade absoluta mediana (por exemplo, reduzindo mudanças espaciais de ~6,8% para ~3,1%) enquanto mantinha a correlação de Spearman com avaliadores aprendidos (UMIC/FLEUR) dentro de 0,01.
• Impacto: A calibração reduziu significativamente o RRF (por exemplo, o risco de reposicionamento caiu de 36% para 15% para o CLIPScore) e preservou a precisão de preferência par a par em conjuntos de dados rotulados por humanos.

Significado e Alegações

O artigo posiciona suas contribuições como diagnósticas em vez de prescritivas de um único objetivo de métrica "correto".

1. Framework Diagnóstico: Introduz um framework de teste unitário para auditar avaliadores sem referência quanto à invariância semântica em famílias espaciais, de objetos e socio-linguísticas.
2. Evidência Empírica: Documenta sensibilidades consistentes e praticamente significativas (≈6–9% sob mudanças espaciais benignas) que são grandes o suficiente para desestabilizar rankings e induzir inversões de classificação.
3. Mitigação Prática: Propõe pontuação calibrada por invariância como uma solução leve e post-hoc que reduz a sensibilidade não semântica e a volatilidade de ranking sem retraining.
4. Chamada à Ação: Os autores argumentam que a magnitude e a assimetria dessas mudanças justificam divulgação explícita. Recomendam relatar estatísticas pareadas com intervalos de confiança, adicionar resumos estratificados por categoria/tamanho e adotar verificações simples de invariância (inversões, reposicionamento) como testes unitários de pré-submissão para métricas e sistemas de produção.

O artigo conclui que, embora avaliadores sem referência sejam convenientes, eles não são invariantes a mudanças que preservam a semântica. Futuros avaliadores devem codificar consciência espacial, normalizar para composição de escala/categoria e moderar efeitos de enquadramento do lado da linguagem para incentivar avaliação multimodal consciente de vieses.