Resumo Técnico: BEiTScore

Declaração do Problema

A avaliação de legendas de imagens enfrenta desafios significativos à medida que os Modelos Visão-Linguagem (VLMs) evoluem para gerar descrições longas e ricas em contexto. As métricas de avaliação atuais de última geração dividem-se em duas categorias problemáticas:

1. Julgadores Baseados em LLM: Embora alcancem alta correlação com julgamentos humanos, eles incorrem em custos computacionais proibitivos e tempos de inferência longos, tornando-os impraticáveis para benchmarking em larga escala ou decodificação consciente da qualidade em tempo real.
2. Métricas Baseadas em Codificadores (ex.: CLIPScore): Estas são computacionalmente eficientes, mas sofrem limitações críticas. Frequentemente tratam legendas como "sacos de palavras", carecendo de sensibilidade granular a relações composicionais. Além disso, os modelos CLIP padrão são tendenciosos para legendas curtas devido a restrições de pré-treinamento (tipicamente um limite de 77 tokens), levando a um desempenho pobre em narrativas longas e à incapacidade de detectar erros visuais-linguísticos sutis.

As métricas existentes sem referência lutam para equilibrar a necessidade de alta correlação com julgamentos humanos, a capacidade de processar descrições longas e a detecção de alucinações de alta granularidade (ex.: relações espaciais, vinculação de atributos, contagem) sem depender de LLMs caros.

Metodologia

Os autores propõem o BEiTScore, uma nova métrica de avaliação aprendida e sem referência, baseada em uma arquitetura leve de codificador cruzado.

Arquitetura do Modelo

• Modelo Base: A métrica utiliza a arquitetura BEiT-3, um modelo fundamental multimodal unificado que representa imagens por meio de tokens discretos análogos a tokens de linguagem.
• Inicialização: O modelo é iniciado a quente a partir de um checkpoint de Resposta a Perguntas Visuais (VQA). Isso fornece conhecimento prévio benéfico para o objetivo de alinhar visão e linguagem.
• Saída: Uma cabeça de regressão (camada oculta única com ativação GeLU) processa a saída de atenção cruzada para produzir uma pontuação no intervalo $[0, 1]$, representando a qualidade da alinhamento entre uma imagem e uma legenda.

Estratégia de Treinamento

O esquema de treinamento emprega um currículo de duas etapas usando uma mistura de dados cuidadosamente montada, projetada para expor o modelo a relações visuais-linguísticas diversas e complexas:

1. Etapa 1: Aprendizado Contrastivo em Pares

   • Objetivo: Discriminação binária (identificar qual de duas legendas é factualmente consistente com uma imagem).
   • Dados: Uma mistura personalizada de conjuntos de dados incluindo Foil-It, TextCaps, Pixel-Prose e LocalizedNarratives.
   • Aumento Adversarial: Para aumentar a sensibilidade a erros de alta granularidade, os autores empregam um pipeline de aumento de dados adversarial:
     • Perturbações Baseadas em LLM: Usando Qwen3, geram legendas fluentes, mas factualmente incorretas, modificando objetos, atributos, relações espaciais, ações, papéis de atantes e contagem.
     • Corrupção Sintética: Inspirado no "Efeito Cobra", introduzem corrupção de texto (embaralhamento de palavras/frases, repetição de partes do discurso) para combater comportamentos de "saco de palavras".
     • Mineração de Negativos Difíceis: Seleção baseada em recuperação de legendas incorretas que produzem pontuações de alta similaridade para criar categorias de negativos fáceis, médios e difíceis.
   • Treinamento Progressivo: O treinamento é iterativo, começando com raciocínio fundamental (espacial, papéis, ações), seguido por refinamento quantitativo (contagem) e, finalmente, integração de texto da cena.

2. Etapa 2: Ajuste Fino de Alinhamento

   • Objetivo: Regressão para corresponder a pontuações contínuas de julgamento humano.
   • Dados: Divisões de treinamento de conjuntos de dados com classificações humanas, como VICR, POLOS, Nebula e EvalMuse-40k.
   • Perda: A perda L1 é usada para otimizar o alinhamento direto com pontuações humanas normalizadas ($q_i \in [0, 1]$).

Contribuições Principais

1. Métrica BEiTScore: Uma métrica de avaliação sem referência que aproveita um codificador cruzado leve inicializado a partir de um checkpoint de VQA. Alcança desempenho de última geração enquanto permanece significativamente mais eficiente que alternativas baseadas em LLM (20–60× menor e 30–100× mais rápido).
2. Pipeline de Treinamento Adversarial: Uma estratégia inovadora de aumento de dados usando LLMs para gerar negativos difíceis e corrupção de texto sintética, especificamente projetada para treinar modelos pequenos a detectar erros visuais-linguísticos de alta granularidade e estruturas composicionais.
3. Benchmark LongCapVLCP: Um novo benchmark projetado para avaliar a avaliação detalhada de legendas além do limite de 77 tokens. Inclui:
   • Narrativas Longas: Avaliação de desempenho em legendas que excedem os limites de tokens padrão.
   • Reconhecimento de Texto de Cena: Uma tarefa específica para avaliar a capacidade da métrica de mapear informações textuais dentro de uma imagem para sua menção na legenda, um aspecto sub-representado em trabalhos anteriores.
   • Categorias Diversas de Erros: Incluindo trocas de atantes, verbos de ação, contagem, relações espaciais e erros de texto de cena.

Resultados Experimentais

Os autores avaliaram o BEiTScore em 11 benchmarks, comparando-o com métodos baseados em codificadores (ex.: CLIPScore, PAC-S, LongCLIP) e métodos baseados em LLM (ex.: EXPERT, FLEUR, VQAScore).

• Correlação Humana: O BEiTScore (especificamente a variante L/14) alcança correlação de Kendall's $\tau$ de última geração com julgamentos humanos em múltiplos conjuntos de dados (VICR, Polaris, Nebula, etc.), frequentemente superando métricas baseadas em LLM como EXPERT e FLEUR.
• Percepção de Alta Granularidade:
  • Alucinação de Objeto (nocaps-FOIL): O BEiTScore supera modelos baseados em codificadores e iguala o desempenho baseado em LLM na distinção entre legendas corretas e aquelas com alucinações de objetos.
  • Alucinação de Atributo e Estrutural (SugarCREPE): O modelo supera significativamente competidores baseados em codificadores em tarefas de "troca", demonstrando compreensão superior de composição estrutural e relacional.
  • Raciocínio Composicional (VALSE & Winoground): O BEiTScore se destaca em tarefas que exigem raciocínio holístico, como contagem, relações espaciais e compreensão de ação, onde codificadores tradicionais frequentemente falham.
• Texto Longo e de Cena (LongCapVLCP):
  • Métricas padrão baseadas em codificadores (CLIP, PAC) performam no nível ou próximo ao acaso aleatório em legendas que excedem 77 tokens ou contêm erros de texto de cena colocados após o limite de tokens.
  • O BEiTScore mantém capacidades discriminativas ao longo de narrativas longas e lida efetivamente com o reconhecimento de texto de cena, igualando o desempenho da métrica baseada em LLM EXPERT.
• Eficiência: Apesar de igualar ou exceder o desempenho de métricas especializadas baseadas em LLM, o BEiTScore requer significativamente menos GFLOPs (ex.: 296 GFLOPs para BEiTScore-L/14 vs. ~9300 GFLOPs para EXPERT).

Significado e Alegações

O artigo alega que a dominância de métricas baseadas em LLM na avaliação de legendas de imagens não é apenas resultado da escala do modelo, mas deve-se em grande parte à baixa exposição de modelos menores a dados textuais complexos e longos durante o treinamento.

Ao introduzir um currículo de treinamento direcionado com aumentos adversariais e utilizar a arquitetura BEiT-3, o BEiTScore preenche a lacuna entre arquiteturas baseadas em codificadores eficientes e as capacidades de raciocínio complexo de LLMs. Os autores afirmam que o BEiTScore fornece uma solução econômica para avaliação automatizada, oferecendo forte correlação com julgamentos humanos e percepção composicional intrincada sem a sobrecarga computacional de grandes modelos de linguagem. A introdução do benchmark LongCapVLCP destaca as limitações das métricas atuais no manuseio de descrições longas e texto de cena, estabelecendo um novo padrão para avaliar essas capacidades.