Resumo Técnico: Ver sem Olhar: Os Benchmarks Visão-Linguagem Realmente Testam a Visão?

Declaração do Problema

Modelos Visão-Linguagem (VLMs) alcançaram pontuações elevadas em diversos benchmarks projetados para avaliar a compreensão visual fundamentada e a alucinação de objetos. No entanto, permanece incerto se essas pontuações refletem genuinamente a dependência do modelo em evidências visuais de alta granularidade ou se derivam da exploração de pistas visuais grosseiras, redundância representacional ou fortes priors linguísticos. Os autores observam uma desconexão crítica: em benchmarks amplamente utilizados como o POPE, a remoção aleatória de uma fração substancial de tokens de imagem (até 75%) resulta apenas em uma degradação marginal na precisão. Isso sugere que as métricas padrão de benchmark podem não ser sensíveis o suficiente para detectar a perda de fundamentação visual detalhada, potencialmente levando a conclusões excessivamente confiantes sobre as capacidades do modelo em raciocínio visual e mitigação de alucinações.

Metodologia

Os autores realizam uma análise diagnóstica abrangente e multinível em múltiplos VLMs de código aberto (incluindo LLaVA-1.5, Qwen3-VL, Gemma-3, InternVL3 e Molmo) e benchmarks (POPE, A-OKVQA, MME e AMBER). O estudo emprega três categorias principais de intervenções:

1. Intervenções em Nível Visual:

   • Eliminação de Tokens: Remoção aleatória de tokens de imagem no nível de incorporação antes que entrem no decodificador de linguagem.
   • Degradação Global: Enfraquecimento sistemático da evidência visual por meio de "Sem Imagem" (imagem preta fictícia), oclusão "Preto" (mascaramento de regiões específicas da imagem) e "Desfoque" (mistura com ruído).
   • Manipulação em Nível de Entidade: Focando em amostras positivas de Verdade Terrena, os autores utilizam modelos de segmentação (Grounding DINO, SAM2) para realizar intervenções precisas:
     • BlackMask: Mascaramento apenas dos pixels da entidade consultada.
     • BlackBox: Oclusão de toda a caixa delimitadora da entidade (removendo o contexto local).
     • EntitySwap: Substituição da entidade consultada por um objeto não relacionado usando modelos de edição de imagem.

2. Intervenções na Formulação da Tarefa:

   • Espaço de Resposta Expandido: Introdução de uma opção explícita "Desconhecido" para testar se os modelos podem expressar incerteza quando a evidência visual está degradada.
   • Geração Aberta: Reformulação de perguntas binárias em tarefas de geração aberta para avaliar a classificação e a probabilidade da entidade-alvo na distribuição de saída (usando Reciprocal Rank Médio e Probabilidade Média).

3. Análise Representacional:

   • Geometria por Camada: Análise dos estados internos do codificador de visão para medir a discriminabilidade espacial. Os autores calculam a similaridade de cosseno intra-bloco versus inter-bloco, a compactação espacial k-means e a classificação efetiva das representações de tokens através das camadas da rede para determinar se as distinções espaciais se degradam à medida que a informação se propaga mais profundamente no modelo.

Resultados Principais

• Robustez à Perda Visual: No POPE, a precisão permanece quase inalterada mesmo quando 75% dos tokens de imagem são eliminados. Da mesma forma, degradações globais como desfoque pesado ou mascaramento preto parcial causam quedas desproporcionalmente pequenas na precisão em comparação com a severidade da corrupção visual.
• Insensibilidade em Nível de Entidade: Mesmo quando a entidade consultada específica é completamente mascarada (BlackMask) ou substituída (EntitySwap), os modelos frequentemente mantêm altas taxas de "Sim". Embora a margem de decisão (diferença de logit entre "Sim" e "Não") diminua, a distribuição permanece deslocada em direção a respostas afirmativas, sugerindo que o contexto da cena circundante ou priors linguísticos sustentam a previsão.
• Falha em Expressar Incerteza: Quando uma opção "Desconhecido" é fornecida, a maioria dos modelos raramente a seleciona, mesmo sob degradação visual severa (por exemplo, Sem Imagem ou alto ruído). Eles continuam a produzir julgamentos binários confiantes.
• Representação Fraca de Entidades: Em tarefas de geração aberta, a entidade-alvo frequentemente recebe uma classificação baixa na distribuição de geração do modelo, mesmo quando visível. Isso indica que o modelo não codifica fortemente informações específicas da entidade em suas probabilidades de saída.
• Degradação da Discriminabilidade Espacial: A análise representacional revela que, à medida que os tokens visuais passam por camadas mais profundas do codificador de visão, a similaridade inter-bloco aumenta enquanto a similaridade intra-bloco diminui. Nas camadas finais, tokens de diferentes regiões espaciais tornam-se direcionalmente indistinguíveis, e a classificação efetiva da representação colapsa. Isso sugere uma perda de estrutura espacial de alta granularidade dentro do processamento interno do modelo.

Contribuições Principais

1. Identificação de uma Lacuna de Medição: O artigo identifica que as métricas padrão de benchmark (precisão top-1) frequentemente não degradam significativamente mesmo quando a evidência visual correspondente é substancialmente enfraquecida ou removida, indicando uma falta de sensibilidade à fundamentação de alta granularidade.
2. Framework Diagnóstico Multinível: Os autores desenvolvem um framework sistemático envolvendo redução em nível de token, degradação global, oclusão em nível de entidade, manipulação semântica e análise em nível de decisão para sondar as verdadeiras dependências do desempenho dos VLMs.
3. Evidência de Dependência Visual Superficial: O estudo demonstra que os VLMs atuais podem manter previsões corretas apesar da perda de evidências visuais detalhadas, dependendo, em vez disso, de pistas de cena grosseiras, redundância e priors linguísticos. Isso revela uma lacuna sistemática entre o sucesso no benchmark e a dependência genuína de evidências visuais relevantes para a pergunta.

Significado e Alegações

O artigo argumenta que os benchmarks atuais são insuficientes para avaliar de forma confiável a fundamentação visual de alta granularidade em VLMs. Os autores afirmam que altas pontuações em benchmarks podem superestimar as capacidades visuais de um modelo e sua robustez a perturbações visuais. Consequentemente, métodos projetados para melhorar a fundamentação visual, mitigar alucinações ou aumentar a eficiência de inferência (por exemplo, eliminando tokens de imagem) podem parecer eficazes simplesmente porque exploram priors do conjunto de dados ou pistas grosseiras, em vez de verdadeira compreensão visual.

Os autores concluem que a avaliação deve ir além da precisão top-1 para testar explicitamente se as previsões do modelo respondem adequadamente a mudanças na evidência visual. Eles sugerem que a estabilidade observada no desempenho não é um sinal de compreensão visual robusta, mas sim um sintoma de dependência superficial de entradas visuais, necessitando de protocolos de avaliação mais diagnósticos para avaliar com precisão as capacidades do modelo.