Resumo Técnico: Diagnosticando a Ignorância Visual em Modelos de Visão-Linguagem

Declaração do Problema

Os Modelos de Visão-Linguagem (VLMs) frequentemente exibem "ignorância visual", um fenômeno onde os modelos geram respostas confiantes baseadas em vieses linguísticos arraigados em vez de evidências visuais. Embora essa tendência comportamental seja bem documentada, os mecanismos internos que impulsionam essa dependência e seu impacto específico na validade dos benchmarks permanecem insuficientemente compreendidos. A literatura atual sugere que simplesmente escalar parâmetros não resolve o problema; os modelos continuam a sintetizar detalhes ilusórios mesmo quando as imagens estão ausentes (o "efeito miragem"). Além disso, embora os codificadores de visão frequentemente preservem primitivos geométricos, o VLM integrado falha em utilizá-los, sugerindo um gargalo na roteação de informações e na supressão dentro da pilha do decodificador de linguagem, em vez de uma falha de percepção visual inicial. Os métodos de avaliação existentes frequentemente falham em distinguir entre compreensão multimodal genuína e dependência de atalhos textuais, recompensando inadvertidamente modelos que ignoram a entrada visual.

Metodologia

Os autores propõem um framework de dupla perspectiva para diagnosticar a dependência de prioridade linguística, analisando tanto a mecânica interna do modelo quanto as manifestações comportamentais externas em benchmarks padrão.

1. Análise Mecanística Interna

Para rastrear como a semântica visual de verdade absoluta compete com a semântica da prioridade linguística, os autores empregam duas técnicas complementares:

• Substituição de Camadas Contrafactual: Os autores realizam o ajuste fino de uma variante do decodificador de linguagem dessensibilizada (usando o dataset VLMBias) e substituem sistematicamente camadas no modelo base por aquelas da versão ajustada. Isso isola as contribuições causais de intervalos de camadas específicos (intermediárias vs. tardias) para a dependência de prioridade linguística.
• Sondagem de MLP por Camada Supervisionada: Diferente das projeções de vocabulário zero-shot (ex: LogitLens), que podem ser instáveis em camadas iniciais, os autores treinam classificadores Multi-Layer Perceptron (MLP) supervisionados nas camadas ocultas de cada camada do decodificador. Usando o dataset Pixmo-Count, essas sondas mapeiam estados ocultos brutos para distribuições de probabilidade sobre respostas de verdade absoluta versus respostas de prioridade linguística, revelando a evolução dinâmica da competição semântica através da profundidade do transformer.

2. Análise Comportamental Externa

Para quantificar a dependência de prioridades linguísticas em benchmarks padrão, os autores introduzem uma Métrica de Decaimento Visual Progressivo:

• Desfoque Gaussiano de Múltiplos Passos: As imagens de entrada são degradadas através de uma sequência de kernels Gaussianos (de $1\times1$ a $61\times61$).
• Indicador de Resposta Consecutivamente Idêntica: Os autores monitoram se a resposta de um modelo permanece invariante através de todos os níveis de degradação. Esta métrica filtra o ruído de adivinhação aleatória inerente a espaços de respostas restritos (ex: binários ou múltipla escolha), fornecendo um limite inferior estatisticamente confiável para instâncias onde o modelo ignora o contexto visual inteiramente.
• Avaliação de Benchmark: Este framework é aplicado em doze benchmarks de visual question-answering (VQA) (incluindo RePOPE, HallusionBench, MMMU e MMStar) utilizando três VLMs representativos (Qwen2.5-VL-3B/7B e LLaVA-v1.6-Mistral-7B).

Principais Descobertas

Falhas de Roteamento Interno

A análise revela um gargalo cooperativo de múltiplos estágios dentro do decodificador de linguagem:

• Camadas Intermediárias: Estas camadas frequentemente falham em recuperar efetivamente informações visuais granulares e localizadas do codificador de visão.
• Camadas Tardias: Mesmo quando os sinais visuais sobrevivem às camadas intermediárias, as camadas mais profundas suprimem ativamente esses sinais em favor de vieses do espaço textual.
• Competição Dinâmica: Os resultados da sondagem mostram que, embora os sinais visuais de verdade absoluta possam igualar ou exceder as probabilidades de prioridade linguística em camadas intermediárias específicas, a probabilidade de respostas de prioridade linguística aumenta drasticamente e domina no último 1/4 a 1/3 da pilha do decodificador. Isso indica que a ignorância visual não é uma falha de ponto único, mas o resultado de falhas de roteamento cumulativas e supressão ativa.

Vulnerabilidades de Benchmarks

A avaliação externa demonstra que os benchmarks atuais frequentemente falham em penalizar a ignorância visual:

• Altas Taxas de Invariância: Nos datasets avaliados, de 20% a 40% das instâncias geram respostas inteiramente invariantes mesmo sob ofuscação severa ou total.
• Falta de Penalidade de Desempenho: Para o subconjunto de amostras onde as respostas permanecem consecutivamente idênticas em todos os níveis de desfoque, a precisão do modelo muitas vezes permanece estável ou até aumenta conforme as imagens degradam. Isso indica que esses benchmarks recompensam inadvertidamente modelos por depender de expectativas linguísticas cegas em vez de evidência visual.
• Contaminação de Dados: Modelos como LLaVA-v1.6-Mistral-7B mostram taxas de invariância e precisão mais altas em imagens degradadas comparado aos modelos Qwen, sugerindo potencial memorização de respostas de benchmark durante o pré-treinamento.

Principais Contribuições

1. Diagnóstico Mecanístico: O artigo fornece o primeiro mapa camada por camada de como as prioridades linguísticas superam os sinais visuais, identificando que a dependência é impulsionada tanto pela recuperação ineficaz em camadas intermediárias quanto pela supressão ativa em camadas tardias.
2. Métrica de Avaliação Inovadora: A introdução da métrica de decaimento visual progressivo oferece um método robusto para filtrar adivinhações aleatórias e isolar a verdadeira dependência de prioridade linguística em benchmarks padrão.
3. Evidência Empírica de Falhas de Benchmark: O estudo demonstra que uma fração substancial de exemplos em benchmarks proeminentes de VQA é solucionável sem processamento visual, desafiando a validade dos protocolos de avaliação atuais.

Significância e Implicações

Os autores argumentam que a dependência de prioridade linguística é uma falha de roteamento sistemática que afeta tanto os internos do modelo quanto a validade dos benchmarks. As descobertas sugerem que:

• Paradigmas de Treinamento Atuais são Insuficientes: Simplesmente sobrepor características visuais a backbones dominados por texto cria conflitos representacionais onde o objetivo de predição de texto autorregressivo domina, puxando as representações para longe da evidência visual.
• Protocolos de Avaliação Precisam de Redesenho: Benchmarks padrão falham em impor dependência visual. Os autores defendem futuros frameworks de avaliação construídos sobre dados estruturalmente isolados ou contrafactuais onde as estatísticas do espaço textual são fundamentalmente não informativas do estado visual.
• Mudança de Distribuição de Treinamento: Para impor um verdadeiro ancoramento cross-modal, pesquisas futuras devem projetar distribuições de treinamento que quebrem correlações linguísticas espúrias entre prompts e respostas, forçando os modelos a depender de evidência visual em vez de prioridades textuais memorizadas.

O artigo conclui que abordar a ignorância visual requer uma mudança fundamental tanto na forma como os modelos são treinados (desacoplando as distribuições de visão e linguagem) quanto na forma como são avaliados (impondo dependência visual através de isolamento estrutural).