Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models

Resumo Técnico: Além do Codificador de Visão: Identificando e Mitigando o Viés Espacial em Grandes Modelos de Visão-Linguagem

1. Declaração do Problema

Grandes Modelos de Visão-Linguagem (LVLMs) alcançaram sucesso significativo em tarefas multimodais, mas exibem robustez insuficiente em relação a variações espaciais. Especificamente, os LVLMs atuais frequentemente produzem saídas inconsistentes ou contraditórias quando a mesma informação visual chave é colocada em diferentes localizações dentro de uma imagem. Este fenômeno, denominado viés espacial, sugere que a compreensão semântica dos modelos não é invariante à posição, mas sim enviesada para preferências espaciais específicas.

Embora pesquisas anteriores tenham vinculado o viés espacial à alucinação de objetos ou ao efeito de decaimento de longo prazo do Rotary Position Embedding (RoPE), este trabalho argumenta que tais explicações carecem de generalização ou falham em abordar a causa raiz na compreensão semântica fundamental. O artigo postula que o viés não provém das capacidades de percepção ou codificação do codificador de visão, mas de um descompasso nos mecanismos de atenção entre o codificador de visão e o backbone do Grande Modelo de Linguagem (LLM).

2. Metodologia e Análise

A. Sondagem Sistemática da Robustez Espacial
Para quantificar o viés espacial, os autores construíram um conjunto de dados de sondagem controlado baseado em correspondência imagem-texto.

• Construção do Conjunto de Dados: 10.000 pares imagem-legenda foram amostrados do LAION. Para cada imagem-chave, 8 imagens distratoras foram recuperadas. A imagem-chave e os distratores foram organizados em uma grade $3 \times 3$ para formar uma imagem composta.
• Configuração Experimental: A imagem-chave foi movida sistematicamente para cada uma das 9 posições da grade ($n=0$ a $8$), mantendo a legenda e os distratores constantes. O modelo foi questionado com uma pergunta binária para determinar se a composição continha a imagem alvo.
• Descobertas: Experimentos em seis LVLMs representativos (incluindo Qwen2.5-VL, LLaVA-v1.6 e InternVL3) revelaram flutuações significativas de precisão através de diferentes posições da grade. Notavelmente, o desempenho não correlacionou fortemente com a distância de tokens, sugerindo que o viés não é causado primariamente pelo decaimento de longo prazo do RoPE.

B. Análise da Causa Raiz
Os autores decomporam o pipeline de processamento visual em duas etapas para isolar a fonte do viés:

1. Estágio de Percepção (Eraser Search): Usando experimentos de mascaramento, o estudo confirmou que os LVLMs identificam consistentemente regiões críticas, independentemente de sua localização espacial. A percepção é espacialmente robusta.
2. Estágio de Compreensão Semântica (Codificador de Visão): Ao medir a similaridade de cosseno entre os recursos visuais e os embeddings de texto em diferentes posições, o estudo descobriu que o codificador de visão produz representações estáveis e semanticamente alinhadas, independentemente da localização.
3. O Gargalo do LLM: Como tanto a percepção quanto a codificação de visão são robustas, o viés se origina no raciocínio cross-modal do LLM. Os autores hipotetizam que o mecanismo de autoatenção causal nos LLMs (que restringe os tokens a atender apenas a tokens anteriores) interrompe o fluxo de informação global bidirecional estabelecido pelo codificador Vision Transformer (ViT). Essa interrupção faz com que os tokens da imagem percam o acesso ao contexto global holístico conforme se propagam pelas camadas do LLM, tornando sua contribuição excessivamente dependente de sua posição.

C. Solução Proposta: Injeção de Contexto Global Adaptativa (AGCI)
Para mitigar isso sem modificações arquiteturais, os autores propõem o AGCI, um mecanismo leve que injeta dinamicamente o contexto visual global compartilhado em cada token de imagem.

• Mecanismo:
  1. Computar o contexto de imagem global $\tilde{g}$ como a representação média de todos os tokens de imagem.
  2. Calcular a similaridade semântica $w_i$ entre cada token de imagem $\tilde{v}_i$ e o contexto global.
  3. Injetar o contexto global em cada token com uma força adaptativa proporcional a $(1 - w_i)$:
     $$\tilde{v}'_i = \tilde{v}_i + \lambda(1 - w_i)\tilde{g}$$
  4. Aqui, $\lambda$ é um hiperparâmetro que atua como uma válvula de segurança para preservar detalhes finos. Tokens com menor relevância semântica global recebem uma suplementação mais forte.

3. Resultados Principais

A. Robustez Espacial (Tarefa de Sondagem)

• O AGCI reduziu significativamente a variância de precisão ($\Delta$) entre as posições da grade para todos os modelos testados.
• Para modelos com alto viés inicial (ex: LLaVA-v1.6), o AGCI reduziu a variância de 14,93 para 8,05 e melhorou a precisão média de 70,82 para 80,75.
• Para modelos maiores (ex: Qwen2.5-VL-72B), o AGCI melhorou a precisão média de 70,12 para 86,11, mantendo uma baixa variância.

B. Desempenho em Tarefas de Jusante (Downstream)
O AGCI foi avaliado em seis benchmarks de jusante com ajuste fino leve via LoRA:

• Raciocínio Complexo (MMMU-Pro, ScienceQA): O AGCI melhorou o desempenho, particularmente em configurações de 10 opções, indicando uma melhor integração de pistas visuais e compreensão global.
• Benchmarks de Alucinação (CRPE, HallusionBench, POPE): O AGCI geralmente reduziu as tendências de alucinação e melhorou a confiabilidade da predição. Por exemplo, no POPE, a precisão média do Qwen3-VL melhorou de 84,51 para 86,96.
• Tarefas de OCR (TextVQA): O AGCI mostrou ganhos fortes (ex: +4,93 para LLaVA-v1.6), sugerindo que o contexto global ajuda a agregar regiões textuais dispersas.

C. Visualização do Fluxo de Informação
Visualizações de mapas de atenção demonstraram que os modelos de linha de base frequentemente focavam em regiões espaciais irrelevantes (ex: o canto superior esquerdo) devido ao viés posicional. Após a aplicação do AGCI, a atenção tornou-se mais concentrada em regiões relevantes para a tarefa (ex: texto OCR específico), confirmando que o AGCI restaura uma representação contextual equilibrada.

4. Significância e Alegações

O artigo reivindica três contribuições primárias:

1. Investigação Sistemática: Fornece evidência empírica de que as predições dos LVLMs variam significativamente com a localização espacial do conteúdo visual idêntico, destacando uma fraqueza crítica na compreensão espacial atual.
2. Identificação da Causa Raiz: Aponta a origem do viés espacial para a perda de contexto de imagem global causada pelo mecanismo de atenção causal nos LLMs, excluindo explicitamente o codificador de visão e o decaimento do RoPE como os principais culpados.
3. Mitigação Eficaz: Introduz o AGCI, um método simples e agnóstico à arquitetura que aumenta a robustez espacial e o desempenho de jusante sem sacrificar as capacidades intrínsecas.

Os autores enfatem que o AGCI funciona ao restaurar o acesso estável ao contexto global durante o raciocínio cross-modal, mitigando assim a inconsistência causada pelo descompasso entre a codificação de visão bidirecional e a modelagem de linguagem causal. O trabalho sugere que reforçar explicitamente a semântica visual global é crucial para alcançar uma compreensão multimodal robusta e invariante à posição.