Resumo Técnico: Divergência Logit-Atenção: Mitigando o Viés Posicional na Recuperação de Múltiplas Imagens via Calibração Guiada por Atenção

1. Declaração do Problema

Modelos de Linguagem Grandes Multimodais (MLLMs) demonstraram capacidades robustas em tarefas de recuperação cross-modal envolvendo múltiplas imagens. No entanto, esses modelos sofrem de viés posicional severo, onde a precisão preditiva é dominada pela ordem de entrada das imagens, e não pela sua relevância semântica à consulta.

• O Fenômeno: Em tarefas de recuperação de múltiplas imagens (por exemplo, selecionar a imagem correta de uma sequência de $N$ candidatos), os MLLMs exibem preferências irracionais por posições específicas (por exemplo, a 7ª posição) enquanto negligenciam outras, independentemente do conteúdo visual. Isso leva a flutuações drásticas de desempenho: a precisão pode atingir ~99% se a verdade fundamental alinhar-se com uma posição preferida, mas colapsar para 0% se cair em uma negligenciada.
• Causa Raiz: Este viés decorre da arquitetura autoregressiva herdada dos Modelos de Linguagem Grandes (LLMs). Embora os codificadores posicionais temporais e as máscaras de atenção causal sejam benéficos para a geração de texto, eles introduzem assimetrias estruturais não intencionais quando aplicados a sequências visuais não temporais, tornando as previsões altamente sensíveis à ordem de entrada.
• Limitações das Soluções Existentes:
  • Prompting: O prompting baseado em instruções ou Cadeia de Pensamento (CoT) falha em adaptar-se à natureza dinâmica deste viés.
  • Calibração Estática: Métodos como o PriDe assumem que o viés posicional é um deslocamento estático e independente do conteúdo (um prior global). No entanto, a análise empírica revela que o viés em MLLMs é condicional, deslocando-se dinamicamente com base na localização do alvo. Priors estáticos falham em resolver essa ambiguidade condicional.

2. Insight Chave: Divergência Logit-Atenção

Através de análise empírica, os autores identificam um fenômeno crítico denominado Divergência Logit-Atenção:

• Observação: Os MLLMs frequentemente "olham" para a resposta correta (mapas de atenção internos estão bem alinhados com a evidência visual relevante) mas "dizem" a errada (logits de saída são fortemente enviesados por priores posicionais).
• Implicação: A falha não está na percepção semântica, mas na calibração de decisão. Priors estruturais fortes durante a etapa de decodificação sobrepõem características internas corretas, levando a previsões errôneas apesar de um alinhamento visual preciso.

3. Metodologia: Desviés Guiado por Atenção

O artigo propõe um framework livre de treinamento, em tempo de inferência, que aproveita sinais intrínsecos de atenção para corrigir o viés posicional. O método requer apenas um conjunto de calibração mínimo (por exemplo, 5 amostras) e sobrecarga computacional negligenciável.

3.1. Estimativa de Viés Condicional

Em vez de um prior global estático, o método estima o viés posicional condicional usando uma abordagem estatística contrafactual:

• Calibração Simetrizada: Um pequeno conjunto de calibração é construído via permutações cíclicas de imagens candidatas e índices de verdade fundamental. Isso garante que a verdade fundamental atravesse cada posição uniformemente.
• Decomposição: A probabilidade de geração observada é modelada como um produto de um termo de viés dependente da posição ($P_{bias}$) e um sinal visual específico do alvo ($P_{vis}$).
• Estimação: Ao analisar a razão das probabilidades observadas através das permutações, o método isola o componente de viés estrutural condicionado à posição da verdade fundamental.

3.2. Estimativa de Prior de Atenção

Reconhecendo que as pontuações brutas de atenção também são confundidas por artefatos estruturais (por exemplo, "sumidouros de atenção"), o método estima um prior estático de atenção:

• A distribuição média de atenção sobre o conjunto de calibração simetrizado é computada para capturar o viés estrutural subjacente no próprio mecanismo de atenção.
• Este prior serve como uma linha de base para calibrar a evidência visual durante a inferência.

3.3. Correção em Tempo de Inferência

O processo de desviés segue um framework inspirado em Bayes:

1. Seleção Adaptativa de Camadas: O modelo identifica as camadas superiores-$K$ do Transformer com a maior força de evidência visual (soma das probabilidades de atenção atribuídas às imagens candidatas) para extrair os sinais mais informativos.
2. Recuperação de Evidência Visual Intrínseca: As pontuações de atenção brutas das camadas selecionadas são corrigidas removendo o prior estático de atenção (no domínio log), produzindo uma distribuição posterior visual purificada ($\pi$) que representa a crença verdadeira do modelo sobre a localização da verdade fundamental.
3. Correção de Viés Esperada: Como a verdade fundamental verdadeira é latente durante a inferência, o método constrói um prior de mistura dinâmico ao marginalizar os perfis de viés condicional pré-computados sobre a posterior visual inferida $\pi$.
4. Calibração Final: O prior dinâmico estimado é subtraído dos logits de saída brutos para recuperar a probabilidade visual intrínseca para a previsão final.

4. Resultados Experimentais

O método foi avaliado em benchmarks baseados em MS-COCO através de três backbones de MLLM (Qwen2.5-VL-3B, LLaVA-OneVision-8B, InternVL3-8B) sob configurações Aleatórias e Adversariais (negativo difícil).

• Ganhos de Desempenho: O método proposto alcança desempenho state-of-the-art, melhorando a precisão em mais de 40% em comparação com baselines (por exemplo, Vanilla, PriDe, Autoconsistência).
  • Em LLaVA-OneVision (N=4, Aleatório), a precisão aumentou de 67,52% (Vanilla) para 98,66%.
  • Em configurações Adversariais, melhorou de 49,56% para 71,06%.
• Invariância a Permutações: O método reduz drasticamente o Desvio Padrão do Recall (RStd) e aumenta a Consistência (Cons.), demonstrando que as previsões são impulsionadas pela evidência visual e não pela ordem de entrada.
• Escalabilidade: O método mantém maior precisão com um declínio mais gradual à medida que o tamanho do pool de candidatos ($N$) aumenta de 2 para 12, enquanto as baselines sofrem degradação rápida.
• Generalização: A abordagem generaliza efetivamente através de domínios (Flickr8k para MS-COCO) e níveis de dificuldade (Aleatório para Adversarial) sem recalibração específica da tarefa.
• Eficiência: O método opera dentro de uma única passagem forward. Embora incorra em uma pequena sobrecarga de latência devido à estimativa de viés contrafactual e extração de atenção, evita os altos custos de métodos de ensemble.

5. Significado e Alegações

O artigo alega as seguintes contribuições e significados:

• Identificação da Divergência Logit-Atenção: Revela uma limitação fundamental nos métodos existentes de calibração ao nível de logits, mostrando que a atenção interna frequentemente permanece semanticamente alinhada mesmo quando as saídas são corrompidas por viés.
• Framework Livre de Treinamento: Introduz um mecanismo prático de desviés guiado por atenção que não requer re-treinamento do modelo e dados de calibração mínimos (tão poucos quanto 5 amostras).
• Restauração da Robustez: O método restaura efetivamente a invariância a permutações na recuperação de múltiplas imagens, sugerindo que os MLLMs possuem capacidades latentes de percepção visual que estão atualmente mascaradas por priores estruturais de decodificação.
• Implicações Mais Amplas: As descobertas sugerem que a baixa precisão relatada em certos benchmarks de MLLM pode refletir viés posicional e não limitações genuínas de capacidade, já que os modelos internamente "veem" as respostas corretas, mas falham em expressá-las.

O trabalho destaca o potencial inexplorado dos mecanismos de atenção internos para aprimorar a robustez dos MLLMs em contextos complexos de múltiplas imagens.