Resumo Técnico: Quando o RAG Prejudica: Diagnosticando e Mitigando a Distração de Atenção em LVLMs com Recuperação Aumentada

Definição do Problema

Embora a Geração Aumentada por Recuperação (RAG) seja um paradigma dominante para melhorar os Modelos de Linguagem-Visão Grandes (LVLMs) em tarefas de Visual Question Answering baseadas em conhecimento (KB-VQA), observações recentes indicam que o RAG não melhora universalmente o desempenho. Especificamente, o artigo identifica um modo de falha distinto denominado Distração de Atenção (AD - Attention Distraction), onde a introdução de contexto textual recuperado faz com que os LVLMs falhem em perguntas que anteriormente conseguiriam responder corretamente em um cenário de livro fechado (closed-book), mesmo quando a informação recuperada é precisa e altamente relevante.

Os autores diagnosticam a AD como uma má alocação sistemática de atenção durante o processo de geração multimodal, caracterizada por dois fenômenos específicos:

1. Distração de Atenção Cross-Modal: O contexto recuperado suprime ativamente a atenção global alocada aos tokens da imagem. Em comparação com a inferência de livro fechado, o modelo desloca o foco da modalidade visual para a modalidade textual, reduzindo a razão de atenção da imagem em 12,1%–41,1%.
2. Distração de Atenção Intra-Imagem: Mesmo dentro da modalidade visual, a atenção se desloca de regiões relevantes para a pergunta em direção a áreas de fundo ou semanticamente irrelevantes. Isso ocorre porque o texto recuperado interrompe a capacidade do modelo de fundamentar seu raciocínio em evidências visuais específicas.

O artigo argumenta que trabalhos anteriores que atribuem as falhas do RAG à insuficiência de atenção ao contexto (e propõem aumentar a atenção ao texto) negligenciam essa interdependência intrínseca. Simplesmente aumentar a atenção aos tokens de contexto falha em abordar o problema central: a supressão do ancoramento visual (visual grounding) pelo contexto recuperado.

Metodologia: MAD-RAG

Para abordar a Distração de Atenção, os autores propõem o MAD-RAG (Mitigating Attention Distraction in Retrieval-Augmented Generation for LVLMs). Esta é uma intervenção de tempo de inferência, livre de treinamento, projetada para desacoplar o ancoramento visual da integração de contexto. O método consiste em dois componentes primários:

1. Formulação de Pergunta Dupla (Dual-Question Formulation)

As entradas padrão de RAG seguem a estrutura $[I, Q, C]$ (Imagem, Pergunta, Contexto). Os autores observam que, neste formato, os tokens da pergunta atuam como consultas para a atenção visual, mas estão isolados do contexto recuperado devido ao mascaramento causal, criando um gargalo de informação.
O MAD-RAG reestrutura a entrada para $[I, Q_I, C, Q_C]$, onde:

• $Q_I$ (tokens da pergunta-imagem) são anexados imediatamente após os tokens da imagem, forçando o modelo a priorizar o ancoramento visual antes de ver o contexto.
• $Q_C$ (tokens da pergunta-contexto) são anexados após os documentos recuperados, permitindo que o modelo integre o conhecimento externo.
  Este desacoplamento garante que o modelo forme uma referência visual confiável antes de incorporar informações externas, reduzindo a interferência cross-modal.

2. Mistura de Atenção para Preservação do Ancoramento Visual

Apesar da estrutura de pergunta dupla, contextos recuperados longos ainda podem induzir um "viés de recência", fazendo com que o modelo dê atenção desproporcional ao texto em detrimento dos tokens de imagem distantes. Para combater isso, o MAD-RAG introduz um mecanismo de mistura de atenção.
Em cada camada do transformer, os pesos de atenção dos tokens da pergunta-contexto ($Q_C$) são modificados pela injeção dos pesos de atenção ancorados na imagem derivados dos tokens da pergunta-imagem ($Q_I$). A saída de atenção misturada $\hat{O}(Q_C)$ é computada como uma combinação convexa:
$$\hat{O}(Q_C) = \alpha \cdot O(Q_I) + (1 - \alpha) \cdot O(Q_C)$$
onde $\alpha \in [0, 1]$ é um peso de mistura. Esta operação preserva explicitamente o ancoramento visual estabelecido por $Q_I$ dentro da fase de integração de contexto de $Q_C$, garantindo que o raciocínio permaneça focado em regiões de imagem relevantes para a pergunta.

Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Caracterização da Distração de Atenção (AD): Os autores identificam e definem a AD como um modo de falha distinto em LVLMs com recuperação aumentada, compreendendo tanto a supressão cross-modal da atenção visual quanto o desvio de atenção intra-imagem. Eles demonstram que essa degradação decorre de dinâmicas de atenção inapropriadas durante a geração, independentemente da qualidade da recuperação.
2. Análise Empírica: Através de uma análise extensiva de mapas de calor de atenção e razões de atenção por token, o artigo fornece evidências de que a AD surge da interação entre a aumentação por recuperação e as dinâmicas de atenção autorregressiva em inferência multimodal de contexto longo.
3. Framework MAD-RAG: Os autores introduzem um método simples, eficiente e livre de treinamento que alinha robustamente a atenção visual com a pergunta. O método não requer novo treinamento, não exige modificação no recuperador e acarreta um overhead computacional negligenciável.

Resultados Experimentais

Os autores avaliaram o MAD-RAG em três benchmarks de KB-VQA: OK-VQA, E-VQA e InfoSeek, através de múltiplas famílias de LVLM (LLaVA-1.5, Qwen2.5-VL).

• Ganhos de Desempenho: O MAD-RAG supera consistentemente o RAG vanilla e os baselines existentes (incluindo métodos orientados a RAG como CAD, AdaCAD, ALFAR e métodos de mitigação de alucinação como DoLA, VCD).
  • As melhorias absolutas sobre o RAG vanilla atingiram até 4,76% no OK-VQA, 9,20% no E-VQA e 6,18% no InfoSeek.
• Recuperação de Modos de Falha: O método visa especificamente os casos de falha "Livro Fechado Correto, RAG Incorreto". O MAD-RAG retificou até 74,68% desses casos de distração de atenção no OK-VQA, com taxas de recuperação altas e similares em outros conjuntos de dados.
• Robustez: O método demonstrou robustez através de variados comprimentos de contexto e qualidades de recuperação (recuperadores oracle e do mundo real). Ele manteve os ganhos de desempenho mesmo conforme o comprimento do contexto aumentava, enquanto os métodos baseline frequentemente degradavam.
• Eficiência: O MAD-RAG introduz um overhead negligenciável, aumentando o tempo de inferência em apenas 9–11% em comparação ao RAG vanilla. Em contraste, outros métodos de calibração (ex: CAD, OPERA) aumentaram a latência em 3x ou mais.

Significância e Alegações

O artigo afirma que a Distração de Atenção é um problema fundamental em RAG multimodal que foi previamente negligenciado. A significância do MAD-RAG reside em sua capacidade de estabilizar o ancoramento visual sem a necessidade de treinamento caro ou mudanças arquitetônicas complexas.

Os autores enfatizam que sua abordagem aborda a causa raiz das falhas induzidas por RAG em cenários onde o modelo possui o conhecimento interno correto, mas é induzido ao erro pela presença de texto recuperado. Ao restaurar o equilíbrio entre a evidência visual e o contexto externo, o MAD-RAG permite que os LVLMs aproveitem a aumentação por recuperação sem sacrificar as capacidades de raciocínio visual essenciais para tarefas de KB-VQA. O trabalho sugere que futuros sistemas de RAG para modelos visão-linguagem devem gerenciar explicitamente as dinâmicas de atenção para evitar a supressão da evidência visual pelo contexto textual.