技术摘要：当 RAG 造成损害时：诊断并缓解检索增强型 LVLM 中的注意力分散问题

问题定义

虽然检索增强生成（RAG）是增强大型视觉语言模型（LVLM）在知识型视觉问答（KB-VQA）任务中表现的主流范式，但最近的观察表明，RAG 并不总能提升性能。具体而言，本文识别了一种被称为**注意力分散（Attention Distraction, AD）**的独特失效模式：即引入检索到的文本上下文会导致 LVLM 在原本在闭卷设置下能够正确回答的问题上失败，即使检索到的信息是准确且高度相关的。

作者将 AD 诊断为多模态生成过程中一种系统性的注意力分配错误，其特征表现为两个特定的现象：

1. 跨模态注意力分散（Cross-Modal Attention Distraction）： 检索到的上下文会主动抑制分配给图像 token 的全局注意力。与闭卷推理相比，模型会将注意力从视觉模态转向文本模态，导致图像注意力比例降低了 12.1%–41.1%。
2. 图像内注意力分散（Intra-Image Attention Distraction）： 即使在视觉模态内部，注意力也会从与问题相关的区域转移到背景或语义无关的区域。这是因为检索到的文本破坏了模型将其推理锚定在特定视觉证据上的能力。

论文认为，以往将 RAG 失败归因于上下文注意力不足（并提议增加文本注意力）的工作忽视了这种内在的相互依赖关系。仅仅增加对上下文 token 的注意力无法解决核心问题：即检索上下文对视觉定位（visual grounding）的抑制作用。

方法论：MAD-RAG

为了解决注意力分散问题，作者提出了 MAD-RAG（用于缓解检索增强型 LVLM 中注意力分散的方法）。这是一种无需训练、在推理阶段进行的干预措施，旨在将视觉定位与上下文集成进行解耦。该方法由两个主要部分组成：

1. 双重问题构建（Dual-Question Formulation）

标准的 RAG 输入遵循 $[I, Q, C]$（图像、问题、上下文）的结构。作者观察到，在这种格式下，问题 token 作为视觉注意力的查询项，由于因果掩码（causal masking）的存在，与检索到的上下文处于隔离状态，从而形成了信息瓶颈。
MAD-RAG 将输入重构为 $[I, Q_I, C, Q_C]$，其中：

• $Q_I$（图像-问题 token）紧跟在图像 token 之后，迫使模型在看到上下文之前优先进行视觉定位。
• $Q_C$（上下文-问题 token）附加在检索到的文档之后，允许模型整合外部知识。
  这种解耦确保了模型在合并外部信息之前形成可靠的视觉参考，从而减少了跨模态干扰。

2. 用于保持视觉定位的注意力混合（Attention Mixing for Visual Grounding Preservation）

尽管采用了双重问题结构，长文本检索上下文仍可能诱发“近因偏差”（recency bias），导致模型过度关注文本而非远端的图像 token。为了抵消这一现象，MAD-RAG 引入了注意力混合机制。
在每个 Transformer 层，通过注入由图像-问题 token ($Q_I$) 衍生的图像定位注意力权重，来修改上下文-问题 token ($Q_C$) 的注意力权重。混合后的注意力输出 $\hat{O}(Q_C)$ 通过凸组合计算得出：
$$\hat{O}(Q_C) = \alpha \cdot O(Q_I) + (1 - \alpha) \cdot O(Q_C)$$
其中 $\alpha \in [0, 1]$ 是混合权重。该操作通过显式地在 $Q_C$ 的上下文集成阶段保留由 $Q_I$ 建立的视觉定位，确保推理过程仍聚焦于与问题相关的图像区域。

核心贡献

本文做出了三个主要贡献：

1. 刻画注意力分散（AD）： 作者识别并定义了 AD 是检索增强型 LVLM 中的一种独特的失效模式，包含视觉注意力的跨模态抑制和图像内注意力漂移。他们证明了这种性能退化源于生成过程中的不当注意力动态，且与检索质量无关。
2. 实证分析： 通过对注意力热力图和 token 级注意力比例的广泛分析，论文提供了证据，证明 AD 源于长上下文多模态推理中检索增强与自回归注意力动态之间的相互作用。
3. MAD-RAG 框架： 作者引入了一种简单、高效且无需训练的方法，能够稳健地将视觉注意力与问题对齐。该方法无需重新训练，无需修改检索器，且产生的计算开销微乎其微。

实验结果

作者在三个 KB-VQA 基准测试集（OK-VQA、E-VQA 和 InfoSeek）上，针对多个 LVLM 系列（LLaVA-1.5、Qwen2.5-VL）对 MAD-RAG 进行了评估。

• 性能提升： MAD-RAG 一致优于 vanilla RAG 以及现有的基准方法（包括面向 RAG 的方法如 CAD、AdaCAD、ALFAR，以及缓解幻觉的方法如 DoLA、VCD）。
  • 相比 vanilla RAG，在 OK-VQA 上实现了高达 4.76%、在 E-VQA 上实现 9.20% 以及在 InfoSeek 上实现 6.18% 的绝对提升。
• 失效模式修复： 该方法专门针对“闭卷正确，RAG 错误”的失效案例。MAD-RAG 修复了 OK-VQA 上高达 74.68% 的此类注意力分散案例，并在其他数据集上也表现出类似的极高修复率。
• 鲁棒性： 该方法在不同的上下文长度和检索质量（包括 oracle 检索器和真实世界检索器）下均表现出鲁棒性。即使随着上下文长度增加，它仍能保持性能增益，而基准方法通常会发生性能退化。
• 效率： MAD-RAG 引入的开销极小，与 vanilla RAG 相比，推理时间仅增加了 9–11%。相比之下，其他校准方法（如 CAD、OPERA）会增加 3 倍或更多的延迟。

意义与主张

论文声称，注意力分散是多模态 RAG 中一个被忽视的基础性问题。MAD-RAG 的意义在于它能够在无需昂贵重训或复杂架构更改的情况下，稳定视觉定位。

作者强调，在模型拥有正确内部知识但被检索文本误导的情况下，他们的方法解决了 RAG 诱发失败的根本原因。通过恢复视觉证据与外部上下文之间的平衡，MAD-RAG 使 LVLM 能够在不牺牲对 KB-VQA 任务至关重要的视觉推理能力的前提下，充分利用检索增强。这项工作表明，视觉语言模型的未来 RAG 系统必须显式管理注意力动态，以防止视觉证据被文本上下文所抑制。