💬 NLP

VisRAG2.0: Mitigating Visual Hallucinations via Evidence-Guided Multi-Image Reasoning in Visual Retrieval-Augmented Generation

该论文提出了 EVisRAG，这是一个以证据为引导的框架，通过显式收集与问题相关的视觉证据，并采用一种新型的 RS-GRPO 算法来改进定位与推理的联合优化，从而缓解多图推理中的视觉幻觉问题，并在视觉问答基准测试中取得了显著的性能提升。

原作者： Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图解开一个谜团，但你拿到的不是单一的线索，而是一叠乱七八糟的三份不同报纸、照片和地图。你的口袋里有一个超级聪明的侦探——一个名为“视觉语言模型”（VLM）的计算机程序，它既能阅读文本，也能观察图片。这个侦探非常擅长回答问题，但当面对一大堆图像时，他们有时会感到困惑。他们可能会开始编造一些并未见到的细节，比如声称一张照片显示的是猫，而实际上是一只狗，或者把来自两个不同页面的事实混淆在一起。这被称为“视觉幻觉”。

为了帮助这些侦探，科学家们开发了一种名为“视觉检索增强生成”（Visual Retrieval-Augmented Generation, VRAG）的系统。你可以把它想象成给侦探办了一张图书证。当你提出问题时，系统会立即从图书馆中调取最相关的页面并递交给侦探。其核心理念是：如果侦探面前有正确的证据，他们就不需要靠猜测或编造来回答。然而，即使有了正确的页面，侦探也经常难以在嘈激的信息中找到那句确切的话或那张图片，或者他们可能会被无关细节分散注意力，从而仍然编造出一个答案。大问题在于：我们如何教导这位侦探成为一名真正的调查员，让他们仔细扫描每一页，只写下他们实际看到的实事，然后通过推理而非猜测来破解谜团？

这正是论文《VisRAG 2.0》（特别是 EVisRAG 框架）旨在解决的问题。作者团队是由来自中国的大学研究人员组成的，他们提出了一种新的方法来训练这些 AI 侦探，让他们停止幻觉，开始利用真实证据进行推理。他们发现，以往的方法就像是给侦探一叠纸并说：“你自己搞定吧！”这往往会导致混乱。相反，EVisRIG 强制模型扮演一名细致入微的侦探，遵循严格的三步走流程：观察（Observe）、记录（Record）和推理（Reason）。

首先，模型观察检索到的图像，并逐页明确说明它看到了什么。其次，它创建一个“证据日志”，写下来自每张图像的具体事实，并且至关重要的一点是，还要注明哪些图像中没有有用的信息。最后，它仅使用这份书面日志来解决问题。为了确保模型确实学会了这种行为，研究人员发明了一种新的训练方法，称为 RS-GRPO（奖励范围组相对策略优化，Reward-Scoped Group Relative Policy Optimization）。你可以把它想象成一位非常严厉的教练，这位教练不仅仅根据最终答案给出一个分数，而是会给出两项独立的评分：一项是“你是否看了正确的图片？”，另一项是“你是否正确地记录了事实？”。这防止了模型仅仅因为靠运气猜对了答案而获得高分，从而确保它真正学会了先寻找证据。

这种新方法的实验结果非常令人印象深刻。在各种视觉问答基准测试（如阅读图表、文档和幻灯片）中，EVisRAG 模型在准确率上平均比标准的“骨干”模型高出约 19%。更重要的是，它显著减少了模型编造事实的情况。在一次特定的测试中，标准模型可能会看着一张图表，自信地断言错误的国家人口更多，因为它幻觉出了一个数字。然而，EVisRAG 会观察图表，将正确的数字写进它的证据日志，然后正确地推导出答案。

该论文还反对认为仅仅让模型“思考得更久”或增加更复杂的智能体（agents）就是最佳解决方案的观点。相反，他们证明了结合他们特定的训练方法（RS-GRPO）的一种结构化、证据引导的方法更为有效。他们展示了通过限定奖励的范围——即只在正确的时刻给予正确的行动以信用——模型会变得更加稳定和可靠。虽然论文并未声称这解决了 AI 可能面临的所有问题，但实验表明，这种方法是让视觉 AI 系统变得更加值得信赖、准确且不易在观察多张图像时信口开河的一个重大进步。

技术摘要：VisRAG2.0 (EVisRAG)

问题陈述

视觉检索增强生成（Visual Retrieval-Augmented Generation, VRAG）旨在为视觉语言模型（VLMs）配备外部视觉证据，以回答超出其参数化知识范围的问题。然而，现有的 VRAG 方法在多图场景下面临显著挑战：

视觉幻觉： VLMs 在处理多个检索到的图像时，往往无法准确识别与问题相关的证据，导致错误的答案或凭空捏造不存在的视觉内容。
缺乏显式的证据收集过程： 当前的方法通常将基于文本的 RAG 实践直接移植到视觉领域，而没有显式的跨图像证据收集过程。它们依赖于外部智能体或工具，增加了架构复杂性和计算成本。
训练不稳定： 使用混合奖励对视觉感知和推理进行联合优化会导致训练不稳定。由于缺乏明确的信用分配（credit assignment），不同信号之间会产生干扰，导致来自异构目标的梯度在无关 token 上发生竞争。

方法论：EVisRAG

作者提出了 EVisRAG（证据引导的视觉检索增强生成），这是一个旨在使 VLMs 能够在多张图像中执行精确视觉感知和推理的框架。

1. 证据引导的推理过程

EVisRAG 将生成过程结构化为四个不同的阶段，通过显式分离观察、证据记录和推理，超越了标准的思维链（CoT）：

检索（Retrieval）： 检索与查询相关的 top- $k$ 个文档页面快照。
视觉感知/观察（Visual Perception/Observation）： 模型按顺序观察检索到的图像，生成粗粒度的、具有页面感知能力的观察结果（ $y_o$ ），以建立对视觉内容的理解。
证据记录（Evidence Recording）： 在查询和观察的条件下，模型生成单图证据序列（ $y_e$ ）。至关重要的是，对于缺乏证据的图像，它会显式地记录“无相关信息”，从而防止模型将无关细节强行纳入推理过程。
答案推理（Answer Reasoning）： 模型基于聚合后的证据（ $y_p = \{y_o, y_e\}$ ）进行“侦探式”推理（ $y_r$ ），通过构建假设、交叉检查矛盾并组织连贯的轨迹，最后生成最终答案（ $y_a$ ）。

2. 奖励范围限定的组相对策略优化（RS-GRPO）

为了有效地训练 EVisRAG，作者引入了 RS-GRPO，这是组相对策略优化（GRPO）的一种扩展，旨在解决多阶段推理中的信用分配问题。

奖励范围（Reward Scopes）： 输出序列被划分为四个范围：观察（ $T_o$ ）、证据记录（ $T_e$ ）、推理（ $T_r$ ）和回答（ $T_a$ ）。
细粒度奖励： 应用三种特定的奖励：
- 格式奖励（ $R_{format}$ ）： 强制执行结构化工作流（观察 $\to$ 记录 $\to$ 推理 $\to$ 回答）。
- 感知奖励（ $R_{perception}$ ）： 评估在证据记录阶段是否正确定位并总结了与问题相关的区域。
- 推导奖励（ $R_{derivation}$ ）： 评估最终答案是否正确地从记录的证据中推导出来。
范围化优化（Scoped Optimization）： 与传统方法将奖励广播到整个序列不同，RS-GRPO 将每种奖励限制在其有效的 token 范围（例如， $R_{perception}$ 仅监督 $T_o$ 和 $T_e$ ）。这减少了跨阶段的干扰，锐化了优化信号，并稳定了训练。

核心贡献

EVisRAG 框架： 一种新颖的架构，它显式地将视觉证据收集与推理分离，使 VLMs 能够像“侦探”一样，在得出结论之前逐图收集并验证证据。
RS-GRPO 算法： 一种训练策略，通过引入特定范围的奖励来使奖励信号与特定的 token 跨度对齐。这减轻了感知与推理目标之间的干扰，实现了更稳定且有效的联合优化。
全面的评估： 在五个多样化的 VQA 基准测试（ChartQA, InfoVQA, DocVQA, SlideVQA, ViDoSeek）上进行了广泛的实验，证明了该方法的有效性。

实验结果

性能提升： EVisRAG（使用 7B 参数骨干网络）在准确率上平均比基线 Qwen2.5-VL-7B 高出 19%，在 F1 分数上高出 27%。它还超越了更大规模的 32B 模型以及其他最先进的 VLRM 和 VRAG 方法。
减少幻觉： 该框架显著减少了视觉幻觉。在检索内容错误的情况下，EVisRAG 显示出受控的弃权（拒绝回答）增长，而不是生成错误的答案，这表明其对检索内容的忠实度有所提高。
消融研究：
- 用“证据引导推理”取代通用的 CoT 会带来持续的收益，证明了结构化证据定位的价值。
- RS-GRPO 的表现优于 DAPO 和 StepGRPO，证实了范围化信用分配对于性能至关重要。
注意力分析： 在对比方法中，EVisRAG 实现了最高的视觉证据注意力比例（集中在人工标注的证据框上），这与更高的推理准确率强相关。
效率： 尽管采用了多阶段生成，EVisRAG 仍保持了具有竞争力的推理延迟（约 100 秒）和输出长度，优于在相似或更低准确率下产生更高计算成本的基线模型（如 R1-Router）。

意义

论文声称，显式证据收集和范围化奖励设计是提高多图场景下视觉定位和推理可靠性的有效机制。通过将感知与推理解耦并应用针对性监督，EVisRAG 解决了 VRAG 中视觉幻觉的根源问题。这项工作表明，配备该框架的 7B 模型可以超越规模大得多的模型，为实现更可靠、更具可解释性且具备抗幻觉能力的视觉检索增强生成系统提供了一条切实可行且可扩展的路径。