💬 NLP

MCite-RL: Towards Reliable Multimodal RAG via Citation-enhanced Agentic Reinforcement Learning

该论文提出了 MCite-RL，一种引用增强型智能体强化学习框架，通过引入用于动态视觉引用的迭代智能体细化模块以及旨在共同优化答案准确性和来源可追溯性的双层奖励机制，提升了多模态 RAG 的可靠性。

原作者： Suifeng Zhao, Zida Liu, Xinyu Lei, Lei Sun, Jun Gao, Sujian Li

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Suifeng Zhao, Zida Liu, Xinyu Lei, Lei Sun, Jun Gao, Sujian Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代数字时代，人工智能已经学会了以非凡的技巧阅读文本和观察图片。当这些系统被问及复杂问题时，它们通常会转向文档库来寻找正确答案，这一过程被称为检索增强生成。想象一下向图书管理员询问一个特定的事实：图书管理员找到那本书，阅读那一页，然后告诉你答案。多年来，这一系统在仅处理文本时表现良好。然而，随着这些人工智能模型变得越来越先进，它们已开始处理充满图表、图形和照片的文档。现在的挑战不仅在于找到正确的一页，还在于精确地指向那一页上的特定位置——即证明答案属实的图表中的微小部分或照片中的一个小方框。如果没有这种指向证据的能力，该系统就像一名在考试中给出了正确答案却无法展示解题过程的学生，让老师无法验证学生是真的理解了材料，还是仅仅在瞎猜。

来自北京大学和松下连接（Panasonic Connect）的研究小组开发了一种新方法，旨在解决视觉世界中“展示解题过程”的问题。他们将该系统称为 MCite-RL。其核心思想是教导人工智能不仅仅是寻找答案，而是将寻找证据的过程视为一次细致、循序渐进的调查。该系统并非通过一次快速扫视来猜测证据的位置，而是接受训练，使其表现得像一名侦探：通过缩放文档、剪掉无关部分，并不断缩小搜索区域，直到只剩下关键信息为止。这一过程由一种新型学习引导，在这种学习中，人工智能收到的反馈不仅取决于最终答案是否正确，还取决于它在寻找视觉证据的过程中表现如何。

研究人员发现，以往的方法通常会在两个特定方面失败。有时，人工智能指向的图片范围过大，例如覆盖了整个图表而非所需的单个数字，导致引用失去验证意义。另一些时候，人工智能给出了正确的答案，但指向了图像中完全不同的部分，仿佛答案与证据之间是脱节的。为了解决这个问题，该团队创建了一个结合了“冷启动”阶段和强化学习阶段的训练过程；在冷启动阶段，人工智能学习搜索和裁剪图像的基本步骤；在第二个阶段，人工智能在许多不同的场景中进行演练，尝试寻找答案及其证据。如果它成功地将图像缩小到正确的地点并得到了正确答案，它就会获得奖励。如果它迷失了方向或指向了错误的区域，它就会从错误中学习。

该方法的成果在包括财务报告和长篇维基百科页面在内的三组不同挑战性文档上进行了测试。新系统显著优于现有方法。在一项主要测试中，与标准方法相比，它在指向正确视觉证据的精确度上提升了 26% 以上。或许更令人惊讶的是，通过强制人工智能精确指出其获取信息的来源，该系统在获取正确答案的能力上也得到了提升，准确率平均上升了近 6%。研究表明，当人工智能接受关于其来源严谨性的训练时，它整体上会变得更加可靠。研究人员指出，虽然该系统是一个重要的进步，但在高风险情况下仍需要人类的仔细监督，且目前最适用于单张图像而非复杂的、多页的文档。最终，这项工作证明了教导人工智能指向其证据，不仅是一种验证其工作的方式，也是一种帮助其更清晰思考的强大工具。

技术摘要：MCite-RL

问题陈述
多模态检索增强生成（RAG）系统旨在通过将生成的答案与视觉证据相联系，来增强多模态大语言模型（MLLM）的可追溯性和可验证性。然而，现有的方法，特别是依赖于监督微调（SFT）或静态 RAG 流水线的方法，面临两个关键局限性：

视觉引用不精确： 模型往往无法在正确的粒度上定位证据，产生的边界框要么过于粗糙（覆盖了无关区域），要么过于精细（丢失了关键细节），从而导致空间漂移。
答案-引用脱节： 生成的答案与引用的视觉区域之间经常存在不一致。模型可能基于内部推理生成了正确的答案，但引用的却是完全不同上下文的视觉区域，从而损害了系统的可信度。

现有方法将视觉接地（visual grounding）视为一个静态的、单步的过程或一种隐式的中间信号，缺乏可靠、细粒度引用复杂多模态文档所需的迭代优化和显式优化。

方法论：MCite-RL
作者提出了 MCite-RL，这是一个旨在联合优化答案准确性和来源可追溯性的引用增强型智能体强化学习框架。该框架由两个核心组件组成：

智能体细化工作流（Agentic Refinement Workflow）：
- 该模型并非进行单步生成，而是作为一个执行顺序决策轨迹 ( $\tau$ ) 的智能体运行。
- 该过程涉及迭代检索和渐进式视觉裁剪。智能体在检索相关图像和剪裁无关视觉区域之间交替进行，以缩小搜索空间。
- 这一动态过程将引用从一个静态步骤转变为一个由证据驱动的推理循环，允许模型在生成最终答案和引用之前，逐步收敛到最优视觉区域 ( $\hat{v}_{cT}$ )。
引用增强型奖励机制（Citation-Enhanced Reward Mechanism）：
- 该框架采用了一个复合奖励函数 $R(\tau)$ ，在强化学习（具体使用组相对策略优化，GRPO）范式内整合了过程级和结果级反馈。
- 过程级奖励 ( $R^{proc}_{cit}$ )： 使用交并比（Intersection-over-Ground-truth, IoGT）来评估中间裁剪区域。这激励智能体在整个剪裁过程中保留核心证据，防止在搜索过程中发生信息丢失。
- 结果级奖励 ( $R^{out}_{cit}$ )： 使用交并比（Intersection-over-Union, IoU）来评估最终预测的引用与地面真值（ground truth）之间的匹配度，确保定位的精确性。
- 附加奖励： 该函数还包括检索效率（nDCG）、答案准确性（精确匹配）以及格式约束，以确保智能体轨迹的有效性。

训练流水线
训练遵循两个阶段的过程：

SFT 冷启动： 首先在由 GPT-5 生成的包含逐步智能体轨迹（检索、裁剪、回答）的合成数据上对模型进行微调。这建立了基准策略，并让模型熟悉所需的结构化序列。
引用增强型 RL： 使用 GRPO 对经过 SFT 微调的模型进行强化学习训练。智能体生成多个采样轨迹（rollouts），并根据引用增强型奖励更新策略，直接针对引用精度和答案正确性进行优化。

核心贡献

框架： 引入了 MCite-RL，它将智能体工作流与引用增强型强化学习相结合，以解决多模态 RAG 中的可靠性差距。
工作流设计： 一种用于视觉引用的新型智能体细化机制，通过迭代证据细化，在共享的推理过程中实现答案与引用的对齐。
奖励函数： 开发了一种多层级奖励函数，能够显式地优化（包括过程级和结果级）引用精度以及答案准确性，将引用视为主要目标而非副产品。
实证验证： 通过广泛的评估证明，显式的引用监督驱动了引用精度和答案质量的双重提升。

实验结果
作者在三个基准测试集 Wiki-VISA、FinRAGBench-V 和 MMLongBench-Doc 上评估了 MCite-RL，使用了 Qwen2.5-VL (3B 和 7B) 作为骨干网络。

引用精度： MCite-RL 相比基准模型取得了显著提升。在 Qwen2.5-VL-7B 骨干网络上，其交并比（IoU）指标比原生 RAG 平均提高了 26.16%。具体而言，它在 Wiki-VISA 上达到了 36.05% 的引用精度，在 FinRAGBench-V 上达到了 37.22%，优于 VRAG-RL 等强基准模型以及闭源模型（如 GPT-4o、Gemini-2.0）。
答案准确性： 引用奖励的集成同时也带动了答案准确性的提高。对于 7B 模型，MCite-RL 在 Wiki-VISA 上实现了 60.00% 的准确率，比之前的强基准模型高出 4–6%。
消融研究： 移除 RL 阶段或引用奖励会导致性能显著下降，证实了战略性奖励优化是成功的核心驱动力。研究还指出，结果级奖励对于防止过度扩张的裁剪至关重要，而过程级奖励则确保了证据的保留。

意义与主张
论文声称，MCite-RL 为可靠多模态 RAG 的挑战提供了一个系统性的解决方案，并证明了在目标层面显式优化引用精度至关重要。作者认为，引用增强型强化学习不仅提高了输出的可验证性，还通过迫使模型将其推理建立在精确且共享的视觉证据之上，从而提升了答案质量。这项工作强调，可靠的多模态 RAG 不仅仅需要准确的答案；它还需要精确的证据定位以及一致的“答案-引用”对齐，而这可以通过迭代式的智能体细化和多层级奖励监督来实现。

局限性
作者承认当前的训练过程引入了计算开销，且目前的表述仅限于基于单张图像的边界框式引用，尚未显式建模更具表现力的引用结构。他们指出，虽然系统提高了可追溯性，但并不能保证所检索内容本身的客观事实正确性。

技术摘要：MCite-RL

类似论文