💬 NLP

MAGE-RAG: Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG in Long-Document QA

MAGE-RAG 是一种用于长文档多模态问答的多粒度自适应图框架，它通过迭代地激活和剪枝页面及元素节点来构建查询时证据子图，从而在证据覆盖范围与噪声减少之间取得平衡，在 LongDocURL 和 MMLong-Doc 上实现了最先进的性能。

原作者： Yilong Zuo, Xunkai Li, Jing Yuan, Qiangqiang Dai, Hongchao Qin, Ronghua Li

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yilong Zuo, Xunkai Li, Jing Yuan, Qiangqiang Dai, Hongchao Qin, Ronghua Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图破解谜题的侦探，但交给你的不是桌上的几件线索，而是一本厚达 500 页、充满了文字、图表、照片和复杂图解的百科全书。你的目标是在其中找到隐藏的特定答案。

这就是**长文档多模态问答（Long-Document Multimodal Question Answering）**所面临的挑战。这篇论文介绍了一种名为 MAGE-RAG 的新系统来解决这个问题。以下是它的工作原理，通过简单的解释呈现：

问题所在：“一刀切”的错误

目前的系统尝试用两种有缺陷的方式来破解这个谜题：

“仅限文本”法： 它们阅读文字，却丢弃了图片和布局。这就像是在阅读一部电影的剧本，却从未见过演员或场景。你可能会错过隐藏在图表或图解中的关键线索。
“整页抓取”法： 它们抓取整页书的内容并展示给 AI。但如果答案只是页面中间的一小句话，AI 就会被周围所有的无关杂物（如广告、页脚或无关图像）所淹没。这就像是试图通过把整个干草堆交给机器人来寻找其中的一根针。

这两种方法都陷入了“固定”模式：无论问题有多难或多易，它们都会抓取固定数量的页面或区块。

解决方案：MAGE-RAG（聪明的侦探）

MAGE-RAG 扮演着一个聪明的、适应性强的侦探角色，它不只是抓取页面，而是构建了一张文档的动态地图。

1. 地图（多粒度图谱）

在侦探开始寻找之前，MAGE-RAG 会先构建一张特殊的“地图”。

页面节点（Page Nodes）： 这些是大的地标（整个页面）。
元素节点（Element Nodes）： 这些是微小的细节（特定的段落、表格、图表或列表）。
连接（Connections）： 地图绘制了这些项目之间的线条，展示它们是如何关联的。例如，它知道某个图表是位于特定章节之内的，或者某个表格是紧邻某段文字的。

这张地图允许系统根据需要进行“放大”查看微小细节，或“缩小”以观察整个页面。

2. 调查过程（查询时控制）

当你提出问题时，MAGE-RAG 不会直接把数据一股脑丢给 AI。它玩的是一场带有严格预算（即对使用时间和内存的限制）的“热与冷”游戏。

第 1 步：切入点： 它首先抓取几个可能的页面（就像侦探走进正确的房间）。
第 2 步：迭代搜寻： 系统有一个“控制器”，充当项目经理的角色。它会询问：
- “我们掌握的信息足够了吗？”
- “我们是否应该放大并打开那个特定的图表？”（打开节点）
- “我们应该看前一页还是后一页？”（搜索/扩展）
- “这个段落无关紧要吗？让我们忽略它。”（剪枝）
第 3 步：预算： 侦探有一条规则：“我只能看 5 页并打开 10 个细节。”如果答案很简单，他们会提前停止。如果答案很复杂且散落在书中的各处，他们会动用全部预算进行深度挖掘。

3. 最终报告（结构化渲染）

一旦侦探收集齐了正确的线索，他们不会只交上一堆乱七八糟的纸张。他们会将证据组织成一份整洁、结构化的报告。他们向 AI 展示特定的文本、图表的精确裁剪图以及相关的页面布局，剔除所有噪音。

为什么它更好（结果）

论文在两个充满长篇、复杂文档的困难数据集（LongDocURL 和 MMLongBench-Doc）上对其进行了测试。

准确性： MAGE-RAG 在一个测试中达到了约 52.75% 的准确率，在另一个测试中达到了 53.26%，击败了以往依赖固定页面计数或纯文本搜索的方法。
效率： 它不仅仅是通过“读得更多”来获胜，而是通过“读得更聪明”来获胜。它成功找到了那些散布在不同页面或隐藏在复杂布局中的答案，而其他系统则错过了这些答案。
透明度： 因为系统保留了“追踪记录”（每一步操作的日志），我们可以清楚地看到它是如何成功或失败的。是漏掉了正确的页面？还是过早地剪枝掉了某个线索？这使得系统更容易进行调试。

核心结论

MAGE-RAG 改变了游戏规则——从“抓取几页并寄希望于运气”转变为“构建地图、追踪线索，并只向 AI 展示解决谜题所需的精准信息”。它平衡了观察大局（页面）的需求与观察精细细节（特定图表或文本）的需求，同时在严格的时间和资源预算内运行。

技术摘要：MAGE-RAG

问题定义

长文档多模态问答（QA）要求系统能够从冗长的 PDF 中定位稀疏证据，并整合来自文本、表格、图像、图表和复杂布局的异构线索。现有的检索增强生成（RAG）方法面临三个主要局限性：

固定 Top-k 与静态预算： 当前的方法将每个查询映射到固定数量的页面或分块。这造成了一种权衡：较小的 $k$ 会遗漏分散的跨页证据，而较大的 $k$ 则会引入过多的噪声和无关区域，尤其是在处理无法回答或单页问题时。
单一粒度证据： 基于文本的检索压缩了上下文但丢失了视觉和布局信息。相反，页面级视觉检索保留了原始布局，但迫使阅读器处理大量无关区域，增加了推理成本和噪声。
缺乏查询时控制： 标准流水线直接将检索到的候选对象传递给阅读器，缺乏明确的机制来追踪证据状态、管理缺口，或根据特定查询的需求动态扩展/剪枝证据。

本文将长文档多模ual问答形式化为一个预算约束下的查询时证据子图构建问题，旨在平衡证据覆盖率、噪声控制和推理成本。

方法论：MAGE-RAG

MAGE-RAG（用于智能多模态 RAG 的多粒度自适应图证据）通过一个包含四个相互关联组件的框架来解决这些局限性：

1. 离线多粒度证据图构建

在查询时间之前，系统将 PDF 解析为一个异构证据图 $G_D = (V, E)$ ：

节点： 图包含代表全页视图（保留布局和视觉上下文）的页面节点（ $V_p$ ）和代表细粒度组件（标题、段落、表格、图表、图像、公式）的元素节点（ $V_e$ ）。
边：关系编码了文档结构，包括包含关系（页面到元素）、阅读顺序、布局相邻性、章节层级以及语义邻近关系。
属性： 每个节点存储多模态描述，包括摘要、文本内容、边界框和图像引用。

2. 页面级初始定位

在查询时，系统使用页面级视觉检索（例如 ColPali）来识别前 $k$ 个最相关的页面。这作为一个鲁棒的切入点，通过初始化页面节点而非尝试从头搜索整个元素空间来初始化工作记忆。

3. 在线证据控制器

一个迭代控制器通过在定义的预算（ $B$ ）内执行一系列动作来管理证据状态（ $S_t$ ）。每个节点的状态可以是未激活（Inactive）、激活（Active，已选入工作记忆）、已打开（Opened，详细内容已暴露）或已剪枝（Pruned，已丢弃）。

动作空间： 控制器执行 ACTIVATEPAGE（激活页面）、ACTIVATENODE（激活节点）、OPENNODE（打开节点）、SEARCHEVIDENCE（聚焦式重检索）、PRUNENODE（剪枝节点）和 STOP（停止）。
决策过程： 评估器根据当前问题、证据状态和近期轨迹估计候选动作的边际效用。它决定是扩展图、打开特定元素、搜索新页面，还是剪枝低价值节点。
预算约束： 过程受到初始页面数、每次迭代的激活动作数、总迭代次数以及最终打开节点数的限制，以防止上下文无限增长。

4. 结构化多模态阅读器渲染

最终的证据子图被渲染为大型视觉语言模型（LVLM）阅读器的结构化输入。该输入将页面图像、局部节点裁剪和边界框与包含节点摘要及类型的 XML 结构化文本对齐。这使得阅读器能够消费紧凑、相关且具有视觉依据的证据，而非原始、非结构化的文本或完整页面。

核心贡献

问题形式化： 作者诊断了固定粒度检索的局限性，并提出将长文档问答形式化为预算化的证据子图构建，强调了查询时状态管理的需求。
MAGE-RAG 框架： 本文引入了一个统一了页面级视觉切入点、多粒度文档图、在线证据控制器和结构化渲染的系统。这实现了在共享状态空间内对证据进行动态选择、扩展和剪枝。
统一协议与分析： 作者在 LongDocURL 和 MMLongBench-Doc 上建立了一个统一的比较协议，不仅分析准确率，还分析了证据预算、轨迹行为和粒度分解（单页 vs 跨页、证据类型）。

实验结果

系统在 LongDocURL 和 MMLongBench-Doc 上进行了评估，并与 Direct MLLM、Text RAG (BM25, ColBERTv2)、Page-level Visual RAG (M3DocRAG, VisRAG) 以及 Graph/Agentic RAG (MLDocRAG, G2-Reader) 进行了对比。

性能： MAGE-RAG 在 LongDocURL 上实现了 52.75% 的整体准确率，在 MMLongBench-Doc 上实现了 53.26% 的准确率（51.19 F1）。
对比： 其表现优于 Direct MLLM、Text RAG、Page-level Visual RAG 以及图/智能基线 G2-Reader。值得注意的是，与视觉 RAG 基线相比，它在跨页推理任务中显示出显著提升（例如，在 MMLongBench-Doc 上，其跨页准确率为 34.70%，而 M3DocRAG 为 24.87%）。
粒度： 系统证明，与单一粒度方法相比，结合页面级锚点与元素级局部证据能使异构证据类型（文本、表格、图表）的表现更加稳定。
轨迹分析： 详细的轨迹分析表明，正确样本并不一定比错误样本需要更长的轨迹或更多的迭代；相反，它们受益于更有效的证据选择（打开相关节点并剪枝无关节点）。

意义与主张

论文声称，MAGE-RAG 证明了查询时证据子图构建可以有效地平衡分散的证据覆盖范围与上下文噪声控制。通过将检索视为一个迭代的、有状态的过程而非一次性决策，该框架能够适应每个问题的特定证据需求。

作者谨慎地指出，该框架的上界取决于离线证据图的质量，且控制器会引入额外的计算成本（评估器调用）。他们认为该方法特别适用于具有稀疏证据、跨页依赖或复杂视觉布局的长文档场景，同时也承认对于所有短文档或单跳情况而言，该方法可能并非最具成本效益。这项工作提供了一种可追踪、可审计的机制，用于诊断多模态文档理解中的失败，从而超越简单的准确率指标，转而分析证据构建过程本身。