💬 NLP

$G^2$ -Reader: Dual Evolving Graphs for Multimodal Document QA

$G^2$ -Reader 通过引入一个演进式的双图系统——即用于保留原生文档结构的内容图（Content Graph）和用于指导迭代式证据收集的规划图（Planning Graph）——解决了多模态长文档问答中检索增强生成的脆弱性问题，并在 VisDoMBench 上实现了最先进的性能。

原作者： Yaxin Du, Junru Song, Yifan Zhou, Cheng Wang, Jiahao Gu, Zimeng Chen, Menglan Chen, Wen Yao, Yang Yang, Ying Wen, Siheng Chen

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yaxin Du, Junru Song, Yifan Zhou, Cheng Wang, Jiahao Gu, Zimeng Chen, Menglan Chen, Wen Yao, Yang Yang, Ying Wen, Siheng Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图破解一部长达 500 页的宏大推理小说，这部小说由文字、图表、照片和手写笔记混合而成。你是一位专家级侦探（AI），但你的记忆力非常短暂：你一次只能在大脑中保留大约 10 页的内容。

这就是这个被称为 多模态文档问答（Multimodal Document QA）的问题。目前的 AI 系统尝试通过将书切成无数细小的、扁平的碎片（就像把拼图切成一个个独立的方块）来解决这个问题，并从中搜索正确的碎片。问题在于，这破坏了整体画面。一个图表与其说明文字被分开了；一个图形与其解释性的段落被分开了。AI 最终得到的是“语义碎片”——这些碎片在自身独立存在时是无法理解的。

G2-Reader 是一个旨在解决这一问题的全新系统。作者提出了一个使用两个演进图（可以理解为两种不同的地图）协同工作的方案。

1. 内容图（Content Graph）：“活的百科全书”

与其将文档切成扁平的碎片，G2-Reader 构建了一个内容图。

类比： 想象文档不是一叠纸，而是一座城市。
- 节点（建筑）： 每个段落、表格或图形都是一座建筑。
- 边（道路）： 它们之间的连接是道路。标题是连接到图片的道路；引用是连接到前文段落的道路。
魔力（演进）： 在旧系统中，这些道路仅仅基于物理上的相邻关系。在 G2-Reader 中，系统表现得像是一个不断在街道上巡逻的城市规划师。它会问：“这座建筑真的和那座建筑有关联吗？”
- 如果第一章的一个图表解释了第五章的一个图形，规划师就会建立一条新的、隐形的道路将两者连接起来。
- 它会更新建筑上的“标牌”（摘要），使其包含来自邻近建筑的上下文信息。
- 结果： AI 不再只是看到一个漂浮的图表；它看到的是一个与它所讲述的故事相连的图表。这保留了文档的“原生结构”。

2. 规划图（Planning Graph）：“代理侦探的笔记本”

一旦城市地图构建完成，AI 就需要解决特定的问题。这就是规划图发挥作用的地方。

类比： 想象一名侦探正在试图破解一起复杂的案件。他不是在盲目猜测，而是在笔记本中写下一个子问题流程图。
- 根节点： 主问题（“谁偷了饼干？”）。
- 分支： 更小的问题（“管家进入过房间吗？”、“饼干罐开着吗？”）。
魔力（动态重规划）：
- AI 作为一个智能体（Agent）运行。它遵循流程图，在“内容图”（城市）中寻找每个子问题的证据。
- “证据检查员”： 在收集完线索后，系统的一个特殊部分充当质量控制检查员。它查看笔记本并询问：“我们是否有足够的证据来破解主案？”
- “重规划”： 如果检查员说：“不，我们缺少关于管家不在场证明的数据，”系统不会仅仅进行猜测。它会重写流程图。它会增加一个新的分支到笔记本中，专门用于寻找那个缺失的不在场证明。
- 结果： AI 永远不会陷入死循环。它对已知信息和仍需寻找的信息拥有持久的记忆，从而引导它循序渐进地找到答案。

它们如何协同工作

可以将内容图视为图书馆（书籍被完美地组织在一起，并带有交叉引用），而将规划图视为图书管理员的策略（寻找正确书籍的逐步计划）。

图书管理员（规划图）将大问题分解为小的任务。
对于每个任务，他们前往图书馆（内容图）。由于图书馆是具有“生命力”的连接，他们能瞬间找到相关的文本、表格和图像集群。
如果图书管理员意识到自己遗漏了一个线索，他们不会盲目游荡；他们会更新自己的策略图，并回到图书馆去寻找那个特定的缺失部分。

结果

作者在名为 VisDoMBench 的基准测试中测试了这个系统，该测试涉及关于幻灯片、科学论文和表格的复杂问题。

他们使用了一个开源 AI 模型（Qwen3-VL-32B）作为“大脑”。
成果： G2-Reader 达到了 66.21% 的准确率。
对比： 这击败了尝试独立完成此任务的最佳开源模型（29.90%），甚至击败了一个庞大的、专有的“超级模型”（GPT-5），后者的得分仅为 53.08%。

核心启示

该论文声称，对于包含图片和表格的复杂多页文档，结构比单纯的原始算力更重要。通过赋予 AI 一个结构化的文档地图（内容图）和一个搜索它的动态计划（规划图），一个较小的开源 AI 可以超越那些仅仅试图一次性阅读所有内容的更大、更“笨”的系统。

该论文并非声称这已准备好用于医疗诊断或法律法庭；它仅仅证明了这种“双图”架构是阅读和推理复杂文档的一种更优越的方式。

技术摘要：G2-Reader：用于多模态文档问答的双重演化图谱

问题陈述

检索增强生成（RAG）已成为处理长文档问答的主流范式。然而，现有的 RAG 系统在应用于多模态长文档（例如学术论文、幻灯片演示文稿、教科书）时面临显著局限，因为这些文档中的文本、表格和图表是跨越多个页面交错排列的。本文识别了现有方法中存在的两个耦合危机：

表示挑战（The Representation Challenge）： 标准的 RAG 流水线将文档扁平化为独立的文本块。这种“扁平分块”破坏了文档原生的结构和跨模ally 对齐（例如，将图表与其标题分离，或将其与引用文本分离）。因此，检索到的上下文会变成难以独立解释的语义碎片。
检索挑战（The Retrieval Challenge）： 传统的 RAG 在长上下文中通常是单次且脆弱的。虽然引入了迭代检索来逐步细化查询，但在长多模态场景中，由于缺乏持久的全局搜索状态，迭代检索经常会陷入对部分证据的循环或漂移到无关区域，从而产生噪声。这是因为每一步仅由当前的片段引导，而缺乏全局视野。

方法论：G2-Reader

为了解决这些问题，作者提出了 G2-Reader，这是一个通过双图结构同时推进证据表示和检索推理的系统。该系统通过两个紧密耦合且不断演化的图谱运行：

1. 内容图 ( $G_C$ )：结构化多模态表示

G2-Reader 没有采用扁平分块，而是构建了一个异构多模态内容图，以保留文档原生的布局和跨模态语义。

构建： 文档被解析为原子单元（段落、表格、带有标题的图表），构成节点集 $V$ 。边基于阅读顺序（滑动窗口）进行初始化。
联合演化： 该图经历一个由视觉语言模型（VLM）驱动的迭代演化过程（ $T$ $T$ 步）。在每一步中，VLM 执行联合更新，包括节点属性（摘要和关键词）和图拓扑结构（边）。
- 属性更新： VLM 利用来自邻居节点的上下文来丰富节点摘要，解析隐式引用，并强调具有辨识度的特征。
- 拓扑更新： Vcale VLM 识别超越简单相似性的有意义逻辑联系（例如：解释、因果关系、跨模态落地），从而创建一组实质性的依赖关系。
检索： 通过结构感知读取算子进行证据检索。给定查询后，节点按相似度进行排序，并将排名靠前的节点扩展至其在图中的直接邻居，从而确保上下文感知的证据组装。

2. 规划图 ( $G_P$ )：智能体推理状态

规划图是一个有向无环图（DAG），它显式地锚定了推理过程，作为证据组装的动态状态追踪器。

初始化： 分解智能体将用户查询分解为初始的原子子问题 DAG，并编码依赖关系。
执行与细化： 系统按拓扑顺序执行子问题。对于每个子问题，工作智能体从 $G_C$ 中检索局部证据子图并生成中间答案。
验证与重规划： 证据检查器评估累积的中间答案是否足以回答原始查询。
- 如果足够，则流程终止。
- 如果不足，检查器会识别具体的差距（缺失数据、歧义）。随后，分解智能体会通过添加、更新或删除节点来细化规划图，以针对这些差距进行检索。
综合： 一旦满足充分性条件，推理智能体会基于原始查询和经过验证的结构化证据集合成最终答案。

核心贡献

本文声称了三个主要贡献：

问题识别： 正式识别了当前多模态 RAG 系统中碎片化证据表示与不稳定长上下文检索之间的耦合限制。
双图架构： 引入了用于保留多模态文档内语义结构的内容图，以及用于维持推理状态以引导逐步导航完成证据收集的规划图。
经验优越性： 在涵盖五个多模态领域（幻灯片、网页、学术论文、教科书和科学图表）的 VisDoMBench 基准测试中，G2-Reader 达到了最先进的性能。

实验结果

该系统在 VisDoMBench 上进行了评估，并使用开源的 Qwen3-VL-32B-Instruct 作为骨干模型。

整体性能： G2-Reader 实现了 66.21% 的平均准确率。
与基准模型的对比：
- 它显著超越了专有前沿模型 GPT-5 (53.08%)，领先幅度达 13.13 个百分点。
- 它超过了强大的开源基准模型，包括 VisDoMRAG (65.01%) 以及专门的基于图的系统如 GraphRAG (50.86%)。
- 与在零样本设置下的基础 Qwen3-VL-32B 模型 (29.90%) 相比，实现了 121% 的相对提升。
消融研究：
- 多模态性： 包含视觉证据使平均准确率提升了 8.4%。
- 组件协同作用： 内容图与规划图的结合产生的性能增益（+4.8%）超过了它们各自贡献之和，表明两者具有强大的互补性。
- 迭代细化： 对规划图进行适度细化（最多 3 次迭代）可以提高性能，而过度细化会导致收益递减。
- 图演化： 内容图的迭代演化（最多 3 轮）改善了节点表示，但当迭代次数过高时，由于过度平滑，性能会出现下降。

意义与主张

本文证实了一个假设：结构化架构可以赋能开源模型超越强大的闭源前沿模型。通过为复杂的证据组装提供结构化基础，双图方法有效地弥补了中型模型在长上下文推理方面的局限。

作者强调，他们的方法实现了从“文档即文本”到“文档即知识”的范式转变，将视觉丰富的文档转化为显式的、可重用的外部知识结构。这种方法促进了更具可控性的知识管理，以及对多模态长文档更稳健的推理，解决了当前 RAG 系统在现实场景中的脆弱性问题。这项工作表明，对于复杂的多模态推理任务，精细的证据组织和迭代规划比单纯的模型规模扩张或专有训练更为有效。