💬 NLP

DocMemo: Dynamic Evidence Discovery via Probabilistic Memory-Guided Retrieval for Multi-Modal Document Understanding

DocMemo 是一个记忆引导的框架，它通过三层记忆系统和贝叶斯信念更新来动态探索证据，从而增强长文档理解，进而克服了现有多模态文档分析方法中静态检索和脆弱的轮次间状态传播的局限性。

原作者： Hanshu Yao, Janfeng Zhong, Niu Lian, Jinpeng Wang

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Hanshu Yao, Janfeng Zhong, Niu Lian, Jinpeng Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图解开一个巨大的谜团，但线索并非隐藏在单一的笔记本中，而是散落在一家拥有数百本书籍、每本书都有数百页的图书馆里。有些线索是用文字书写的，有些隐藏在复杂的图表中，还有些则藏在微小的图示中。这就是人工智能领域中“长文档理解”的世界。目前，大多数人工智能模型表现得就像一个试图一次性读完整个图书馆的学生。但由于它们的“大脑”（或称“上下文窗口”）太小，无法容纳所有内容，因此它们必须先挑选几页来阅读。问题在于，如果它们在一开始选错了页面，就会陷入困境且无法纠正错误。其他更聪明的 AI 模型尝试阅读几页，思考一下，然后再阅读更多，但它们往往会忘记在前一步学到的东西，将每一次新的搜索都当作是第一次。这篇名为 DocMemo 的论文提出了一种新的 AI 思考方式：通过赋予它一种“记忆”，帮助它记住已经学到了什么、还需要寻找什么，以及图书馆中的页面是如何相互连接的，从而让它能像人类侦探一样搜寻线索，而不是像一个困惑的机器人。

DocMemo 背后的研究人员 Hanshu Yao 及其团队意识到，现有的 AI 系统之所以挣扎，是因为它们要么过于僵化，要么过于健忘。有些系统在开始时就选择了一组固定的页面进行阅读并始终坚持，即使它们错过了最重要的线索。另一些系统尝试进行多轮搜索，却无法将一轮与下一轮联系起来，本质上每次都在重新开始。为了解决这个问题，该团队构建了一个将文档阅读视为动态探索的系统。DocMemo 不仅仅是抓取页面，它还维护着一个“三层级记忆”，这个记忆就像侦探的案情档案。首先，它拥有文档架构记忆（Document Schema Memory），这就像是图书馆布局的地图，知道不同类型的信息（如表格或章节）通常位于何处。其次，它拥有页面信念记忆（Page Belief Memory），这是一个关于哪些页面可能包含答案的“直觉”动态列表。这个列表不是静态的；它利用一种被称为“贝叶斯更新”的数学技巧，随着每一件新证据的出现而不断更新，从而变得对下一步该寻找什么更加明智。最后，它拥有问题情景记忆（Question Episodic Memory），记录了侦探自己的旅程——它提出的问题、遇到的死胡同，以及沿途提炼出的更精细的问题。

DocMemo 之所以真正特别，在于它如何利用这种记忆来随时改变策略。当 AI 不确定时，它使用一种称为“汤普森采样（Thompson sampling）”的方法，在检查它非常有把握的页面与探索那些它不太确定的页面之间取得平衡，就像一名侦探既会检查最有嫌疑的嫌疑人，也会留意可疑的陌生人一样。如果 AI 发现了一个相关的页面，它不会止步于此；它会使用“空间邻近传播（spatial proximity propagation）”来假设答案也可能就在相邻的页面上，因为长文档中的线索往往是成簇出现的。此外，如果 AI 看到一个带有密集表格或复杂图表的页面，它不会只看整个页面，而是会放大以阅读微观细节，这一功能被称为“自适应粒度证据获取（adaptive-granularity evidence access）”。

团队在三个不同的挑战性文档集（包括学术论文和长达数百页的长篇报告）上测试了这个新侦探。结果令人振奋：DocMemo 一贯优于现有的最佳方法。在名为 MMLongBench-Doc 的特定基准测试中，它达到了 71.3% 的准确率，超越了之前的顶尖水平。研究人员发现，系统记住过去搜索并动态更新其对页面相关性“直觉”的能力是其成功的关键。事实上，当他们在测试中移除记忆组件时，系统的性能显著下降，这证明了记忆不仅仅是一个锦上添花的特性，更是驱动改进的核心引擎。这项研究表明，通过赋予 AI 一种结构化的方式来记录其探索过程并动态更新其信念，我们可以帮助它比以往更有效地解决海量文档中的复杂谜题。

技术摘要：DocMemo

问题陈述

长文档视觉问答（DocVQA）要求模型在跨越数百页的文档中定位稀疏且异构的证据（文本、表格、图表、布局）。核心挑战不仅在于处理长输入，还在于如何在有限的证据预算下，动态地定位、更新并整合相关页面。

现有系统面临两个主要局限：

静态检索： 单轮方法在推理开始前就固定了候选页面集。如果初始阶段遗漏了关键证据，系统将无法恢复，导致流程僵化且仅能进行一次性尝试。
脆弱的迭代检索： 虽然近期的迭代方法允许多轮获取信息，但它们缺乏传播跨轮状态的机制。信息通常通过上下文重构来维持，这实际上是将每一轮视为独立的检索事件，而非具有记忆结构的探索过程。这导致系统无法追踪页面相关性的动态变化，也无法根据中间推理信号来优化搜索轨迹。

方法论：DocMemo 框架

DocMemo 提出了一个记忆引导的框架，将长文档推理建模为动态证据探索。它通过将记忆与检索解耦，来实现持续的状态细化。

1. 三层文档记忆

系统在推理轮次中维护一个结构化的记忆状态 $\mathcal{M}^{(t)} = (\mathcal{M}_{schema}, \mathcal{M}^{(t)}_{belief}, \mathcal{M}^{(t)}_{epi})$ ：

文档模式记忆 ( $\mathcal{M}_{schema}$ )：一种基于文档类型、主题描述以及页面范围和主题标签的结构化索引构建的离线、查询无关的先验知识。它作为固定的导航指南。
页面信念记忆 ( $\mathcal{M}^{(t)}_{belief}$ )：一种动态状态，使用 Beta 分布 $Beta(\alpha_i, \beta_i)$ 对每个页面的相关性置信度进行建模。 $\alpha_i$ 和 $\beta_i$ 分别累积关于相关性和不相关性的证据。该记忆随跨轮反馈而演进。
问题情境记忆 ( $\mathcal{M}^{(t)}_{epi}$ )：针对特定查询的中间发现、未满足的信息需求以及查询优化轨迹的记录。它允许系统沿着现有的证据链缩小搜索空间，而不是从原始查询重新开始。

2. 贝叶斯页面信念更新与汤普森采样

DocMemo 将页面选择视为一个置信度更新过程：

贝叶斯更新：在每一轮推理后，系统识别有用（ $U_t$ ）和无关（ $V_t$ ）的页面。信念通过 Beta-Bernoulli 共轭进行更新： $\alpha_i \leftarrow \alpha_i + \mathbb{I}[i \in U_t]$ 且 $\beta_i \leftarrow \beta_i + \mathbb{I}[i \in V_t]$ 。
空间传播：受长文档中证据局部性的启发，页面 $i$ 的正向反馈会传播到其邻近页面 $j$ （在半径 $r$ 内），并带有距离衰减因子 $\gamma$ 。负向反馈不会被传播，以避免抑制潜在的相关页面。
汤普森采样：为了平衡利用与探索，系统从后验 Beta 分布中为每个页面采样一个相关性估计值 $\theta^{(t)}_i$ 。
候选评分：最终得分结合了当前的视觉相似度 $c^{(t)}_i$ 与采样的信念 $\theta^{(t)}_i$ ： $score^{(t)}_i = (1 - \lambda_t)c^{(t)}_i + \lambda_t\theta^{(t)}_i$ 。权重 $\lambda_t$ 随迭代次数增加，使系统从依赖原始视觉相似度转向依赖累积的记忆置信度。

3. 自适应粒度证据获取

为了处理信息密集区域（如表格），系统在推理过程中通过精细的视觉区域（高分辨率裁剪图）补充全页上下文，以确保对详细布局的理解。

核心贡献

记忆引导框架：引入了 DocMemo，它通过分离结构化先验、动态页面信念和查询局部经验的三层记忆结构来组织文档探索。
概率状态建模：实现了带有汤普森采样和空间连续性传播的贝叶斯页面信念更新，实现了跨轮次的不确定性感知和局部感知动态检索。
实验验证：在三个长文档 DocVQA 基准测试上展示了最先进的性能，并通过消融实验证实了结构化记忆和动态信念更新的必要性。

实验结果

DocMemo 在 MMLongBench-Doc、LongDocURL 和 PaperTab 上进行了评估。

整体性能：DocMemo 在三个基准测试中的平均准确率达到 77.6%，超越了包括商业模型（如 GPT-4o, Claude-4-Sonnet）和开源智能体系统（如 SimpleDoc, DocLens）在内的强力基线。
- 在 MMLongBench-Doc 上，它达到了 71.3% 的准确率（对比表现最好的智能体基线 AgenticOCR 为 67.4%）。
- 在 LongDocURL 上，它达到了 81.1%（对比 SimpleDoc 为 72.3%）。
- 在 PaperTab 上，它达到了 80.4%（对比 SimpleDoc 为 65.4%）。
细粒度分析：该模型在表格密集型（TAB）和无法回答（UNA）类别中表现出显著增益，表明其改进了证据定位能力，并通过累积跨轮状态更好地处理了无法回答的查询。
效率：与基线相比，DocMemo 减少了实现高准确率所需的检索迭代次数（以 0.41× 的迭代次数换取 1.18× 的准确率提升），实现了 2.40× 的整体效率提升。
消融研究：移除三层记忆或贝叶斯更新会导致准确率大幅下降（从 71.3% 降至约 68.5%），验证了动态信念修正和结构化记忆对于鲁棒推理至关重要。

意义

本文认为，提升长文档推理能力的关键在于显式建模并持续更新文档探索状态。通过将迭代检索从简单的上下文累积转变为由持久文档知识、动态页面状态和查询局部经验驱动的结构化证据探索，DocMemo 解决了静态和无状态迭代方法的局限性。该框架证明，将稳定的文档先验与快速变化的关联信念分离，可以使智能体从早期的检索错误中恢复，并自适应地优化其搜索轨迹。