🤖 AI

MegaMem: A Retrieval Solution for Ultra-Large Context Windows

MegaMem 是一个源解析的双视图检索系统，通过将语义搜索与受限证据检索解耦，实现了对超大规模持久记忆（高达十亿个 token）的准确生成，并在 EnterpriseRAG-Bench 上取得了显著的性能提升。

原作者： Xinyuan Song, Bowen Zhu, Hasibul Haque, Liang Zhao

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinyuan Song, Bowen Zhu, Hasibul Haque, Liang Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代人工智能在回答问题方面已经变得非常出色，但它面临着一个根本性的局限：它一次只能在活跃的“大脑”中持有一定量的信息。想象一下，如果你试图在阅读一本书的同时，还要在脑海中同时记住整座大型图书馆的所有内容；你尝试记住的书籍越多，就越难专注于正在阅读的那一本。多年来，研究人员一直试图通过构建能够将大量数据存储在计算机即时注意力之外的系统来解决这个问题，仅在被问及问题时才检索所需的特定页面。这种方法对于小型收藏效果良好，但当图书馆增长到包含数亿页内容时（例如一家软件公司的完整代码或多年的企业记录），它就开始显得力不从心。挑战不仅在于这样庞大的堆积中寻找正确的页面，还在于如何在不让计算机因处理过多文本而变慢或产生混乱的情况下完成这一过程。

一个研究小组开发了一种名为 MegaMem 的新系统来解决这一特定问题。他们的工作解决了人工智能处理大规模、持久性记忆时的一个关键瓶颈。该团队没有试图强迫计算机在每次被提问时都阅读数百万份文档，而是创建了一个将“搜索行为”与“回答行为”分离的两步走过程。他们构建了一个首先利用高度浓缩的信息摘要来寻找答案的系统，只有在发现有希望的线索后，才会检索完整的详细文本。这使得系统可以在包含数亿个单词的图书馆中进行搜索，而仅向计算机提供少量的、可控的文本量来生成答案。

研究人员在超过 50 万份真实世界企业文档（总计约 6.5 亿个单词）的大规模数据集上测试了他们的系统。这个集合包括从技术手册、法律合同到会议记录和产品规格书的一切内容。在实验中，他们将 MegaMem 与直接尝试搜索原始文档的标准方法进行了对比。结果令人瞩目。当系统被要求在如此庞大的图书馆中查找信息时，它成功地将整体回答质量从约 68% 提升到了 82% 以上。更重要的是，即使图书馆的规模从 2000 万词增长到 2.5 亿词，它仍能保持高水平的准确性。这表明该系统可以扩展到处理几乎相当于一个小国家全部书面输出规模的图书馆，而不会丧失寻找正确事实的能力。

这一成功的秘密在于系统如何组织和检索信息。在构建图书馆之初，计算机阅读每一份文档并创建两个不同版本的数据。一个版本由原始的、详细的文本组成，完全按照其原本的写法保留。第二个版本是一套精炼的、紧凑的笔记，捕捉了这些文档中的主要观点、事实和程序。当用户提出问题时，系统首先搜索这些紧凑的笔记。由于笔记简短且专注，计算机可以在不到一秒的时间内扫描完整个包含数百万词的图书馆。如果搜索找到了相关的笔记，系统随后会使用一个唯一的标识符来定位该笔记所对应的精确原始文档。它仅检索那部分特定的详细文本，以帮助计算机构思最终答案。这确保了计算机拥有精确、未经篡改的证据，而不会被无关信息干扰。

研究人员还发现，这种方法比以往的方法效率更高。通过使用浓缩笔记来引导搜索，该系统将每次回答需要处理的文本量减少了近 70%，但其产生的答案准确度几乎与阅读全文一样高。这种效率至关重要，因为这意味着即使系统管理的记忆规模不断扩大，它也能保持快速响应。研究还表明，处理如此大型图书馆的主要困难不在于计算机在找到文本后的理解能力，而在于首先找到正确文本的难度。随着图书馆规模的增长，系统的性能略有下降，但这归因于在更多干扰项中定位正确证据的挑战，而非计算机在找到证据后无法理解证据。

为了确保系统的可靠性，研究人员增加了最后一步，即让计算机审查自己的答案，并明确指出哪些文档支持了其观点。这一过程过滤掉了那些虽然被检索到但实际上并未被使用的来源，从而得到了更清晰、更准确的引用列表。团队在各种类型的问题上测试了他们的系统，包括那些需要跨多个文档进行复杂推理以及涉及冲突信息的问题。在每种情况下，这种先搜索摘要再检索细节的两步走方法都优于直接搜索原始文本的方法。这项工作表明，对于人工智能要真正发挥作为组织长期记忆的功能，它必须将“搜索规模”与“一次能阅读的规模”分离开来。通过这样做，MegaMem 为构建能够记忆并推理现代企业庞大且复杂历史，且不会迷失在噪音中的系统提供了一条切实可行的路径。

技术摘要：MegaMem —— 面向超大规模上下文窗口的检索解决方案

1. 问题定义

现代语言模型和智能体日益需要持久化记忆，以支持长期交互、规划和知识密集型决策。这些系统必须管理海量语料库——从完整的代码库到包含数亿甚至数十亿个 token 的异构企业记录。

核心挑战在于可搜索规模与生成上下文之间的权衡。虽然原生长上下文模型可以处理数百万个 token，但随着上下文长度的增加，由于注意力计算成本、延迟以及相关证据被遗漏的“迷失在中部”（lost in the middle）现象，性能往往会下降。相反，基于检索的系统可以搜索数万亿个 token，但面临着两难境地：

压缩表示（例如摘要、图谱）提高了检索效率，但往往会遗漏对于准确回答至关重要的细节（如日期、例外情况、条件）。
详细分块保留了精确证据，但随着语料库规模的增长，会增加干扰项的暴露并削弱检索精度。

目标是在不按比例增加生成上下文（即用于单个查询的受限详细源证据）的前提下，扩展持久上下文（即完整的可搜索语料库）的规模。

2. 方法论：MegaMem

MegaMem 是一个源解析的双视图检索系统，旨在将语义访问与生成证据分离。它主要分为三个阶段运行：

2.1 双视图记忆构建

系统维护两个指向相同底层证据的互补索引：

详细索引（Detailed Index）： 存储原始证据分块的嵌入（Embedding），保留精确措辞、条件和溯源信息。
蒸馏索引（Distilled Index）： 存储从详细分块中提取的紧凑、类型化的“记忆”。这些记忆是分类为不同类型（事实、程序、定义、需求、决策）的原子化陈述，并通过不可变的 ID 与其源分块相连。

这种架构允许系统使用蒸馏记录进行高效的语义匹配，同时确保每一次检索命中都能解析回原始源。

2.2 多路径检索与证据解析

当提出问题 $q$ 时，系统采用多路径检索策略：

查询变换（Query Transformation）： 生成多个查询路径，包括规范重写和多样化术语扩展，以处理词汇不匹配问题。
双视图搜索： 每个路径同时搜索详细索引和蒸馏索引。
源解析（Source Resolution）： 至关重要的是，在候选聚合之前，蒸馏索引中的每一个命中都会被解析为其对应的详细源分块。这确保了压缩后的记忆仅作为检索键，而非独立的证据项。
融合与重排序：
- 不同路径的排名通过**加权倒数排名融合（RRF）**进行合并。
- **交叉编码器（Cross-encoder）**利用问题和完整的详细分块内容对融合后的候选池进行重排序。
- 通过源身份合并重复的候选对象。
受限打包（Bounded Packing）： 仅选择排名最高的详细分块来填充固定的证据预算 $B$ ，从而构成回答模型的上下文。

2.3 受限生成与后验答案归因

生成： 回答模型仅接收受限的详细证据分块集。在生成过程中，不会暴露任何蒸馏记忆或未被选中的源。
归因： 在答案确定后，一个独立的归因模块会识别哪些加载的源直接支持了答案中的主张。这一步骤过滤掉了未被支持或未使用的源，从而在不改变已生成答案的前提下提高源精度。

3. 主要贡献

本文提出了三个主要贡献：

问题定义： 解决了超大规模持久记忆（2.5 亿至 10 亿 token）的问题，即系统必须在保持全量记忆可搜索性的同时，仅向回答模型传递受限的证据。
系统设计： 引入了 MegaMem，一个源解析的双视图检索系统。其核心创新包括：
- 将检索记录（蒸馏）与生成证据（详细）分离。
- 在融合前将所有蒸馏命中解析为不可变的源 ID。
- 应用后验归因来精炼源报告。
实证评估： 在 EnterpriseRAG-Bench（包含 50 万+ 文档，约 6.5 亿 token）上进行了全面评估，分析了端到端质量、组件效应、缩放行为和效率。

4. 实验结果

系统在 EnterpriseRAG-Bench 上进行了评估，该基准包含超过 500,000 份异构企业文档和 500 个涵盖检索、多文档推理及冲突解决的问题。

性能提升： 在 400 个问题的验证集上，MegaMem 将**综合得分（Overall）从 68.22（原基准排行榜最高分）提升至 82.26，并将正确性（Correctness）**提升至 86.50。
缩放行为： 在固定证据预算的情况下，随着持久记忆从 2000 万增长到 2.5 亿 token，MegaMem 保持了运行效能。在 2.5 亿 token 时，它实现了 73.50 的正确性得分，证明了检索性能是逐渐下降而非崩溃。
组件分析：
- 双视图与蒸馏： 提供了最大的增益。移除双索引使综合得分降低了 17.91%；移除蒸馏使得分降低了 14.15%。
- 查询扩展与重排序： 分别带来了 3.55% 和 4.97% 的额外提升。
- 后验答案归因： 未改变答案质量，但将平均报告文档数从 5.00 降至 2.31，显著提高了源精度（InvDocs 从 0.774 降至 0.760）。
效率： 与使用完整详细证据相比，MegaMem 将回答模型的输入 token 数减少了约 68.6%，而仅牺牲了 1.5 点的正确性。即使在 1 亿 token 时，在线检索延迟也保持在 1.1 秒以下。
迁移性： 系统在 FinanceBench（综合得分 81.05）和 HotpotQA（综合得分 86.37）上表现出强劲性能，但在对话式（LoCoMo）和广泛跨领域（UltraDomain）基准测试上的表现有所下降，表明其面向文档设计的方案在迁移至对话式记忆存储时存在局限性。

5. 重要性与主张

论文声称 MegaMem 为实现对数亿乃至十亿级 token 记忆的准确检索提供了一条切实可行的路径。通过将可搜索记忆规模与回答上下文大小分离，该系统实现了：

可扩展性： 它使数亿个 token 保持可搜索状态，而无需将全部记忆传递给回答模型。
源保真度： 它确保生成过程完全基于详细且忠于原源的证据，避免了压缩摘要带来的信息丢失。
精准度： 通过后验归因改进了源报告，确保所报告的源是严格必要的。

作者总结道，核心设计选择——即使用蒸馏记忆进行语义访问，并在需要时才将其解析为详细证据——使得系统能够在准确性与上下文规模之间取得理想的平衡。然而，他们也谦虚地承认了一些局限性：源精度（以 InvDocs 衡量）仍低于 EnterpriseRAG-Bench 的既有领先水平，系统在对话式/跨领域任务上的表现并不统一，且该系统并未扩展底层语言模型的原生注意力窗口。