💬 NLP

Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation

本文介绍了 xMemory，这是一种新颖的智能体记忆框架，它通过将交互历史解耦为可复用组件并对其进行分层聚合，实现了自顶向下的检索，在减少冗余的同时保留关键细节，从而提升回答质量与推理效率，以此改进了标准的检索增强生成（RAG）方法。

原作者： Zhanghao Hu, Qinglin Zhu, Runcong Zhao, Di Liang, Hanqi Yan, Yulan He, Lin Gui

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhanghao Hu, Qinglin Zhu, Runcong Zhao, Di Liang, Hanqi Yan, Yulan He, Lin Gui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《超越 RAG 的代理记忆：通过解耦与聚合进行检索》（xMemory）的通俗解读，辅以生动的类比。

问题所在：“嘈杂的图书馆”与“聪明的图书管理员”

想象你是一名人工智能助手（即“代理”），正在与人类进行长达数月的对话。你拥有每一次对话的庞大记忆。

旧方法（标准 RAG）：
把你的记忆想象成一座巨大而混乱的图书馆，其中的每一本书都只是对话的原始逐字稿。当用户提出问题时，“图书管理员”（即 AI）会抓取与问题词汇相似度最高的前 5 本书。

缺陷： 在长对话中，人们往往会重复自己，或用略微不同的方式谈论同一话题。如果你问“我是什么时候失业的？”，旧系统可能会抓取五张不同日期的页面，上面都提到了你失业的事。它给你的是一堆冗余且令人困惑的信息。这就像你询问一个具体日期，图书管理员却递给你五本不同的日历，它们都写着“一月”，却没能告诉你究竟是哪一年的一月。

新方法（xMemory）：
作者认为，代理记忆不像一堆随机书籍的图书馆；它更像是一条细节紧密交织的连续事件流。为了解决这个问题，他们提出了一种名为xMemory的新系统。

核心理念：“先解耦，后聚合”

该论文建议了一个两步流程：解耦（提取重要信息）然后聚合（组织信息）。

1. 解耦：“事实提取器”

xMemory 不再将整个对话视为一个巨大的整体，而是像一位熟练的编辑。它会阅读对话，提取出具体、可复用的事实、更新和细节，并将它们与“废话”（如“你好”、“最近怎么样”或重复的问候语）分离开来。

类比： 想象你的办公桌上贴满了便签，杂乱无章。有些便签写着“下午 2 点开会”，有些写着“下午 2 点开会（已确认）”，还有些写着“下午 2 点开会（已取消）”。
- 旧方法会抓起整堆便签。
- xMemory则只剥离出最准确的那一张便签：“下午 2 点开会”。它将真相从噪音中隔离出来。

2. 聚合：“智能归档系统”

一旦事实被隔离，xMemory 不会只是把它们扔进桶里。它会将它们组织成一个层级结构：

片段（Segments）： 相关事件的小组（例如某个特定的对话主题）。
组件（Components）： 从这些片段中提取的具体事实（例如“用户于一月份在 DoorDash 失业”）。
组（Groups）： 包含相关组件的高级文件夹（例如“用户的就业历史”）。

关键在于，该系统是可修订的。如果你有了新的对话来澄清旧事实，xMemory 可以返回去拆分一个杂乱的文件夹，或者合并两个小文件夹，以保持组织的完美。这就像一个在你添加新文档时会自动重新整理的文件柜。

如何寻找答案：“自上而下的侦探”

当你提出问题时，xMemory 不仅仅是搜索关键词。它采用自上而下的方法：

第一阶段：骨架搜索。 它首先查看高级的“组”和“组件”（即事实）。它挑选出最相关的证据“骨架”。它会问：“我有正确的答案事实吗？”
第二阶段：不确定性检查。 只有当事实不够清晰时，它才会深入挖掘。只有当它需要更多细节来减少“不确定性”时，它才会扩展到原始对话片段和原始消息。
- 类比： 想象一名侦探在破案。
  - 旧方法： 侦探抓起 20 份听起来都模棱两可的证人证词，并全部阅读。
  - xMemory： 侦探首先检查“案件摘要”（即“组”）。如果摘要显示“嫌疑人当时在银行”，侦探就止步于此。但如果摘要含糊不清，侦探随后会调取证人（即“片段”）的具体逐字稿，以获取确切时间。

为何这很重要（结果）

该论文在不同的 AI 模型上，使用两个数据集（LoCoMo 和 PerLTQA）测试了该系统。以下是他们的发现：

更准确的答案： 因为 xMemory 将“决定性证据”与“冗余噪音”分离开来，AI 能给出更准确的答案，特别是针对关于时间或用户生活中具体变化的棘手问题。
更便宜、更快速： 该系统使用的“令牌”（AI 处理的货币）更少。它不是向 AI 提供一大块混乱的文本，而是提供一份紧凑、集中的事实包。
高效性： 它检索的是“更密集”的证据。它不是找到 10 页写着“我喜欢披萨”的内容，而是找到那一条具体的笔记：“我喜欢意大利辣香肠披萨”。

一句话总结

xMemory 通过首先将重要事实与噪音分离，将其组织成自我更新的层级结构，然后仅检索回答问题所需的精确细节量，解决了 AI 因自身长对话而感到困惑的问题，从而在节省时间和金钱的同时确保答案正确。

技术摘要：超越 RAG 的代理记忆：通过解耦与聚合进行检索

问题陈述

标准的检索增强生成（RAG）系统与代理记忆的需求存在根本性的不匹配。虽然标准 RAG 旨在处理大型、异构的文档语料库，但代理记忆由有界的、连贯的交互流组成，其中许多片段高度相关或近乎重复。在此背景下，扁平的 top- $k$ 相似性检索往往返回冗余的上下文，无法从相似的历史记录中区分出决定性的证据。相反，现有的依赖渐进式压缩（例如摘要）的分层记忆策略，往往会模糊区分候选者所需的细微细节，例如微小的更新、约束或事实差异。核心挑战不仅在于定位相关文本，更在于从高度相似的交互日志中隔离出具体且对答案至关重要的证据。

方法论：xMemory

作者提出了xMemory，这是一个将记忆结构化与基于“先解耦后聚合”原则的自适应检索相结合的框架。与将长交互日志视为单一整体单元的传统方法不同，xMemory 在组织历史之前，先将其分解为细粒度的证据单元。

1. 分层记忆构建

xMemory 通过三个阶段构建可修订的分层结构：

分段：原始消息被划分为连续的片段，每个片段捕捉一个连贯的局部事件。这保留了孤立消息检索中常常丢失的完整局部上下文。
解耦：每个片段被分解为记忆组件。这些组件是简洁的结构化单元，代表可重用的事实、约束、属性、关系或状态更新。这一步将独特的证据从周围的叙事中隔离出来。
聚合：相关的组件被分组为高层组。这种聚合由一个目标函数引导，该函数平衡稀疏性（倾向于平衡的组大小以最小化扫描成本）和语义忠实度（确保组内连贯性和可导航的组间几何结构）。

2. 动态维护

记忆结构并非静态；随着新交互的到来，它会增量演化。

附加：新组件基于嵌入相似度附加到最近的兼容组。
可修订性：系统支持拆分和合并操作。过大或不连贯的组会被拆分，而过小或孤立的组会被合并。当这些操作能改善引导目标时会被触发，从而允许系统根据新证据对先前存储的组件进行回溯性重组。

3. 自顶向下的自适应检索

检索分两个阶段进行，以在最小化冗余的同时确保足够的上下文：

阶段 I：高层骨干选择：系统首先选择一个互补的组和组件的紧凑集合。它利用一种贪婪选择策略，在查询相关性和结构覆盖之间进行权衡，利用组之间预先维护的 $k$ 近邻（kNN）链接来避免选择近乎重复的证据。
阶段 II：自适应文本扩展：只有在建立高层骨干之后，系统才扩展到较低层级的文本（片段和原始消息）。这种扩展是不确定性驱动的：仅当片段或消息能提供读者不确定性（通过预测熵测量）的正边际减少时，才会将其包含在内。当无法进一步减少不确定性时，检索停止。

主要贡献

问题识别：论文指出了标准 RAG 假设与代理记忆性质之间的不匹配，论证了代理记忆需要遵循“先解耦后聚合”的原则。
xMemory 框架：提出了一种框架，通过将历史分段、将片段解耦为记忆组件、并将组件聚合为高层组，来构建可修订的分层记忆结构。
自适应检索：开发了一种自顶向下的检索方法，该方法先选择紧凑的证据骨干，再基于不确定性减少扩展到原始文本，实验证明其提高了答案质量和推理令牌效率。

实验结果

作者在两个基准测试上评估了 xMemory：LoCoMo（多会话对话）和PerLTQA（个性化长期记忆），使用了多种开源（Qwen3-8B、Llama-3.1-8B）和闭源（GPT-5 nano）大语言模型（LLM）。

答案质量：xMemory 在所有骨干模型和数据集上始终取得了最高的平均 BLEU 和 F1 分数。例如，在 Qwen3-8B 的 LoCoMo 测试中，它将平均 BLEU/F1 从 Nemori 基线的 31.44/40.88 提升至 34.48/43.98。
效率：xMemory 展现了卓越的令牌效率。在 Qwen3-8B 的 LoCoMo 测试中，它将推理令牌使用量从 7,755（Nemori）减少到 4,711，同时提高了答案质量。
证据密度：分析显示，xMemory 检索到的证据更密集，包含多个不同答案证据单元的“多次命中”块的比例高于朴素 RAG 和基于剪枝的基线。
成本 - 性能权衡：在综合考虑记忆构建和推理成本后，xMemory 实现了最有利的平衡，在质量上优于结构化记忆基线，同时保持了更低的总令牌成本。

意义与主张

论文主张，有效的代理记忆不应仅仅检索或压缩过去的交互，而必须将它们重组为以证据为导向的结构，使细微的区分变得可访问。通过将高度相关的记忆解缠为语义组件并自顶向下进行检索，xMemory 在减少冗余的同时保留了时间上关联的证据。作者认为，他们的工作为实现更适应性和高效的长视野 LLM 代理记忆系统迈出了一步，解决了标准 RAG 无法处理的由连贯、重叠的交互流所带来的特定检索挑战。

作者在局限性方面保持谦逊，指出评估仅限于特定基准（LoCoMo 和 PerLTQA），且依赖 LLM 生成的组件可能引入提取错误。他们建议未来的工作应探索更广泛的代理场景和更稳健的提取机制。