💻 computer science

LivingRAG: Augmenting Graph RAG with Experience

LivingRAG 是一种图 RAG 框架，它通过存储和复用经过验证的推理经验（例如有用的图信号和推理模式）来增强多跳问答能力，从而提高相关查询的准确性并降低 Token 消耗。

原作者： Yuzhuo Cui, Zongye Zhang, Qingjie Liu

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuzhuo Cui, Zongye Zhang, Qingjie Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，大型语言模型就像是人类知识的庞大图书馆，能够回答复杂的问题并编写故事。然而，这些数字大脑有一个显著的盲点：它们经常会忘记未经过训练的事实，或者编造出听起来真实但实际上错误的信息。为了解决这个问题，研究人员开发了一种称为检索增强生成（retrieval-augmented generation）的方法。想象一名被允许翻阅教科书参加考试的学生。学生不再仅仅依赖记忆，而是在写下答案之前先在书中查找答案。这使得答案能够立足于现实。一种更先进的这种方法使用了“知识图谱”（knowledge graph），它像地图一样组织信息，通过线条将人物、地点和事件连接起来，以展示它们之间的关系。这有助于系统寻找距离原始问题好几步之遥的线索，而不仅仅是寻找最明显的匹配项。

尽管取得了这些进展，大多数目前的系统仍将每一个新问题视为系统从未见过的第一次。即使系统刚刚解决了一个关于特定历史人物的复杂谜题，一旦下一个问题到来，系统就会丢弃它刚刚使用的推理过程。它从头开始，忽略了它已经破解了类似路径这一事实。这效率低下，就像一名旅行者在每个新城镇都停下来询问前往昨天去过的地方的路线，而不是记住自己走过的路一样。中国北航大学的一个研究小组针对这一问题提出了解决方案。他们创建了一个名为 LivingRAG 的系统，该系统允许人工智能保留一份关于其自身成功推理的笔记。通过记录下有效的方法并在未来的问题中重复使用这些笔记，系统会随着时间的推推移变得更加聪明，在提高回答准确性的同时，使用更少的计算资源。

LivingRAG 的核心思想是为系统提供一个可以随工作进度更新的可写内存。当系统回答问题时，它不仅仅是产生一个最终答案然后结束。相反，它会停下来检查自己寻找答案所走的路径是否稳固。它会验证所使用的事实是否确实得到了检索到的文档的支持。如果推理是合理的，且该问题并非只是对已解决问题的简单重复，系统就会保存一份关于该次经历的精简摘要。这份摘要包括哪些信息片段最为重要，以及如何构建答案的简要大纲。这个过程将一次性的交互转变为一个不断增长的经过验证的知识库。

研究人员通过向系统输入一系列问题来测试这种方法，类似于真实用户在几天内如何与聊天机器人互动。他们发现，相关问题往往呈现集群出现。有时用户会询问某个特定的人物，随后又会询问生活在同一城镇或同一时期的另一位人物。其他时候，问题遵循相同的逻辑模式，例如比较两个不同的事件，即便细节各异。在实验中，系统发现它可以频繁地复用这些模式。例如，在一个涉及复杂多步问题的数据库中，系统能够为后续几乎所有相关的查询复用之前的推理路径。这意味着系统不必每次都重新发现事实之间的联系。

结果显示，这种通过经验学习的方法使系统的表现显著提升。与不保存推理过程的其他强力系统相比，LivingRAG 在多个标准基准测试中实现了更高的准确率。在一次涉及历史人物和事件的测试中，该系统的正确率从约 84% 提高到了 87%。在另一项侧重于客户支持问题的测试中，提升更为显著，从 66% 跳升至 70% 以上。这些收益不仅在于获得正确的答案，还带来了效率方面的附加好处。由于系统可以复用之前答案的“脚手架”或结构，它不需要生成那么多新的文本来解释其推理过程。这减少了系统需要处理的数据量，从而降低了运行系统的估计成本。

为了确保系统不会从错误中学习，研究人员在保存任何经验之前都建立了严格的质量检查机制。只有当答案得到所发现文档的证据支持时，系统才会向其内存中写入新的条目。如果系统猜对了答案但文档实际上并不支持该答案，则该次经历会被丢弃。这防止了系统强化错误或存储没有任何新价值的冗余信息。研究发现，该系统具有选择性，仅存储了它所考虑的候选经验中的约 27%。这种选择性确保了其内存是一个高质量、经过验证的洞察集合，而不是一个杂乱无章的尝试日志。

研究人员还观察了系统的性能如何随时间变化。在会话开始阶段，当内存为空时，系统的表现与标准模型相似。然而，随着它回答越来越多的问题并用经过验证的经验填充其内存，它开始利用过去的成功来引导未来的搜索。系统学会了更快地在正确的地方寻找线索，并更高效地构建答案。这表明，该系统的价值会随着使用时间的增加而增长，使其特别适用于用户进行连续相关问题提问的环境。这项研究并未声称这种方法解决了所有问题，或在每种情况下都能完美运作，但它证明了赋予系统通过其经过验证的推理进行学习的能力，是提高其性能的一种切实有效的方法。

这项工作的意义不仅在于获得更好的答案。通过减少系统需要生成的文本量，该方法还降低了运行这些模型所需的能量和计算能力。随着人工智能日益融入日常生活，这是一个至关重要的考量。研究人员指出，虽然他们的系统在受控的问题集上表现良好，但现实世界的使用可能会带来挑战，例如事实随时间发生变化，或者问题变得更加零散且难以预测。他们建议，此类系统的未来版本可能需要包含更新或删除旧记忆的方法，以便引入新信息。不过目前来看，这项研究提供了一个清晰的证明：仅仅通过允许人工智能记住它已经学到的东西，就可以使其变得更加强大且高效。

技术摘要：LivingRAG：通过经验增强 Graph RAG

问题陈述

当前的检索增强生成（RAG）系统，包括 Graph RAG 变体，在推理过程中通常以“只读”模式运行。它们处理每个查询时都是孤立的：检索证据并生成答案，但随后会丢弃在此过程中产生的推理信号和图激活模式。因此，当后续的在线流中出现相关查询时，系统必须从头开始检索证据并进行推理，无法利用之前有用的经验。这种局限性在在线问答（QA）流中尤著明显，因为这些查询通常共享实体、遍历相似的知识图谱区域，或遵循相同的推理模板，而现有系统并未能保留或复用这些模式。

方法论：LivingRAG

LivingRAG 是一个旨在为推理循环引入可写且可复用的推理经验的 Graph RAG 框架。它通过一个**经验库（experience store）**扩展了基础图检索器（具体为 LinearRAG），该经验库会在在线问答流期间累积经过验证的推理模式。

核心组件

经验库结构：
每个经过验证的经验（ $e_t$ ）是一个紧凑的元组，包含：
- 源查询 ( $q_t$ ) 及其嵌入（embedding）。
- 稀疏激活图 ( $\tilde{a}_t$ )：一个稀疏化的向量，代表在检索原始查询时激活了哪些图实体。它捕捉了对该任务有用的“图邻域（graph neighborhood）”。
- 推理摘要 ( $sum_t$ )：一个由关键句子组成的紧凑脚手架（scaffold），这些句子由激活程度最高的实体所锚定。
- 元数据：最终答案、时间戳和落地置信度（grounding confidence）。
经验增强检索：
在针对新查询 $q_t$ 进行推理期间，LivingRAG 通过两种信号将查询与经验库进行匹配：
- 语义相似度：查询嵌入之间的余弦相似度。
- 激活图相似度：当前查询的初始实体激活与存储的稀疏激活图之间的余弦相似度。
  匹配到的前 $K$ 个经验会被融合进基础检索器的初始实体激活向量中。这会将图传播过程偏向于先前成功的证据邻域，从而有效地转移“图邻域先验（graph-neighborhood priors）”。
脚手架化生成：
如果找到了相关的经验，其推理摘要将被选为**推理脚手架（reasoning scaffold）**并注入到 LLM 的提示词（prompt）中。这提供了一个可复用的推理模式（例如特定的分解策略），而无需强制模型从头重建逻辑。
质量门控回写（Quality-Gated Write-Back）：
为了防止幻觉或冗余数据的累积，只有通过两个门控检查的候选经验才会被存储：
- 新颖性检查：确保候选对象不是现有经验的近乎重复项（通过查询嵌入和基础激活度进行衡量）。
- 落地检查：使用自然语言推理（NLI）模型来验证候选对象中原子命题的推理和答案是否由检索到的证据所蕴含。
  只有通过这两项检查的候选对象才会被写入经验库。

核心贡献

框架引入：LivingRAG 引入了一个将推理经验视为可写资源的 Graph RAG 框架。它存储经过验证的经验，并通过激活图融合进行检索，以及通过推理摘要进行生成。
信号分析：作者分析了在线问答流，并识别出三种不同类型的可复用信号：实体复用（共享种子实体）、图邻域复用（访问附近的图区域）以及模板复用（具有不同实体的相似问题结构）。LivingRAG 旨在利用所有这三种信号。
实证验证：论文证明了 LivingRAG 在强 RAG 基线之上提高了准确率，并且在成功复用先前经验时显著减少了完成（completion）Token 的使用量。

实验结果

该框架在多跳问答基准测试（2WikiMultiHopQA, HotpotQA, MuSiQue, MuSiQue-full）和客户支持数据集（WixQA）上进行了评估。

准确率：LivingRAG 在所有基准测试中均取得了最高的准确率。例如，在 2WikiMultiHopQA 上，它将 LLM-Evaluation 准确率从 84.40%（LinearRAG 基线）提升至 87.00%。在 WixQA 上，从 66.00% 提升至 70.25%。
效率：虽然 LivingRAG 略微增加了提示（prompt）Token（由于增加了脚手架），但它显著减少了完成（completion）Token。在各个数据集中，完成 Token 减少了 15.1% 至 26.1%，从而实现了约 12.1% 的整体估计 API 成本降低。
复用机制：消融研究证实，激活图融合（辅助检索）和推理脚手架（辅助生成）都是至关重要的。移除其中任何一个组件都会导致性能和效率的下降。
鲁棒性：LivingRAG 的收益在不同的随机查询顺序排列下保持稳定，表明该系统并不依赖于特定的流排列。

意义与主张

论文声称，经过验证的经验复用是增强 Graph RAG 的一种简单且有效的方法。通过不仅保留最终答案，还保留来自先前查询的推理路径（激活图）和推理模式（脚手架），LivingRAG 将 RAG 系统从一个无状态的检索器转变为一个具有某种非参数化持续学习能力的系统。

作者强调，这种方法不需要微调模型参数或修改底层的语料库图。相反，它依赖于一种轻量级的、选择性的回写机制，确保仅存储经过落地验证且具有新颖性的经验。结果表明，对于存在结构或主题重叠的在线问答流，利用过去的推理经验可以同时提高答案质量并降低计算成本。

论文也承认了局限性，特别是关于长期经验增长的问题（需要未来的剪枝或压缩策略）以及静态知识的假设（目前的基准测试尚未测试动态领域中的事实过期问题）。然而，在受控问答流的范围内，LivingRAG 证明了“经历”过去查询的过程是实现更高效、更准确的 Graph RAG 的一条可行路径。