💬 NLP

MemORAI: Memory Organization and Retrieval via Adaptive Graph Intelligence for LLM Conversational Agents

MemORAI 是一个新颖的框架，它通过整合选择性记忆过滤、溯源增强的多关系图以及查询自适应子图检索，来克服现有记忆系统的局限性，从而增强长期个性化大语言模型对话。

原作者： Hung Pham Van, Nguyen Manh Hieu, Khang Pham Tran Tuan, Nam Le Hai, Linh Ngo Van, Nguyen Thi Ngoc Diep, Trung Le

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Hung Pham Van, Nguyen Manh Hieu, Khang Pham Tran Tuan, Nam Le Hai, Linh Ngo Van, Nguyen Thi Ngoc Diep, Trung Le

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在与一位非常聪明、知识渊博但记忆力极差的朋友交谈。每次你们结束对话，第二天再见面时，他们都会表现得像从未见过你一样。他们会忘记你的名字、你最喜欢的咖啡订单，以及上周你们正在推进的重大项目。这就是当前大多数先进 AI 聊天机器人（大型语言模型）所面临的问题：它们擅长即时推理，却缺乏持久记忆。

本文介绍了一种名为MemORAI（基于自适应图智能的记忆组织与检索）的新系统，旨在解决这一问题。你可以将 MemORAI 想象为给那位健忘的朋友配备了一个超级有序、神奇的档案柜，它能学会在恰好需要时，精准地找到你所需的内容。

以下是 MemORAI 的工作原理，通过三个简单的步骤，并借助日常类比进行拆解：

1. “智能守门人”（选择性记忆过滤）

想象一下，你正在记录与朋友长达 10 小时对话中的每一个字。如果你每次想回忆某事时都要通读整份转录稿，你会被噪音淹没（例如“你好”、“最近怎么样”或“我们中午一起吃饭吧”之类的寒暄）。

问题所在：旧系统要么试图保存所有内容，要么只是对整个内容进行概括，前者浪费空间，后者则丢失重要细节。
MemORAI 的解决方案：它充当一个智能守门人。当你交谈时，它会倾听并判断：“这是否涉及用户的个人生活、偏好或目标？”
- 如果你说“我喜欢周六去徒步”，守门人就会保存这条信息。
- 如果你说“今天天气不错”，守门人则将其视为通用噪音而忽略。
- 关键技巧：它并非直接删除被忽略的部分，而是为那些“无聊”的内容撰写一句简短的摘要，这样 AI 就能记住对话的上下文，而不会被细节拖累。这使得记忆保持整洁，并专注于你。

2. “魔法地图”（来源 enriched 图）

一旦守门人保存了重要事实，MemORAI 并不会只是将它们列成清单，而是绘制一张地图。

问题所在：大多数 AI 记忆系统就像一叠索引卡片。如果你问"Alex 的老板是谁？”，AI 必须猜测该抽取哪张卡片。它常常忘记信息的来源，从而导致“幻觉”（即编造内容）。
MemORAI 的解决方案：它构建了一个三维连接网络（图）。
- 节点（圆点）：它为人物（例如"Alex"）、时间点（例如“周二下午 2 点”）和主题（例如“徒步旅行”）创建圆点。
- 连线（连接）：它在它们之间绘制连线。一条线连接"Alex"与“徒步”，另一条线连接“徒步”与“周二”。
- “来源标签”（Provenance）：这是秘诀所在。每个圆点和连线都有一个微小的标签，精确标明它来自对话的哪一轮。这就像为每个事实都保留了一张收据。如果 AI 说"Alex 喜欢徒步”，你可以立即查看收据，确认"是的，Alex 是在周二说的这句话”。这使得记忆变得透明且可信。

3. “自适应侦探”（动态加权检索）

现在，假设你向 AI 提问：“上周我说了什么关于我的工作的事？”

问题所在：旧系统就像一位侦探，无论书籍是否相关，都以同样的强度走遍整个图书馆，检查每一本书。它们平等地对待所有连接。
MemORAI 的解决方案：它扮演一位手持手电筒的侦探。
- 当你提问时，系统不会查看整个图书馆。它利用你的问题，只照亮地图上相关的特定部分（即“子图”）。
- 动态加权：当侦探沿着地图的连线行走时，他们会根据你的问题调整焦点。如果你的问题关于“工作”，那么连接"Alex"与“工作”的连线会被赋予高权重（发出明亮的光芒），而通往“徒步”的连线则会被调暗。
- 这确保了 AI 优先处理那些真正能回答你具体问题的信息，而不仅仅是那些恰好与其他事实连接最多的信息。

结果

该论文在两个具有挑战性的基准测试（LOCOMO 和 LongMemEval）中对 MemORAI 进行了测试，在这些测试中，AI 代理需要在多个不同的对话会话中记住细节。

结果：MemORAI 的表现优于所有其他现有方法。它在检索正确记忆方面更出色，在利用这些记忆生成准确、个性化的回答方面也表现更佳。
意义：它证明了通过选择性（过滤噪音）、有序性（使用带收据的地图）和适应性（根据问题聚焦搜索），AI 最终可以拥有长期的、个性化的记忆，从而让人感觉更加人性化。

简而言之，MemORAI 阻止了 AI 成为一个健忘的陌生人，将其转变为一位能记住你的故事、知道你在何处听到这些信息，并能准确告诉你所需内容的挚友。

技术摘要：MemORAI

问题陈述
大型语言模型（LLM）目前缺乏长程、个性化对话所需的持久记忆能力。尽管检索增强生成（RAG）和基于向量的系统在事实 grounding 方面取得了进展，但它们难以处理多轮对话中固有的关系结构和时间结构。现有的基于图的记忆系统存在关键局限性：它们往往因未能过滤通用对话与用户人设相关内容而导致信息稀释；缺乏细粒度的溯源追踪，使得难以审计检索信息的真实来源；并且采用统一的检索机制（如标准 PageRank），忽略了查询上下文，导致语义相关但结构稀疏的节点排名不佳。

方法论
MemORAI（通过自适应图智能进行记忆组织与检索）通过一个旨在整合选择性存储、丰富化表示和自适应检索的三阶段流程来解决这些差距。

会话分割与选择性压缩：
系统首先将原始多会话对话分解为语义连贯的片段。随后，“记忆门控”应用选择性过滤，仅保留包含用户特定情景内容（例如个人事实、偏好、承诺）的消息，同时丢弃通用话语。为防止全局上下文丢失，系统会为被丢弃的内容生成片段级摘要。这种双层方法将细粒度的个人内容与全局上下文锚点一同存储，显著降低了存储开销和噪声。
溯源增强的图构建：
从过滤后的内容中，MemORAI 构建了一个异构多关系知识图谱（ $G = (V, E)$ ）。该图谱包含三种节点类型：
- 实体节点：存储名称和细粒度的自然语言描述（例如"Alex——软件工程师……"），并链接到特定的话轮 ID。
- 话轮节点：存储对话话轮的原始文本。
- 片段节点：存储片段级摘要。
  边将实体与其提及相连，将话轮与片段相连，并通过类型化关系将实体与其他实体相连。关键在于，每个三元组和节点都包含明确的话轮级溯源，从而实现对事实来源的透明审计。
查询自适应子图检索与排序：
收到用户查询后，系统不会遍历整个记忆图。相反，它执行多方位并行检索，基于语义相似性识别前 $k$ 个种子节点（片段、实体和关系）。随后，通过从这些种子节点向外扩展一跳，构建一个稀疏的、以查询为中心的子图。
排序使用**动态加权 PageRank（DW-PR）**进行。与传统的 PageRank 或均匀传播方法不同，DW-PR 根据查询条件化的边权重调节分数传播。边权重计算为查询与所连接节点或关系的描述之间的余弦相似度。这确保了即使节点连接稀疏，语义一致的证据也能被优先处理，防止结构偏差掩盖上下文关键记忆。

主要贡献
本文指出了三项主要创新：

选择性记忆过滤：一种机制，仅保留与用户人设相关的内容，同时通过片段摘要保留全局上下文，从而提高了存储效率和检索精度。
溯源增强的知识图谱：一种异构架构，具备明确的话轮级溯源追踪功能，实现了细粒度检索和对事实来源的透明审计。
动态加权 PageRank：一种查询自适应检索方法，在遍历过程中应用查询条件化的边加权，使系统能够在无需遍历全图的情况下优先处理语义一致的证据。

实验结果
MemORAI 在针对长程对话记忆的 LongMemEval-s 和 LOCOMO-10 基准上进行了评估。该框架与多种基线进行了比较，包括全上下文基线、密集检索模型（如 Contriever、BGE-M3）以及结构化 RAG 方法（如 HippoRAG 2、RAPTOR）。

检索性能：MemORAI 在会话级和话轮级检索中均取得了最先进（SOTA）的性能。在 LongMemEval-s 上，其会话级 Recall@3 达到 90.17%，话轮级 Recall@3 达到 71.13%，优于 HippoRAG 2 等强基线（会话级 75.53%，话轮级 27.80%）。
生成性能：在响应生成方面，MemORAI 获得了最高的 GPT-4o 评判分数（LongMemEval-s 上为 75.55%，LOCOMO-10 上为 60.22%），并且在所有基线中表现出更优越的词汇指标（F1、BLEU、ROUGE）。
消融研究：受控实验证实，主题分割为记忆组织提供了最强的结构先验，而动态边加权相比均匀加权 consistently 提高了检索准确率。使用以查询为中心的子图在降低延迟的同时并未牺牲召回率。

意义与主张
本文主张，MemORAI 证明了选择性存储、丰富化表示和自适应检索对于连贯的、个性化的 LLM 代理至关重要。通过整合这些组件，该框架弥合了检索精度与生成保真度之间的差距。作者断言，他们的方法通过过滤信息稀释、在话轮级别追踪溯源以及根据查询语义调整检索权重，克服了现有系统的局限性。

本文也承认了局限性，指出对话轮级溯源和静态实体链接的依赖可能会限制在用户意图突然转变的高度动态上下文中的适应性。此外，与仅使用轻量级嵌入的流水线相比，该系统目前在索引阶段会产生更高的计算开销，尽管这与实时推理延迟是解耦的。作者建议，未来的工作可以利用知识蒸馏来优化该框架，以适应资源受限的环境。

1. “智能守门人”（选择性记忆过滤）

2. “魔法地图”（来源 enriched 图）

3. “自适应侦探”（动态加权检索）

结果

类似论文