💬 NLP

MemBuilder: Reinforcing LLMs for Long-Term Memory Construction via Attributed Dense Rewards

本文提出了 MemBuilder，一种通过合成会话级问题生成密集奖励和贡献感知梯度加权机制，训练模型构建长程对话中多维记忆并解决奖励稀疏与状态演化捕捉难题的强化学习框架，使 40 亿参数模型在长对话基准测试中超越了现有闭源模型。

原作者： Zhiyu Shen, Ziming Wu, Fuming Lai, Shaobing Lian, Yanghui Rao

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhiyu Shen, Ziming Wu, Fuming Lai, Shaobing Lian, Yanghui Rao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 MemBuilder 的新系统，它的核心目标是让大型人工智能（LLM）像人类一样，拥有长期且连贯的“记忆力”，而不仅仅是记住刚才说了什么。

为了让你更容易理解，我们可以把大模型想象成一个超级聪明的管家，把对话历史想象成管家每天处理的无数信件和琐事。

1. 现在的痛点：管家记性不好，或者记法太乱

现状：目前的 AI 管家（大模型）通常有两种记东西的方法：
1. 死记硬背（RAG）：就像把每封信都塞进一个巨大的仓库，问它时再随机翻找。但这有个大问题：它分不清哪些信是旧的、哪些是新的，也不知道事情是怎么演变的。比如，用户上周说“我喜欢吃辣”，这周说“我最近胃不好改吃清淡了”，旧方法可能还会推荐辣菜。
2. 靠提示词（Prompting）：就像每次用户来，管家都要把过去所有的信重新读一遍，或者靠一个昂贵的“超级大脑”（闭源大模型）来整理。这太慢了，而且如果换个便宜点的管家，效果就大打折扣。
核心问题：现有的训练方法就像只给期末考试打分。管家忙活了几个月（几十轮对话），最后只给一个总分。它根本不知道是哪一天的哪次整理工作做得好，哪次做错了，导致它学不到东西，或者学得很慢。

2. MemBuilder 的解决方案：给管家配个“全能教练”

MemBuilder 就像是一个强化学习框架，它教管家如何更聪明地整理记忆。它做了两件非常聪明的事情：

第一招：把“期末考试”变成“每日小测验” (Attributed Dense Rewards)

比喻：以前的训练是，管家整理完一年的日记，最后才给个分数。MemBuilder 则是在每一天整理完日记后，就立刻给管家出几道小测验题（比如：“用户昨天说了什么？”“用户上周的爱好变了吗？”）。
作用：如果管家今天整理得好，马上就能得分；整理得不好，马上就能知道错在哪。这种密集的反馈让管家学得非常快，知道每一步该怎么做。

第二招：给不同类型的记忆“分功” (Contribution-Aware Gradient Weighting)

比喻：管家把记忆分成了四个抽屉：
1. 核心抽屉 (Core)：记用户的名字、职业、性格（永远在眼前）。
2. 日记抽屉 (Episodic)：记发生了什么事、什么时候发生的（像时间轴）。
3. 知识抽屉 (Semantic)：记用户喜欢什么、讨厌什么、认识谁（像百科）。
4. 流程抽屉 (Procedural)：记用户的习惯、步骤（像操作手册）。
问题：以前，不管哪个抽屉帮了大忙，大家平分功劳。但有时候，回答“你上周去了哪”全靠日记抽屉，而流程抽屉完全没用。如果平分功劳，日记抽屉就学不到经验，流程抽屉却白拿了奖励。
MemBuilder 的做法：它像一位精明的会计。当回答一个问题时，它会看看到底是哪个抽屉里的信息被用到了。
- 如果是“日记抽屉”里的信息帮了忙，它就给“日记抽屉”的整理工作加倍奖励。
- 如果是“流程抽屉”没被用到，就不给它奖励。
- 这样，管家就知道：“哦，原来在回答这类问题时，我要重点把日记记清楚！”

3. 结果：小模型也能打败大模型

惊人的成绩：作者用这个系统训练了一个只有 40 亿参数（相当于一个中等大小的模型，成本低廉）的 AI。
对比：这个“小管家”在长期对话测试中，表现竟然超过了那些使用昂贵闭源大模型（如 Claude 4.5 Sonnet）构建记忆的“大管家”。
通用性：它只在一种类型的对话数据上训练，但到了其他类型的对话（比如虚构人物的聊天、复杂的个人问答）中，依然表现优异，说明它真的学会了“如何记东西”，而不是死记硬背数据。

总结

MemBuilder 就像给 AI 管家请了一位懂行且严厉的教练。

它不再等最后算总账，而是每天都进行小测验，让管家知道每天该怎么做。
它精准地奖励那些真正帮上忙的“记忆抽屉”，让管家知道在什么情况下该重点记什么。

最终，这个系统让一个便宜、轻量的 AI 模型，拥有了超越昂贵大模型的长期记忆能力，让 AI 能真正记住你的喜好、习惯和过去的故事，并且随着时间推移越来越懂你。

MemBuilder 技术总结

1. 研究背景与问题定义

核心挑战：
大型语言模型（LLM）在长对话中保持一致性面临巨大挑战。现有的检索增强生成（RAG）机制通常将检索单元视为独立的静态片段，无法捕捉历史状态的时间演化（temporal evolution）。虽然现有的记忆增强框架（如 Mem0, MemGPT）通过结构化存储解决了部分问题，但它们主要依赖提示工程（Prompting-based）和昂贵的闭源模型，且缺乏有效的训练范式。

现有方法的局限性：

稀疏的轨迹级奖励（Sparse Trajectory-Level Rewards）：在长对话中，仅在对话结束时给予一次奖励，导致模型无法判断中间哪一次记忆操作对最终结果有益，梯度更新噪声大，学习效率低。
多维记忆归因模糊（Multi-Dimensional Memory Attribution）：现有方法通常对所有记忆组件（如核心、情节、语义等）使用全局奖励，无法区分不同记忆类型对下游任务的实际贡献差异。
成本与泛化性：依赖闭源模型进行记忆构建成本高昂，且基于提示的方法难以通过微调优化特定任务。

目标：
训练一个轻量级模型（4B 参数），通过直接监督学习来构建长程记忆，使其在长对话问答任务中超越昂贵的闭源模型。

2. 方法论：MemBuilder 框架

MemBuilder 是一个基于强化学习（RL）的框架，旨在通过归因密集奖励（Attributed Dense Rewards）来优化多维记忆的构建。

2.1 多维记忆架构

系统设计了四种记忆类型，由同一个 LLM 通过角色特定的提示词并行处理：

**核心记忆 **(Core Memory)：存储持久性用户画像（身份、偏好、关系），作为固定文本块始终包含在上下文中。
**情节记忆 **(Episodic Memory)：带时间戳的事件记录，支持时间推理。
**语义记忆 **(Semantic Memory)：关于实体（人、地、概念）的事实性知识。
**程序记忆 **(Procedural Memory)：步骤、流程和工作流。

关键操作创新：

UPDATE：创建带有新时间戳的新条目并引用旧条目，而非直接覆盖，保留历史演变轨迹。
MERGE：将多个相关事件合并为时间范围内的结论，预计算复杂的时间推理。

2.2 训练流程：两阶段策略

**监督微调 **(SFT)：
- 目的：解决“冷启动”问题，确保模型输出格式正确（如合法的 JSON 结构、包含必要字段）。
- 数据：使用 Claude 4.5 Sonnet 生成专家轨迹（Expert Trajectories），模拟正确的记忆操作。
**归因密集奖励策略优化 **(ADRPO)：
这是论文的核心创新，包含两个关键技术点：
- **A. 基于合成会话级问答的密集奖励 **(Dense Session-Level Rewards)：
  - 机制：不再等待整个对话结束，而是在每个会话（Session）后，利用检索到的记忆生成合成问答对（QA Pairs）。
  - 奖励计算：使用强模型回答这些合成问题，根据回答准确率计算即时奖励。
  - 优势：为长轨迹中的每一步记忆操作提供密集的学习信号，解决了稀疏奖励导致的梯度噪声问题。
  - 正则化：引入格式有效性检查（Invalid 输出得 0 分）和长度惩罚（防止冗余存储）。
- **B. 贡献感知梯度加权 **(Contribution-Aware Gradient Weighting)：
  - 问题：不同记忆类型（如情节记忆 vs 程序记忆）对最终问答的贡献度不同，但共享同一个全局奖励。
  - 机制：在问答评估阶段，统计每种记忆类型被检索到的次数。将检索频率最高的记忆类型识别为“主导贡献者”。
  - 加权：对主导贡献者的梯度更新进行放大（系数 $\alpha > 1$ ），其他类型保持默认权重。
  - 意义：解决了多智能体协作中的信用分配问题，确保模型更强烈地优化那些真正对下游任务有帮助的记忆组件。

3. 实验结果

3.1 基准测试表现

在三个长对话基准测试（LoCoMo, LongMemEval, PerLTQA）上，MemBuilder 展现了 SOTA 性能：

LoCoMo：4B 参数模型达到 84.23%，超越了基于提示的 MIRIX (77.48%) 和作为记忆构建模型的 Claude 4.5 Sonnet (82.61%)。
LongMemEval：达到 85.75%。
PerLTQA：达到 93.14%。
泛化性：模型仅在 LongMemEval 上训练，但在 LoCoMo 和 PerLTQA（分布外数据）上表现优异，证明了强大的泛化能力。

3.2 消融实验关键发现

SFT + RL 的必要性：仅 SFT 可将性能从 68% 提升至 81.7%，但仅 RL（无 SFT）会导致性能下降（79.3%），证明 SFT 对于解决格式冷启动至关重要。
密集奖励的重要性：当奖励密度降低（仅部分会话给予奖励）时，性能显著下降，甚至不如仅使用 SFT 的基线。
梯度加权：设置 $\alpha=4$ 时性能最佳，证明区分不同记忆组件的贡献度能显著提升最终效果。
模型替代：训练好的 4B 模型构建的记忆，配合开源模型（如 Qwen3-30B）作为回答模型，也能达到与闭源模型相当的效果。

4. 核心贡献与意义

4.1 主要贡献

提出 ADRPO 算法：首次将会话级密集奖励与贡献感知梯度加权结合，解决了长程记忆构建中奖励稀疏和归因模糊的两大痛点。
轻量级模型超越闭源模型：证明了通过适当的强化学习训练，4B 参数的开源模型可以在记忆构建任务上超越昂贵的闭源模型（如 Claude 4.5 Sonnet），大幅降低部署成本。
多维记忆的时间演化机制：设计了支持时间链（Temporal Chain）和版本保留（Versioning）的记忆操作（UPDATE/MERGE），使模型能更好地处理信息的动态变化。

4.2 研究意义

降低成本：为长对话 Agent 提供了一种低成本、可训练的替代方案，不再依赖闭源 API 进行记忆管理。
训练范式革新：展示了在长序列任务中，通过合成数据生成密集奖励和细粒度的信用分配机制，可以显著提升强化学习的效果。
实际应用价值：该框架可直接应用于需要长期用户画像维护、个性化推荐及复杂任务规划的 AI 助手系统中。

总结：MemBuilder 通过创新的强化学习策略，成功将长程记忆构建从“提示工程”转变为“可训练任务”，在保持高性能的同时实现了模型轻量化和成本可控，是长对话记忆管理领域的重要突破。