技术摘要：SaliMory：为对话智能体编排认知记忆

1. 问题定义

旨在作为终身伴侣的对话智能体需要持久的记忆，以在交互中维持上下文。然而，当前的方法面临两个主要局限：

• 检索增强生成 (RAG) 的噪声问题： 仅仅通过扩大上下文窗口或检索原始交互历史，往往会导致噪声多、重复性高且无关的数据，从而降低推理质量。
• 信用分配瓶颈： 使用仅基于最终结果奖励的标准强化学习 (RL) 来训练记忆智能体，会产生严重的信用分配问题。在多阶段流水线中，很难判断最终响应的失败究竟是源于记忆形成不佳、检索无效，还是生成错误。

在 LoCoMo 基准测试上的误差分析显示，记忆错误（显著信息的丢失或失真）在最先进的基准模型中占失败原因的 52%，明显超过了配置文件生成或响应生成的错误率。

2. 方法论：SaliMory 框架

SaliMory 是一个智能体记忆管理框架，它训练单个语言模型来端到端地管理一个具有认知结构的记忆系统。其灵感源自人类认知科学，特别是工作记忆、长期事实知识与主观偏好之间的区别。

2.1 认知记忆架构

SaliMory 不使用扁平化的缓冲区，而是维护一个结构化记忆库 $M = (\bar{F}, \bar{P}, \bar{W})$，由三个专用存储库组成：

1. 事实库 ($\bar{F}$)：关于用户的客观、可验证的陈述（例如，“乳糖不耐受”）。
2. 偏好库 ($\bar{P}$)：作为风格定制软标准的、主观的品味与倾向（例如，“偏好燕麦奶”）。
3. 工作记忆 ($\bar{W}$)：用户可能仍在大脑中关注的近期显著轮次。

2.2 统一策略与角色

通过强化学习训练单个策略模型 $\pi_\theta$，使其根据不同的指令提示执行三个互补的角色：

• 显著性过滤器 (Saliency Filter)：决定哪些对话轮次包含值得记录的显著信息。
• 记忆增强器 (Memory Booster)：更新并整合事实库和偏好库，并管理工作记忆的滑动窗口。
• 记忆利用器 (Memory Utilizer)：从三个存储库中检索并合成与查询相关的条目，为下游生成器提供经查询适配的画像。

该架构将离线记忆管理阶段与运行时生成阶段分离。一个冻结的大语言模型 ($\pi_{gen}$) 根据合成的画像生成最终响应，确保记忆管理器专门针对上下文策展进行优化。

2.3 训练：阶段式过程奖励与对比精炼

为了解决信用分配问题，SaliMory 引入了两种新机制：

A. 阶段式过程奖励系统
SaliMory 不仅仅依赖最终的结果奖励，而是将学习信号分解为三个正交奖励：

1. 响应质量 ($R_1$)：一个评估最终答案准确性和个性化的乘法门控。只有在答案事实正确时，个性化才会获得奖励。
2. 记忆质量 ($R_2$)：一个评估记忆库本身的事实忠实度和模糊性的非对称惩罚。这鼓励增强器忽略边缘记忆，而不是编码模糊的记忆。
3. 利用率与过滤器质量 ($R_3$)：评估适配后的画像（在捕捉约束的同时排除干扰项）以及显著性过滤器对门控决策的准确性。

B. 奖励分解的对比精炼
标准的群体相对策略优化 (GRPO) 会为所有轨迹分配单一的优势标量，这可能导致上游模块获得不应得的梯度。SaliMory 构建了特定角色的对比偏好对：

• 增强器对 (Booster Pairs)：严格基于记忆质量得分 ($R_2$) 进行选择，忽略总回合奖励。
• 利用器对 (Utilizer Pairs)：基于利用率得分 ($R_3$) 进行选择，但仅在对比的展开路径（rollouts）的记忆库高度相似（通过 Jaccard 相似度衡量）时才进行构建。这种因果门控确保了利用器仅因其合成能力而获得奖励，而不是因为偶然获得了更好的上游记忆。

3. 核心贡献

1. 受认知启发的架构：将事实快照、主观偏好和短期工作记忆分离，并由执行不同角色（过滤器、增强器、利用器）的统一智能体进行管理。
2. 记忆锚定的强化学习 (Memory-Anchored RL)：一种结合了层次化阶段式过程奖励与奖励分解对比精炼的新型训练范式，为多阶段记忆系统提供细粒度的信用分配。
3. 新的基准测试与协议：引入了 LoCoMo-P13n，它是 LoCoMo 基准的扩展，包含了个性化查询（推荐和隐式个性化），以及一个共同评估精确记忆召回与个性化质量的多步评估协议。

4. 实验结果

在 LoCoMo 和 LoCoMo-P13n 基准测试上使用 9B 参数模型（Qwen3.5-9B-Instruct）作为策略进行评估：

• 端到端性能：SaliMory 实现了 72.9% 的端到端准确率，超过最先进技术 (SOTA) 超过 10%。
• 个性化：它提供了 39.8% 的“良好个性化”率，比次优基准（Mem-R1，16.3%）高出两倍多，并显著优于由更大模型（如 Gemini-3-Flash）驱动的零样本智能体方法。
• 误差减少：SaliMory 将归因于记忆的失败次数减少了三分之一。它几乎消除了“不良个性化”（幻觉或侵入式响应），降至 1.4%。
• 记忆质量：该系统将模糊记忆条目减少至 19.6%（对比 Mem-R1 的 35.7%），并将事实忠实度提高到 93.9%。
• 效率：SaliMory 在记忆形成延迟方面实现了 76 倍的加速（0.5s 对比零样本的 38s），并通过合成紧凑的画像而非处理原始检索块，实现了 5 倍的推理延迟降低。
• 泛化性：在真实世界的聊天 AI 流量数据中，SaliMory 将“良好个性化”率提升了三倍以上（从 1.7% 到 5.5%），并显著提高了记忆的事实性。

5. 重要性与主张

论文声称，对话记忆的基本挑战不在于存储，而在于管理。SaliMory 证明了通过将记忆架构植根于认知原则（分离事实、偏好和工作记忆），并通过分解奖励和对比精炼解决信用分配问题，可以训练出比大规模零样本模型更强大的紧凑型模型。

作者断言，该方法为不同的记忆操作提供了必要的“隔离监督”，使智能体能够可靠地捕获用户偏好，同时保留显著细节。该框架被视为构建有效的终身数字伴侣的关键一步，这些伴侣能够在不被交互历史淹没的情况下，维持持久且高质量的上下文。