技术摘要：OSL-MR – 可观测性安全的记忆留存

1. 问题定义

长程语言智能体面临着一个根本性的资源分配挑战：它们积累的观察结果、推理痕迹和检索事实会超过有限的上下文窗口。现有的记忆系统通常依赖于启发式评分（例如，近期性、相关性）、检索优化或学习压缩。然而，这些方法在很大程度上将记忆留存视为一个局部决策问题，未能显式地建模长期后果，例如缺失未来证据、重新获取成本以及在现实部分可观测性下的陈旧信息风险。

解决这一问题的关键障碍是可观测性。用于评估留存决策质量的信号（例如，金标准证据、答案正确性、语义新鲜度）通常只能在决策做出之后才可用。在部署期间使用这些信号会造成不切实际的信息优势（预知能力）。以往的工作尚未将留存显式地建模为一个遵循在线可观测特征与离线可用监督（OAS）分离原则的约束随机优化问题。

2. 方法论：OSL-MR

作者提出了 OSL-MR（面向记忆留存的可观测性安全学习），该框架将记忆留存建模为一个约束性顺序优化问题，并通过严格遵守可观测性约束的数据驱动方法来解决它。

2.1 约束优化公式化

该问题被定义为在时间步 $T$ 内最大化期望累积奖励，同时受到严格存储预算 $B_t$ 的约束。奖励函数 $r_t$ 显式建模了：

• 证据效用： 命中（$T^{hit}$）和实现所需证据完全覆盖（$F_t$）的奖励。
• 成本： 存储成本（$\alpha_{store}$）、缺失证据成本（$\alpha_{miss}$）、重新获取延迟成本（$\alpha_{reacq}$）以及使用陈旧信息成本（$\alpha_{stale}$）的惩罚。

这种公式化强调了留存是一个多步、延迟反馈的问题。近视的单步优化器无法考虑到当前的留存选择如何影响未来的证据可用性或导致延迟惩罚。

2.2 可观测性分离 (OAS)

该框架强制执行以下两者的严格分离：

• 在线可观测输入： 查询上下文、记忆元数据、交互历史和近期性。这些在决策时是可用的。
• 离线可用监督 (OAS)： 金标准证据集、答案文本和真实的新鲜度。这些仅用于训练和评估，绝不在推理中使用。

这确保了任何学习到的策略在实际系统中都是可部署的，而无需具备对未来信息的预知能力。

2.3 双组件架构

为了解决部分可观测性下精确优化的难解性，OSL-MR 采用了两个互补的组件：

1. 混合评分启发式（冷启动与先验）：

   • 一个轻量级的、完全可部署的启发式算法，根据时间、相关性、上下文和风险特征（减去大小惩罚）计算效用得分。
   • 角色 1： 作为强基准，并在交互数据可用之前的“冷启动”阶段确保系统功能。
   • 角色 2： 作为结构化的归纳先验。其得分与在线特征拼接后作为学习模型的输入，在不引入新监督信号的情况下引导学习器。

2. 证据学习器 (Evidence Learner)：

   • 在由混合评分启发式收集的交互日志上进行离线训练。
   • 监督信号： 使用源自已实现结果的金标准证据成员标签（$y^{evid}_{t,i} = 1[m_{t,i} \in E_t]$）。
   • 训练： 优化加权二元交叉熵损失，以预测某项记忆是否属于给定查询的所需证据集。
   • 部署： 训练好的模型被冻结并部署，推理时仅依赖于在线特征（与混合评分先验拼接）。

2.4 分阶段部署

系统以实用的分阶段方式运行：

1. 阶段 1： 仅运行混合评分启发式，记录所有交互。
2. 阶段 2： 一旦收集到足够的数据，则使用金标准标签在离线环境下训练证据学习器。
3. 阶段 3： 冻结的学习器取代启发式算法，同时保持严格的可观测性约束。

3. 核心贡献

1. 形式化： 首次将记忆留存形式化为针对长程智能体的约束随机优化问题，显式建模了证据效用、延迟成本（缺失、重新获取、陈旧性）以及部分可观测性。
2. OSL-MR 框架： 一种全新的学习框架，通过强制执行严格的在线/OAS 分离来确保可部署性。它集成了混合评分启发式（作为基准和先验）与从直接证据监督中学习的证据学习器。
3. 实证验证： 在 LoCoMo 和 LongMemEval 基准测试上进行了验证，证明其在紧凑内存预算下，性能持续优于基于近期性的方法、Generative Agents 式的评分方法以及行为克隆基准。

4. 实验结果

实验在两个具有不同内存预算（从紧凑到宽松）的公开长程基准测试上进行。

• 性能： OSL-MR 在所有基准（近期性、Generative Agents、混合评分、行为克隆）中始终实现了更高的证据 F1 值和奖励值。
  • 示例（LoCoMo，预算 128）： Ovez l-MR 实现了 0.302 的 F1 值和 305.16 的奖励值，显著优于混合评分（F1 0.069，奖励 132.48）和 Generative Agents 变体（F1 < 0.01）。
• 预算效率： 与那些用低效用项填满预算（高占用率）的启发式基准不同，OSL-MR 在保持较低占用率的同时实现了更高的精确度。它选择性地丢弃边际记忆，优先考虑证据质量而非数量。
• 监督质量： 直接证据监督（OSL-MR）显著优于行为克隆（BC-learner），后者模仿的是一个不可部署的“教师”策略。这证实了直接从金标准证据标签中学习比模仿依赖于预知信息的改进启发式方法更有效。
• 消融实验（混合评分先验）： 从输入特征中移除混合评分先验会导致精确度下降（例如，在 LongMemEval 预算 256 时下降了 20%），而召回率保持稳定。这证明了先验在不牺牲覆盖率的情况下提高选择效率的作用。
• 鲁棒性： 针对各种成本配置（变化的缺失、重新获取和陈旧性惩罚）的敏感性分析表明，OSL-MR 始终是表现最好的非预知方法，表明其对不同的成本权衡具有鲁棒性。

5. 意义与主张

论文声称 OSL-MR 提供了一个统一的视角，将启发式评分、优化和一致的可观测性约束下的学习联系起来。

• 理论意义： 它解决了先前工作中将留存视为局部决策或单步优化的差距。通过将其建模为多步顺序决策问题，OSL-MR 捕捉了记忆留存本质上的长程特性。
• 实践意义： 严格的可观测性分离保证了学习到的策略可以在现实世界的交互式智能体中部署，而无需未来的信息。
• 局限性与未来工作： 作者指出，混合评分先验目前是手动设计的，且新鲜度估计依赖于基于类型的衰减。未来的工作旨在自动学习先验权重并开发更具原则性的新鲜度估计方法。

总之，OSL-MR 证明了通过将记忆留存建模为约束优化问题，并严格分离在线推理与离线监督，智能体可以学会为长程任务保留“正确”的记忆，从而超越了静态启发式方法和依赖预知信息的学习方法。