$\delta$-mem: Efficient Online Memory for Large Language Models

$\delta$-mem 技术摘要：面向大语言模型的高效在线记忆

1. 问题陈述

随着大语言模型（LLMs）在长期助手和代理系统中的部署，它们面临一个关键挑战：需要在长期交互中积累、更新和复用历史信息。当前的策略通常依赖于简单地扩展输入上下文窗口。然而，由于标准注意力机制相对于上下文长度具有二次方成本，这种方法计算代价高昂。此外，单纯增加窗口大小并不能保证有效利用；模型在处理极长序列时往往会出现“上下文退化”或“上下文腐烂”，这表明百万级 token 的窗口并不能从根本上解决记忆问题。

现有的记忆机制可分为三种范式，每种都有局限性：

• 文本记忆机制（TMMs）： 将记忆作为文本注入输入上下文。虽然灵活，但受限于上下文窗口、检索噪声和压缩损失。
• 外部通道记忆机制（OMMs）： 将记忆保存在通过检索访问的外部模块中。这引入了开销、集成复杂性以及与主干网络潜在的不对齐问题。
• 参数化记忆机制（PMMs）： 将记忆编码为前缀或适配器。虽然对冻结的主干网络高效，但其静态性质限制了对动态演变信息的适应能力。

因此，需要一种机制来维持紧凑且动态演变的记忆状态，并通过与内部注意力计算紧密对齐的路径引导主干网络，而无需全量微调或显式扩展上下文。

2. 方法论：$\delta$-mem

作者提出了$\delta$-mem，这是一种轻量级记忆机制，通过紧凑的**关联记忆在线状态（OSAM）**增强冻结的全注意力主干网络。其核心设计在每个位置遵循“读取 - 引导 - 写入”循环，保持主干网络参数冻结。

A. 关联记忆在线状态（OSAM）
$\delta$-mem 不存储所有历史 token，而是将过去信息压缩为固定大小的状态矩阵 $S \in \mathbb{R}^{r \times r}$（实验中具体为 $8 \times 8$ 矩阵）。该状态存储来自历史上下文的键值关联（$k \to v$）。

• 更新规则： 状态使用受在线回归启发的delta 规则学习方法顺序更新。给定记忆键 $k_t$ 和值 $v_t$，状态预测 $\hat{v}_t = S_{t-1}k_t$。更新旨在最小化残差误差：
  $$S_t = \lambda_t S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$$
  其中，$\lambda_t$（遗忘门）控制先前记忆的保留，$\beta_t$（写入门）控制残差更新的强度。这使得状态能够在保留稳定历史信息的同时，动态修正预测差异。

B. 记忆投影
来自冻结主干网络的隐藏状态 $x_t$ 被投影到低维记忆空间（$r$ 维），以生成用于记忆状态的查询（$q^m_t$）、键（$k^m_t$）和值（$v^m_t$）向量。对 $q^m_t$ 和 $k^m_t$ 应用归一化，以减少长序列递归过程中的不稳定性。

C. 通过低秩校正进行引导
在生成过程中，$\delta$-mem 使用当前查询 $q^m_t$ 从先前状态 $S_{t-1}$ 读取，生成读取向量 $r_t = S_{t-1}q^m_t$。该向量提供与上下文相关的信号，在不检索文本 token 的情况下引导主干网络的注意力。

• 读取信号被转换为注意力机制查询（$\Delta q_t$）和输出（$\Delta o_t$）端的低秩校正：
  $$\tilde{q}_t = q^0_t + \alpha \Delta q_t, \quad \tilde{y}_t = a_t + \alpha \Delta o_t$$
  其中 $q^0_t$ 是原始查询，$a_t$ 是标准注意力输出。这些校正允许关联记忆直接参与前向计算。

D. 写入粒度策略
本文研究了三种状态更新策略：

1. Token-State Write (TSW，Token-状态写入)： 在每个 token 处更新状态。保留细粒度细节，但对噪声敏感。
2. Sequence-State Write (SSW，序列 - 状态写入)： 在更新前对消息/片段内的隐藏状态进行平均。减少冗余并平滑演变。
3. Multi-State Write (MSW，多状态写入)： 维护多个并行子状态（例如用于事实、偏好、任务进度），以减少干扰，并聚合它们的读取结果。

E. 训练
$\delta$-mem 使用标准的监督微调（SFT）损失进行训练。上下文 token 被写入在线状态，但在预测响应时，是状态本身（而非原始上下文 token）引导冻结的主干网络。

3. 主要贡献

1. 新颖机制： 提出了 $\delta$-mem，将紧凑、动态更新的在线状态直接与冻结主干网络的注意力计算耦合，避免了全量微调或替换主干网络。
2. 紧凑高效： 证明了极小的记忆状态（$8 \times 8$ 矩阵）足以保留有用的历史信号，并在显式历史被移除的情况下恢复与上下文相关的信息。
3. 性能提升： 在记忆密集型基准测试中显示出显著改进，同时保持通用能力，无需依赖扩展显式上下文或重型外部检索模块。

4. 实验结果

该方法使用 Qwen3-4B-Instruct、Qwen3-8B 和 SmolLM3-3B 主干网络，在通用能力基准（IFEval, GPQA-Diamond, HotpotQA）和记忆密集型基准（LoCoMo, MemoryAgentBench）上进行了评估。

• 整体性能： $\delta$-mem 将平均得分提高了 1.10$\times$（相对于冻结主干网络）和 1.15$\times$（相对于最强的非 $\delta$-mem 记忆基线 Context2LoRA）。
• 记忆密集型任务：
  • MemoryAgentBench： 实现了 1.31$\times$ 的提升（平均得分从 29.54% 提高到 38.85%）。
  • LoCoMo： 实现了 1.20$\times$ 的提升（平均得分从 40.79% 提高到 49.12%）。
  • TTL 子任务： 得分几乎翻倍，从 26.14 提高到 50.50。
• 主干网络变体：
  • 在 Qwen3-4B 上，TSW 变体取得了最佳平均分（51.66%）。
  • 在 Qwen3-8B 上，SSW 表现最佳（50.86%），表明片段级写入有助于减轻更强模型的噪声。
  • 在 SmolLM3-3B 上，MSW 带来了显著飞跃（从 26.08% 提高到 36.96%），表明较小的模型受益于分离记忆类型以最小化干扰。
• 上下文恢复： 在“无上下文”设置（移除显式历史）中，$\delta$-mem 恢复了显著性能，将 HotpotQA 的 EM 从 0.08% 提高到 6.48%，将 LoCoMo 平均分从 3.49% 提高到 8.05%，证明状态存储了可重用的信号。
• 消融研究：
  • 头（Heads）： 在查询和输出分支（$qo$）均注入校正在性能和参数量之间提供了最佳权衡。
  • 深度（Depth）： 在所有层应用校正取得了最佳结果，表明记忆信号有利于完整的表示层次结构。

5. 意义与主张

本文主张，LLM 的有效记忆可以通过与注意力计算直接耦合的紧凑在线状态来实现。$\delta$-mem 的意义在于其能够：

• 将记忆维护与提示重插入解耦： 与文本记忆不同，它不将压缩的历史通过 token 空间路由回去，从而避免了上下文窗口限制和检索噪声。
• 实现动态演变： 与参数化记忆不同，该状态通过 delta 规则学习随序列连续演变，适应新的交互而无需离散的编辑步骤。
• 保持高效： 它以固定且极小的状态大小（$8 \times 8$）实现这些增益，且无需修改主干网络架构，为冻结 Transformer 的测试时记忆提供了可扩展的接口。

作者总结道，这种方法为上下文扩展提供了一种稳健的替代方案，使模型能够有效利用历史信息，同时避免了长上下文处理的计算负担或外部检索系统的复杂性。