技术摘要：DimMem——面向高效长程智能体记忆的维度结构化

1. 问题陈述

大型语言模型（LLM）智能体需要长程记忆，以充当能够跨多个会话回忆用户偏好、过往决策及演变事实的持久化助手。现有的记忆系统面临一个根本性的保真度与效率的权衡：

• 原始对话历史：保留完整上下文可确保保真度，但在存储、检索、更新及注入模型上下文方面计算成本高昂。
• 扁平事实/摘要：这些方法效率高，但往往丢弃了精确回忆所需的时序、因果、意图及上下文结构（例如，事件发生的时间、计划变更的原因，或助手先前推荐的内容）。
• 复杂结构：基于图或分层的系统恢复了关系结构，但引入了显著的构建与维护开销。
• 学习策略：通过强化学习或微调来学习记忆操作（CRUD）的方法往往难以奏效，因为底层记忆表示缺乏显式的结构维度（时间、原因、目的），迫使策略从贫乏的记录中推断缺失信息。

核心挑战在于，查询往往依赖于特定维度（时序、因果、意图），而不仅仅是语义相似性。当前系统在存储层面未能显式暴露这些维度，导致检索错误和上下文利用效率低下。

2. 方法论：DimMem 框架

DimMem 提出了一种轻量级维度记忆框架，其中每条记忆都被表示为具有显式维度字段的原子化、类型化且自包含的单元。

2.1 维度记忆表示

DimMem 不存储原始文本或扁平摘要，而是将对话流转换为结构化记录：
$$m_i = \langle id_i, C_i, T_i, D_i, \rho_i \rangle$$

• $C_i$（内容）：自包含的文本记忆，其中代词已解析，相对时间已归一化。
• $T_i$（类型）：显式分类为事实（稳定知识）、事件（具体事件）或画像（长期个人语义）。
• $D_i$（维度）：一组解耦的显式字段：
  • 时间：有效性或发生时间。
  • 地点：物理或上下文位置。
  • 原因：因果背景。
  • 目的：交流意图或任务意图。
  • 关键词：实体与主题锚点。
• $\rho_i$（指针）：指向源窗口/轮次的引用，允许按需检索原始助手回复，而无需在每个记录中存储它们。

2.2 重叠感知提取

为处理长对话，系统将对话分割为重叠窗口。记忆提取遵循以下原则：

• 利用重叠 token 来解析共指并归一化时间。
• 新记忆严格基于窗口的非重叠后缀进行锚定，以防止重复。
• 一个紧凑的提取器（通过 SFT 微调）将这些窗口映射到维度模式。

2.3 维度感知操作

该框架通过维度模式统一了检索、更新和助手回忆：

• 三路检索：查询被解析为相同的模式。检索结合了：
  1. 词汇匹配（$R_{bm25}$）：针对精确实体。
  2. 稠密检索（$R_{dense}$）：针对语义改写。
  3. 维度匹配（$R_{dim}$）：基于查询约束（时间、类型、地点、原因）与记忆维度之间的一致性进行显式评分。这防止了语义相似但在时间或因果上不匹配的记忆占据主导。
• 动态助手回忆：系统预测查询是否需要先前的助手上下文（$I_{ast}$）。如果是，则通过 $\rho_i$ 检索特定的源回复；否则，仅依赖结构化用户记忆。这避免了为不需要它的查询膨胀上下文。
• 维度感知更新：新记录在昂贵的嵌入比较或 LLM 整合之前，先按记忆类型和关键词重叠进行过滤。这减少了合并、替代或保留两条记录的候选集，确保只有结构上合理的冲突才会触发 LLM 决策。

2.4 可学习的结构化提取

论文证明，高质量的维度提取是一种可学习的能力。通过在教师模型（GPT-5.4）使用 DimMem 模式生成的合成数据上微调紧凑模型（Qwen3-4B），该系统实现了与更大提取器相当的性能。这将负担从“提示大型模型”转移到了“在结构化模式上训练紧凑模型”。

3. 主要贡献

1. 维度记忆表示：从扁平段落或孤立事实转向具有显式维度（时间、地点、原因、目的、关键词）的原子化、类型化记录，这些记录作为记忆系统的操作接口。
2. 维度感知操作：用于检索、更新和助手回忆的机制，将解析后的查询意图与显式记忆维度对齐，提升了时序、因果及多会话推理能力，同时降低了成本。
3. 可学习的结构化提取：实证表明，紧凑模型（例如 40 亿参数）可以学习构建高质量的维度记忆，挑战了此类结构化提取需要专有或超大规模模型的观点。

4. 实验结果

该框架在 LoCoMo-10 和 LongMemEval-S 基准上进行了评估。

• 性能：DimMem 在 LoCoMo-10 上实现了 81.43% 的总体准确率，在 LongMemEval-S 上达到 78.20%，优于现有的轻量级系统（如 LightMem、SimpleMem、MemOS）。
• 效率：与基线相比，它在 LoCoMo 上降低了 24% 的每查询 token 成本。
• 紧凑提取器：微调后的 Qwen3-4B 提取器在两个基准上均超越了使用 GPT-4.1-mini 的 LightMem，并达到了与 Qwen3-30B-A3B 提取器相当的性能。
• 消融研究：
  • 移除维度结构（仅内容）导致了最大的性能下降，特别是在时序和多跳推理方面。
  • 移除基于维度的检索路径降低了精度，证实了仅靠词汇和稠密检索无法实施严格约束。
  • 动态助手回忆：仅针对 12.2% 的查询被触发，但在特定子任务上将依赖助手的准确率提高了 48.2%，同时将总 token 消耗降低了 65.6%。
  • 更新效率：维度过滤将嵌入计算量减少了 75.5%（LongMemEval）和 59.2%（LoCoMo），同时比仅基于嵌入的基线识别出更多有效的合并。

5. 意义与主张

论文提出，显式的维度结构化是 LLM 智能体长程记忆的有效且高效的基础。其意义在于：

• 归纳偏置：将时间、原因、目的和类型视为记忆模式中的头等公民，作为一种强归纳偏置，直接提升了检索精度和推理能力。
• 控制与表示的解耦：虽然 prior work 侧重于学习何时更新记忆，DimMem 则侧重于如何构建记忆基底。它认为，高质量的结构化基底是任何有效记忆策略的前提。
• 可扩展性：训练紧凑模型执行结构化提取的能力表明，复杂的记忆管理并不 inherently 需要巨大的计算资源，这使得长程智能体记忆更加易于获取和部署。

作者总结道，DimMem 提供了一条介于原始上下文的高成本与扁平摘要的低保真度之间的中间路径，证明了结构化、维度感知的记忆既具有高性能，又能被小型模型所学习。