技术摘要：Nous —— 一种用于长期智能体记忆的预测性世界模型

问题陈述

当前的语言大模型（LLM）智能体缺乏持续演进的长期记忆。虽然上下文窗口提供了短期召回能力，但一旦会话结束，对话历史就会丢失，除非进行外部持久化。现有的记忆系统（如 RAG、知识图谱以及像 MemGPT 这样的情景存储）将记忆视为静态的事实数据库。作者认为这种“存储”范式导致了三种结构性失效模式：

1. 冲突盲区（Conflict Blindness）： 矛盾的记录（例如用户更换了工作）会不断累积，而缺乏原则性的解决机制。
2. 启发式遗忘（Heuristic Forgetting）： 删除操作是基于时间而非语义相关性或不确定性。
3. 检索粒度失配（Retrieval Granularity Mismatch）： 事实库返回的是单个记录，缺乏随时间聚合数值的机制（例如列出一个人曾经做过的所有活动）。

本文指出，这些失败源于将记忆视为“存储”而非预测性世界模型，类似于大脑如何维护一个由预测误差更新的环境生成模型。

方法论：Nous 架构

Nous 将记忆实现为一组分类概率分布的集合，称为维度（dimensions），而非确定性的事实。

核心抽象

• 维度 ($D_{e,a}$)： 对于每一个实体-属性对（例如：Pranav, 雇主），Nous 维护一个关于可能取值词表的分类分布 $p(v)$。该分布的众数代表了智能体当前的最优信念。
• 增量 ($\Delta$)： 存储的主要人工制品不是事实本身，而是增量（delta）——即从先验信念到后验信念转变的记录。一个增量包含先验分布、后验分布、信息论层面的惊奇度（surprise）、时间戳以及支持性证据。
• 惊奇驱动更新（Surprise-Driven Updates）： 输入的观测值通过信息论惊奇度进行评分：$S = -\log_2 P(obs | D)$。高惊奇度（矛盾的证据）会触发显著的信念修正，而低惊奇度（确认性的证据）则会导致微乎其微的变化。
• 贝叶斯后验（Bayesian Posterior）： 更新通过闭式贝叶斯后验（公式 3）计算。这使得概率质量能够自然地向矛盾证据偏移，而无需显式的冲突检测逻辑。
• 熵衰减（遗忘）（Entropy Decay）： 在时长为 $\Delta t$ 内未被更新的维度会经历向均匀分布的指数混合过程（公式 4）。这模拟了随着不确定性随时间增加而产生的自然遗忘，这一特性在启发式删除规则中是缺失的。
• 身份解析（Identity Resolution）： 如果两个实体的共享维度集的对称 KL 散度较低，则将它们合并。

处理多值属性

单峰分类分布无法表示本质上是多值的属性（例如：访问过的城市列表），而不丢弃历史替代项。Nous 通过 增量日志聚合（delta-log aggregation） 来解决这一问题：在查询时，任何出现惊奇度高于阈值 $\theta_{min}$ 的值都会被包含在上下文中。这既保留了作为“当前最优信念”的贝叶斯世界模型，又允许针对特定查询进行详尽的聚合。

流水线

• 摄取（Ingestion）： LLM 从会话中提取 $(e, a, v)$ 三元组。对于每个三元组，系统计算惊奇度，更新后验分布，并将增量追加到日志中。
• 查询（Querying）： 系统在实体图上执行广度优先搜索（最多两跳）以播种相关实体。它将维度状态格式化为事实行，并追加前 k 个增量记录（基于 BM25 相似度）作为证据。这些上下文会被传递给用于回答的 LLM。

核心贡献

1. 预测性世界模型范式： 将智能体记忆形式化为通过惊奇驱动的贝叶斯推理进行更新的维度集合，而非事实库。
2. 开源实现： 一个无需外部向量数据库或图引擎的完整系统。
3. 评估与诚实的基准测试： 在 LoCoMo 基准测试上进行性能评估，并对文献中发现的关于基准对比（特别是针对 A-MEM）的可复现性问题进行了明确讨论，同时对具有相似前提的同期系统 BeliefMem 进行了对比分析。

结果

使用 GPT-4o-mini 作为骨干网络，在 LoCoMo 基准测试（10 个对话，1,540 个问题）上进行了评估：

• 性能： Nous 取得了以下 Token F1 分数：
  • 单跳（Single-hop）：63.50
  • 多跳（Multi-hop）：55.32
  • 时间性（Temporal）：58.57
  • 开源领域（Open-domain）：62.50
• 与 A-MEM 的比较： 在四个类别中的三个类别中，Nous 显著超过了 A-MEM 自报的 GPT-4o-mini 数据。作者指出，由于独立引用 A-MEM 结果时在类别分配上存在分歧，存在一个可复现性问题，尽管底层数值是一致的。
• 与 BeliefMem 的比较： 针对 BeliefMem（另一个基于信念的系统），Nous 自报的数字在所有四个类别上都超过了 BeliefMem（例如，单跳为 63.50 vs. 48.41）。然而，作者明确指出，由于提取提示词、检索机制（BM25/BFS vs. 相似度/衰减）以及问题计数不一致，这并非完全受控的比较。
• 失效分析：
  • 单跳： 高上下文召回率（86.07%）但较低的 F1 分数（63.50），表明瓶颈在于 LLM 的答案生成而非检索。
  • 开源领域： 最低的上下文召回率（47.50%）和最高的检索缺失率（37%），表明实体-属性维度模型在映射人格/习惯类问题方面存在困难。
  • 时间性： 受限于较低的上下文召回率（61.82%），因为时间数据通常嵌入在证据文本中，而非提取为显式的维度值。

意义与主张

本文声称 Nous 展示了一种优于以数据库为中心的记忆架构的可行替代方案。通过将记忆建模为一个由惊奇驱动更新的预测系统，它能自然地处理冲突（通过概率偏移）、遗忘（通过熵衰减）和聚合（通过增量日志）。

作者将这项工作定位为首个公开报告的新架构。他们对结果保持谦逊的态度：

• 与 BeliefMem 的比较是“暗示性的而非结论性的”，尚需进行匹配流水线的受控自测。
• 承认单峰维度的性质在处理集合值属性时是一个局限性，并计划转向独立的伯努利分布。
• 目前的评估仅限于 LoCoMo 和 GPT-4o-mini；计划将其推广到其他骨干网络和更难的基准测试（LongMemEval）。

核心意义在于架构的转变：将智能体的记忆视为一个持续精炼的、关于世界状态的概率分布，而非仅仅是“发生了什么”的仓库，这与预测编码和自由能原理等认知科学原理相契合。