🤖 machine learning

Context by Distinct Information: An Auditable Dirichlet-Process Working Memory for Long, Redundant Context Streams

本文提出了一种可审计的工作记忆架构，该架构按任务依赖关系组织上下文——将召回、摘要和局部性信息分配给不同的组件——从而使记忆能够随不同信息项的数量而非总标记数进行扩展，从而提高在长且冗余的流中的效率和可解释性。

原作者： Siddharth Pal, Viktoria Rojkova

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Siddharth Pal, Viktoria Rojkova

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图回忆一段漫长且混乱的故事。也许是一段对话的转录，或者是计算机错误的日志，又或者是医疗代码的列表。AI 处理这类问题的标准方式就像一个正在为考试突击复习的学生：他们试图按顺序记住每一个单词。如果这个故事有 10,000 个单词长，这个学生的脑子里就会塞满 10,000 条微小的笔记。即使这个故事只是一遍又一遍地重复同样的三个笑话，这个学生仍然会把每一个“哈哈”和“lol”都记录下来。

这篇论文提出了一种更聪明的方法：不要死记硬背单词；要记住其中的“概念（Ideas）”。

“新概念”规则

作者提出了一个系统，其作用就像一位非常挑剔的图书管理员。与其为每一次提到“披萨”都为它归档一本新书，不如先检查一下书架。

如果“披萨”已经在书架上了，图书管理员就会忽略新的提及，仅仅更新其使用计数。
如果“披萨”是新出现的（一个“新颖”的项目），图书管理员才会为它创建一个全新的位置。

这被称为狄利克雷过程工作记忆（Dirichlet-Process Working Memory）。用通俗的话说，这是一种只有在遇到从未见过的新事物时才会增长的记忆。如果一段数据充满了重复（冗余），这种记忆就会保持很小；如果数据充满了独特的细节，这种记忆就会增长。

三种类型的记忆

论文认为，一种方案并不能适用于所有场景。根据任务的不同，你需要三种不同类型的“记忆桶”：

“近期性”窗口（短期缓冲区）：
- 它是什么： 一个只记住最后几秒钟或最后几个单词的滑动窗口。
- 何时使用： 当答案取决于“此时此刻”发生了什么时。
- 研究发现： 在处理短任务（如预测句子中的下一个字符）时，这种简单的窗口实际上比这种精巧的新系统表现得更好。论文明确排除了新系统是“全能冠军”的观点。
“摘要”流（循环状态）：
- 它是什么： 对整个故事进行压缩后的持续摘要，就像一份天气预报说“这一周一直在下雨”。
- 何时使用： 当答案取决于长期的“平均值”或“趋势”时。
- 研究发现： 在预测医疗索赔费用时，“摘要”记忆胜出了。这里的“新概念”缓存（那位挑剔的图书管理员）其实毫无帮助，因为该任务不需要回忆特定的过去项，只需要了解整体的氛围。
“独特项目”缓存（挑剔的图书管理员）：
- 它是什么： 一个由新颖性控制的系统，只存储独特的项目。
- 何时使用： 当答案取决于回忆某个“特定的”过去事件时，例如：“患者 X 三个月前的诊断代码是什么？”
- 研究发现： 这正是奇迹发生的地方。在预测下一个医疗代码或寻找你在 500 帧前访问过的地方等任务中，这个系统击败了标准的“记住一切”的方法。

重大进展（以及局限性）

“一半的工作量”结果：
在文本实验（使用 enwik8 数据集）中，新系统预测下一个字符的效果与标准系统不相上下，但它只关注了大约 49% 到 53% 的 Token。它跳过了重复的部分。

代价： 论文指出，虽然“阅读”变得更快、更便宜，但“写入”（检查一个项目是否真的是新的）却变慢了。这是一种权衡：你花费更多时间来整理图书馆，以便稍后能更快地从中阅读。

“长篇故事”的优势：
随着故事变得越来越长，这种优势也随之增长。

在长度为 256 个 Token 时，新系统略逊于旧系统。
在 512 个 Token 时，两者表现相当。
在 1,024 个 Token 时，新系统明显更好，每字符领先标准系统 0.300 bits。
论文表明，对于超长上下文，跳过重复内容是一个改变游戏规则的举措。

“现实世界”测试：
作者在真实数据上进行了测试，如医院记录（MIMIC-IV）和保险理赔（DE-SynPUF）。

在预测下一个医疗代码的任务中，新系统以显著优势（在 1,024 个事件的视野下约为 0.311 bits）击败了标准的“滑动窗口”。
然而，在预测理赔费用的任务中，新系统的表现是中性的。它既没有提供帮助，也没有造成伤害。“摘要”记忆才是那里的英雄。这证明了论文的核心观点：你必须将记忆类型与任务相匹配。

论文对哪些说法表示“否定”

了解这篇论文没有声称什么也很重要：

它不是解决一切问题的万灵药。 作者明确指出，对于短程、局部的任务，简单的滑动窗口仍然是最佳选择。
它没有解决“分布偏移（Distribution Shift）”问题。 在一个关于计算机日志（BGL）的实验中，该系统完全失败了。为什么？因为错误的模式随时间发生了变化（“模板分布发生了漂移”）。系统无法适应新的现实。论文承认这是一个难以逾越的障碍：如果游戏规则改变了，记忆就会感到困惑。
它目前还无法应对复杂的真人对话。 论文并未声称这适用于多轮对话机器人或检索智能体，因为后者需要理解细微差别、矛盾之处或说话者是谁。它是一个“原语（primitive）”（即构建模块），而不是一个成品。

核心结论

论文建议，我们不应再将上下文视为一串冗长、乏味的 Token 列表。相反，我们应该将其视为一系列独特的项目的集合。

如果你需要记住过去的一个特定事实，请使用新颖性缓存（那位挑剔的图书管理员）。
如果你需要了解整体趋势，请使用摘要（那份天气预报）。
如果你只需要关注最后几秒钟，请使用窗口（那个短期缓冲区）。

作者通过公开数据测量了这一点，并发现通过混合使用这些工具，你可以构建出一种既可审计（你可以清楚看到它记住了什么）又高效（它的规模随“独特事项”的数量而非总单词数增长）的记忆。但他们也谨慎地表示：这只是一个开始，而非终点。当数据具有重复性和稳定性时，该系统表现出色；但当数据“变卦”时，它就会陷入困境。

技术摘要：一种用于长且冗余上下文流的可审计狄利克雷过程工作记忆

1. 问题：以 Token 为中心 vs. 以信息为中心

当前的上下文工程设计将 token（标记）视为记忆的基本单位。无论是通过有界循环状态、全量键值（KV）缓存，还是固定窗口驱逐策略，这些系统的内存和计算量都随 token 数量呈线性或二次方增长。在处理长且冗余的流式数据时，这种方法是低效的，因为相同的信息（例如一个名称、工具状态、日志模板或代码）会频繁出现。在这种场景下，任务往往取决于流中携带的 不同信息（distinct information），而非原始的 token 计数。

本文认为，按 token 计量上下文是对重复证据的重复计费。相反，作者提出了一种上下文工程原语，其内存规模随 不同项（novelty classes，即新颖性类别）的数量而非观测到的 token 数量而变化。

2. 方法论：分解式工作记忆

本文引入了一种工作记忆架构，根据任务对过去信息的依赖方式对上下文进行分解，并将每种依赖类型分配给特定的记忆结构：

携带召回的信息（Recall-Carried Information）： 信息在后期查询时依赖于早期的特定项（例如一个罕见的编码或特定的实体）。这由 内容寻址的新颖性缓存（content-addressed novelty cache）处理。
携带摘要的信息（Summary-Carried Information）： 信息在后期目标依赖于长程聚合或平滑的历史。这由 循环状态（如状态空间模型）处理。
携带局部性的信息（Locality-Carried Information）： 信息在后期目标主要依赖于即时过去。这由 近期窗口（recency window）处理。

新颖性门控缓存

核心机制是一个 基于新颖性分配的缓存（allocate-on-novelty cache），源自一篇配套的机制论文（Pal and Rojkova, 2026）。其运作方式如下：

分配规则： 对于输入的键值对 $(k_t, v_t)$ ，计算新颖性为 $nov_t = 1 - \max_{i} \text{sim}(k_t, \kappa_i)$ ，其中 $\kappa_i$ 是现有的槽位键（slot keys）。
决策： 如果 $nov_t > \tau$ （阈值），则追加一个新槽位。否则，将输入的键值对合并到最相似的现有槽位中。
读取操作： 查询仅针对已占用的槽位进行注意力计算，而非整个 token 流。
理论基础： 该规则对应于狄利克雷过程均值（DP-means）的小方差最大后验极限，作为一种可微的记忆算子。

架构

序列模型是一个标准的残差堆栈。每个块内的混合算子（读取）可以是：

对角状态空间卷积（固定状态）。
全量因果注意力（增长的 token 缓存）。
新颖性门控因果注意力（内容寻址缓存）。
耦合读取（Coupled Reads）： 所提组件将循环路径（整合历史）与新颖性门控缓存（召回不同项）耦合在一起。

3. 核心贡献

上下文分解： 本文确立了上下文并非单一整体。它将上下文分解为携带召回、携带摘要和携带局部性的信息，并证明了单一的记忆策略（如滑动窗口或全量注意力）对于混合依赖关系是次优的。
可审计的记忆： 与不透明的循环状态或固定预算驱逐缓存不同，新颖性门控缓存维护了一个可检查的保留项表格。在结构化领域，槽位与显式对象（模板、药物、代码、地点）对齐，允许系统报告其 保留了什么 以及 为何保留（通过合并溯源）。
端到端验证： 本文超越了机制层面的证明，通过训练端到端模型，展示了新颖性门控缓存如何成功与循环摘要耦合，从而以极低的成本达到甚至超过全量注意力的性能。

4. 实验结果

A. 机制层面证据（真实流数据）

在四个具有地面真值（ground-truth）的公开流数据上，纯粹的“基于新颖性分配”机制成功地将数据压缩为不同项的表示：

系统日志 (Loghub HDFS)： 将 2,000 行压缩为 15 个模板（143 倍冗余），恢复地面真值模板的准确率为 0.89。
临床数据 (MIMIC-IV)： 将 18,087 个处方事件减少到 628 个槽位（29 倍冗余），以 1/29 的规模达到了注意力记忆的性能。
理赔数据 (DE-SynPUF)： 将 15 万个诊断事件减少到 3,933 个槽位（38 倍冗余），实现了 0.989 的 ICD-9 章检索率。固定预算驱逐策略在此表现失败（0.30 检索率）。
映射数据 (KITTI)： 每个地点精确维持一个槽位，实现了 1.00 的重访召回率，而滑动窗口和热门项（heavy-hitter）策略在此类长轨迹任务中均告失败。

B. 字符级控制 (enwik8)

新颖性 vs. 全量注意力： 新颖性门控注意力在仅关注 49% token 的情况下，达到了与全量注意力相当的性能（2.073 vs. 2.087 bits per character）。
耦合组件： 将状态空间循环与新颖性门控缓存结合，实现了 1.877 bpc（关注 53% 的 token），匹配了“状态空间 + 全量注意力”（1.932 bpc）的性能，但显著减少了缓存规模。
信号 vs. 近似： 在全量注意力旁添加门控缓存进一步提升了性能（1.836 bpc），证明了缓存提供的是独特的信号，而非仅仅是对注意力的近似。

C. 上下文缩放（视界扫描）

随着序列长度从 256 增加到 1,024 个 token，全量注意力性能显著下降（2.36 降至 2.69 bpc）。
耦合组件的表现几乎保持平稳（2.42 至 2.39 bpc），在 1,024 个 token 时，性能差距扩大至 +0.300 bpc。
被准入的比例随上下文变长而降低（0.45 至 0.42），表明冗余利用率在提高。

D. 特定领域发现

下一代码预测 (Claims)： 在 1,024 事件视界下，耦合组件领先全量注意力约 0.3 bits per event。近期性和流行度驱动的驱逐策略均失效，证实了稀有的、不同的代码才是驱动该任务的关键。
成本预测 (Claims)： 该任务属于 携带摘要 的任务。循环读取的表现优于注意力机制和缓存。缓存表现中性，这表明缓存并非万能；记忆策略必须与任务的依赖关系相匹配。
日志流： 缓存对平稳的 HDFS 日志有效，但由于分布偏移（模板漂移）在 BGL 日志上失效，这限定了其适用范围，即需要稳定的分布或自适应预算。
保留首个 vs. 保留最新： 对于文本，保留重复键的最新出现项（Keep-Latest）优于保留首个（Keep-First）。然而，对于结构化理赔数据，保留首个（Keep-First）更优，这强化了最优保留策略取决于具体领域这一观点。

5. 意义与主张

本文提出了一个明确的主张：上下文的规模可以随任务所需的“不同信息”量来扩展，而非随 token 量来扩展。

架构原语： 新颖性门控缓存是一种可行的、内容寻址且可审计的工作记忆组件。
条件优越性： 新颖性门控记忆的优势随上下文长度和冗余度的增加而增长。然而，它并非通用的替代品；它最适用于 携带召回 的任务。对于 携带摘要 的任务，循环机制更优；对于 携带局部性 的任务，滑动窗口更佳。
可审计性： 被保留的记忆是一个可检查的模板、代码或实体的表格，提供了状态空间模型无法提供的透明度。
局限性： 目前实验规模较小，使用公开数据，且尚未评估多轮助手或检索增强代理（RAG agent）。目前的余弦相似度门控和合并规则被认为在没有前端工程干预的情况下，不足以处理复杂的语义事实（例如解决矛盾或时间更新）。

核心工程启示是：一个实用的长上下文系统不应强迫所有信息通过单一策略。相反，它应该将上下文分解为不同项召回、循环摘要和近期窗口，并根据任务的具体需求进行耦合。