💬 NLP

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

本文介绍了 Engram，一种可扩展的条件记忆模块，它通过将 $N$ -gram 嵌入现代化以实现 $O(1)$ 查找，揭示了一种优化神经计算与静态存储之间权衡的 U 型稀疏分配律，从而显著提升了大语言模型在推理、代码和长上下文检索方面的性能。

原作者： Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Z

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Zhang, Yixu Wei, M. Y Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解开一个巨大且复杂的谜题。长期以来，最聪明的谜题解题者（AI 模型）一直被构建得像一座巨大的工厂。它们拥有数以千计的专业化工人（被称为“混合专家模型”或 MoE），只有在需要解决棘手的逻辑或新想法时才会介入。这对于思考非常有益，但在处理简单、枯燥的事实时却显得有些笨拙。

可以这样理解：如果你问一位博学多才的数学家，“法国的首都是哪里？”他们不会仅仅回答“巴黎”。他们必须进行一次完整的心理模拟，每次都从头开始重新推导答案，这会消耗大量的脑力。这就像是用一台超级计算机去查阅自己脑海中的电话号码。

重大发现：“大脑的速记表”
DeepSeek-AI 和北京大学的研究人员提出了一个问题：如果我们给这些模型一个专门用于记忆那些只需记住的事物的“速记表”会怎样？

他们引入了一个名为 Engram 的新工具。Engram 不再强迫 AI 在处理每一个单词时都要进行“思考”，而是作为一个超快速的 O(1) 查找表（这意味着无论你是查找一个单词还是上百万个单词，所需的时间都一样短）。它基于一个古老的概念——N-gram（将单词组合在一起观察），但他们利用现代技术对其进行了升级，使其能够完美地运行在庞大的 AI 内部。

“U型”秘密
该团队发现了一个关于如何构建这些模型的迷人规则，他们称之为 U型缩放法则（U-shaped scaling law）。

想象一下，你有一个固定的“脑力”预算（计算步骤）。你可以把所有的预算花在“思考工人”（MoE）身上，也可以把所有的预算花在“记忆速记表”（Engram）上。

如果你将 100% 的预算花在思考工人身上，模型擅长逻辑，但擅长记忆事实。
如果你将 100% 的预算花在速记表上，它能记住事实，但无法进行良好的推理。
黄金分割点： 研究发现，最佳性能出现在分配预算时。你需要两者兼备。具体来说，他们发现，从“思考工人”的剩余内存预算中拿走大约 20–25%，并将其交给 Engram 记忆模块，会让整个系统变得更聪明。这就像是意识到一个天才不仅需要一个快速的大脑，还需要一个优秀的图书馆。

实际发生了什么？（证据）
他们构建了一个名为 Engram-27B 的模型，并将其与一个规模和速度完全相同的标准“仅思考型”模型进行了对比。结果令人惊喜：

知识方面： 它在常识和事实方面表现更好（例如在 MMLU 上提高了 +3.4，在 CMMLU 上提高了 +4.0）。
推理方面： 更令人惊讶的是，它在通用推理和逻辑谜题上的表现也大幅提升（在 BBH 上提高了 +5.0，在 ARC-Challenge 上提高了 +3.7）。
数学与代码： 它在编程和数学方面也有所进步（例如在 HumanEval 上提高了 +3.0）。

论文指出，这是因为 Engram 模块处理了“枯燥”的部分（比如记住“亚历山大大帝”是一个特定的名字），从而让主脑不必浪费时间去重构它。这释放了 AI 深层结构的精力，使其能够专注于复杂的深度思考。这就像是有一位秘书处理所有的日程安排，以便首席执行官（CEO）能专注于战略。

“长记忆”技巧
其中一个最酷的副作用是它们处理长篇故事的能力。由于 Engram 模块可以瞬间抓取局部细节，主 AI 就有了更多的“注意力”来记住故事的始终。在测试中，Englement 模型能以 97.0% 的成功率在文本的“大海捞针”测试中找到特定信息，而标准模型仅能达到 84.2%。

硬件魔法
最后，论文指出这不仅仅是一个软件技巧；它也是对硬件友好的。因为“速记表”使用固定地址（确定性 ID），计算机可以在处理当前部分的同时，开始获取下一个部分的内存。这意味着他们可以将一个高达 1000 亿参数 的表格存储在普通计算机的硬盘（主机内存）上，同时仍能获得几乎与在超快 GPU 上运行相当的速度。速度损失微乎其微，不到 3%。

他们明确表示这“不是”什么
论文非常明确地说明了这不是什么：

它不是更大的词汇量。他们尝试过仅仅扩大词汇量（过度编码/OverEncoding），但效果不如 Engram。
它不是“思考”部分的替代品。如果完全移除“思考工人”（MoE），模型在推理方面会失败。记忆是一个辅助工具，而不是替代品。
它不是解决所有问题的万灵药。论文指出，虽然它有助于事实和推理，但“骨干”（主 AI）仍然是处理阅读理解等任务的核心，因为这类任务更多依赖于上下文而非静态记忆。

他们的确定性有多高？
作者对他们的测量结果非常有信心。他们不仅仅是在进行模拟；他们在 2620 亿个 token 的数据上训练了真实的模型，并在真实的基准测试中进行了测试。他们展示了“U型”规则在不同规模下依然成立，并且性能的提升是真实、可衡量且可重复的。他们甚至通过可视化模型内部的“门控”（gates）来证明，模型确实是在针对名字和短语等内容开启记忆功能，正如他们设计的那样。

简而言之，这篇论文表明，AI 的未来不仅仅在于制造更大的大脑，还在于为这些大脑提供一个更好、更快、更智能的查阅方式。

技术摘要：通过可扩展查找实现的条件记忆 (Engram)

1. 问题陈述

当前的语言大模型（LLMs），特别是利用混合专家（Mixture-of-Experts, MoE）架构的模型，依赖于条件计算来扩展容量。然而，标准的 Transformer 缺乏一种原生的知识查找原语。因此，模型必须通过动态计算来低效地模拟检索过程。

作者认为，语言信号表现出内在的异质性：

组合推理（Compositional Reasoning）： 需要深层的、动态的计算。
知识检索（Knowledge Retrieval）： 大部分文本（例如命名实体、公式化模式）是局部的、静态的且高度程式化的。

标准 Transformer 迫使模型消耗多个早期的注意力层和前馈网络（FFN）来重建静态查找（例如解析“戴安娜，威尔士亲王妃”），而这些内容理论上可以通过简单的表查找来完成。这浪费了宝贵的序列深度进行平庸的操作，阻碍了模型将资源分配给更高层次的推理。

2. 方法论：Engram 模块

为了解决这一问题，本文引入了条件记忆（Conditional Memory），将其作为条件计算的一个互补的稀疏维度。它通过 Engram 实现，该模块使经典的 $N$ -gram 嵌入现代化，从而实现 $O(1)$ 常数时间查找。

2.1 架构

Engram 通过在结构上分离静态模式存储与动态计算，对 Transformer 主干进行了增强。它分为两个阶段运行：

通过哈希 $N$ -gram 进行稀疏检索：
- 分词器压缩（Tokenizer Compression）： 使用一个满射函数将原始 Token ID 映射到规范标识符（归一化大小写、标点符号等），以最大化语义密度并减少词表规模。
- 多头哈希（Multi-Head Hashing）： 为了处理 $N$ -gram 的组合空间，该模块在每个 $N$ -gram 阶数中使用 $K$ 个不同的哈希头。这些头通过确定性函数将压缩后的上下文映射到嵌入表中的索引，从而检索静态向量。
- 拼接（Concatenation）： 从不同 $N$ -gram 阶数和哈希头中检索到的嵌入被拼接在一起，形成记忆向量。
上下文感知门控与融合：
- 由于静态记忆缺乏上下文，门控机制使用当前隐藏状态（聚合的全局上下文）作为查询（Query）来调制检索到的记忆。
- 通过当前归一化隐藏状态与记忆键（Key）的点积计算标量门控 $\alpha_t$ 。如果记忆与上下文冲突，门控会抑制记忆（降噪）。
- 一个轻量级的深度可分离因果卷积在门控记忆融合进主干之前扩大感受野。

2.2 系统效率与基础设施协同设计

与需要动态路由和隐藏状态通信的 MoE 不同，Engram 使用基于输入 Token ID 的确定性寻址。

预取（Prefetching）： 索引在正向传播之前即可获知，允许通过 PCIe 从主机内存（CPU/DRAM）异步预取嵌入。
重叠（Overlap）： 这使得通信可以与前序 Transformer 块的计算过程重叠，从而产生微乎其微的开销。
卸载（Offloading）： 海量的嵌入表（例如 100B 参数）可以卸载到主机内存中，绕过 GPU 显存限制。

2.3 稀疏性分配

作者提出了稀辖分配问题：在给定的参数预算下，应如何在 MoE 专家（动态计算）和 Engram 记忆（静态查找）之间分配容量？

他们定义了一个分配比例 $\rho$ ，代表分配给 MoE 的非活跃参数比例。
实验揭示了一个 U 型缩放法则：纯 MoE ( $\rho=100\%$ ) 和纯 Engram ( $\rho=0\%$ ) 都是次优的。最佳性能通过混合分配实现（例如 $\rho \approx 75\%–80\%$ ），即大约 20–25% 的稀疏预算被重新分配给 Engram。

3. 关键结果

3.1 预训练性能

作者在 262B token 上训练了四个模型，严格匹配激活参数（3.8B）和训练 FLOPs：

Dense-4B： 基准模型。
MoE-27B： 标准 MoE 基准。
Engram-27B： 与 MoE-27B 参数等效，将 5.7B 参数重新分配给 Engram（将专家数量从 72 个减少到 55 个）。
Engram-40B： 将 Engram 记忆扩展至 18.5B 参数（总计 39.5B）。

发现：

优于 MoE： 在不同领域中，Engram-27B 的表现均优于等参数量的 MoE-27B 基准。
推理增益： 与“记忆仅有助于知识检索”的直觉相反，Engram 在通用推理（BBH +5.0, ARC-Challenge +3.7）以及代码/数学（HumanEval +3.0, MATH +2.4）方面也显示出显著收益。
知识增益： 在知识密集型任务上表现提升（MMLU +3.0, CMMLU +4.0）。
缩放性： Engram-40B 进一步降低了 Loss，表明记忆轴可以在不增加计算量的情况下有效缩放。

3.2 长上下文能力

通过将局部依赖项交给查找处理，Engram 为全局上下文释放了注意力容量。

RULER 基准测试： 在多查询“大海捞针”（NIAH）测试中，Engram-27B 达到了 97.0% 的准确率，而 MoE 基准为 84.2%。
效率： Engram-27B 仅使用 82% 的预训练 FLOPs 就达到了基准模型的 LongPPL 性能。

3.3 机制分析

有效深度： 通过使用 LogitLens 和 CKA（中心化核对齐），作者发现 Engram 的早期层产生的表示在语义上等同于 MoE 基准中更深的层。这表明 Engram 通过跳过早期层重建静态特征的过程，实现了对网络的“加深”。
功能二分性： 消融研究显示，当禁用 Engram 时，事实性知识基准测试性能崩溃（仅保留 29–44% 的性能），而阅读理解保持稳健（81–93%），证实了 Engram 是参数化知识的主要仓库。

3.4 系统效率

吞吐量： 将 100B 参数的 Engram 表卸载到主机内存后，吞吐量损失极小（在 8B 主干上为 <3%，即 2.8%），验证了预取与重叠策略的有效性。

4. 重要性与主张

本文声称，条件记忆是下一代稀疏模型不可或缺的模型原语。其重要性体现在三个方面：

结构互补性： 它确立了静态查找与动态计算并非互斥，而是结构互补的。优化两者之间的分配可以产生优于纯 MoE 的 U 型缩放法则。
通过解耦实现效率： 通过通过确定性寻址将参数存储与计算解耦，Engram 使模型能够扩展到海量参数量（如 40B+），而不会受到 GPU 显存或计算成本的约束，有效地绕过了硬件瓶颈。
深化网络： 机制分析表明，提供显式的知识查找减轻了主干网络早期层承担静态重建任务的压力。这有效地增加了用于复杂推理的网络深度，解释了其在推理和代码任务中获得意外收益的原因。

作者将 Engram 定位为不仅仅是一种检索增强，而是一种根本性的架构转变，它为大规模稀疏模型时代使 $N$ -gram 概念现代化，提供了一个与主流 MoE 范式相辅相成的新的稀疏维度。