💬 NLP

Language Model Memory and Memory Models for Language

本文表明，由于下一词预测的不可逆性，标准语言模型会形成低劣的记忆嵌入，并提出了一种并行化的编码器 - 解码器架构，该架构通过联合目标进行训练，以构建高保真且计算高效的记忆表示。

原作者： Benjamin L. Badger

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Benjamin L. Badger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《语言模型记忆与语言记忆模型》的解释。

核心理念：“黑箱”问题

想象你有一位超级聪明的学生（大型语言模型），他读过数百万本书。当你问他一个问题时，他能给出绝妙的回答。但是，如果你问他：“你刚读完的那本书的最后一个段落里具体写了什么？”他可能会难以回忆起具体细节，尽管他刚刚才读过。

这篇论文探讨了为什么会发生这种情况。作者本杰明·巴杰（Benjamin Badger）认为，标准的 AI 模型极不擅长“记住”它们刚刚处理过的确切文本。它们非常擅长猜测下一个词，但它们并没有以能够完美检索的方式，将整个故事存储在其内部的“大脑”（嵌入）中。

核心发现：“擅长猜测者”与“完美记录者”

这篇论文比较了两种 AI 训练方式：

“下一个词”猜测者（因果模型）： 这些是标准的聊天机器人。它们被训练为观察句子并猜测下一个词。
- 类比： 想象一个“传话”游戏。你把一个故事低声告诉朋友，朋友再低声说出下一部分。他们不需要完美地记住整个故事；他们只需要知道足够的信息来猜测下一个词。
- 结果： 这些模型创建的“记忆”（内部数据表示）非常模糊。它们包含的关于输入的实际信息很少。如果你试图从它们的记忆中重建原始文本，结果会惨不忍睹。
“完美记录者”（自编码器）： 这些模型被训练为将一段文本压缩成一个微小的摘要，然后从该摘要中重建完全相同的原始文本。
- 类比： 想象一台复印机，它将一份 100 页的文件缩小到一张索引卡上，但这张卡片仍然完美地保留了每一个单词。
- 结果： 这些模型创建的“记忆”几乎是完美的。它们可以以接近 100% 的准确率重建原始文本。

问题所在： 标准的聊天机器人（“猜测者”）并不是“记录者”。它们不需要记住所有内容就能完成工作，所以它们并没有这样做。这使得它们不适合作为其他系统的“记忆库”。

解决方案：一种新架构

作者提出了一种构建 AI 的新方法，结合了两者的优点。把它想象成一个图书馆系统：

图书管理员（编码器）： AI 的一个专门部分，被训练成为“完美记录者”。它的唯一任务是阅读一段文本，并将其转化为完美的、压缩的记忆卡片。
读者（解码器）： 标准的聊天机器人部分，它读取这些记忆卡片并回答问题或撰写新文本。

这篇论文引入了一种课程训练方法来实现这一目标：

第一步： 训练图书管理员制作完美的记忆卡片（使用自编码器方法）。
第二步： 冻结图书管理员（使其不会忘记如何制作卡片）。
第三步： 训练读者学习如何阅读这些卡片并编写故事。
第四步： 结合训练。教导读者同时做两件事：阅读卡片并猜测下一个词。

为什么要这样做？（好处）

论文认为，这种新系统对计算机来说效率要高得多。

旧方法（完整上下文）： 想象试图通过把 1000 页书的每一页都摊开在桌子上来阅读。这既杂乱又缓慢，而且需要一张巨大的桌子（计算机内存）。
新方法（记忆模型）： 你阅读 10 页，将它们总结到一张索引卡上，然后把其余部分收起来。当你需要继续时，只需查看那张卡片。
- 结果： 你需要更少的桌面空间（内存），查找信息更快（速度），并且可以同时处理更多的书（吞吐量）。

通俗版的关键发现

标准 AI 健忘： 如果你只训练模型预测下一个词，它将不会存储足够的信息来让你日后检索原始文本。这就像一个只背下了答案键却忘了课程内容的学生。
你可以教会 AI 记忆： 通过使用特定的训练方法（将“下一个词”预测与“复制/重建”任务相结合），你可以迫使模型创建高质量的记忆。
“冻结”技巧： 如果你先训练“记忆制造者”，将其锁定，然后再教导“使用者”如何使用这些记忆，效果最好。这比试图从零开始同时教导两者要更快、更有效。
它有助于处理长任务： 这种架构使 AI 能够更高效地处理更长的文本，而不会被海量数据压垮。

论文未声称的内容

它不声称这是任何医疗状况的 cure（治愈方法）。
它不声称这将立即在所有应用中取代所有当前的 AI 模型。
它不声称标准 AI 模型是“坏掉的”，只是它们并非为完美信息检索而设计，并且需要不同的设计来专门完成这项特定工作。

总结

论文指出：“当前的 AI 模型擅长猜测下一个词，但极不擅长记住整个故事。我们找到了一种方法，可以构建一种新型 AI，它将完美的记录者和聪明的猜测者结合在一起。这使得 AI 运行速度更快、成本更低，并且真正具备记住其所读内容的能力。”

技术摘要：语言模型的记忆与语言记忆模型

问题陈述

本文旨在解决对大型语言模型（LLM）“记忆”能力理解上的根本性空白。尽管机器学习模型将输入信息存储于隐藏层向量嵌入中，但因果语言模型中这些嵌入的信息内容却缺乏充分表征。作者提出，当前为下一个词元预测而优化的因果语言模型，本质上不适合形成高保真记忆。这是因为下一个词元预测是一个多对一、不可逆的函数；模型仅需保留足以预测紧邻下一个词元的信息，而无需保留整个输入序列。因此，当这些模型被用于将输入序列压缩为下游任务（如检索或扩展上下文窗口）的记忆嵌入时，它们无法支持通用语言任务所需的“任意信息访问”。

方法论

1. 信息保留的测量

为了量化模型嵌入中保留了多少输入信息，作者提出了一种基于逆变的测量框架：

架构：将冻结的编码器（待测模型）与一个可训练的解码器配对。解码器尝试从编码器的最终隐藏层嵌入中重建原始输入序列。
指标：
- 熵比率（ $H_r$ ）：通过比较重建的交叉熵损失与理论界限（均匀分布与完美重建），衡量输入信息被保留的比例。
- 词元准确率：解码器正确识别的输入词元比例。
逆变可行性：如果能在计算预算（约 96 V100 小时）内实际找到逆变函数以重建输入，作者则定义该模型具有“良好的记忆”。

2. 记忆模型架构

本文介绍了可并行化的记忆模型架构，旨在将信息保留与信息提取解耦：

编码器 - 解码器结构：编码器将输入词元块处理为固定大小的记忆嵌入。解码器处理这些嵌入（以及可选的新词元）以预测后续词元。
并行化：与循环记忆模型（如 Bulatov 等人，2022）不同，该架构允许编码器在训练和推理期间并行处理所有输入块。
训练策略：
- 组合目标：使用下一个词元预测损失与“复制”损失（模型必须从记忆中复现序列）的线性组合进行训练。
- 课程学习：采用两阶段方法，解码器首先通过“空白复制”任务学习处理富含信息的嵌入（无需词元输入），随后进行标准的下一个词元预测训练。
- 冻结编码器：首先训练一个高保真自编码器编码器，将其冻结，然后训练解码器利用这些嵌入。

3. 实验设置

数据集：FineWeb-edu、FineMath 以及各种标准基准测试（LongBench、IFEval 等）。
模型：在混合器（Mixers）和不同规模的 Transformer 上进行了测试（从小型自定义模型到 Llama 3.1、Qwen 和 BERT Large）。
任务：因果下一个词元预测、输入再生（自编码）、复制任务以及空白复制任务（仅从记忆嵌入中重建词元）。

主要结果

1. 因果模型的记忆能力较差

低信息保留：因果语言模型和检索模型表现出极低的信息保留率。即使增加模型规模和计算量，从因果嵌入重建输入的熵比率（ $H_r$ ）和词元准确率仍然很低（例如，当 $n_{ctx}=512$ 时，词元准确率约为 5%）。
不可逆性：因果模型的嵌入不足以重建输入序列，证实了下一个词元预测目标并不鼓励形成全面的记忆。

2. 自编码器实现了近乎完美的记忆

高保真度：专门为输入再生而训练的自编码器实现了近乎完美的记忆形成，词元准确率超过 90%，熵比率接近 1.0。
数据依赖性：这些高保真记忆并非“琐碎”的（即它们并非简单地将词元映射到向量槽）；它们泛化到了分布外数据，并在均匀随机噪声上失败，证明其学习到了有意义的、依赖于数据的表示。

3. 组合目标与课程学习的成功

组合训练：结合因果目标和复制目标进行训练的模型，成功学会了形成和解码富含信息的记忆，同时保持了因果预测能力。
课程学习：“空白复制”课程（首先学习在无词元输入的情况下解码记忆）至关重要。它使解码器能够有效利用冻结的高保真自编码器嵌入。如果没有这一课程，解码器往往无法利用丰富的记忆嵌入，而是退化为基于词元的预测。
性能：与纯因果模型相比，组合目标模型在信息相关基准测试（如 LongBench、多文档问答）中表现出显著改进，尽管在通用语言理解基准测试（如 HellaSwag）中结果混合或中性。

4. 架构效率

并行化：所提出的并行编码器 - 解码器架构将推理计算复杂度从 $O(n^2)$ 降低至约 $O(n^{4/3})$ （若编码器完全并行化，则为 $O(n^{2/3})$ ），在首词元时间和内存使用方面提供了显著增益。
编码器 - 解码器不匹配：本文指出，“混合器”（Mixer）编码器和"Transformer"解码器通常具有不相容的学习流形，导致配对时效率下降，这表明需要针对特定架构进行对齐。

意义与主张

本文声称，为记忆模型为何在历史上表现不如全上下文 Transformer 提供了理论和实证基础：因果训练本质上不可逆，因此不适合高保真记忆的形成。

主要贡献包括：

表征：证明了无论规模如何，标准 LLM 嵌入中包含的输入信息相对较少。
范式转变：提出准确的记忆形成需要超越下一个词元预测的目标，特别是明确要求信息保留的组合目标或课程学习。
架构：引入了一种可并行化的编码器 - 解码器记忆模型，在计算效率与存储和检索任意输入信息的能力之间取得了平衡。
对检索的影响：研究结果表明，当前基于嵌入的检索系统受限于嵌入本身低的信息密度，这解释了为何它们在任意信息查找任务中往往无法达到理论极限。

作者总结道，虽然仅靠下一个词元预测不足以形成记忆，但模型可以被训练以形成和解码“富含信息”的记忆，从而开启一类新的记忆模型，这类模型兼具计算效率和任意信息访问的能力。