🤖 machine learning

Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

受人类学习机制的启发，本文为大语言模型提出了一种“睡眠”范式，通过“知识播种”蒸馏和基于强化学习的无监督“做梦”这两个阶段，将短期记忆整合为长期参数，从而实现持续学习与自我提升。

原作者： Ali Behrouz, Farnoosh Hashemi, Vahab Mirrokni

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Ali Behrouz, Farnoosh Hashemi, Vahab Mirrokni

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：AI 的“金鱼症”

想象你有一个才华横溢的学生，只要你在他面前放一张“小抄”，他就能解决任何数学难题。这就是当今大型语言模型（LLM）的工作方式。它们非常擅长上下文学习（In-Context Learning）：如果你在对话中给它一个故事或一套规则，它能立即使用这些信息。

但问题在于：一旦对话窗口关闭或者对话变得太长，这个学生就会忘掉一切。他们无法将这些新规则写入他们的永久记忆（即他们的“大脑”）。他们患有一种形式的顺行性遗忘症（Anterograde Amnesia）——他们能记住上学之前是谁，但无法学习任何能留存下来的新知识。

如果你试图强迫他们学习新事物进行重新训练，他们往往会忘记旧技能（这被称为“灾难性遗忘”）。如果你尝试更新得太频繁，则会既昂贵又混乱。

解决方案：给 AI 一个“睡眠周期”

作者提出了一种受人类学习启发的新型 AI 学习方式。他们认为，AI 不应该只是处于“清醒”状态（处理数据）而一直运转。它需要一个**“睡眠”**阶段。

把 AI 的学习过程想象成人类的一天：

清醒时间（主动学习）： AI 处于清醒状态，与用户交谈并阅读新信息。它将这些信息存储在“短期记忆”中（就像桌子上的便利贴）。这种记忆很脆弱，如果桌面被清理，信息就会消失。
睡眠时间（巩固）： 当 AI “进入睡眠”时，它停止与用户交谈。相反，它进入一种深度的内部处理模式，将那些“便利贴”移动到它的长期大脑中。

论文将“睡眠”分为两个截然不同的阶段，就像人类的睡眠也有不同阶段（深睡期和做梦期）一样。

第一阶段：深睡期（记忆巩固）

类比：从背包搬进图书馆
想象你是一个刚刚学到一个新知识的学生。现在，这个知识还在你的背包里（你的快速、不稳定的记忆）。如果你不断往背包里塞东西，背包会变得很乱，你也可能会丢失旧物品。

在这个“深睡”阶段，AI 做两件事：

扩展图书馆（参数扩张）： AI 为其图书馆构建了一个新的、更大的区域（添加新的参数/专家）。这就像是在图书馆里扩建一个新的侧翼，这样你就不用为了腾出空间而扔掉旧书。
知识播种（向上蒸馏）： AI 将其“背包”中脆弱的信息（快速记忆）小心地复制到新的图书馆侧翼（缓慢、稳定的记忆）中。
- 转折点： 通常，我们是用大老师教小学生。在这里，AI 是利用自己的较小、较快版本作为老师，来教导一个更大的自己。这就像一名初级建筑师绘制设计图，然后高级建筑师（更大的模型）利用这些图纸来建造永久性的结构，从而确保初级建筑师的想法不会丢失。

为什么这很重要： 这防止了 AI 在学习新事物的过程中忘记旧技能。它将临时的“便利贴”变成了永久的“图书馆书籍”。

第二阶段：REM 睡眠（做梦）

类比：创意写作的瓶颈期
一旦 AI 整理好了记忆，它就进入了“做梦”阶段。在人类中，REM 阶段是我们做梦和处理情绪的阶段。对于 AI 来说，这是一个自我提升的过程。

AI 会生成它自己的“梦”——这些只是它为自己创造的合成示例或练习题。

过程： AI 会问自己：“如果我尝试解决这个问题会怎样？”它会创建一个虚构的情景，尝试解决它，然后检查自己做得是否出色。
奖励： 如果 AI 正确解决了它自己的“梦”，它会获得一个“奖励”（数字化的击掌）。如果失败了，它会从错误中学习。
目标： 这使得 AI 可以在不需要人类老师给它布置作业的情况下，练习并精炼自己的新技能。这就像音乐家在睡觉时在脑海中练习音阶，无需他人监督也能变得更好。

结果：真的有效吗？

作者在几个极具挑战性的任务上测试了这种“睡眠”范式，结果令人振奋：

学习新语言： 当 AI 被要求先后学习两种新的稀有语言时，“睡眠”模型同时记住了两者。而标准模型在学习第二种语言时会忘记第一种。
长篇故事： 在阅读超长文档（如整本小说）时，“睡眠”模型可以找到埋藏在深处的特定细节，而其他模型则会迷失方向。
数学与推理： 通过利用“做梦”阶段进行练习，该模型在解决复杂数学问题方面表现得更好。
无灾难性遗忘： 最重要的是，该模型在学习新事物的过程中，并没有失去原有的能力。

总结

论文表明，要让 AI 真正像人类一样学习和成长，它需要停下来、休息并处理它所学到的内容。

清醒： 收集信息（脆弱的）。
深睡： 将信息转移到永久存储中并扩张大脑（巩固）。
做梦： 自行练习并精炼技能（自我提升）。

通过模仿人类的睡眠，AI 变成了一个“持续学习者”，可以随着时间的推移变得更聪明，而不会忘记曾经的自己。

技术摘要：语言模型需要睡眠

1. 问题陈述

当前的语言大模型（LLMs）在持续学习能力方面存在关键局限。虽然它们擅长上下文学习（ICL）和即时预测，但在初始部署后基本保持静态。这造成了“知识截止”漏洞，即模型无法在不进行昂贵的重新预训练或参数更新的情况下获取新事实或技能，而后者往往会带来**灾难性遗忘（Catastrophic Forgetting, CF）**的风险。

现有的持续学习方法面临着两难境地：

重新预训练： 对于频繁更新而言，计算成本过高。
微调/适配： 通常会导致灾难性遗忘，即在学习新任务时，对原始任务的熟练度会下降。
上下文学习： 受限于上下文窗口；知识是脆弱的，一旦会话结束就会丢失。

本文将此现象类比为人类的顺行性遗忘症（anterograde amnesia），即无法将短期记忆转化为长期存储，导致知识仅局限于当下。目前的 Transformer 架构也反映了这一点：注意力机制充当易失性的短期记忆（高频更新），而 MLP 层则充当静态的长期记忆（零频率更新）。核心挑战在于如何使 LLM 能够将脆弱的、短期的上下文知识持续转移为稳定的、长期的参数化知识，同时又不遗忘先前的能力。

2. 方法论：“睡眠”范式

受人类神经可塑性和睡眠阶段不同作用（NREM 用于巩固，REM 用于做梦）的启发，作者提出了用于持续学习的睡眠范式（Sleep Paradigm）。该范式用两个交替的阶段取代了传统的“训练/测试”划分：活跃（觉醒）时间与睡眠时间。

第一阶段：记忆巩固（离线）

这一阶段模仿非快速眼动（NREM）睡眠，侧重于稳定脆弱的记忆。

周期性参数（去）激活： 模型利用连续记忆系统（Continuum Memory System, CMS），其中不同的 MLP 块以不同的频率（ $f_1 \geq \dots \geq f_c$ ）进行更新。在睡眠期间，模型执行渐进式的参数扩张。新的低秩专家被添加到较慢（更稳定）的频率块中，以接收来自较快（更易变）模块的知识。
知识播种（向上蒸馏）： 这是知识转移的核心机制。一个“较小”版本的模型（高频、易变的参数）作为教师，将知识蒸馏到“较大”版本（扩张后的低频参数）中。
- 自我知识播种（Self-Knowledge Seeding, SKS）： 模型将其自身的高频知识蒸馏到其新扩张的低频参数中。
- 结合模仿学习的广义知识蒸馏（GKD）： 该目标函数结合了在策略（on-policy）蒸馏与强化学习（RL）。
  - 蒸馏： 学生模型基于教师模型在自生成序列上的 Logits 来预测 Token。
  - 模仿学习： 学生通过模仿教师的采样分布来获得强化学习奖励。奖励基于语义相似度（使用冻结的奖励模型）和绝对 Token 级相似度（编辑距离/Levenshtein distance）。
突触修剪（Synaptic Pruning）： 巩固完成后，高频块中的低秩参数（已完成知识转移）会被重置，从而为未来的学习释放容量，同时将巩固后的知识保留在稳定的块中。

第二阶段：做梦（自我提升）

这一阶段模仿快速眼动（REM）睡眠，侧重于自我修改和探索新的连接。

合成数据生成： 模型根据其当前状态和上下文生成“梦境”（合成数据）。
课程选择： 并非所有的梦境都会被使用。模型根据监督微调（SFT）目标的梯度为每个梦境分配重要性评分。模型选择前 $k$ 个最具影响力的梦境，并加入随机样本以保持多样性。
迭代自我提升： 模型利用选出的高质量合成数据进行监督微调（使用 LoRA）。这一过程旨在提高近期获取知识的熟练度，同时避免在迭代自我提升循环中常见的灾难性遗忘问题。

3. 核心贡献

用于持续学习的睡眠范式： 从静态的训练/测试阶段向“活跃”与“睡眠”状态生命周期的概念转变，实现了终身适应。
知识播种（Knowledge Seeding, KS）： 一种全新的向上蒸馏过程，其中较小的、高频的模型版本将知识蒸馏到更大的、扩张后的低频版本中。这解决了持续学习中的容量瓶颈问题。
结合模仿学习的广义蒸馏： 一种结合了在策略蒸馏与基于 RL 的模仿学习的新目标函数，确保学生不仅学习知识，还学习如何使用这些知识（采样行为）。
周期性参数扩张： 一种在睡眠期间逐渐解锁并扩张参数（通过低秩专家）的机制，允许在不干扰现有稳定知识的情况下实现可塑性。
通过做梦进行自我提升： 一种鲁棒的自我提升阶段，它使用基于梯度的决策选择来生成合成课程，减轻了迭代自我训练带来的风险。

4. 实验结果

作者在四个具有挑战性的下游任务上评估了睡眠范式：

类增量学习： 在 CLINC、Banking 和 DBpedia 数据集上，“Hope”架构（增加了睡眠机制）的表现优于包括 ICL、弹性权重巩固（EWC）和外部学习器方法（InCA）在内的基准模型。它成功地将提示层面的适配转化为了持久的参数化记忆。
长上下文理解： 在 LongHealth、QASPER 和 MK-NIAH（大海捞针）任务中，基于睡眠的模型表现始终优于 ICL 和高效注意力基准（DuoAttention）。增加巩固阶段的数量可以提高性能，而增加最稳定记忆（低频率）的持久性被发现是保留能力与适应能力之间的权衡。
持续学习（语言习得）： 在一个需要顺序学习两种未知语言（满语和卡拉曼语）的任务中，ICL 出现了严重的性能下降和灾难性遗忘。基于睡眠的模型在顺序学习中保持了收益，且性能随巩固阶段的增加而单调提升。
知识整合与少样本推理：
- 知识整合： 在 SQuAD 上，睡眠机制在整合新事实信息方面达到了最高准确率，优于 SEAL 和标准微调。
- 数学推理： 睡眠机制提高了在 AIME 和 HMMT 基准测试上的推理能力，优于基础模型、SFT 和 GRPO。
- 少样本学习（ARC）： 睡眠机制在 ARC 基准测试中达到了 80% 的成功率，显著优于 ICL、测试时训练（TTT）和 SEAL。
可扩展性： 在 BABILong 基准测试中，睡眠模型在高达 1000 万个 Token 的长度下仍能保持稳定性，而其他模型在超过 128k–256k Token 后性能显著下降。

5. 重要性与主张

论文声称，睡眠范式为当前 LLM 的静态本质提供了一个根本性的解决方案。通过将新信息的获取（活跃/觉醒）与信息的巩固及自我提升（睡眠）解耦，该框架实现了：

鲁棒的持续学习： 实现增量学习而不产生灾难性遗忘的能力。
高效的知识转移： 通过“知识播种”，将脆弱的、受上下文限制的记忆转化为稳定的参数化知识。
自我提升： 通过“做梦”实现递归式自我提升的能力，且无需人类监督。

作者强调，他们的方法与近期的在策略自我蒸馏（OPSD）工作不同，其特点是引入了向上蒸馏（是在扩张容量而非仅仅重新调节固定模型）以及一个两阶段过程（将巩固与自我提升分离），从而防止了与迭代自我训练相关的训练崩溃和能力侵蚀。结果表明，引入类似生物睡眠的机制对于下一代自适应、终身学习系统至关重要。