🤖 machine learning

When Does Continual Learning Require Learning

本文认为，大语言模型的持续学习必须围绕着在空间和时间变化中提升能力进行重构，并通过一个统一的评估协议证明，没有任何单一方法能在所有场景下都表现卓越，且最优策略——无论是更新模型权重还是使用外部脚手架——从根本上取决于环境变化的特定模式。

原作者： Anne Harrington, Nayan Saxena, Michael Murphy, Anastasia Borovykh, Zeyu Yun, Sridhar Kamath, Ara Eindra Kyi, Trevor Darrell, Jitendra Malik, Yutong Bai

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Anne Harrington, Nayan Saxena, Michael Murphy, Anastasia Borovykh, Zeyu Yun, Sridhar Kamath, Ara Eindra Kyi, Trevor Darrell, Jitendra Malik, Yutong Bai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人朋友，它知道直到某个特定日期的所有事情。你想随着世界的变化不断教它新知识，同时又不让它忘记旧知识，也不让它感到困惑。长期以来，科学家们一直认为最大的问题仅仅是“遗忘”——就像一个学生为了历史考试而学习，然后立刻就忘了怎么做数学题。但这篇文章，题为《持续学习何时需要学习》（When Does Continual Learning Require Learning），认为真正的挑战要有趣得多：在于如何根据世界变化的不同方式，让机器人进行学习。

作者设置了一个巨大的游乐场，包含四种不同类型的“世界变化”来测试八种不同的学习策略。他们并非凭空猜测；他们使用了一个特定的机器人大脑（Qwen3-8B）进行了真实的实验，并观察了究竟发生了什么。以下是他们的发现，按世界变化的四种方式进行分类：

1. “新学科”挑战（空间维度）

想象你的机器人朋友非常擅长修理汽车，但突然间你要求它烹饪意大利菜，稍后又要求它进行外科手术。这些是完全不同的技能。

测试： 他们教机器人三个完全无关的任务：使用工具、金融数学和生物学。
结果： 一些方法，比如提示词优化（通过聊天消息告诉机器人新指令），就像短跑运动员一样。它们学习新任务的速度极快。但一旦进入下一个任务，它们在之前任务上的表现就会大幅下降。这就像一个短跑运动员，虽然能跑出百米纪录，但跑完之后立刻就摔倒了。
赢家： 那些真正重写机器人大脑的方法（被称为基于蒸馏的方法，如 SDFT 和 SDPO）虽然速度较慢，但更加稳健。它们能够随着时间的推移积累知识。值得注意的是，SDFT 是唯一一种在所有三个任务上的得分都达到或高于初始水平的方法，它成功地在增加新技能的同时保留了旧技能。

2. “事实更新”挑战（时间维度：离散型）

现在想象机器人知道“法国的首都是巴黎”。但随后，在一种奇特的命运转折下，首都在实际情况中变成了里昂（我们假设一下！）。机器人需要仅更新这一个事实，而不必忘记巴黎曾是首都，或者伦敦是英国首都这一事实。

测试： 他们给机器人输入了一系列维基百科更新，其中的特定事实每月都会发生变化。
结果： “短跑选手”（提示词优化）在立即学习新事实方面表现出色。它们把“里昂”写进了指令里，任务完成。但在这样做时，它们不小心破坏了其他并未改变的事实，比如德国的首都是哪里。它们更新得过于急切了。
惊喜： 那些重写大脑的方法（SDFT 和 SDPO）在这里反而遇到了困难。它们试图将新事实与旧事实融合，结果导致了那些本应保持稳定的事实的准确性下降。
真正的英雄： 其中一种使用强化学习（GRPO）的具体方法，是唯一一种能够在更新事实为“里昂”的同时，不让其稳定事实向相反方向偏移的权重更新方法。不过值得注意的是，上下文压缩方法（如 Cartridges）在保持稳定事实方面其实是最干净利落的，即便它们对新事实的学习能力并不强。

3. “噪声趋势”挑战（时间维度：漂移型）

想象你正试图根据一份长达 10,000 字的财务报告来预测股票会上涨还是下跌。市场的规则随着年份缓慢变化。有时一个词组意味着“买入”，而五年后，同一个词组可能意味着“卖出”。信号是微弱且带有噪声的。

测试： 他们逐年向机器人输入 2015 年到 2020 年的财务报告，并要求它预测未来。
结果： “短跑选手”（提示词优化）试图寻找简单的规则，比如“如果出现‘风险’这个词，就卖出”。但这些规则只是针对那一年的幸运猜测。当市场变化时，机器人完全失败了。
赢家： 蒸馏方法（SDFT）在这方面表现得非常好，它在保持过去表现稳定的同时，维持了预测未来年份的能力。然而，上下文压缩方法（Cartridges）实际上是测试中最稳定的方法，它在整个链条中始终保持着相近的准确率，既没有退化也没有过拟合。它就像一位睿智的老水手，知道海洋的变化是缓慢的，而不是在每一波浪潮面前都感到恐慌。

4. “智能体”挑战（时间维度：累积型）

最后，想象机器人正在玩一个游戏，它必须执行一系列步骤，比如“创建一个标签，重命名它，然后发送电子邮件”。陷阱在于，机器人的自身行为会改变下一步的游戏状态。如果它在第一步出错，第二步就会变得不可能。

测试： 他们让机器人玩一个网页任务链（如管理电子邮件），其中任务链的长度从 1 步增长到 10 步。
结果： 如果没有任何学习，机器人在经过短短几步后就会崩溃。但当他们让机器人从过去的尝试中学习（无论是通过更新大脑还是通过保留一份“笔记手册”），它的表现就会好得多。
代价： 即便有了学习，随着链条变长，机器人的表现仍然会变差。当达到 10 步时，成功率显著下降。这表明，虽然学习有所帮助，但在游戏变得复杂时，机器人能承载的记忆量是有限的。

核心启示

该论文指出，并没有一种单一的“万能灵药”可以教机器人如何永远学习下去。

如果世界的变化是通过赋予你新技能，你需要缓慢而稳健地重构大脑（具体使用像 SDFT 这样的方法）。
如果世界的变化是通过更新特定事实，你需要一种能够进行外科手术式大脑编辑的方法（如 GRPO），或者使用外部记忆来避免破坏其他事物。
如果世界的变化是缓慢且带有噪声的趋势，你需要一种能够忽略噪声并找到稳定模式的方法（如 Cartridges 或 SDFT）。
如果世界的变化是累积状态（如一场长游戏），你需要经验，但即便如此，随着游戏的进行，难度也会越来越大。

作者并非仅仅在猜测；他们在数千个案例中进行了测量。他们发现，不同类型的变化需要截然不同的学习方式。这不仅仅是关于“学习更多”，而是关于当游戏的规则发生转变时，如何去学习。

技术摘要：何时持续学习需要“学习”

问题定义

本文认为，目前对大语言模型（LLM）中持续学习（Continual Learning, CL）的界定是不完整的。传统上，CL 被定义为缓解灾难性遗忘的问题——即在学习任务 B 的同时不丢失任务 A。作者认为，这种观点对于现代 LLM 的部署是不够的，因为模型必须随着世界的变化而提高能力。他们提出了一个新的定义：持续学习是随着世界变化而提升模型能力的问题。

为了分析这一点，作者沿着两个轴线对环境变化进行了拆解：

空间（领域偏移/Domain Shift）： 模型遇到新的领域或任务（例如，从工具使用转向金融）。
时间（时间漂移/Temporal Drift）： 任务保持不变，但底层数据分布发生了偏移。这进一步细分为：
- 缓慢趋势（Slow Trends）： 渐进式偏移（例如年度财务报告），需要与持久性结构保持一致。
- 离散事实变化（Discrete Fact Changes）： 对特定知识的突发更新（例如维基百科修订），要求在不破坏稳定知识的前提下重写特定信念。
- 智能体累积（Agentic Accumulation）： 环境状态作为智能体自身先前行为的直接结果而发生漂移（例如多步网页导航），从而产生一个“框架问题”，即模型必须决定哪些信念已经过时。

方法论

作者引入了一个统一的、与机制无关的协议，以便在同等条件下评估 CL 方法。他们没有针对特定的更新机制定制基准测试，而是将广泛使用的 LLM 基准测试重新构建为序列化问题。

该协议：

学习者按固定顺序处理阶段 $T_1, \dots, T_K$ 。
在阶段之间，应用更新算子 $\theta_k = U_k(\theta_{k-1}, D^{\text{tr}}_k)$ 。
$U_k$ 是不受限的：它可以修改权重、编辑系统提示词、向外部记忆写入内容，或者不进行任何更新。
评估： 通过在阶段 $i$ $i$ 对所有阶段 $j$ $j$ 的测试集进行评估，生成一个“遗忘矩阵”。由此产生两个指标：
- 向后迁移（Backward Transfer, BWT）： 衡量后期阶段是否损害了前期阶段。
- 向前迁移（Forward Transfer, FWT）： 衡量前期阶段是否为未来的、未见的阶段做好了准备。

评估的方法：
共测试了基于 Qwen3-8B 主干网络的四个家族、八种方法：

提示词优化（Prompt Optimization）： GEPA（反思与变异）和 ACE（Markdown 剧本）。
离线监督学习（Offline Supervised Learning）： SFT（全参数微调）和 SDFT（自我蒸馏）。
在线强化学习（Online Reinforcement Learning）： GRPO（组相对策略优化）和 SDPO（序列化 DPO）。
上下文压缩（Context Compression）： Cartridges（学习型 KV 缓存适配器）和 In-place TTT（测试时训练）。

实验设置：

领域偏移（Domain Shift）： 在 ToolUse、FinQA 和 SciKE-Bio 上进行顺序训练。
离散事实更新（TempWiki）： 从维基百科差异中学习新事实，同时监控稳定事实以检测“灾难性记忆”。
噪声时间漂移（Noisy Temporal Drift）： 从 10-K 报表中预测股票走势（2015–2020），其中信号较弱且存在机制转换。
智能体任务（Agentic Tasks）： 在 WebArena-Infinity（如 Gmail）上的连续链式操作（例如，状态在步骤间持续存在）。

核心结果

研究揭示了不同方法家族之间存在一致的权衡，表明没有单一的方法能处理所有场景：

基于提示词的方法（GEPA, ACE）：
- 优势： 能快速适应新阶段并获得较强的向后准确度。
- 劣势： 在未来任务上遭受严重的灾难性遗忘。在 TempWiki 设置中，它们会为了拟合新事实而覆盖稳定知识。在 10-K 任务中，它们过度拟合瞬时启发式信息，无法实现前向泛化。
- 智能体方面： ACE 通过累积程序化指导，优于零样本基准。
基于蒸馏的方法（SDFT, SDPO）：
- 优势： 随时间稳定地累积知识，极少导致过去能力的退化。SDFT 是唯一能在所有领域偏移任务中维持或超过零样本基准的方法。
- 劣势： 难以快速吸收新信息或更新过时的事实。在 TempWiki 设置中，它们在尝试插值新数据时会使稳定事实退化。它们在噪声时间漂移（10-K）中表现出较强的向前迁移能力，但在有效学习离散事实更新方面表现不佳。
上下文压缩（Cartridges, In-place TTT）：
- 优势： 提高了效率和内存管理。它们对领域偏移的敏感度低于提示词方法。
- 劣势： 并未实质性提高学习新任务或累积能力的能力。在 10-K 任务中，它们既没有获取也没有退化，无法吸收缓慢移动的趋势。
在线强化学习（GRPO, SDPO）：
- 优势： 在离散知识更新（TempWiki）方面适应效果最好，GRPO 在学习新事实的同时比其他权重更新方法能更好地保留稳定知识。
- 劣势： 对噪声奖励信号高度敏感。在 10-K 任务中，由于奖励信号微弱且多噪，GRPO 在过去和未来的年份上都出现了显著退化。
智能体累积（Agentic Accumulation）：
- 基于提示词（ACE）和基于权重（SFT）的方法都能通过经验累积，并在每个链条长度上击败零样本基准。然而，绝对成功率仍随链条增长而下降，表明累积的状态最终会压倒模型执行动作的能力。

核心贡献

统一框架： 将持续学习形式化为随时间提升能力的过程，并沿着空间（领域）和时间（漂移、事实、智能体状态）轴定义变化。
机制无关协议： 引入了一种协议，允许在共同的主干网络上公平比较提示词、权重和架构更新。
序列化基准套件： 将标准基准（FinQA, 10-K, TempWiki, WebArena）转化为序列化任务，以在现实条件下评估 CL。
实证权衡分析： 证明了不同的环境变化模式需要根本不同的更新行为。提示词法虽快但不稳定；蒸馏法虽稳但更新慢；强化学习能适应事实但受困于噪声；压缩法有助于效率但无法促进学习。

意义与主张

本文声称，持续学习并非一种单一的能力。作者认为，该领域对“减轻遗忘”的关注与部署中的 LLM 实际需求（即必须适应不断变化的世界）是不匹配的。

其主要意义在于发现：不同的环境变化模式需要根本不同的更新行为。

当世界通过离散事实变化时，在模型权重内部进行学习（特别是通过 RL 或有针对性的更新）是必要的。
当世界通过缓慢趋势变化时，以稳定性为锚定的方法（如蒸馏）在保留过去结构方面更为优越。
当世界通过智能体累积变化时，外部脚手架（剧本）或微调可以提供帮助，但两者都会随着状态复杂度的增加而面临极限。

作者总结道，理解每种方法在何处成功以及在何处失败，对于设计更强大的持续学习系统至关重要。他们并非提出一种新算法，而是提供了一个诊断框架，用于根据特定环境变化的性质来指导选择更新机制。

局限性： 作者指出，他们的结论是基于单个模型（Qwen3-8B）和特定的环境变化子集。他们警告说，结果可能会因模型规模变大或具备推理能力的模型而有所不同，且现实世界的部署涉及比所测试的更开放、更不确定的环境。