📊 statistics

To Retain or to Adapt? Generalizing Continual Learning

本文通过提出一种名为“预测性持续学习”（Predictive Continual Learning）的新框架，挑战了在持续学习中保留所有过去知识的传统目标，该框架通过在稳定性与适应性之间进行动态平衡来优化未来性能，并在理论上确定了一个“关键任务时长”（Critical Task Duration），在该时长之后，历史知识将成为一种负担而非优势。

原作者： Giulia Lanzillotta, Mandana Samiei, Doina Precup, Razvan Pascanu, Claire Vernade

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Giulia Lanzillotta, Mandana Samiei, Doina Precup, Razvan Pascanu, Claire Vernade

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：学习者应该记住一切，还是从头开始？

想象一下，你正在一生中参加一系列不同的课程。

课程 1： 你学习如何驾驶汽车。
课程 2： 你学习如何驾驶飞机。
课程 3： 你学习如何驾驶潜艇。

在人工智能（AI）领域，长期以来一直存在一种观点，认为一个“好”的学生应该努力完美地记住每一门课的所有内容。这被称为联合任务学习（Joint-Task Learning, JTL）。其核心思想是，如果你保留了所有的旧知识，你就会在所有事情上都做得更好。

然而，这篇论文指出，这种“记住一切”的策略在变化的世界中实际上是一个陷阱。有时，固守旧信息会让你更难学习新事物。作者提出了一种新的思考方式：预测性持续学习（Predictive Continual Learning）。与其盲目地记住过去，不如让 AI 询问：“我的过去中，有哪些部分对预测未来真正有用？”

核心冲突：稳定性 vs. 可塑性

为了理解这篇论文的发现，请想象两种类型的学生：

“档案管理员”（JTL）： 这个学生保留着一本巨大的图书馆，里面记录了他们读过的每一本教科书。当新课程开始时，他们试图将新材料与所有的旧书混合在一起。
- 优点： 如果新课程与旧课程相似，他们会学得非常快，因为他们拥有一个“热启动”优势。
- 缺点： 如果新课程完全不同（比如从开汽车转为开飞机），旧书就会造成干扰。学生会感到困惑，试图将“方向盘”的逻辑应用到“操纵杆”的问题上。
“白纸学生”（ITL）： 这个学生在每门新课开始时都会扔掉所有的旧书。他们从零开始。
- 优点： 他们不会感到困惑。他们能完美掌握新规则，因为没有被旧习惯分散注意力。
- 缺点： 如果新课程与旧课程相似，他们会在重复学习已知内容上浪费时间。

发现：“关键任务时长”

作者发现了一个特定的转折点，他们称之为关键任务时长（Critical Task Duration）。你可以把它看作是一门课持续多久的“时间限制”。

短课程（“闪电”课程）： 如果一门课非常短（例如，为期 1 天的工作坊），档案管理员会胜出。他们利用旧知识获得快速的“热启动”，比“白纸学生”更快完成课程，因为后者必须从第一页开始读起。
长课程（“学期制”课程）： 如果一门课持续很长时间，白纸学生最终会胜出。尽管他们起步较慢，但最终能完美掌握新材料。而档案管理员却被永久性的“偏差”或困惑所困。由于他们不断试图在旧知识与新知识之间寻找折中方案，他们永远无法达到同样的完美程度。

类比： 想象学习一门新语言。

如果你只是去某个国家旅游一个周末（短任务），了解一种相似的语言会有所帮助（保留）。
如果你要搬到那里生活 10 年（长任务），试图在学习新语言的同时保留旧语言，可能会阻碍你真正达到流利水平。你需要放下旧语言才能完全适应。

新方案：“窗口”策略

论文建议，最好的策略不是在“记住一切”或“忘记一切”之间做选择，而是使用一个窗口。

想象一个观察你历史的窗口。

如果世界变化缓慢（比如天气随年份逐渐变化），你应该有一个宽窗口。你可以参考上个月的天气来预测今天。
如果世界变化剧烈（比如股市崩盘或趋势的突然转变），你应该有一个窄窗口。你只关注昨天发生了什么。回顾一个月前的情况是毫无意义且具有误导性的。

作者创建了一个“窗口算法”，它能根据环境变化的速率自动调整回溯的时间长度。

结果： 这种灵活的方法在实验中始终优于“记住一切”的学生和“忘记一切”的学生。

他们测试了什么

研究人员在以下领域测试了这些想法：

图像分类： 教 AI 识别图片。他们使用了图像随时间缓慢变化的数据集（如 10 年间的照片）以及图像发生突变的数据集（如从汽车切换到飞机）。
机器人技术： 教机器人执行任务，如打开抽屉或按下按钮。

研究结果：

当任务相似且变化缓慢时，记住过去有助于提升表现。
当任务差异巨大或变化剧烈时，记住过去会损害表现。
“窗口”策略通过根据情况调整记忆，表现最为高效。

核心结论

这篇论文挑战了“记忆越多越好”的观念。它证明了，在变化的世界中，遗忘有时是学习的必要条件。

最好的终身学习者并不是那个能完美记住一切的人，也不是那个能瞬间忘掉一切的人。最好的学习者是知道根据未来可能的变化程度，决定保留多少过去的人。他们称之为预测性持续学习：利用一个关于未来的模型，来决定保留什么以及丢弃什么。

技术摘要：保留还是适应？泛化持续学习

1. 问题陈述

持续学习（Continual Learning, CL）在历史上一直由缓解灾难性遗忘的目标所驱动，其隐含的假设是：一个理想的终身学习者必须逼近**联合任务学习（Joint-Task Learning, JTL）**的解——即保留所有先前获得的知识，以最小化整个历史任务的误差。本文挑战了这种以“保留”为中心的普适性前提。在非平稳环境中，优先保留过时的信息会阻碍实时适应。作者认为，标准的 JTL 目标对应于一个特定且往往未说明的假设：即未来的任务是从与过去相同的分布中抽取的（即遍历性环境）。当这一假设失效时，针对 JTL 进行优化会对过时的数据赋予过高的权重，导致终身性能并非最优。

本文将 CL 不仅仅重新定义为一个记忆问题，而是一个受环境动力学（任务分布如何变化）与学习动力学（算法如何更新参数）相互作用支配的在线优化问题。

2. 方法论与理论框架

2.1 平均终身误差 (Average Lifelong Error, ALE)

作者采用了 Kumar 等人 (2025) 引入的 平均终身误差 (ALE) 目标，该目标旨在动态环境中，在计算约束条件下最小化实时期望误差。与最小化所有过去任务平均损失的 JTL 不同，ALE 关注的是相对于当前数据分布在每个时间步的性能。

2.2 迁移效率的分解

为了分析保留过去知识与适应新任务之间的权衡，本文引入了 迁移效率 (Transfer Efficiency, TE)，将其定义为 JTL 智能体相对于独立任务学习 (Independent-Task Learning, ITL) 基准（即在每个任务时重置参数）的性能增益。作者将 TE 分解为两个截然不同的组成部分：

不稳定性 ( $I_k$ )： “平稳差距”。它衡量了 JLU 和 ITL 智能体在任务收敛后的性能差异。它代表了从冲突的过去经验中继承的偏差 (Bias)。如果环境是非平稳的，JTL 解（对所有过去任务的折中方案）对于当前任务可能是次优的，从而导致正向的不稳定性。
瞬态误差 ( $\delta_k$ )： “学习速度差距”。它捕捉了从头开始学习新任务 (ITL) 与从热启动初始化开始 (JTL) 之间的成本。它代表了从初始参数移动到平稳分布的优化成本。

该分解表达式为：
$TE_k = -I_k + (\delta_k(A_{ITL}) - \delta_k(A_{JTL}))$

2.3 关键任务时长

一个核心理论结果是推导出了 关键任务时长 ( $N^\infty_{max}$ )。在温和的收敛条件下，如果平均不稳定性为正 ( $\bar{I} > 0$ )，则存在一个阈值任务时长，超过该时长后，JTL 的初始优势（更快的收敛速度）将被其平稳偏差所抵消。
$N^\infty_{max} = \frac{\bar{\Delta}(A_{ITL}) - \bar{\Delta}(A_{JTL})}{\bar{I}}$
其中 $\bar{\Delta}$ 代表累积瞬态误差。如果任务时长 $N$ 超过此阈值，ITL（忘记一切并重新学习）的表现将优于 JTL。

2.4 二次分析与增长率

作者在二次损失设置下推导了这些量的闭式表达式。他们引入了环境的 增长率 ( $\psi(k)$ )，用于量化最优参数随时间漂移的速度（例如：有界漂移、扩散漂移或线性漂移）。

不稳定性 与增长率 $\psi(k)$ 成比例缩放。
ITL 的瞬态误差 与 $\psi(k)/N$ 成比例缩放。
JTL 的瞬态误差 是低阶的，与 $\psi(k)/k^2$ 或环境的加速度成比例缩放。

这种分析表明，记忆的效用取决于任务分布、优化动力学以及模型属性（例如 NTP 与 $\mu$ P 参数化）的共同作用。

2.5 预测性持续学习 (Predictive CL)

超越 JTL/ITL 的二分法，本文提出了 预测性持续学习 (Predictive CL) 框架。该框架通过将“未来模型”作为一个显式的设计选择来泛化 CL。与其假设未来与过去相同 (JTL) 或未来完全未知 (ITL)，预测性 CL 算法通过一个显式的、动态更新的未来任务模型来优化预期的未来性能。

JTL 对应于一个模型，其中未来是所有过去任务的经验平均值。
ITL 对应于一个模型，其中未来仅为当前任务。
窗口算法 (Window Algorithm)： 作为概念验证，作者分析了一种在有限近期历史 $W$ 上进行优化的窗口算法。他们根据环境的 均方位移 (Mean Squared Displacement, MSD) 推导出了最优窗口大小 $W^*$ ，该算法在 JTL 和 ITL 之间进行插值。

3. 主要贡献

将 CL 重构为在线优化： 本文将焦点从减少遗忘转向最小化 ALE，证明了 JTL 并非普遍最优，而是对应于关于未来任务结构的特定假设（遍历性）。
形式化分解： 引入 迁移效率、不稳定性 和 瞬态误差，提供了一个定量框架，用于分离“最终解的质量”与“学习速度”。
关键任务时长： 推导出了闭式阈值 ( $N^\infty_{max}$ )，该阈值可以预测历史知识何时从“热启动优势”转变为“优化负担”。
渐近分析： 针对二次目标的闭式表达式表明，环境的 增长率 决定了长期记忆的渐近收益。
预测性 CL 框架： 一个通过显式未来模型优化性能的 CL 算法泛化框架，将 JTL 和 ITL 统一为极限情况。窗口算法 作为一个具体的实例化，在受控的分布漂移下优于这两种极端情况。

4. 实验结果

理论预测在三个涵盖不同不稳定性水平的基准测试上得到了验证：

CLEAR： 一个具有平滑时间漂移的真实世界图像分类数据集。在此场景下，不稳定性较低，JTL 始终优于 ITL。
MD5： 五个无关数据集组成的序列，具有剧烈的语义转换。在此场景下，不稳定性较高，JTL 在初始瞬态阶段后表现不如 ITL。
MT10 (Meta-World)： 机器人操控任务套件。与 MD5 类似，高不稳定性导致 JTL 出现负迁移。

主要实证发现：

迁移的正负号： 迁移效率的符号追踪 $-I$ 的符号。高不稳定性会导致负迁移。
任务时长： 增加任务时长 $N$ 会导致迁移效率下降（遵循 $1/N$ 趋势），因为 ITL 智能体有更多时间来克服其较差的初始化，在涉及高不稳定性设置时，最终会超越 JTL。
优化偏差： 使用深度线性网络（NTP vs. $\mu$ P）的实验表明，不稳定性的大小是由实现层面的选择（参数化）决定的，而不仅仅是任务序列本身。
窗口算法： 在受控的连续漂移模拟中，具有最优窗口大小 $W^*$ 的窗口算法始终优于纯 JTL 和纯 ITL，验证了预测性 CL 的假设。

5. 意义与主张

本文声称提供了一个将持续学习与在线学习、随机优化、多任务学习及元学习等相邻领域进行 概念统一 的视角。通过引入“预测性 CL”视角，它将 JTL 与 ITL 之间的鸿沟从两个极端之间的差距转变为一个有原则的设计空间。

作者谦虚地指出，其结论取决于 ALE 评估目标的选取。虽然 ALE 捕捉了计算约束下的实时适应能力，但其他愿景（如鲁棒性、公平性）可能会倾向于不同的策略。然而，迁移效率和关键任务时长的框架为研究非平稳环境下的实时适应提供了一套通用的语言和分析工具。

这项工作表明，“大世界假设”（即世界过于庞大而无法被穷尽建模）得到了支持：当环境发生不可逆转的变化时，保留信息会成为一种负担。与其记忆过去，终身学习者应该调整其保留策略以适应环境的结构，潜在地学习去预测哪些部分的过去与未来相关。