💻 computer science

Don't Forget the Critic: Value-Based Data Rehearsal for Multi-Cyclic Continual Reinforcement Learning

本文提出了 Qreg+NWLU，这是一种面向多周期持续强化学习的基于价值的数据重演方法，它通过引入连续 Q 值收集与即时“无等待”正则化，克服了以策略为核心的方法的局限性，从而有效缓解灾难性遗忘并增强知识迁移。

原作者： Benjamin Poole, Andrew Quinn, Li Yang, Minwoo Lee

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Benjamin Poole, Andrew Quinn, Li Yang, Minwoo Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人玩一系列电子游戏。首先，它学习玩《Flappy Bird》。然后，你把它切换到《Catcher》，接着再切换到一款名为《Room》的迷宫游戏。目标是让机器人精通所有这些游戏，同时不忘记如何玩第一款游戏。

在人工智能领域，这被称为持续学习（Continual Learning）。机器人面临的最大问题是“灾难性遗忘（catastrophic forgetting）”。这就像一个学生为数学考试学习，然后立即开始为历史考试学习，结果等到历史考试结束时，完全忘记了如何做数学题。

旧方法：“执行者”与“评论者”

大多数先前的研究试图通过只关注机器人的“肌肉记忆”（称为执行者 Actor）来解决这个问题。他们使用了一种称为**数据重演（Data Rehearsal）**的技术，这就像给机器人一本小笔记本，记录它过去游戏的笔记，以便在学习新游戏时翻阅。

然而，机器人的大脑还有第二部分，称为评论者（Critic）（或价值函数）。评论者就像一位教练，不断评估：“这一步有多好？我会获得多少奖励？”

先前的研究人员发现，如果他们试图利用“笔记本”（重演）来帮助评论者记住旧的分数，机器人学习的效果反而变差了。因此，他们停止尝试帮助评论者，只帮助执行者。本文的作者说：“等一下。我们忽略了半个大脑！”他们想看看是否能在不破坏评论者的情况下修复它。

新想法：Qreg+NWLU

作者尝试了一种名为**Qreg（Q 值正则化）*的新方法。这仅仅是利用笔记本提醒评论者，旧动作的分数曾经*是多少。

但他们发现，标准的做法很混乱。这就像试图通过只阅读教科书的最后一页来备考，或者等到整个学期结束才查看笔记。这导致机器人感到困惑或迅速遗忘。

为了解决这个问题，他们引入了两个简单的改进，并将它们组合成一种名为Qreg+NWLU的新方法：

实时更新（“实时”策略）：
- 问题： 在旧方法中，机器人要等到完成整个游戏关卡后才保存任何笔记。如果机器人在关卡开始时犯了错，那些笔记就永远不会被保存。
- 改进： 现在，机器人在游戏过程中持续地记录笔记。这就像学生在讲座期间实时记笔记，而不是试图在课后记住所有内容。这确保了笔记的多样性，涵盖了整个游戏，而不仅仅是结尾部分。
无需等待（“无等待”策略）：
- 问题： 旧方法规定，“在完成第一款游戏之前，不要查看旧笔记。”这意味着机器人开始学习第二款游戏时是“冷启动”，立即忘记了所有内容。
- 改进： 一旦机器人笔记本里有了任何笔记，它就立即开始利用这些笔记来帮助学习新游戏。这就像学生一走进新教室就开始复习旧笔记，而不是等到老师讲完第一课才行动。

“多循环”挑战

作者还在一个名为**多循环（Multi-Cyclic）**的特殊环境中测试了这种方法。想象一下，机器人玩《Flappy Bird》，然后玩《Catcher》，接着玩《Room》。但随后，循环重新开始：再次玩《Flappy Bird》，然后再次玩《Catcher》。

在现实生活中，我们经常面临重复的情况（例如，机器人吸尘器每天清洁相同的房间，或者股票交易员每周看到相同的市场模式）。作者发现，大多数机器人在这种循环中表现糟糕；每次循环重复，它们的表现都会变差。然而，他们的新方法允许机器人在经历多次循环后，仍然能够记住旧游戏。

结果

当他们测试这种新的Qreg+NWLU方法时：

记忆更好： 机器人在学习第二款游戏时，没有忘记如何玩第一款游戏。
学习更快： 因为它立即复习笔记（“无等待”），所以没有浪费时间重新学习基础知识。
更稳定： 机器人的表现不会在“天才”和“困惑”之间剧烈波动。

核心结论

本文认为，要教机器人持续学习，我们不应该只训练它的“肌肉”（执行者）；我们还必须训练它的“教练”（评论者）。通过给教练一本实时更新并立即复习的笔记本，机器人可以在学习新任务时不忘记旧任务，即使任务不断重复。

他们并未声称这解决了人工智能中的所有问题，但他们证明，对于特定类型的学习算法（称为 DQN），这种简单的“实时”与“无等待”组合是防止遗忘的变革性方法。

技术摘要：勿忘评论家：面向多周期持续强化学习的基于价值的经验回放

问题陈述

持续强化学习（CRL）旨在使智能体能够学习一系列任务，同时保持对先前已学任务的性能，从而解决灾难性遗忘和可塑性丧失的挑战。虽然数据回放（存储和重放过往经验）已成为 CRL 中的领先方法，但现有研究主要局限于策略梯度框架（演员 - 评论家方法）。在这些设定中，行为克隆的正则化仅应用于演员网络，因为历史上将正则化扩展至评论家网络被观察到会降低性能。因此，数据回放在价值函数近似（例如深度 Q 网络或 DQN）中的潜力仍未得到充分探索。

此外，现有的 CRL 评估很少考虑多周期环境，即任务序列在多个周期中重复的环境。这种设定对于现实世界应用至关重要，因为环境会自然重现。多周期设定已被证明会加剧遗忘和可塑性丧失，但在灾难性遗忘研究中仍未得到充分利用，该领域的评估通常仅限于单个周期或最多两个周期。

方法论

作者利用Q 值正则化（Qreg）（即行为克隆的基于价值的对应方法）研究了 DQN 的数据回放。他们发现，标准的 Qreg 在多周期设定中表现出不稳定性和不一致性，常遭受“首因偏差”（primacy bias）的影响，即糟糕的初始学习会抑制后续周期的表现。为解决这一问题，他们提出了Qreg+NWLU（无等待实时更新的 Qreg），该方法对回放框架引入了两项关键改进：

实时更新（连续数据收集）： 该方法不像 prior work 那样仅在任务结束时采样转换，而是在整个训练过程中以固定频率逐步将回放样本添加到回放缓冲区（RRB）中。这种“实时”策略减少了对训练末期发生的转换的选择偏差，并促进了样本多样性，特别是在回放缓冲区大小相对于总训练步数较小时。
无等待正则化： 标准 Qreg 通常推迟正则化，直到第一个任务完成且 RRB 样本可用。而“无等待”机制一旦回放样本可用，便立即应用正则化，而非等待任务完成。这旨在稳定初始任务的学习，这在持续设定中至关重要，因为每个任务的知识必须被高效利用以服务于后续任务。
周期性 Q 值更新： 该方法在训练期间定期更新 RRB 中对应于当前任务的存储 Q 值。这防止了正则化针对因初始训练不足或后续任务获得的知识而导致的陈旧或不准确的 Q 值。

该框架使用一个独立于标准回放缓冲区的专用 RRB。RRB 充当长期、跨任务的记忆，而回放缓冲区则充当短期、特定任务的记忆。

主要贡献

基于价值的经验回放研究： 本文研究了在多周期 CRL 设定中应用带有 Q 值正则化的数据回放，填补了关于正则化如何促进有效价值函数学习的理解空白。
提出 Qreg+NWLU： 作者指出了标准 Qreg 的局限性（不稳定和不一致），并提出了 Qreg+NWLU，这是一种结合了实时更新和无等待正则化的改进方法。
实证验证： 研究表明，Qreg+NWLU 在多种环境和指标上始终优于标准 CRL 基线（包括 DQN、DDQN、EWC、L2、PackNet 和 MER）。

结果

实验在三个任务序列上进行：Minihack Room（具有困难转换和观测空间变化）、Flappy Bird和Catcher（使用 PyGame 学习环境）。评估跨越四个周期，包含 10 个随机种子。

性能指标： 作者使用了最终迁移（ $F$ ）、最差迁移（ $W$ ）和平均回报（ $G$ ）。
Room 序列： Qreg+NWLU 在第二个周期达到了接近最优的性能，且标准误差显著较低。它显著缓解了标准 Qreg 中观察到的波动性和首因偏差。虽然标准 Qreg 表现出高方差并在某些运行中失败，但 Qreg+NWLU 在所有任务中实现了最高的平均回报（ $G$ ）和正向迁移分数。
Flappy 和 Catcher 序列： Qreg+NWLU 始终优于基线，实现了最高的平均回报。在难度递增的 Flappy Bird 中，与 DQN 相比，Qreg+NWLU 在所有任务上均表现出性能提升，而标准 Qreg 在任务 1 上表现挣扎。在 Catcher 中，Qreg+NWLU 在第二个周期达到了接近最优的性能，并大大缓解了标准 Qreg 中观察到的遗忘现象。
消融研究： 研究证实，“实时”和“无等待”策略都至关重要。移除“无等待”会导致与标准 Qreg 类似的高方差和不稳定性。策略的组合有助于平滑任务转换期间的 Q 值范数（ $\|Q\|_2$ ），减少了跨周期的 Q 范数范围，并增强了鲁棒性。

意义与主张

本文声称，通过 Qreg 将数据回放纳入价值函数近似，显著提高了学习效率、迁移能力以及对多周期遗忘的抵抗力。然而，作者强调，要实现这些结果需要正确的框架，特别是无等待正则化、持续采样（实时）以及回放样本的周期性更新的结合。

作者将这项工作定位为在 CRL 中更广泛地应用基于价值的经验回放正则化的第一步。他们承认存在的局限性，包括排除了随机任务序列和涉及完全独特任务的困难转换、Updates 策略对任务标签的依赖，以及专注于纯基于价值的算法（DQN）而非演员 - 评论家框架。尽管存在这些局限性，结果表明，当通过数据回放进行适当正则化时，基于价值的方法可以有效地缓解多周期设定中的灾难性遗忘，挑战了此前认为此类正则化会损害性能的共识。