🤖 machine learning

Calibrated Partial Resets: Preventing Policy Collapse in Continual Reinforcement Learning

本文介绍了校准部分重置（Calibrated Partial Resets, CPR），这是一种通过定期且选择性地将低效神经元拉回其初始化状态，从而在不牺牲峰值性能的情况下维持塑性的持续强化学习优化器，旨在防止策略崩溃。

原作者： Luc McCutcheon, Evangelos Chatzaroulas, Saber Fallah

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Luc McCutcheon, Evangelos Chatzaroulas, Saber Fallah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人走路、跑步或玩电子游戏。你不仅仅是教它一次并希望它永远记住；你把它投入到一个不断变化的世界中。也许地面变得湿滑，或者游戏的规则发生了变化，或者机器人在掌握了旧技能后必须学习一项全新的技能。这就是“持续学习”（continual learning）的世界。问题在于，随着这些数字大脑（神经网络）学习得越来越多，它们往往会变得“卡住”。它们大脑的一些部分完全停止工作，变得像处于休眠状态、从未放电的神经元一样；而另一些部分则变得过于僵化，无法适应新情况。这就像一个把教科书背得滚瓜烂熟的学生，如果题目中的数字变了，他就一个问题也解不出来。如果机器人失去了这种适应能力，它可能会突然忘记如何走路，或者更糟，在错误的决策循环中崩溃并毁灭。科学家们一直试图通过偶尔“重置”机器人的大脑来解决这个问题，但旧的方法有点像按下一个过于生硬的重置键，在机器人试图学习新技能时，往往会破坏它现有的技能。

这篇论文介绍了一个巧妙的新技巧，叫做校准部分重置（Calibrated Partial Resets, CPR），用以解决这个问题。把神经网络想象成一个庞大的工人团队，其中每个工人（神经元）负责机器人决策的一个微小部分。随着时间的推移，一些工人不再做任何有用的事情；他们变得“休眠”或“沉睡”了。旧的方法是解雇这些沉睡的工人并从头开始招聘全新的工人。但把他们全部解雇，就像是在晚餐高峰时段解雇了繁忙厨房里的一半员工——这会导致混乱，并且食物（机器人的表现）会被毁掉。

本文的作者提出了一种更温和、更聪明的方法。CPR 不会完全解雇那些沉睡的工人，而是给他们一个温柔的“推力”，让他们回到最初、新鲜的状态。但神奇之处在于：这个推力的大小取决于该工人有多么无用。如果一个工人几乎没做什么贡献，他们就会得到一个巨大的推力来唤醒他们。如果一个工人仍在出色地工作，他们只会得到一个微小到几乎察觉不到的轻点。这样，机器人就能保持其最佳技能，同时缓慢地刷新那些变得陈旧的部分。

研究人员在一些非常艰苦的环境中测试了这个想法。他们训练机器人在不断从干燥变为极度湿滑的表面上奔跑，这项任务持续了惊人的 4 亿步。在这些测试中，旧的方法（例如完全解雇工人的标准“二进制重置”）经常导致机器人崩溃并完全忘记如何移动。然而，CPR 方法让机器人在整个过程中都能平稳运行。它是唯一一个在所有 15 次不同测试运行中都没有出现“策略崩溃”（total failure）的方法。

论文还表明，这种方法在其他具有挑战性的类视频游戏环境中也表现良好，有助于机器人在学习新任务的同时不会忘记旧任务。作者发现，通过调节我们推挤“沉睡”工人的力度（一个被称为 $\rho$ 的设置），我们可以平衡保持机器人稳定与帮助其快速学习之间的关系。他们发现，适度的推力效果最好，既能防止机器人崩溃，又能让其具备适应能力。

简而言之，这篇论文建议，我们不应该使用“全或无”的重置按钮，而应该为 AI 的大脑使用一个“调光开关”。通过根据每个部分的用途仔细校准我们刷新每个部分的程度，我们可以让 AI 智能体永远学习而不至于崩溃。这些以数亿步为衡量标准的实验结果表明，这种方法是构建能够真正终身学习和适应的机器人及 AI 的一种极具前景的方式。

技术摘要：用于持续强化学习的校准部分重置 (CPR)

1. 问题陈述

在长期的非平稳训练过程中，深度神经网络经常会出现塑性丧失（loss of plasticity）的问题，这是持续强化学习（Continual RL）中的一个关键问题。在这些设置中，策略更新会改变智能体未来的数据分布，从而产生反馈循环，使得微小的优化不稳定性可能演变成灾难性的策略退化 (Juliani & Ash, 2024)。

现有的解决塑性丧失的方法，如持续反向传播 (CBP)、ReDo 和 ReGraMa，依赖于二元神经元重置（binary neuron resets）。这些方法通过识别低效用神经元（基于激活或梯度统计量）并对其进行完全重新初始化。作者认为，二元重置将两个截然不同的设计选择混为一谈了：即哪些单元需要刷新以及以多大的强度进行更改。

不稳定性： 二元重置的“全或无”性质引入了突发的参数变化和梯度峰值，这会使长程强化学习训练变得不稳定，并可能导致策略崩溃。
脆弱性： 完全重新初始化会将输出权重归零，导致后续层的分布偏移，在缺乏层归一化的情况下，这一问题尤为严重。
均匀衰减的局限性： 诸如 Shrink & Perturb 之类的替代方法对所有单元应用均匀衰减，虽然这种方式很平滑，但缺乏针对性，无法精准定位需要刷新的特定单元。

核心问题在于缺乏一种既具有选择性（针对低效用单元）又具有平滑性（避免突发参数跳变）的方法，以在维持巅峰性能的同时防止策略崩溃。

2. 方法论：校准部分重置 (CPR)

作者提出了校准部分重置 (CPR)，这是一种周期性地将神经元拉向其初始化状态，且其强度随每个神经元效用缩放的优化器。与二元重置不同，CPR 应用的是连续的、部分的调整。

2.1 效用估计

CPR 利用基于梯度的效用评分，近期研究表明此类评分的扩展性更好 (Liu et al., 2025)。

原始评分 ( $S_i^\ell$ )： 第 $\ell$ 层第 $i$ 个单元输入权重的梯度平均幅值。
归一化评分 ( $u_i^\ell$ )： 为了确保跨层和跨时间的对比性，该评分经过层归一化（除以层平均值）并使用指数移动平均 (EMA) 进行平滑，其中 $\beta$ 为衰减参数。

2.2 重置机制

每隔 $f$ 步，CPR 根据每个神经元的效用对第 $\ell$ 层中每个神经元 $i$ 的权重进行更新：
$W_i^{\ell, :} \leftarrow (1 - r_i^\ell) W_i^{\ell, :} + r_i^\ell \xi_i^{\ell, :}$
$W_{:, i}^{\ell+1} \leftarrow (1 - r_i^\ell) W_{:, i}^{\ell+1}$

其中：

$\xi$ 是从初始化分布（例如 Kaiming 分布）中抽取的权重。
$r_i^\ell$ 是重置系数，受最大重置比例 $\rho \in (0, 1]$ 的限制。
该系数是由归一化效用 $u_i^\ell$ 的单调递减函数 $\phi$ 决定的：
$r_i^\ell = \rho \cdot \phi(u_i^\ell)$

2.3 转换函数

函数 $\phi$ 将效用映射为重置强度。作者使用了一个基于 Sigmoid 的形状：
$\phi(u_i^\ell) = \min\left(2\sigma[-\kappa(u_i^\ell - 1)], 1\right)$

选择性： 效用低于层平均值（ $u < 1$ ）的单元会获得接近最大值 $\rho$ 的重置比例。高效用（ $u > 1$ ）的单元获得的重置比例则逐渐减小。
部分性： 即使对于效用最低的单元，重置也是部分的（按 $\rho$ 的比例拉向初始化），而非完全重新初始化。这避免了与二元重置相关的梯度峰值。
锐度 ( $\kappa$ )： 控制重置比例随效用增加而下降的剧烈程度。作者根据消融实验结果将 $\kappa$ 固定为 16，实验显示该值在广泛范围内具有鲁棒性。

3. 核心贡献

识别不稳定性来源： 本文指出二元神经元重置是长程持续强化学习中不稳定的主要来源，并区分了单元的选择与更新幅度之间的差异。
CPR 优化器： 引入了一种基于效用缩放的部分重置优化器，它避免了完全重新初始化的脆弱性，同时保持了重置方法的选择性。
实证验证： 证明了 CPR 在 SlipperyAnt 环境中 4 亿步训练过程中能防止策略崩溃，而在该阶段，二元重置方法和标准 Adam 均表现不佳。
权衡控制： 消融研究表明，最大重置比例 $\rho$ 提供了一个可调节的权衡机制，用于平衡塑性（适应能力）与巅峰性能，从而在无需精确调节超参数的情况下实现崩溃预防。

4. 结果

作者在四个基准测试上评估了 CPR：SlipperyAnt、SlipperyHumanoid、Continual MetaWorld 和 Continual MinAtar。

策略崩溃预防： 在 SlipperyAnt（4 亿步）中，CPR 是 15 个种子实验中唯一实现零策略崩溃的方法。相比之下，Adam 发生了崩溃，而二元重置方法（ReDo、ReGraMa）表现出显著的性能退化或崩溃。
性能： CPR 在 SlipperyAnt 和 SlipperyHumanoid 中达到了最高的四分位间平均值 (IQM) 回报。它在 Continual MetaWorld 和 Continual MinAtar 中也优于基准方法（CBP、ReDo、ReGraMa、Shrink & Perturb）。
稳定性指标：
- 休眠神经元： CPR 保持了较低且平坦的休眠神经元比例，与 CBP 相当，但没有出现 Adam 那种训练后期的漂移现象。
- 梯度范数： 与二元重置基准相比，CPR 的 Actor 梯度范数波动更小，这与其避免崩溃的能力相关。
- 参数范数： CPR 约束了参数增长（这是已知导致塑性丧失的驱动因素），而基准方法表现出更高的参数增长。
消融实验：
- 锐度 ( $\kappa$ )： 当 $\kappa \in [2, 20]$ 时，性能保持稳健。较低的 $\kappa$ 值（ $\le 1$ ）会导致性能下降，因为这使得重置过于均匀。
- 重置幅度 ( $\rho$ )： $\rho \in [0.01, 0.05]$ 的范围能持续防止崩溃。较低的 $\rho$ 虽然保持了稳定性，但阻碍了适应；较高的 $\rho$ 虽然增加了塑性，但存在过度重置有用结构的风险。

5. 意义与主张

本文声称 CPR 代表了训练可靠性的质变。通过将“全或无”的更新替换为基于效用的部分重置，CPR 在注入必要塑性的同时，避免了导致策略崩溃的破坏性剧烈参数更新。

作者强调，虽然 CPR 引入了实现复杂度（需要计算每个神经元的效用并存储运行平均值），但其计算开销极小（在高维任务中仅增加约 6% 的墙钟时间），且该方法具有模块化特征，只需对标准训练流水线（如 Optax）进行极小的改动即可。

研究结论认为，基于效用的重新初始化是持续学习的一个有前景的方向，它提供了一种可调控的机制来平衡稳定性与塑性的权衡。作者承认了局限性，指出 CPR 主要关注任务动态和身份转变，并未声称解决了所有形式的持续强化学习不稳定性（如奖励非平稳性或形态变化）。未来的工作建议进一步隔离效用估计、部分重初始化以及优化器状态处理在更广泛架构中的作用。