技術要約：継続的強化学習における較正された部分的リセット (Calibrated Partial Resets: CPR)

1. 問題提起

深層ニューラルネットワークは、長期にわたる非定常な学習において、可塑性の喪失（loss of plasticity）に陥ることが多く、これは継続的強化学習（Continual Reinforcement Learning: RL）における極めて重要な課題である。これらの設定では、方策の更新がエージェントの将来のデータ分布を変化させ、小さな最適化の不安定性が壊滅的な方策の劣化へと連鎖するフィードバックループを生み出す（Juliani & Ash, 2024）。

Continual Backpropagation (CBP)、ReDo、ReGraMaといった既存の可塑性喪失への対策は、**バイナリ・ニューロン・リセット（binary neuron resets）**に依存している。これらの手法は、低ユーティリティのニューロン（活性化や勾配統計に基づく）を特定し、それらを完全に再初期化するものである。しかし、著者らは、バイナリ・リセットは「どのユニットを刷新するか」と「どの程度の強さで変化させるか」という2つの異なる設計上の選択肢を混同していると主張している。

• 不安定性: バイナリ・リセットの「全か無か」という性質は、急激なパラメータの変化と勾配のスパイクを導入し、長期的なRL学習を不安定化させ、方策の崩壊（policy collapse）を招く可能性がある。
• 脆弱性: 完全な再初期化は、出力される重みをゼロにするため、後続レイヤーにおける分布シフトを引き起こす。これはレイヤー正規化がない場合には特に問題となる。
• 一様減衰の限界: Shrink & Perturbのような代替手法は、すべてのユニットに対して一様な減衰を適用する。これは滑らかではあるが、無差別であり、刷新が必要な特定のユニットを標的にできていない。

核心となる問題は、政策崩壊を防ぎつつピーク時の性能を維持するために、選択的（低ユーティリティのユニットを標的にする）かつ滑らか（急激なパラメータの跳躍を避ける）な手法が欠如していることである。

2. 手法：較正された部分的リセット (CPR)

著者らは、各ニューロンのユーティリティに応じて強さをスケーリングしながら、定期的にニューロンを初期値へと引き戻すオプティマイザである較正された部分的リセット (Calibrated Partial Resets: CPR) を提案する。バイナリ・リセットとは異なり、CPRは連続的かつ部分的な調整を行う。

2.1 ユーティリティ推定

CPRは、勾配ベースのユーティリティ・スコアを利用する。近年の研究によれば、これはスケーリングがより良好であることが示唆されている（Liu et al., 2025）。

• 生のスコア ($S_i^\ell$): レイヤー $\ell$ におけるユニット $i$ への入力重みの勾配の平均絶対値。
• 正規化されたスコア ($u_i^\ell$): レイヤー間および時間間での比較可能性を確保するため、生のスコアはレイヤー正規化（レイヤー平均による除算）が行われ、減衰パラメータ $\beta$ を用いた指数移動平均 (EMA) によって平滑化される。

2.2 リセット機構

$f$ ステップごとに、CPRはレイヤー $\ell$ の各ニューロン $i$ の重みを次のように更新する：
$$W_i^{\ell, :} \leftarrow (1 - r_i^\ell) W_i^{\ell, :} + r_i^\ell \xi_i^{\ell, :}$$
$$W_{:, i}^{\ell+1} \leftarrow (1 - r_i^\ell) W_{:, i}^{\ell+1}$$

ここで：

• $\xi$ は、初期化分布（例：Kaiming）から抽出された重みである。
• $r_i^\ell$ は、最大リセット割合 $\rho \in (0, 1]$ によって制限されるリセット係数である。
• 係数は、正規化されたユーティリティ $u_i^\ell$ の単調減少関数 $\phi$ によって決定される：
  $$r_i^\ell = \rho \cdot \phi(u_i^\ell)$$

2.3 変形関数

関数 $\phi$ は、ユーティリティをリセットの強度へとマッピングする。著者らはシグモイドベースの形状を使用している：
$$\phi(u_i^\ell) = \min\left(2\sigma[-\kappa(u_i^\ell - 1)], 1\right)$$

• 選択性: ユーティリティがレイヤー平均を下回るユニット ($u < 1$) は、最大のリセット割合 $\rho$ に近いリセットを受ける。高ユーティリティのユニット ($u > 1$) は、段階的に小さなリセットを受ける。
• 部分的性質: 最も低いユーティリティを持つユニットであっても、リセットは部分的（$\rho$ によって初期値へ引き戻す）であり、完全な再初期化ではない。これにより、バイナリ・リセットに伴う勾配スパイクを回避できる。
• 鋭さ ($\kappa$): ユーティリティが増加するにつれて、リセット割合がどれほど急激に低下するかを制御する。著者らは、幅広い範囲で堅牢性を示すアブレーション研究に基づき、$\kappa=16$ に固定している。

3. 主な貢献

1. 不安定性の原因の特定: 本論文は、バイナリ・ニューロン・リセットが長期的な継続的RLにおける不安定性の主要な原因であることを特定し、ユニットの選択と更新の大きさの区別を行った。
2. CPRオプティマイザ: 完全な再初期化の脆弱性を避けつつ、リセット手法の選択性を維持する、ユーティリティ・スケーリングされた部分的リセット・オプティマイザを導入した。
3. 実証的検証: SlipperyAnt環境において、4億ステップの学習プロセス中に、CPRが方策崩壊を阻止できることを示した。このレジームでは、バイナリ・リセット手法や標準的なAdamは失敗する。
4. トレードオフの制御: アブレーション研究により、最大リセット割合 $\rho$ が可塑性（適応）とピーク性能の間の調整可能なトレードオフを提供し、精密なハイパーパラメータ・チューニングを必要とせずに方策崩壊を防止できることが明らかになった。

4. 結果

著者らは4つのベンチマーク（SlipperyAnt, SlipperyHumanoid, Continual MetaWorld, Continual MinAtar）でCPRを評価した。

• 方策崩壊の防止: SlipperyAnt（4億ステップ）において、CPRは15個のシードの中で、方策崩壊をゼロに抑えることができた唯一の手法であった。対照的に、Adamは崩壊し、バイナリ・リセット手法（ReDo, ReGraMa）は顕著な性能低下または崩壊を示した。
• 性能: CPRは、SlipperyAntおよびSlipperyHumanoidにおいて、最も高い四分位平均（IQM）エピソード報酬を達成した。また、Continual MetaWorldおよびContinual MinAtarにおいても、ベースライン（CBP, ReDo, ReGraMa, Shrink & Perturb）を上回った。
• 安定性指標:
  • 休止ニューロン (Dormant Neurons): CPRは、CBPと同等の低く平坦な休止ニューロン比率を維持したが、Adamで見られるような学習終盤のドリフトは発生しなかった。
  • 勾配ノルム: CPRは、バイナリ・リセット・ベースラインと比較して、アクターの勾配ノルムの変動が小さく、これが方策崩壊を回避できる能力と相関している。
  • パラメータノルム: CPRは、可塑性喪失の要因として知られるパラメータの増大を抑制したが、ベースラインはより高いパラメータ増大を示した。
• アブレーション:
  • 鋭さ ($\kappa$): $\kappa \in [2, 20]$ の範囲で性能は堅牢であった。低い値 ($\kappa \le 1$) では、リセットが過度に一様になり、性能が低下した。
  • リセットの大きさ ($\rho$): $\rho \in [0.01, 0.05]$ の範囲で、一貫して崩壊を防止できた。$\rho$ が低いと安定性は保たれるが適応が妨げられ、$\rho$ が高いと可塑性は増すが有用な構造を過剰にリセットするリスクが高まった。

5. 意義と主張

本論文は、CPRが長期的なRLにおける訓練の信頼性に対する質的な転換を提示すると主張している。全か無かの更新を、ユーティリティ・スケーリングされた部分的リセットに置き換えることで、方策崩壊を引き起こす不安定な急激なパラメータ更新を伴わずに、必要な可塑性を注入することができる。

著者らは、CPRの導入には実装の複雑さ（ニューロンごとのユーティリティ計算や実行平均の保持）が伴うものの、計算オーバーヘッドは軽微（高次元タスクにおいてウォールクロックタイムが約6%増加）であり、標準的な訓練パイプライン（例：Optax）に最小限の変更で組み込めるモジュール的な手法であることを強調している。

結論として、ユーティリティ・スケーリングされた再初期化は、継続的学習のための有望な方向性であり、安定性と可塑性のトレードオフをバランスさせるための調整可能なメカニズムを提供する。著者らは、CPRはタスクのダイナミクスとアイデンティティの変化に焦点を当てており、すべての形態の継続的RLの不安定性（例：報酬の非定常性や形態の変化）を解決することを目的としたものではないという限界についても認めている。今後の課題として、より広いアーキテクチャにおけるユーティリティ推定、部分的再初期化、およびオプティマイザ・ステート処理の役割を分離することが示唆されている。