KLip-PPO: A per-sample KL perspective on PPO-Clip

技術要約: KLip-PPO: PPO-Clipに対するサンプルごとのKLの視点

問題提起
近接方策最適化（PPO）は、オンポリシー強化学習における標準的な方策勾配アルゴリズムである。文献では伝統的に、以下の2つの形式のPPOを異なるアルゴリズムの選択肢として区別してきた：

1. PPO-Clip: 固定された区間 $[1-\epsilon, 1+\epsilon]$ 内に重要度比（$w_t$）を制限する、クリップされた代理目的関数を使用する。
2. PPO-KL: 重要度サンプリングされたリターンに、KL（Kullback–Leibler）ペナルティ項を加える。これは通常、スカラー係数 $\beta$（固定または適応的に調整される）によって制御される。

経験的な研究では、これら2つの形式を継続的に比較しており、一般的に連続制御ベンチマーク（例：MuJoCo）においてPPO-ClipがスカラーKL変種よりも優れた性能を示すことが報告されている。しかし、これら2つの代理関数の理論的な関係は不明確なままであり、コミュニティはこれらを異なる勾配とハイパーパラメータを持つ別個のアルゴリズムとして扱ってきた。

手法および理論的貢献
本論文は、KLペナルティ係数をバッチ全体に対する単一のスカラーではなく、サンプルごとに変化させることを許容すれば、PPO-Clipの勾配がPPO-KL代理関数によって正確に再現されるという厳密な数学的一致を確立している。

• 勾配の分解: 著者らは、重要度比（$w_t$）とアドバンテージ（$\hat{A}_t$）に基づいて、ロールアウトサンプルを以下の3つの互いに素な集合に分割している：

  • $I_{in}$: トラストリージョン内にあるサンプル（またはアドバンテージがゼロのサンプル）。
  • $I_{kill}$: 方策がアドバンテージの方向に移動しすぎたサンプル（例：$w_t > 1+\epsilon$ かつ $\hat{A}_t > 0$）。ここで、PPO-Clipは勾配を「殺す（kill）」ことになる。
  • $I_{pass}$: 方策がアドバンテージとは逆の方向に移動しすぎたサンプル。ここでは、クリップされていない勾配が保持される。

• サンプルごとの一致（定理1）: 著者らは、任意の微分可能な点（$w_t = 1 \pm \epsilon$ となる測度ゼロの集合を除く）において、PPO-Clipの勾配 $\nabla L_{CLIP}$ は、サンプルごとの係数 $\beta_t$ が以下のように定義される場合に、KLペナルティ付き目的関数の勾配 $\nabla L_{KL}$ と同一であることを証明している：
  $$\beta_t = \begin{cases} 0 & \text{if } (i,t) \in I_{in} \cup I_{pass} \\ -w_t \hat{A}_t & \text{if } (i,t) \in I_{kill} \end{cases}$$
  「殺された」領域では、係数 $\beta_t = -w_t \hat{A}_t$ が重要度サンプリングされたリターン項を正確に打ち消すようなKLペナルティ項を作成し、その結果、PPO-Clipの min 演算と同様にゼロの勾配をもたらす。

• 構造的洞察: この再定式化は、PPO-ClipがKL正則化とは異なるメカニズムではなく、実際には、係数がステップ関数となる特定のインスタンスであることを明らかにしている。つまり、「クリップ」とは、サンプル固有のペナルティ強度の暗黙的な適用に過ぎない。

実験結果
著者らは、5つのMuJoCo連続制御ベンチマーク（HalfCheetah, Hopper, Walker2d, Ant, Humanoid）および2つの追加タスク（CartPole, LunarLander）において、この理論的一致を経験的に検証している。

• 区別不能な性能: 式(4)から導出された係数 $\beta_t$ を用いて「サンプルごとのPPO-KL」を実装した際、訓練曲線と最終的なリターンは、すべてのタスクとシードにおいて標準的なPPO-Clipと区別がつかないものであった。
• スカラー vs サンプルごと: 実験により、先行文献で観察されたPPO-Clipと標準的なPPO-KLの間の性能差は、クリッピングとKLペナルティの根本的な違いによるものではないことが確認された。むしろ、その差は、標準的なPPO-KLがすべてのサンプルに対して単一のスカラー $\beta$ を使用していることに起因する。スカラー $\beta$ では、「暴走」する遷移（大きなペナルティが必要）を抑制すると同時に、「行儀の良い」遷移を過剰に罰することなしには、両立させることができない。サンプルごとの係数は、ペナルティ強度を各サンプルの比率とアドバンテージに適応させることで、この制限を解決する。

意義および主張
本論文は、この研究が、クリッピングとKL正則化の関係に関する強化学習コミュニティの誤解を正すものであると主張している。

1. 統合: これら2つの以前は競合していたアルゴリズムの選択肢を、単一の理論的枠組みへと統合した。選択すべきは「クリッピング」か「KL」かではなく、スカラーのペナルティ係数かサンプルごとのペナルティ係数かである。
2. メカニズムの明確化: min 表記によって隠されていたPPO-Clipの構造的特徴を露呈させた。すなわち、暗黙的なペナルティは、サンプルがトラストリージョンを逸脱したときにのみ活性化する、そのサンプルの重要度比とアドバンテージに比例した大きさを持つステップ関数である。
3. 設計空間: 暗黙的な係数を明示的にすることで、本論文はアルゴリズムを一般化するための新しい設計軸を提示している。将来的には、$\beta_t$ の形状を変更すること（例：ステップ関数を軟化させる、シーケンスモデルのために位置依存にする、あるいはオフポリシー学習のためにサンプルの経過時間に基づかせるなど）により、代理損失のファミリーを離れることなく、新たな探索が可能となる。

結論
本論文は、PPO-Clipの成功は、クリッピングメカニズム自体がKLペナルティよりも優れているからではなく、それが極めて効果的な「サンプル固有のKLペナルティ」を暗黙的に実装しているからであると結論付けている。「クリップ」とは、単にサンプルごとのKL係数の、ハードステップ的な実現形態に過ぎない。この洞察により、この係数の関数形式を変化させることで、新しい方策最適化アルゴリズムを体系的に探索することが可能となる。