技術要約: SHAPO - 安全な探索のための鋭敏さ（Sharpness）を考慮した方策最適化

問題提起

強化学習（RL）エージェントを安全性が極めて重要な領域にデプロイするには、エージェントが有益な経験を収集しつつ、壊滅的な失敗を回避する「安全な探索（safe exploration）」が必要である。根本的な課題は、学習の初期段階において、エージェントが高いエピステミック不確実性（オンポリシーのデータが乏しいことによるモデルパラメータに関する不確実性）を持つ状態を訪問する際に発生する。これらの領域では、方策の予測は信頼できず、探索的な行動が安全でない結果を招く可能性がある。

先行研究の多くは、主に**クリティック（Critic）**側における不確実性（例：アンサンブル、ドロップアウト、または分布的手法を用いてリターンの変動性を定量化すること）に対処してきたが、**アクター（Actor）のパラメータ不確実性を明示的に考慮する方策更新（Policy Updates）**の手法については空白が存在する。深層オンポリシーRLにおいて、方策パラメータに対する明示的な事後分布を維持することはしばしば困難であり、そのためアクター側のリスク回避を実装することが難しい。その結果、標準的な方策更新は、勾配の点推定に依存することが多く、不確実性が高い領域において過度に自信過剰な挙動を示すことがある。

手法: SHAPO (Sharpness-Aware Policy Optimization)

著者らは、SHAPOという方策更新ルールを提案する。これは、**鋭敏さ（Sharpness）を考慮した最小化（SAM）**フレームワーク（Foret et al., 2020）を、安全な探索の文脈に適応させたものである。期待リターンを直接最適化する代わりに、SHAPOは現在の方策パラメータの近傍における「最悪のケース」の期待リターンを最大化する方策を探索する。

コアメカニズム

SHAPOは、現在のパラメータではなく、摂動を加えたパラメータで勾配を評価することにより、標準的な方策勾配更新を修正する。更新プロセスは以下の2つのステップで構成される：

1. 内部最小化（悲観的な摂動）: アルゴリズムは、ラグランジュ目的関数 $L_\lambda^{\pi_0}$ を最小化する摂動 $\epsilon_{Down}$ を、信頼領域（フィッシャー情報行列によって定義される）内で特定する。これにより、現在の方策 $\pi_0$ よりもパフォーマンスが低下する、局所的な近傍における「最悪のケース」の方策 $\tilde{\pi}$ を特定する。
2. 外部最大化（更新）: 方策は、$\theta_0$ ではなく、この摂動を加えたパラメータ $\theta_0 + \epsilon_{Down}$ で評価された目的関数の勾配を用いて更新される。

理論的解釈: エピステミック不確実性による悲観主義

本論文では、この鋭敏さを考慮した調整を、エピステミック不確実性の観点から再解釈している：

• 不確実性のモデリング: 現在の方策パラメータ $\theta_0$ は、多変量正規分布 $N(\theta_0, \frac{1}{n}F^{-1})$ に従う確率変数としてモデル化される。ここで $F$ はフィッシャー情報行列、$n$ は有効サンプルサイズを表す。
• 悲観的なバイアス: 摂動 $\epsilon_{Down}$ は、期待リターンの分布の低い裾（例：$\alpha$ 分位点）に含まれる最も可能性の高いパラメータ値に対応する。この悲観的な点での勾配に基づいて最適化を行うことで、SHAPOは方策勾配を暗黙的に再重み付けする。
• 勾配の再重み付け: 単純化されたガウス方策に関する解析結果によれば、SHAPOは稀な、かつ安全でない行動（負のアドバンテージ）に対して勾配の大きさを増幅させ、一方で稀な、かつ安全な行動（正のアドバンテージ）に対して勾配を抑制する。これにより、学習が未探索の領域において保守的な振る舞いへと偏り、現在のモデルの推定がわずかに外れた場合に壊滅的な結果を招く可能性のある行動を効果的に罰するようになる。

実装

SHAPOは、様々なオンポリシーアルゴリズム（例：TRPO, PPO, CPO, CRPO）と互換性があるように設計されている。手法は、方策の多様体（Manifold）の幾何学的構造を尊重するように、フィッシャー情報行列を利用して方策の近傍を定義する。また、悲観の度合いを制御するためのハイパーパラメータ $\delta_{Down}$ を導入しており、これは一定に保つことも、収集されたサンプル数に基づいてスケジューリングすることも可能である。

主な貢献

1. 新しい更新ルール: エピステミック不確実性を明示的に扱うために、アクターの方策更新に鋭敏さを考慮した最適化を統合したSHAPOを導入した。
2. 理論的洞察: SHAPOの勾配調整が、パラメータ不確実性モデルの下での悲観的な目的関数の最適化と同等であることを形式的に示し、不確実な領域での安全性を優先する系統的な勾配の再重み付けを導いた。
3. 実証的検証: 複数のベースライン（TRPO, CPO, PIDLag, CRPO, SauteRL）および環境（Safety Gym, MuJoCo）において、SHAPOが安全性と効率性のパレート・フロントを拡大させることを示す広範な実験を行った。
4. アブレーション研究: 以下の事実を明らかにした：
   • フィッシャー計量によって定義された摂動は、ユークリッド計量よりも優れた性能を示す。
   • 鋭敏さを考慮した最適化をアクターに適用することは、クリティックに適用することよりも安全な探索において重要である。
   • SHAPOは、エピソードごとのコストのヘビーテイル（重い裾）分布（壊滅的な失敗）の頻度を減少させる。

実験結果

著者らは、Safety Gym (PointGoal1, PointButton1) および MuJoCo (Ant-v4, Walker2d-v4) 環境でSHAPOを評価した。

• 安全性と効率性: すべてのベンチマークにおいて、SHAPOは一貫して安全性（低いコスト/失敗率）またはタスク性能（高いリターン）、あるいはその両方を向上させ、ベースライン・アルゴリズムのパレート・フロントを大幅に拡大させた。
• テールリスクの低減: SHAPOは、エピソードごとのコスト分布におけるヘビーテイルを大幅に抑制した（例：Ant-v4におけるコストの95パーセンタイルを減少させた）。これは、稀に発生する壊滅的な失敗が減少したことを示している。
• 堅牢性: 本手法は、特に $\delta_{Down}$ を不確実なサンプルサイズの推定に基づく動的なスケジューリング値ではなく、調整可能な定数として扱った場合でも、ハイパーパラメータの選択に対して堅牢であることを示した。
• 制約なしのRL: 終了条件を持つ制約なしの環境（Ant, Walker2d）において、SHAPも早期終了を減少させ、サンプル効率を向上させた。このようなテールリスクが存在しない環境（HalfCheetah）では、メリットは限定的であり、本手法が特にテールリスクのあるシナリオを対象としていることを裏付けた。

意義と主張

本論文は、SHAPOが、単に最終的な方策に制約を課すことではなく、更新そのもの自体を不確実性を尊重するように形作ることで、安全な探索における重要なギャップを埋めるものであると主張している。SHAPOは、方策サロゲートの「鋭敏さ」（パラメータ摂動に対する感度）をエピステミック不確実性のプロキシとして扱うことで、以下のクローズドループを作成する：

1. より安全な更新が、より安全な軌跡を生む。
2. より安全な軌跡が、リスクのある領域においてよりクリーンなデータを生成する。
3. クリーンなデータが、エピステミック不確実性を減少させる。
4. 減少した不確実性が、学習の進行とともに保守性を自然に緩和させる。

著者らは、SHAPOを既存のセーフRLアルゴリズムの代替品としてではなく、複雑なベイズ推論や明示的な不確実性定量化モジュールを必要とせずに、標準的なオンポリシー更新の安全性と信頼性を高めるための、モジュール型かつ直交的な改善策として位置づけている。