技術的サマリー：証明可能な安全な強化学習における解析勾配の活用

問題定義

安全クリティカルなアプリケーションにおける自律ロボットの展開には、厳格な安全性保証が必要です。強化学習（RL）は、不確実で高次元な環境において古典的制御よりも優れた性能を発揮することが多いものの、本質的な安全性の保証は欠いています。シミュレーションでエージェントを訓練し、実世界へ展開する際（「シミュレーションから実世界への」ギャップ）に、重大な課題が生じます。訓練が安全策なしに行われた場合、エージェントは安全でない状態や動作に依存する方策に収束する可能性があります。その後、展開時に安全策が適用されると、エージェントが代替の安全な解を学習していないため、その方策は最適でない領域に制限されたり、非凸な目的関数の地形において失敗を招いたりする可能性があります。

サンプリングベースの RL（PPO、SAC など）には、方策勾配定理に依存するいくつかの安全策アプローチが存在しますが、解析勾配ベースの RLに対する安全策メカニズムは不足しています。これらの解析的手法（例：Short-Horizon Actor-Critic、SHAC）は、微分可能なシミュレータを利用して、逆伝播を通じて報酬の動作に関する正確な一次勾配を計算します。既存の安全策は、サンプリングベースの手法に対する後処理ステップとして設計されることが多く、逆伝播に必要な微分可能な計算グラフを破壊したり、方策最適化に必要な勾配信号を提供できなかったりする可能性があるため、解析勾配ベースのパラダイムには単純に適用できません。

手法

著者は、解析勾配を用いた証明可能な安全な方策最適化のフレームワークを提案します。核心的なアプローチは、方策出力と環境ダイナミクスの間に微分可能な安全策レイヤを統合することです。

1. フレームワークと微分可能性

このフレームワークでは、安全策を、実行可能な動作空間 $\mathcal{A}$ から安全な動作集合 $\mathcal{A}_s$ への微分可能な写像 $g: \mathcal{A} \to \mathcal{A}_s$ として扱います。方策 $\pi$ は動作 $a_i$ を出力し、これが安全な動作 $a_{s,i} = g(a_i)$ に変換されます。その後、環境は $s_{i+1}$ に遷移し、報酬 $r_i$ を生成します。方策を訓練するために、報酬の勾配を方策パラメータに対して計算する際、安全策を含む全連鎖を通じて逆伝播を行います：
$$\frac{\partial r_i}{\partial a_i} = \left( \frac{\partial r_i}{\partial a_{s,i}} + \frac{\partial r_i}{\partial s_{i+1}}\frac{\partial s_{i+1}}{\partial a_{s,i}} \right) \frac{\partial a_{s,i}}{\partial a_i}$$
これには、安全策が部分微分可能（理想的には $C^1$）であり、学習信号を減衰させないためにフルランクのヤコビアンを提供することが必要です。

2. 安全動作集合と表現

著者は、コンパクト性と線形写像に対する閉包性から、安全集合の表現にゾノトープを利用します。以下を区別します：

• 指定された安全動作集合：直接定義された制約。
• 導出された安全動作集合：到達可能性分析（例：ロバスト制御不変集合）を通じて計算され、動作を実行することがシステムを安全状態集合 $S_s$ 内に留めることを保証します。

3. 安全策メカニズムと修正

本論文は、既存の 2 つの微分可能な安全策手法を分析・適応します：

• 境界射影（BP）：安全でない動作を、安全集合の境界上の最も近い点に写像します。

  • 課題：至る所で $C^1$ ではなく、射影方向においてランク不足のヤコビアンを持ち、射影方向に平行な動作に対する勾配を実質的に排除します。
  • 修正：著者は損失関数に正則化項を導入します（$l(a, s, a_s) = l_r(a_s, s) + c_d \|a_s - a\|_2^2$）。これにより、写像方向の勾配が増幅され、ランク不足が補完され、方策が安全な動作を好むように促されます。

• レイマスク（RM）：動作を安全集合内の「安全中心」$c_{As}$ に向かって放射状に写像します。

  • 課題：標準的な線形レイマスクは安全な動作を大幅に変化させ、写像方向の勾配が低下します。
  • 修正：
    1. 正則化：BP と同様、安全性へ誘導するため。
    2. パススルー：計算の高速化と勾配伝播の妨げないために、ヤコビアンを単位行列に置き換えます（最適な動作が安全であることが既知の場合にのみ有効）。
    3. 双曲線レイマスク（HRM）：双曲線正接（$\tanh$）を用いた新しい写像関数で、安全でない動作を境界付近に写像しつつ、安全な動作への擾乱を最小限に抑えます。これにより、フルヤコビアンと滑らかな写像が維持されます。

4. 安全中心の近似

中心が明示的に定義されていない導出された安全動作集合に対して、本論文は 2 つの近似手法を提案します：

• ゾノトープ近似：含まれるゾノトープの体積を最大化します。
• 直交近似：境界に対して直交して安全集合を貫通し、中点を取ります。
  実験により、連続的な写像特性を持つゾノトープアプローチが、収束性と最終的な方策において優れていることが示唆されました。

主要な貢献

1. 最初の証明可能な安全な解析勾配 RL：本論文は、解析勾配ベースの強化学習に特化して設計された、最初の効果的な安全策アプローチを提示します。
2. 理論的分析：微分可能な安全策の分析を深め、必要な特性（安全性、部分微分可能性、フルランクヤコビアン、最小介入、速度）を特定し、既存の手法が修正なしにはこれらを満たさないことを示します。
3. アルゴリズム的適応：境界射影に対する正則化損失関数や、新しい双曲線レイマスクなど、効果的な勾配伝播を確保するための標的型修正の開発。
4. 実証的評価：3 つの制御タスク（振り子、クアッドコプタ、エネルギー管理）における包括的な評価。安全でない訓練および安全策付き訓練の下で、解析勾配手法（SHAC）をサンプリングベースのベースライン（PPO、SAC）と比較します。

結果

著者は、SHAC アルゴリズムを用い、3 つの環境において PPO および SAC ベースラインと比較してアプローチを評価しました：

• サンプル効率：バランスタスク（振り子、クアッドコプタ）において、安全策付きの解析勾配学習（SHAC）は、サンプリングベースの手法よりも少ない環境インタラクションで、同等または優れた最終リターンを達成しました。
• 性能維持：安全策が性能を低下させるという懸念とは異なり、修正された安全策（特に正則化された BP と HRM）により、SHAC はバランスタスクにおいて安全でない訓練と同等、あるいはそれ以上のリターンを達成できました。
• エネルギーシステムタスク：高ノイズを特徴とするエネルギー管理タスクにおいて、SHAC は安全でない設定では当初 PPO よりも劣っていました。しかし、安全策付き訓練では SHAC は大幅な改善を示し、PPO との性能差を縮めました。著者はこれを、ノイズの多い環境における勾配の低下による安定化効果に起因すると帰結しています。
• 収束：正則化の導入により、特に勾配損失が致命的であった 1 次元の振り子タスクにおける境界射影の場合、収束しなかった実行回数が大幅に減少しました。
• 計算オーバーヘッド：安全策の導入は計算コストをもたらします。境界射影は訓練時間を約 5 倍、レイマスクは安全でない訓練に比べてほぼ 10 倍に増加させました。これは主に、安全集合制約に必要な最適化ソルバ（CVXPY）に起因します。

意義と主張

本論文は、高性能な解析勾配ベースのパラダイムに対する証明可能な安全な訓練を可能にすることで、安全な強化学習における重要なギャップを埋めると主張しています。著者は以下を主張します：

• 安全策が微分可能であり、勾配が保持される限り、安全策は性能を損なうことなく解析勾配 RL の訓練ループに直接統合可能です。
• 提案された修正（正則化と双曲線写像）は、既存の安全策の単純な適用に内在するランク不足と勾配抑制の問題を克服するために不可欠です。
• このアプローチは、エージェントがシミュレーション中に安全な動作を学習することを保証することで「シミュレーションから実世界への」転移を促進し、安全クリティカルな実世界のシナリオでの展開時の失敗リスクを低減します。

この研究は、計算オーバーヘッドが依然として課題ではあるものの、形式的な安全性保証を持つエージェントを訓練できる能力によってトレードオフは正当化されると結論付けています。これにより、安全クリティカルなロボティクスにおける解析勾配 RL の可能性が開かれます。