SafeExplorer: An Unbiased Policy Gradient for Reinforcement Learning with Recovery Interventions

技術要約：SafeExplorer

問題提起
物理的なロボット上で強化学習（RL）エージェントを直接訓練することは、失敗に伴うコストの高さによって阻害されている。シミュレーションでは、転倒しても即座にリセットできるが、物理的な転倒はハードウェアに損傷を与える可能性があり、取り返しがつかない。したがって、実世界での訓練における主要な目的は、単に報酬とのトレードオフを行うこと（一般的な制約付きマルコフ決定過程（CMDP）の定式化で見られるような手法）ではなく、転倒（制約違反）の回数を最小限に抑えることである。

標準的な緩和戦略は、学習エージェントと、別途事前学習されたリカバリー・ポリシー（回復方策）を組み合わせる手法である。このポリシーは、エージェントが設計者が指定したセーフ・リージョン（安全領域）（状態空間の部分集合）を離れた際に制御権を奪い、システムを名目上の状態へと引き戻す。これは物理的な損傷を防ぐ一方で、決定的な理論的欠陥をもたらす。すなわち、訓練中に収集されるデータが、混合ポリシー（セーフ・リージョン内ではメインのポリシー、外側ではリカバリー・ポリシーが作用する混合状態）によって生成されるという点である。近接方策最適化（PPO）のような標準的なオンポリシー・アルゴリズムは、データが更新対象のポリシーのみによって生成されることを前提としている。リカバリー・ポリシーが介入すると、結果として得られる勾配推定値は、リカバリー・ポリシーの挙動へとバイアスがかかってしまう。

さらに、このようなバイアスに対する標準的な補正策である**重要度サンプリング（IS）**は、リカバリー・ポリシーが決定論的（例：モデル予測制御（MPC）ソルバーや強欲なアクター）である場合には機能しない。このような場合、リカバリー・ポリシーは単一のアクション（ディラック測度）を生成するため、重要度比が定義できなくなる（密度によるゼロ除算が発生する）。これは、安全な訓練を可能にするメカニズム（リカバリー・ポリシー）が、学習信号を汚染してしまうというパラドックスを生み出す。つまり、標準的な修正策（IS）は、それが最も必要とされる瞬間に数学的に無効となるのである。

手法
SafeExplorerは、以下の4つの理論的およびアルゴリズム的構成要素に基づき、PPOへのドロップイン形式の修正を通じてこれらの問題に対処する。

1. 不偏マスク付き方策勾配（Unbiased Masked Policy Gradient）:
   核心となる貢献は、リカバリー・ポリシーが決定論的であっても、混合ポリシーの期待リターンに対して不偏となる新しい方策勾配推定器（定理1）である。この推定器は、重要度サンプリングによる遷移の重み付けを行う代わりに、パーティション・マスキング・アプローチを採用する。これは、メインのポリシーが作用しているタイムステップ（セーフ・リージョン内）においてのみスコア関数（$\nabla_\theta \log \pi_\theta$）を適用し、リカバリー・ポリシーのアクション密度を完全に無視するものである。リカバリー・ポリシーはメイン・ポリシーのパラメータ（$\theta$）に依存しないため、その軌跡密度の因子は微分によって消失する。これにより、リカバリー・ポリシーの密度を評価することなく勾配を計算できるため、確率的なリカバリー・ポリシーと決定論的なリカバリー・ポリシーの両方において有効となる。

2. 目的関数ギャップ・バウンド（Objective-Gap Bound）:
   本手法は混合ポリシーのリターン（$J_{mix}$）を最適化するが、最終的な目標はデプロイ時におけるメイン・ポリシーのリターン（$J$）を最大化することである。著者らは、$|J - J_{mix}|$ のギャップに関する境界（定理4）を導出し、このギャップがメイン・ポリシーの領域外発生率（$\beta$）に比例することを示した。このギャップは、セーフ・リージョンが到達可能なすべての状態をカバーしているか、あるいはメイン・ポリシーが自己安定化した場合に消失する。このギャップを最小化するために、SafeExplorerは訓練中にセーフ・リージョンの半径（$d$）を段階的に拡大する線形カリキュラムを採用し、メイン・ポリシーがセーフ・リージョン内に留まるよう促し、リカバリー・ポリシーへの依存を低減させる。

3. 解析的リカバリー値（Analytic Recovery Value）:
   動力学とリカバリー・ポリシーが共に決定論的である一般的なケースにおいて、リカバリーを誘発する状態の価値は、閉形式の式（定理6）で記述できる。学習されたクリティック（価値関数）を用いてリカバリー区間を通じてブートストラップを行う代わりに（これは誤差を導入する）、SafeExplorerは決定論的なリカバリー軌跡の正確なリターンを計算する。これにより、オンポリシーの信号が乏しくなりがちなセーフ・リージョンの境界において、高密度かつ正確な教師信号を提供する。

4. アウトカム・ゲーテッド型互換性正則化（Outcome-Gated Compatibility Regularizer）:
   リカバリー・ポリシーが信頼できない場合でも、メイン・ポリシーが危険な状態を回避することを確実にするため、SafeExplorerは教師あり模倣損失を追加する。この項は、リカバリー区間が成功した場合（すなわち、エージェントがセーフ・リージョンに再進入した場合）にのみ、メイン・ポリシーがリカバリー・ポリシーのアクションを模倣するように促す。この「アウトカム・ゲーテッド（結果によるゲート制御）」メカニズム（定理7）は、エージェントが失敗したリカバリー試行から学習することを防ぎ、標準的な行動クローニングやDAggerとは一線を画している。

主な貢献

• 理論的基盤: 外部の（$\theta$に依存しない）リカバリーが存在する場合の混合ポリシーに対する不偏な方策勾配定理を証明し、重要度サンプリングが失敗する決定論的コントローラーにも対応した。
• アルゴリズムの実装: マスク付き勾配、解析的価値ターゲット、およびアウトカム・ゲーテッド模倣を統合した、実用的なPPOの派生形であるSafeExplorerを開発した。
• 理論的境界: 訓練（混合）リターンとデプロイ（メイン）リターンの間のギャップに関する境界を確立し、カリキュラム学習がいかにこのギャップを縮小させるかを実証した。
• 実験的検証: SafeExplorerが、標準的なPPOと比較して訓練中の転倒を大幅に減少させつつ、最終的な報酬を同等またはそれ以上に達成することを実証した。

実験結果
著者らは、3つの連続制御歩行環境（HalfCheetah、Ant、およびUnitree Go1 四脚歩行ロボット）においてSafeExplorerを評価した。リカバリー・ポリシーには、事前学習された決定論的SACアクターを使用した。

• 転倒の減少: SafeExplorerは、標準的なPPOと比較して、訓練中の転倒をHalfCheetahで233倍、Antで48倍、Go1で26倍減少させた。
• 報酬パフォーマンス: 本手法は、すべての環境において標準的なPPOの最終報酬と同等、あるいはそれを上回る結果を出した。
• 信頼性の低いリカバリー環境: リカバリー・ポリシー自体が信頼できず（頻繁に失敗する）Ant環境において、SafeExplorerは成功閾値（最良の最終報酬の80%）に到達できた唯一の手法であった。他のリカバリー利用手法やCMDPソルバー（CPO、PPO-Lagrangian）を含むベースライン手法は、数万回の転倒を蓄積し、壊滅的な失敗に終わった。
• アブレーション研究: 各コンポーネントが独自の利点を提供することを確認した。マスク付き勾配はバイアスを除去し、解析的価値は学習効率を向上させ、アウトカム・ゲーテッド正則化は信頼性の低いリカバリー・ポリシーを扱うために不可欠であった。

意義と主張
本論文は、SafeExplorerが物理ハードウェア上での安全な強化学習に対する、理論的に健全かつ実用的に効果的な解決策を提供すると主張している。リカバリー・ポリシーをバイアスの源ではなく、信号の源として扱うことで、本手法は最小限のハードウェア損傷で有能なコントローラーを学習することを可能にする。

著者らは、本研究の貢献は手法論的なものであり、固定されたリカバリー・ポリシーが危険な状態で制御を引き継ぐあらゆる場面に適用可能であることを強調している。彼らは、本手法が転倒を完全に排除するものではなく、成功したポリシーに到達するために必要な転倒回数を劇的に減らすものであると明言している。本研究は、単に安全違反を抑制するだけの報酬整形や、大規模な並列シミュレーションへの依存を超え、介入によって導入される根本的なバイアスに対処することで、オンロボット訓練を現実的なものにするための不可欠なステップであると位置づけている。結論として、不偏の方策勾配推定器とアウトカム・ゲーテッド模倣損失の組み合わせが、リカバリー・メカニズムを訓練の障害から学習の資産へと変えるのである。