論文「Robust Adversarial Policy Optimization under Dynamics Uncertainty (RAPO)」の技術的サマリー

この論文は、強化学習（RL）における**「動的な不確実性（Dynamics Uncertainty）」**への耐性を高めるための新しいフレームワーク、**RAPO（Robust Adversarial Policy Optimization）**を提案しています。シミュレーションで訓練されたポリシーが、実世界や分布外（OOD）の環境において性能を失う問題を解決し、分布ロバスト最適化（Distributionally Robust RL）の理論的枠組みを実用的かつ効率的なアルゴリズムとして実現することを目的としています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義と背景

背景

強化学習は順次意思決定において大きな進歩を遂げましたが、シミュレーションから実世界への転移（Sim-to-Real）や、訓練時と異なる環境下での展開においては、動的な不確実性（摩擦係数、質量、慣性などのパラメータ変化）によりパフォーマンスが急激に低下する傾向があります。

既存手法の限界

• ドメインランダム化（Domain Randomization）: 環境パラメータを均一にサンプリングして訓練しますが、すべての分布を平等に扱うため、効率が低く、過度に保守的なポリシーになりがちです。
• 従来の敵対的 RL（Adversarial RL）: 状態やアクションに摂動を加える敵対的エージェントを導入しますが、分布論的な保証が乏しく、訓練の不安定性や局所的な頑健性しか得られない場合があります。
• 分布ロバスト RL（Distributionally Robust RL）: KL 発散（KL-divergence）の球（ambiguity set）内で最悪ケースを最適化する形式化はありますが、その原問題（Primal problem）は計算が困難です。既存の近似手法は、サンプリングされたモデルのみに依存するため「盲点（blind spots）」が生じたり、過度に保守的になったりする問題があります。

核心的な課題

「どのようにすれば、保守性や不安定性に陥ることなく、動的な不確実性に対して頑健な RL ポリシーを設計できるか？」という問いに対し、理論的な双対性（Dual formulation）と実用的な近似を統合したアプローチが必要です。

---

2. 提案手法：RAPO (Robust Adversarial Policy Optimization)

RAPO は、**軌道レベル（Trajectory-level）とモデルレベル（Model-level）**の 2 つの階層構造を持ち、KL 制約付きの双対問題を用いて分布ロバスト性を達成します。

2.1 理論的基盤：双対定式化

Robust MDP（RMDP）の原問題（最悪ケースの期待値の最小化）を、凸双対性を用いて双対問題に変換します。
$$\inf_{p \in \mathcal{P}_\epsilon} \mathbb{E}_p[V] = \sup_{\eta \ge 0} \left\{ -\frac{1}{\eta} \log \mathbb{E}_{\hat{p}}[e^{-\eta V}] - \frac{\epsilon}{\eta} \right\}$$
ここで、$\hat{p}$ は nominal な遷移カーネル、$\eta$ は双対温度パラメータ、$\epsilon$ は KL 制約の予算です。この定式化により、無限次元の分布上の最適化が、単一のスカラーパラメータ $\eta$ の最適化問題に帰着されます。

2.2 主要コンポーネント

A. 敵対的ネットワーク（AdvNet）による軌道レベルの頑健性

• 役割: 双対温度 $\eta$ を直接予測し、軌道内の最悪ケースを効率的にサンプリングします。
• 仕組み: 従来の方法では、各ステップで $\eta$ を数値的に解く（ルートファインディング）必要があり計算コストが高いです。RAPO では、状態 $s_t$（およびアクション $a_t$）を入力として受け取り、最適な $\eta_t$ を出力するニューラルネットワーク（AdvNet）を導入します。
• 効果: 学習された $\eta$ を用いて、期待値を指数関数的に傾斜（Exponential Tilting）させ、KL 制約内で低リターン（悪条件）の領域を強調したサンプリングを行います。これにより、ポリシーが見過ごしやすい局所的な脆弱性を特定し、安定した最悪ケースロールアウトを実現します。

B. ボルツマン再重み付け（Boltzmann Reweighting）によるモデルレベルの頑健性

• 役割: 環境のアンサンブル（複数の物理パラメータを持つモデル群）の中から、現在のポリシーにとって最も有害なモデルを重点的にサンプリングします。
• 仕組み: 均一サンプリングではなく、各モデルの脆弱性スコア（価値関数の低さなど）に基づき、KL 制約 $\kappa$ の下でボルツマン分布（Gibbs 分布）に従って重み付けを行います。
  $$w^*(k) \propto \rho(k) \exp(-\beta h_k)$$
• 効果: ポリシーが苦手とする「グローバルな悪条件」に焦点を当て、分布の偏りを防ぎつつ、不確実性の範囲を体系的にカバーします。

2.3 統合アルゴリズム

RAPO は、AdvNet による軌道レベルの「局所的な脆弱性の強調」と、ボルツマン再重み付けによるモデルレベルの「グローバルな悪条件の強調」を組み合わせます。

• 二重の温度パラメータ: 軌道レベルの $\eta$ とモデルレベルの $\beta$ が独立して動作しつつ相補的に機能します。
• PPO との互換性: 既存の PPO（Proximal Policy Optimization）ループ内で、ターゲット値の計算と環境サンプリングの重み付けを変更するだけで実装可能です。
• 収束保証: 双対温度の近似誤差が二乗のオーダーで価値関数の誤差にしか影響しないこと、およびロバストベルマン作用素が $\gamma$-縮小写像であることを理論的に示しています。

---

3. 主要な貢献

1. 分布ロバスト RL の実用的な実現: 理論的に厳密な KL 球制約付き RMDP を、双対定式化とアンモルタイズド近似（AdvNet）を用いて、計算的に実行可能かつ安定したアルゴリズムとして実現しました。
2. 二層構造の提案: 軌道レベル（局所的な摂動）とモデルレベル（大域的なパラメータ変化）を独立かつ相補的に扱うことで、既存の手法（ドメインランダム化や単純な敵対的学習）の盲点を解消しました。
3. 頑健性 - パフォーマンスのトレードオフの可視化: 双対温度パラメータ（$\eta, \beta$）と KL 予算（$\epsilon, \kappa$）を制御することで、頑健性と nominal な性能のバランスを理論的に制御可能であることを示しました（誤差が $O(\sqrt{\epsilon})$ でスケール）。
4. 理論的保証: 有限のアンサンブル近似が連続空間の最適解に収束すること、および近似誤差が二次的にしか影響しないことを証明しました。

---

4. 実験結果

実験は、Walker2d（歩行ロボット）およびクアッドコプター（ペイロード追跡タスク）で行われました。

4.1 動的変化に対する頑健性

• 評価設定: 質量、慣性、摩擦、トルクのスケーリングを 0.5〜1.5 の範囲で変化させ、訓練分布内（ID）および分布外（OOD）で評価しました。
• 結果:
  • ID 領域: 標準的な PPO と同等の性能を維持。
  • OOD 領域: 既存手法（PPO, PPO+DR, RARL, EPOpt）が性能を大きく低下させるか不安定になる中、RAPO は高いリターンを維持しました。特に極端なパラメータ変化（例：質量の 0.5 倍や 1.5 倍）に対しても、RAPO は安定して動作しました。
  • アブレーション研究: AdvNet またはボルツマン再重み付けのいずれかを削除すると OOD での性能が低下し、両方を削除すると最も急激に劣化しました。これにより、両コンポーネントの相補性が確認されました。

4.2 クアッドコプター・ペイロード追跡タスク

• タスク: 吊り下げられたペイロードの軌道追跡。より複雑な結合ダイナミクスと外乱を伴います。
• 結果: OOD 環境（異なる質量・ケーブル長、大きな外乱）において、RAPO は PPO-DR や RARL に比べて、クラッシュ率が 0%、RMSE（二乗平均平方根誤差）も最も低い値を記録しました。

---

5. 意義と結論

RAPO は、強化学習の実用化における最大の障壁の一つである「シミュレーションと実世界のギャップ（Dynamics Mismatch）」に対する、理論的裏付けのある強力な解決策を提供します。

• 理論と実践の架け橋: 分布ロバスト最適化の数学的な厳密さを保ちつつ、深層強化学習のスケラビリティを維持しています。
• 安全性と一般化: 安全クリティカルな応用（ロボット工学、自動運転、金融など）において、未知の環境変化に対して失敗を減らし、一般化能力を高めることが期待されます。
• 将来の展望: 実世界のデータから事前分布を学習したり、モデルベースの計画と統合したりすることで、さらに実用的なシステムへの展開が可能になると結論付けています。

総じて、RAPO は「不確実性下での強化学習」において、保守性と不安定性のジレンマを克服し、実用的な頑健性を実現する画期的なフレームワークです。