技術要約：堅牢なピークコスト制約付き強化学習 (Robust Peak-cost Constrained Reinforcement Learning)

1. 問題定式化

本論文は、堅牢なピークコスト制約付き強化学習 (RP-CRL) という問題設定に取り組んでいる。これは、エージェントが期待累積報酬を最大化しつつ、任意の軌道において遭遇する**最大コスト（ピークコスト）**が指定された閾値を下回るようにしなければならないという設定である。この定式化は、単一の壊滅的な違反も許容されない安全性が極めて重要なアプリケーションを念頭に置いており、期待「累積」コストに依存する標準的な制約付きマルコフ決定過程 (CMDP) フレームワークでは不十分である。

著者らは、2つの重要な課題を定式化している：

1. ピークコスト制約： 標準的なCMDPとは異なり、制約は加算的な総和ではなく、軌道ごとの最大コストに依存する。これにより、状態行動占有測度に関して非凸な最適化問題が生じる。
2. Sim-to-Real のミスマッチ： シミュレーションで訓練された方策は、遷移ダイナミクスの不一致により、現実世界では失敗することが多い。本論文は、規定された不確実性集合内における最悪ケースの遷移ダイナミクス下でも、ピークコスト制約を満たす方策を求める。

コアとなる最適化問題は以下のように定義される：
$$\min_{\pi} \max_{P \in \mathcal{P}} J^P_r(\pi) \quad \text{s.t.} \quad \max_{P \in \mathcal{P}} \max_{s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) \leq b$$
ここで、$V^{\pi,P}_{c,peak}$ は堅牢なピークコスト価値関数を表し、$\mathcal{P}$ は遷移モデルの不確実性集合である。

2. 主要な貢献と理論的洞察

A. ピークコストMDPにおける非ゼロ・デュアリティ・ギャップ

主要な理論的貢献は、標準的なCMDPとは異なり、ピークコスト制約付きMDPでは、スラター条件（Slater's condition）が満たされていても、デュアリティ・ギャップがゼロにならない可能性があることを示した点である。

• 理由： 「ハードマックス」制約が、状態行動占有測度に関する問題の凸性を破壊するためである。
• 含意： 最適解を回収するために強双対性に依存する標準的なラグランジュ法に基づく主双対法（Primal-dual methods）は、ピークコスト問題に対しては機能しないことが保証されない。著者らは、ラグランジュ緩和が厳密に緩くなる（strictly loose）ことを示す反例を、単純な2状態のMDPを用いて提示している。

B. 堅牢なサロゲート最適化フレームワーク

強双対性の欠如を克服し、ダイナミクスの不確実性に対処するため、著者らはサロゲート最適化フレームワークを提案している。

• サロゲート目的関数： 制約付き問題を直接解く代わりに、最悪の報酬と最悪の制約違反のバランスをとるサロゲート目的関数を最小化する：
  $$\min_{\pi} \max \left\{ \frac{\max_{P} J^{\pi,P}_r}{\beta}, \left( \max_{P, s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) - b \right) \right\}$$
• 理論的保証： 適切なハイパーパラメータ $\beta$（具体的には $\beta \geq C_{max}/\epsilon$）を選択すれば、このサロゲート問題の最適解は、元の問題と同じ堅牢な報酬値を達成しつつ、制約違反を最大 $\epsilon$ 以内に抑えられることを著者らは証明している。

C. IPMによる堅牢な価値推定

不確実性集合 $\mathcal{P}$ を効率的に扱うため、本論文では積分確率距離 (Integral Probability Metrics: IPM) を利用している。

• 連続状態空間の場合、不確実性集合は、公称モデル $P_0$ からのIPM距離を用いて定義される。
• これにより、線形関数近似を用いた堅牢なベルマン演算子の閉形式の表現が可能になる。具体的には、最悪ケースの価値関数更新には、価値関数の重みのノルムに比例する正則化項が含まれる：
  $$L_P V^{\pi}_{c,peak} = (1-\gamma)c(s,a) + \gamma V^{\pi}_{c,peak} + \rho \|w_{c, 2:d}\|_2$$
  この定式化は、非矩形型の不確実性集合に伴う計算の困難さを回避する。

3. 手法：RP-CRL アルゴリズム

提案されているアルゴリズムは、堅牢なピーク制約最適化に適応させたアクター・クリティック（Actor-Critic）フレームワークである。

• アクター (Actor): PPO（Proximal Policy Optimization）スタイルのクリップされた目的関数を用いて更新される。アクターの更新に使用されるアドバンテージ信号は、現在のポリシーが実行可能か否かに基づいて動的に選択される。
• クリティック (Critic): 2つのクリティックが維持される：
  1. 報酬クリティック ($V_r$): 堅牢な期待報酬を推定する。
  2. ピークコスト・クリティック ($V_{c,peak}$): max 演算子（滑らかさのために Log-Sum-Exponential で近似）を含む割引再帰を用いて、堅牢なピークコストを推定する。
• 堅牢化 (Robustification): 両方のクリティックは、TD（Temporal Difference）誤差の計算に、IPMベースの堅牢化項（$\rho \|\cdot\|$ 正則化）を組み込んでいる。
• 学習ループ: アルゴリズムは、報酬クリティックとコスト・クリティックの更新を交互に行う。セレクター関数が、制約違反を最小化することを優先すべきか（実行不可能な場合）、あるいは報酬を最大化すべきか（実行可能な場合）を判断し、効果的にサロゲート問題を解く。

4. 実験結果

著者らは、摂動を加えたダイナミクス下での CartPole および MuJoCo 環境（Ant, HalfCheetah, Humanoid, Swimmer）を用いて RP-CRL を評価している。

• ベースライン: 以下の手法と比較を行った：
  1. ピークコスト制約に適応させた主双対（Primal-Dual: PD）法（先行研究 [5], [6] より）。
  2. 提案されている、摂動のない（公称）環境で訓練されたサロゲート目的関数。
• 摂動の設定: システムダイナミクス（例：重力 $g$ や粘性）にノイズを注入して訓練を行う。推論は、より強い摂動下で行われる。
• 主な知見:
  • 制約充足: RP-CRL は、大幅なダイナミクスの摂動下でも、ベースライン（しばしばピークコストがゼロになる）よりも低いピークコストを維持することに成功した。対照的に、非堅牢なサロゲートおよび PD 法は、推論時に頻繁に制約を違反した。
  • 報酬性能: RP-RL は PD 法よりも高いリターンを達成した。PD 法は、強双達性の欠如により、劣った方策を学習する傾向がある。
  • 堅牢性: 堅牢な定式化（サロゲート + IPM）を用いた訓練は、公称ダイナミクスでの訓練と比較して、分散が低く、より滑らかな学習曲線と、未知の摂動に対する優れた汎化性能をもたらす。
  • 汎用性: 本手法は、異なるコスト関数の定義や、様々なレベルの摂動 ($\sigma$) に対して効果的に機能する。

5. 意義と主張

本論文は、RP-CRL が以下の点において、安全性に敏感なRL（Safety-critical RL）への必要な進展を提供すると主張している：

1. 理論的仮定の修正： ピークコスト制約においては強双対性が成立しないことを確立し、この特定の安全目標に対して標準的なラグランジュ法を直接適用することの妥当性を否定した。
2. Sim-to-Real ギャップの架け橋： 訓練シミュレータと展開環境が異なる場合でも、安全制約が満たされることを保証する堅牢な最適化フレームワークを提供する。
3. 実践的な有効性： 提案されたサロゲートアプローチが、IPMベースの堅牢な価値推定と組み合わせることで、不確実な環境において強力な報酬性能を維持しながら、効果的に安全性を強制できることを実験を通じて示した。

著者らは、サロゲート解が元の問題の堅牢な報酬値を得る一方で、大規模な状態空間における提案されたアクター・クリティック・アルゴリズムの収束保証については、今後の課題として残している。