技術要約：ユーティリティ制約付き方策最適化（Utility-Constrained Policy Optimization）

問題定義

本論文は、制約付きマルコフ決定過程（CMDPs）における制約付き強化学習（RL）の限界に対処している。CMDPは安全制約を組み込むための標準的な枠組みであるが、これらは**リスク中立的（risk-neutral）**な制約を強制するものである。つまり、制約は期待値においてのみ満たされる。このリスク中立性により、たとえ稀であっても壊滅的な制約違反が発生することを許容しつつ、平均的には最適とされる方策が採用されることがあり、結果として信頼性の低い挙動を招く。逆に、過度に保守的な方策が採用されることもある。

リスク感受性（例：チャンス制約やCVaRによるもの）に対処しようとする従来のアプローチは、履歴依存的で学習が困難な方策をもたらすか、あるいは早期終了やペナルティスケジュールの適用といったアドホックな修正に依存しており、統一された理論的枠組みを欠いている。著者らは、リスク感受性のある制約のための自然な枠組みとして**ユーティリティ制約付きMDP（UCMDPs）**を提案しているが、UCMDPsにおける最適な履歴依存方策の学習が困難であったため、実用的な解決策が歴史的に不足していたと指摘している。

手法：ユーティリティ制約付き方策（UCP）

著者らは、UCMDPsを解くために設計された実用的なラグランジュ深層強化学習アルゴリズムである**ユーティリティ制約付き方策（UCP）**を導入する。この手法は、以下の3つのコアコンポーネントに基づいている。

1. ストック拡張定式化（Stock-Augmented Formulation）

UCMDPsをマルコフ方策で解けるようにするため、著者らはÁvila Piresら[2025]の研究に基づき、**ストック拡張（stock-augmented）**された状態定式化を採用している。

• ストック ($Z_t$): 報酬やコストの履歴を追跡する累積変数である。割引済みのストックを用いる従来の定式化とは異なり、UCPは $Z_{t+1} = Z_t + R_{t+1}$ と定義される**非割引ストック（undiscounted stock）**を採用している。
• 根拠: 非割引ストックは、エピソードの累積コストという標準的な評価指標とエージェントの内部状態を一致させる。これにより、逆割引更新で見られる初期コストの指数関数的な膨張を防ぎ、学習問題をより安定させる。
• 方策の入力: 制約リミットは初期ストック値 ($Z_0$) としてエンコードされる。その結果、方策 $\pi(a|s, z)$ は、環境の状態とともに初期ストック（および制約予算）を入力として受け取る。これにより、同じ訓練済みの方策を、再学習なしで異なる制約リミットの下で運用することが可能になる。

2. アルゴリズム構成（ラグランジュ・アクター・クリティック）

UCPは、制約付き最適化問題を解くために、以下の形式の原始・双対（primal-dual）アクター・クリティック手法を利用する：
$$\inf_{\lambda_z \ge 0} \sup_{\pi} \left( \mathbb{E}[f(Z_0 + G^\pi_0)] - \lambda_z \mathbb{E}[g(Z_0 + G^\pi_0)] \right)$$
ここで、$f$ は目的ユーティリティ、$g$ は制約ユーティリティである。

• クリティック: エージェントは、単なる期待値ではなく、リターンの完全な分布（累積量）を推定するために、分布型クリティック（distributional critic）（具体的には分位点回帰を使用）を使用する。これは、非線形（リスク感受性）なユーティリティ関数を評価するために不可欠である。
• アクター: アクターは、標準的なQ値ではなく、リターン分布の期待ユーティリティを最大化するように訓練される。アクターの目的関数は、標準的なSoft Actor-Critic (SAC) から以下のように変更される：
  $$L^{UO}_{actor} = \mathbb{E}[u(z + G_\psi(s, z, A_\theta))] - \alpha \log \pi_\theta(A_\theta|s, z)$$
  ここで、$u(x) = f(x) - \lambda_z g(x)$ である。
• ラグランジュ乗数更新: 乗数 $\lambda_z$ は、厳密な実行可能性が困難なケースに対処するための許容誤差 $\epsilon$ を用い、エピソードごとの観測された制約違反に基づいて定期的に更新される。

3. 学習戦略：ストックのランダム化

異なる制約予算間で汎化性能を持たせるため、訓練中に初期ストック $Z_0$ は一定の範囲（例：$[-30, 0]$）から一様ランダムにサンプリングされる。これにより、方策は様々な予算レベルから最適な行動へのマッピングを学習することができ、テスト時に再学習することなく新しい予算に適応できる。

主な貢献

1. 実用的なUCMDPソリューション: 本論文は、ストック拡張を用いることでUCMDPsをマルコフ方策で解けるようにする修正案を提示し、この問題を実用的に解決可能にした。
2. UCPアルゴリズム: 分布型クリティック、ストック拡張状態、および期待ユーティリティ最適化を組み合わせたラグランジュ深層強化学習エージェントであるUCPを提案した。
3. 柔軟な制約リミット: 初期ストック入力を変化させることで、訓練後に制約リミットを設定できる枠組みを提供し、安全予算が変化する場合の再学習の必要性を排除した。
4. 実証的検証: Safety Gymnasiumベンチマークを用いた広範な評価により、UCPが既存のベースラインと同等またはそれ以上の性能を示すことを実証した。

実験結果

著者らは、Safety Gymnasiumベンチマーク、特に Safety Velocity および Safety Navigation タスクスイートにおいてUCPを評価した。

• ベースラインとの比較: UCPは、既存の最先端のベースライン（PPO-Lag, SAC-Lag, PID-Lag, Sauté RL, および早期終了MDPを含む）に対して、一貫して同等または優れた性能を示した。
  • Safety Velocity タスクにおいて、UCPはコスト制約を満たしながら、同等またはより高いリターンを達成した。
  • Safety Navigation タスクにおいて、UCPは安全性を維持しつつ、すべてのベースラインをリターンの面で大幅に上回った。
• リスク感受性: リスク中立的なバリアントと比較して、リスク感受性を持つUCPはコスト分布の「裾（テール）」を大幅に減少させた。UCPは、コスト予算を超える確率を最小化し、期待超過コスト ($\mathbb{E}[\max(X, b)]$) をほぼゼロに抑えた。これに対し、リスク中立的な手法は、違反が発生したエピソードにおいて予算を大幅に超えるコストを発生させることが多い。
• 汎化性能: アブレーション研究により、ストックのランダム化が極めて重要であることが確認された。ランダムな初期ストックを用いて訓練された方策は、再学習なしで未知の予算レベル（例：予算 0, 5, 15, 25）に汎化できるが、単一の予算レベルで訓練された方策はそれができなかった。
• 非割引ストック: 非割引ストックの使用は、割引済みストックよりも優れていることが判明し、より高い性能と安定性をもたらした。

意義と主張

本論文は、UCPが標準的なCMDPのリスク中立性を克服する、シンプルかつ強力な手法を提供すると主張している。ユーティリティ関数とストック拡張を通じてリスク感受性のある制約を問題の定式化に直接組み込むことで、著者らは以下のことを示した：

1. 安全性と性能の両立: より厳格なリスク感受性制約は、リスク中立的な評価指標の下でも、過度な保守的行動を強いる破滅的な失敗を防ぐことにより、むしろ性能を向上させることができる。
2. 運用の柔軟性: 訓練後に再学習なしで制約リミットを調整できる能力は、安全予算が変動し得る現実世界のデプロイメントにおいて大きな実用的価値を持つ。
3. 分布型の必要性: 結果は、非線形なユーティリティ制約を扱う場合、期待値だけでなく（分布型クリティックを介して）リターンの分布をモデル化することの重要性を強調している。

著者らは、実験結果は強力であるものの、ラグランジュ動的計画法におけるUCMDPsの最適性保証や、非割引ストックを使用することの原理的な正当化に関する完全な理論的分析が不足していることを認め、これらを今後の理論的研究の領域として特定している。