技術的概要：制約付き強化学習のための確率的決定地平

問題定義

現実世界の制御システム（ロボット、生体力学、医療プロセスなど）における強化学習（RL）は、多くの場合、すべての時間ステップで瞬間的制約の充足を要求します。単一の深刻な違反は、ハードウェアの損傷、患者への危害、または制御器の不安定化を引き起こす可能性があります。制約付き RL の標準的な枠組みである制約付きマルコフ決定過程（CMDP）は、累積コスト予算の最適化を目指します。これは総燃料消費量のようなグローバルな予算には有効ですが、瞬間的な実行可能性には苦労します。ステップごとの制限を累積予算にエンコードすると、予算が極端に小さくなることを強いられますが、そのような領域では既存の CMDP アルゴリズムは収束せず、効果的に学習できないことがよくあります。

本論文は、理論的に裏付けられた代替案として確率的決定地平（SDH）を提案します。SDH は、違反が発生した際に予算を消費するのではなく、制約違反を瞬間的な（非）実行可能性シグナルとして扱い、それが確率的に有効な計画地平を短縮するとみなします。

手法

1. 確率的決定地平（SDH）

SDH は、制約付き問題を生存確率問題として再構成します。

• メカニズム: 状態 - 行動継続確率 $\alpha(s, a) \in [0, 1]$ が導入されます。制約が違反されると $\alpha$ が低下し、軌道が継続する確率が減少します。
• 目的: エージェントは、その時点まで軌道が生存しているという条件付きで、ランダムな幾何学的終了時刻 $T_\gamma$ における期待報酬を最大化します。
• ベルマン定式化: これにより、成形報酬と状態 - 行動依存の割引を備えた修正されたベルマン方程式が導かれます：
  • $\tilde{r}(s, a) = \alpha(s, a) r(s, a)$
  • $\tilde{\gamma}(s, a) = \gamma \alpha(s, a)$
• 双対変数: ラグランジュ双対変数 $\eta$ は、コストペナルティではなく、報酬に加算される生存ボーナス（$r + \eta$）として機能します。これにより、高い生存確率を維持する方策が促進されます。

2. 推論としての制御（CaI）と正則化

オフポリシーで正則化されたアルゴリズムを導出するために、著者は「推論としての制御」を使用します。著者は、制約違反後に何が起こるかの 2 つの異なる意味解釈を特定し、2 つの異なる正則化項を導き出します。

• 吸収状態（AS）セマンティクス: 決定プロセスは違反直後に即座に終了します。生存した決定のみが情報コスト（KL 発散/エントロピー）に寄与します。
  • アルゴリズム: AS-SAC（吸収状態ソフト・アクター・クリティック）。
  • 正則化項: 生存した決定質量のみで重み付けされた最大エントロピー。これにより、可変割引のソフト・ベルマン再帰が得られます。
• 仮想終了（VT）セマンティクス: 決定プロセスは継続しますが、報酬のクレジットは停止します。エージェントは基礎となる MDP 上で行動を継続しますが、将来の報酬は生存によってゲートされます。
  • アルゴリズム: VT-MPO（仮想終了最大事後確率方策最適化）。
  • 正則化項: 通常の割引地平における KL 正則化付き方策改善と、生存によって成形されたクリティックを組み合わせます。

3. CMDP への理論的リンク

本論文は、SDH と加法的予算 CMDP の間の関係を特徴づけるために違反深度プロファイルを導入します。

• 単一スケール領域: 違反が単一の特徴的なスケールで発生する場合（例：特定の分布に従う頻繁な浅い違反、または稀な深い違反）、SDH は一致する加法的予算 CMDP を効果的に解決します。
• 多スケール領域: 違反プロファイルがスケールを混合する場合（例：頻繁な浅い違反と稀な深い違反の併存）、SDH と CMDP の目的は分岐します。履歴で状態空間を拡張しない限り、SDH は正確な予算認識実行可能性ルールを再現できません。

主要な貢献

1. SDH の形式化: 著者は、一般的な継続モデル $\alpha(s, a)$ をベルマン整合的な生存占有として形式化しました。SDH が確率的生存確率問題の固定双対ラグランジュ形式であることを証明しました。
2. 正則化されたオフポリシーアルゴリズム: 瞬間的制約のための最初のオフポリシーで正則化されたアルゴリズムを導出しました。AS-SAC（最大エントロピー）とVT-MPO（KL 正則化）です。両方とも経験再生と互換性があります。
3. 理論的範囲の分析: 違反深度プロファイルを通じて、SDH が加法的予算 CMDP を解決する時期（単一スケール違反）と解決しない時期（多スケール違反）を正確に画定しました。
4. 最先端の生体力学制御: 高忠実度の筋骨格モデルに VT-MPO を適用し、固定された瞬間的制約問題として長年懸案であった努力 - 速度歩行のトレードオフを解決しました。

実験結果

1. Hyfydy（筋骨格制御）

• 設定: 最大 90 筋を持つ 3 つのヒューマノイドモデル（H0918、H1622、H2190）でのトレーニング。
• 比較: 適応的報酬再重み付けを使用する最先端のドメイン固有手法である**努力重み適応（EWA）**と比較。
• 結果:
  • 安定性: VT-MPO は、非定常な報酬シグナルに悩まされる EWA に比べて、はるかに少ない振動で安定した歩行に収束します。
  • サンプル効率: VT-MPO は、環境ステップ数を 4 倍削減して最先端の歩行リアリズムを達成します（例：H2190 において、EWA の 90M ステップに対し、VT-MPO は 21M ステップでピーク性能に到達）。
  • リアリズム: 両手法とも同様の歩行一致率（約 63-76%）を達成しますが、VT-MPO ははるかに速くピークに達し、より厳密な制約充足（速度、地面反力、関節トルク）を達成します。

2. Safety Gymnasium（範囲テスト）

• 設定: 標準化されたコストシグナルを備えた移動およびナビゲーションタスクで評価。
• 発見:
  • 単一スケールタスク（例：AntVelocity）: SDH（VT-MPO および AS-SAC）は、強い報酬 - コストのトレードオフを達成し、制約なしのベースラインを上回り、制約付きベースラインと同等の性能をより高いサンプル効率で達成します。
  • 多スケールタスク（例：PointGoal、CarButton）: 理論は失敗モードを正確に予測します。目標達成のためにいくつかの制約充足を犠牲にする必要があるタスク（多スケール違反プロファイル）において、SDH は制約の充足に失敗するか、壊滅的な報酬の低下を被ります。これは、SDH が任意の加法的予算 CMDP の汎用ソルバーではないという理論的限界を確認するものです。

意義と主張

本論文は、確率的決定地平が制約付き RL に対する補完的な設計軸を提供すると主張します：予算を調整するのではなく、地平を成形する。

• 実用的影響: SDH は、単一の違反が壊滅的である瞬間的制約を処理するための原理的な方法を提供し、適応的報酬再重み付け（EWA など）の不安定性や、CMDP における微小な予算の設定の難しさを回避します。
• 理論的洞察: この研究は、瞬間的制約と累積的予算は、特定の幾何学的条件（単一スケール違反プロファイル）の下でのみ一致する、異なる目的であることを明確にしました。
• アルゴリズム的進展: 90 筋のヒューマノイドのような高次元で複雑なシステムでの安定したトレーニングを可能にする、瞬間的制約のために特別に設計された最初の正則化されたオフポリシーアルゴリズム（AS-SAC、VT-MPO）を提供します。

著者は、SDH が CMDP の普遍的な代替手段ではないものの、生存確率問題に対する正確な解決策であり、ステップごとの実行可能性が主要な関心事となる領域において、優れた安定性とサンプル効率を提供することを強調しています。