Joint Chance Constrained Safe-Optimal Control

技術要約：結合確率制約付き安全最適制御（Joint Chance Constrained Safe-Optimal Control）

問題定式化
本論文は、確率的システムにおける標準的な結合確率制約（Joint Chance Constrained: JCC）最適制御の限界に対処するものである。従来のJCC定式化では、安全集合内に留まる確率が閾値 $\alpha$ を超えるという制約の下で、すべての 軌跡（安全な軌跡と不安全な軌跡の両方）の期待コストを最小化することを目的とする。著者らは、この標準的なアプローチには「逆転したインセンティブ」が生じる可能性があると主張している。すなわち、全体の安全確率が $\alpha$ を維持している限り、コントローラーは低コストだが不安全な軌跡を利用するために、意図的に安全制約を違反する可能性がある。このような挙動は、制約違反が壊滅的かつ不可逆的な事象（航空機の墜落や医療機器の故障など）を招くアプリケーションにおいては、望ましくない。なぜなら、失敗した軌跡のコストは最適化の目的関数に寄与すべきではないからである。

この問題に対処するため、本論文は**結合確率制約付き安全最適制御（Joint Chance Constrained Safe-Optimal Control）**問題を提案する。目的関数は、安全な軌跡のみ の期待コストを最小化するように修正される。ただし、安全確率が少なくとも $\alpha$ であるという結合確率制約は依然として課される。不安全な軌跡には、実質的にゼロのコストが割り当てられ、これによりコスト削減のために安全性を「犠牲にする」インセンティブを取り除く。

手法
核心となる手法上の貢献は、この非マルコフ的な問題を解読可能なフレームワークへと再定式化することである。

1. 拡張状態空間MDP: 著者らは、安全最適制御問題が、元の状態空間 $X$ と累積コスト $C$ からなる拡張状態空間 $Z = X \times C$ 上の制約付きマルコフ決定過程（CMDP）として記述できることを示している。

   • 状態遷移には、決定論的なコスト蓄積器が含まれる。
   • 軌跡の重み付け関数 $a(\cdot)$（その軌跡が安全性と総コストに基づいてコストまたは制約に寄与するかどうかを選択するもの）を扱うために、追加の仮想タイムステップとバイナリ入力が導入されている。
   • この変換により、全軌跡の履歴に依存するために直接適用が困難であった元の定式化に対し、標準的な動的計画法（DP）技術の使用が可能となる。

2. 近似と誤差界: 連続状態空間を持つシステムに対して、著者らは状態、コスト、および行動空間を離散化するためのグリッド抽象化を採用している。彼らは、この離散化によって導入される安全誤差に関する理論的境界を導出している。具体的には、離散化されたMDP上でポリシーが安全性 $\alpha$ を達成する場合、元の連続システムにおける安全性は、グリッドサイズ、遷移カーネルのリプシッツ定数、およびタイムステップ数に関連するパラメータを用いて、$\alpha - N h_x M_x \mu \Delta x$ を下回らないことが示される。これにより、連続システムでの安全性を保証するために、離散化された問題に対する制約を厳格化することが可能となる。

3. 解法: 論文では2つの解法を評価している。

   • 動的計画法 (DP): ラグランジュ双対のCMDPを、値反復法と双対マルチプライヤー $\lambda$ に関する二分探索を用いて解く。
   • 強化学習 (RL): Soft-Actor-Critic (SAC) アルゴリズムを用いたレキシコグラフィック学習フレームワークを実装する。これには、まず到達・回避（reach-avoid）確率を最大化し、次に特定の安全閾値 $\alpha$ を満たすようにラグランジュマルチプライヤーを調整するという、2段階のトレーニングプロセスが含まれる。

主な貢献

• 新しい問題定義: 安全な軌跡のみのコストを最小化し、不安全な軌跡のコストを最適化目的関数から切り離す制御問題の導入。
• 理論的再定式化: 安全最適制御問題が拡張状態空間上の制約付きMDPと等価であることを証明し、DPによる解決を可能にしたこと。
• 安全性保証: 連続状態空間においてグリッド近似を用いて問題を解く際の、ポリシーの安全性に関する明示的な境界の導出。
• 実証的検証: 提案手法を標準的なJCC制御およびRL解法と比較する包括的な数値実験。

実験結果
著者らは、障害物のある到達・回避環境におけるシミュレーションされた2Dユニサイクルシステムを用いて、提案手法を検証している。

• 挙動の違い: 標準的なJCCポリシー（すべての軌跡のコストを最小化するもの）は、高コストな安全ルートを避けるためにターゲットへの到達を「諦める」傾向があり、その結果、初期状態付近に留まる、あるいは不安全なショートカットを取るような低コストな軌跡を示すことが観察された。対照的に、提案された安全最適ポリシーは、成功した安全な軌跡に対してのみ排他的に最適化を行う。
• パフォーマンス指標: モンテカルロ・シミュレーションにおいて、安全最適アプローチは、要求される安全確率を維持しつつ、標準的なJCCと比較して（安全な）軌跡の駆動コストを低く抑えた。標準的なJCCは、多くの低コストな不安全（または未到達）な軌跡を含んでいたために、全体的な 期待コストが低くなっていた。
• DP vs. RL: DPは、特に複雑な環境（例：「Simple-Slit」）において、RLが局所最適で保守的な解に収束する中で、最適ポリシーを見つける上で一般にRLよりも優れた性能を示した。しかし、RLは問題の構造を扱う能力を示しており、計算時間は大幅に長くかかった（DPの2分未満に対し、RLは90〜130分）。著者らは、DPは状態次元に対して指数関数的にスケールするものの、DPが不可能な高次元の実世界の問題ではRLが好まれることが多いと述べている。

意義と主張
本論文は、不可逆的な制約を持つシステムにおいて、標準的なJCC定式化は根本的に欠陥がある（コストを削減するために制約違反を助長するため）と主張している。安全な軌跡のコストのみを最小化するように目的関数をシフトすることで、提案手法は実用的な直感に合致させている。すなわち、車両の衝突や医療処置の失敗のコストは、成功したミッションの運用コストとは無関係であるという直感である。著者らは、提案手法が標準的なコントローラーの「諦める」挙動を回避し、安全かつコスト最適な制御を実現するための数学的に厳密なフレームワーク（CMDP再定式化とDPによる）を提供すると断言している。結論として、現在の低次元設定においてはDPが優れたソルバーであるが、本フレームワークは、より広範な時相論理制約や実世界のシステムへこれらの原理を適用する道を開くものであるとしている。