Maximizing Reach-Avoid Probabilities for Linear Stochastic Systems via Control Architectures

技術要約：線形確率システムにおける到達・回避確率を最大化する制御アーキテクチャ

問題定式化
本論文は、有限時間ホライゾンにおける線形確率システムの到達・回避（reach-avoid）確率を最大化するという課題に取り組んでいる。システムは、決定論的に進化する状態（$x_d$）と、独立同一分布（i.i.d.）のノイズに従う確率的に進化する状態（$x_s$）を含む動力学として定義される。制御目的は、ターゲット集合 $T$ に到達しつつ、期間 $[0, T]$ において安全集合 $S$ 内に留まる確率を最大化する方策を見つけることであり、同時に常に決定論的な制約 $G$（入力制限や状態境界など）を満たす必要がある。

既存の手法はトレードオフに直面している。統計的境界に基づく手法（例：確率的チューブ、シナリオMPC）はスケーラビリティを提供するが、しばしば保守的な性能に留まる。一方で、直接的な最適化手法（例：マルコフ決定過程（MDP））は厳密な保証を提供するが、高次元または連続的な状態空間に対しては計算量的に実行不可能である。

手法
著者らは、MPCの拡張性と動的計画法（DP）の最適性を組み合わせた階層的制御アーキテクチャを提案している。核心となる革新は、閉ループシステム（プラント + MPC）を、直接的な制御入力ではなく、MPCに送られる参照信号を「アクション」とするマルコフ決定過程（MDP）として扱う点にある。

1. 階層型アーキテクチャ:

   • 下位層 (MPC): 上位層から生成された参照信号を追従するモデル予測制御器（MPC）。このMPCは、確率的な到達・回避目的には依存しないように設計されており、その唯一の目的は、システムが決定論的な制約 $G$ および入力制限 $U$ を満たすことを保証することである。離散時間MPCの最適化と連続時間の制約充足の間のギャップを埋めるため、著者らはサンプリング間隔におけるシステム動力学とノイズを考慮した制約タイトニング技術（Lemma III.1）を導出している。
   • 上位層 (DP参照生成器): 固定の時間間隔（$\Delta t$）で動作するDPベースの方策。これは、ターゲットへの到達確率を最大化しつつ、安全でない領域を回避するための参照シーケンス（コマンド）を選択する。このMDPの状態空間はシステム状態 $x_k$ であり、アクション空間は参照軌道の有限集合で構成される。

2. 連続状態空間と抽象化の扱い:
   状態空間は連続的であるため、著者らはDPを計算可能にするために有限のグリッド抽象化を採用している。この離散化にもかかわらず理論的保証を維持するために、以下のロバスト化フレームワークを導入している。

   • ロバストMPC (RMPC): MPCは、特定の初期状態（パーティション内の特定のセル）に対して不変な入力シーケンスを生成するように修正される。これは、MPCの予測を測定された状態ではなく、グリッドの中心から初期化することで実現され、これによりパーティション内のすべての状態に対して同じ制御シーケンスが適用されることが保証される。
   • ロバスト・バリュー・イテレーション: 抽象化誤差を考慮するため、安全集合およびターゲット集合は半径 $r$（時間ステップ内の軌道の最大偏差から導出）だけタイトニングされる。DPアルゴリズムは、各グリッドセルの近傍内でのワーストケースの遷移を考慮することで、到達・回避確率の下限を計算するように修正されている。

主な貢献

• 制御アーキテクチャ: 本論文は、DPのプランニング空間の次元を、全状態次元 $n$ から確率的に進化する成分の次元 $n_s$ へと削減する新しいアーキテクチャを導入している。これは、決定論的な進化 $x_d$ とMPCの追従能力を活用することで達成される。
• 理論的保証: 著者らは、このアプローチに対する形式的な証明を提供している。ロバスト化されたアーキテクチャが連続時間の制約充足を保証すること、およびロバストDPアルゴリズムによって計算された値が、システムによって達成される実際の到達・回避確率の厳密な下限となることを証明している（Theorem IV.4）。
• スケーラビリティと柔軟性: 本手法は、高次元システム（具体的には12自由度のクアッドコプターモデル）へのスケーラビリティと、複雑で障害物が多い環境に対処できる柔軟性が実証されている。

結果
提案手法は、様々な障害物環境（迷路、ジグザグ経路、障害物フィールドなど）を航行する摂動を加えた12自由度クアッドコプターモデルを用いて検証された。

• 性能: 迷路のシナリオにおいて、このアーキテクチャは成功率40%を達成し、保守的なベースラインを大幅に上回った。
• 比較: 複数のシナリオにおいて、経験的な到達・回避確率（$V_0(x_0)$）は、ロバスト・バリュー・イテレーションによって計算された下限（$\tilde{V}_0(x_0)$）を一貫して満たすか、それを上回っており、理論的保証を裏付けている。例えば、「ジグザグ」環境では、経験的な成功率は44%であり、理論的な下限である0.3%を大きく上回った。
• トレードオフ: 本論文はまた、制約付き最適制御問題を解くための本アーキテクチャの能力も示している。ラグランジュ乗数を調整することで、経路コスト（軌道を中心付近に保つこと）と到達・回避確率との間でトレードオフを行うことができ、解のパレートフロントを生成できる。

意義と主張
本論文は、MDPベースの手法の理論的な最適性と、MPCの実際的なスケーラビリティの間の溝を埋めるものであると主張している。安全性の確保（ロバストMPCが担当）と確率的な最適化（DP参照生成器が担当）を分離することで、著者らは、高次元システムに対しても計算可能であり、かつ過度に保守的な統計的境界に頼ることなく、形式的な到達・回避証明を提供できる制御戦略を実現した。著者らは、本手法が、スケーラブルなヒューリスティック・アプローチにおいて欠如しがちな「確率的システムに対する形式的な証明」を提供しつつ、フル状態MDPの計算不可能な複雑さを回避している点を強調している。