Approximating Safety Feedback Without a Safety Oracle via Model Predictive Control

技術概要：モデル予測制御による安全オラクルなしの安全フィードバック近似

問題定義
移動ロボットの安全な意思決定は、しばしば「安全オラクル（提案された行動が安全制約に違反するかどうかを検証するメカニズム）」の存在に依存しています。制御バリア関数、後方到達管、安全強化学習（Safe RL）の識別子といった既存の方法は、通常、明示的な安全制約に関する事前知識、または訓練中の真の安全ラベルへのアクセスを必要とします。しかし、複雑な環境（例：凹凸のある地形での高速移動や、開放的な作業セルにおけるロボティクスマニピュレーション）では、安全制約は暗黙的であり、数学的にモデル化が困難、または完全には理解されていないことがよくあります。シミュレーターは複雑なダイナミクスをモデル化できますが、本質的に安全関数を提供するわけではありません。ガウス過程や深層学習の識別子などを通じて安全の代理変数を学習しようとする既存のアプローチは、ラベル付けのために観測可能な真実を必要とするか、安全関数の滑らかさについて強い仮定を置かざるを得ず、実世界での適用性を制限しています。さらに、多くの可逆的探索手法は、学習プロセス中に unsafe な行動を取るリスクを依然として抱えています。

手法：SAVMPC
本論文は、安全オラクルや手動設計された制約への直接アクセスなしに安全フィードバックを近似するためのフィルタリングアルゴリズムである**モデル予測制御による安全評価（SAVMPC）**を提案します。この手法は、以下の 2 つの主要な仮定に基づいて動作します。

1. 不安全状態の正不変性：不安全状態空間（$X_{unsafe}$）は正不変であり、つまりエージェントが一度不安全状態に入ると、安全状態に回復することはできません。
2. 代理変数としての可逆性：エージェントが現在の状態 $x$ から将来の状態 $x'$ へ遷移し、その後 $x'$ から $x$ へ戻る一連の行動を見つけることができる場合、$x$ と $x'$ は同じ集合に属します。$X_{unsafe}$ の正不変性を考慮すると、既知の安全状態への復元経路が存在すれば、中間状態も安全であるとみなされます。

アルゴリズムのワークフロー
SAVMPC は、行動選択中にシールドとして機能します。

1. 行動提案：制御方策 $\pi$ が状態 $x$ において行動 $u$ を提案します。
2. 前方投影：その行動をシミュレーター（ブラックボックスのダイナミクス $f_{dyn}$）を用いて前方に投影し、候補となる次の状態 $x'$ を算出します。
3. 可逆性の確認：アルゴリズムは**モデル予測経路積分（MPPI）**コントローラーを用いて、エージェントを $x'$ から元の状態 $x$（または軌道上の以前の状態）へ遷移させる一連の行動を見つけることを試みます。
   • これは実現可能性問題として定式化されます。すなわち、時間範囲 $T$ 内で許容誤差 $\delta$ 以内に状態 $x$ に到達するような制御系列 $u_0, \dots, u_{T-1}$ を見つけることです。
4. 判断：
   • MPPI が有効な復元経路を見つけた場合、行動 $u$ は安全と判断され、実行されます。
   • サンプリング制限内で復元経路が見つからない場合、その行動は拒否され、方策は再サンプリングを行います。$N$ 回の試行後に再サンプリングが失敗した場合、軌道は中止され、環境はリセットされます。

このアプローチにより、システムはエージェントが既知の安全領域へ戻ることができない「行き止まり」に至る行動がないことを保証することで、安全性を検証できます。

主な貢献

1. SAVMPC アルゴリズム：既知の安全状態への後方計画と可逆性を利用することで、手動構築された制約や真の安全ラベルを必要とせずに安全な行動選択を可能にする、新規のフィルタリングアルゴリズム。
2. 保守的な制約推定：未知の環境制約の保守的な推定値を明示的に計算する、可逆性計画アルゴリズムの拡張。
3. 実証的検証：強化学習（RL）訓練におけるシールドとしての SAVMPC の評価。オラクルベースのシールドと同等の性能を示しつつ、安全性保証の点で他の可逆性ベースのアプローチ（RAC、LNT）を上回ることを実証。

実験結果
著者らは、連続カルトポールおよび2 次元ナビゲーションの 2 つの環境で SAVMPC を評価しました。

• 不一致研究：30 万の軌道を用いたシミュレーションにおいて、SAVMPC を真の安全オラクルと比較しました。結果、SAVMPC は偽陰性ゼロ（不安全な状態を安全と分類することはない）を示しました。不一致は主に制約境界付近で発生し、より厳しい安全許容誤差（$\delta$）を使用する際、アルゴリズムはより保守的（不安全領域の過大評価）となりました。
• RL 訓練の性能：
  • 連続カルトポール：SAVMPC は、真の安全オラクルシールドを搭載した PPO アルゴリズムと同等の最終報酬を達成し、ベースラインの PPO、RAC、Leave No Trace（LNT）よりも著しく高い性能を示しました。重要なのは、SAVMPC が0.0% の制約違反を維持したのに対し、ベースラインおよび他の可逆的手法は最大 77.3% の違反を犯したことです。
  • 2 次元ナビゲーション：SAVMPC は、最終報酬において安全オラクルシールド（842.74 対 782.23）を上回りつつ、0.0% の制約違反を維持しました。他の手法よりも早く収束したことは、その保守的な近似が探索空間を効果的に縮小したことに起因します。
  • 比較：時間とともに安全近似を学習し、依然として違反を犯した RAC や LNT と異なり、SAVMPC は特権情報なしに最初のステップから安全性を強制しました。

意義と主張
本論文は、SAVMPC が安全制約が複雑または未知の環境における安全な意思決定の実用的な解決策を提供すると主張しています。正不変性の仮定と、シミュレーター内での MPPI の計算能力を活用することで、この手法は真のラベルを必要とせずに安全オラクルの性能を近似します。著者らは、このアルゴリズムが基盤となる環境においてエージェントが** unsafe な行動を一度も取らない**ことを保証し、理論的な安全性保証と複雑な物理的制約のモデル化に関する実用的な限界の間のギャップを実質的に埋めると強調しています。この研究は、従来の制約モデリングが不可能なシナリオにおいて、可逆性が安全のための堅牢でデータ不要の代理変数となり得ることを示唆しています。