技術要約：Safe Stochastic Explorer (S.S. Explorer)

問題提起

非構造的で安全性が極めて重要な環境（惑星探査、倉庫、家庭など）で動作する自律ロボットは、システムのダイナミクスや安全特性が完全には判明していない環境をナビゲートしなければならない。Hamilton-Jacobi Reachability (HJR) や Control Barrier Functions (CBF) といった既存の安全制御手法は、通常、既知のシステムダイナミクスを前提としている。対照的に、既存の安全な探索技術は、未知の地形でのローバーの滑りや、ロボットによる未マップオブジェクトの押し出しなど、現実世界の相互作用に内在する避けられない確率論的な不確実性を考慮できていないことが多い。

解決すべき核心的な問題は、未知の環境下における、確率論的なダイナミクスを伴う安全かつ目標指向型の探索である。ロボットは、以下の2つの相反する目的のバランスを取る必要がある：

1. 探索： 環境の安全特性に関する不確実性を減少させるための情報を収集すること。
2. 安全性： 確率的な状態遷移が発生する場合でも、高い信頼度でロボットが安全集合内に留まり続けることを保証すること。

本論文では、安全関数 $q(x)$ は未知であり、状態 $x$ が $q(x) > q_T$ である場合に「安全ではない」と定義する。エージェントは、確率的遷移モデル $x_{t+1} \sim p(x_{t+1}|x_t, a_t)$ のもとで動作し、安全制約を破ることなく、パフォーマンス関数 $f(x)$ を最大化するゴールを目指す。

手法

著者らは、未知の安全関数をオンラインで学習するためにガウス過程 (Gaussian Processes: GPs) を利用するフレームワークである Safe Stochastic Explorer (S.S. Explorer) を提案している。この手法は、情報の収集を促すアクションを導くためにGPの予測不確実性を活用すると同時に、安全違反に対する確率的な境界を提供する。本フレームワークは、以下の3つのバリエーションで提示される：

1. 離散状態空間定式化

有限の離散状態空間に対して、本手法はエージェントの運動をマルコフ連鎖としてモデル化する。そして、以下の3つの反復的な基準を通じて「完全に安全な」状態を定義する：

• 即時安全性 (Immediate Safety): その状態の安全コストが、高い確率で閾値を下回っていること。
• 安全な確率的帰還 (Safe Stochastic Return): 即時安全な状態の集合から外れることなく、初期の安全集合へと戻るための保証された軌跡が存在すること（再帰的実行可能性を保証する）。
• 安全な確率的到着 (Safe Stochastic Arrival): 現在の安全集合から、一ステップ先の状態への遷移分布全体が安全な範囲内に収まることを保証しながら、エージェントがその状態へ遷移できること。

アルゴリズムは、以下の集合拡張および精緻化演算を用いる：

• 即時安全拡張 ($\bar{I}$): GPの上下信頼限界 ($u_t(x), l_t(x)$) とリプシッツ連続性の仮定を用いて、安全であると信じられる状態の集合を拡張する。
• 安全な確率的帰還の精緻化 ($\bar{R}$): 確率的な偏差が発生しても、エージェントが安全コアへと戻ることができる状態へと、安全集合を反復的に制限する。
• 安全な確率的到着の精緻化 ($\bar{m}$): 安全集合から1ステップで到達可能な状態の分布が、安全であることを保証する。

エージェントは、「候補となる拡張者 (candidate expanders)」を特定することでアクションを選択する。これは、安全集合の境界付近にあり、不確実であるが悲観的に見て安全である状態であり、ターゲット領域に関する情報を提供するものである。

2. 連続状態空間定式化

連続領域におけるスケーラビリティに対処するため、著者らは緩和策を導入している。複雑な集合を追跡する代わりに、GPの事後分布から導出されたインジケーター関数を使用する。

• 緩和: 厳格な「安全な確率的帰還」の保証を、 「安全な確率的到着」と即時安全性のみを保証するように緩和する。これにより、タスク完了の保証（行き詰まることを防ぐ保証）は失われるが、瞬時的な安全性は確保される。
• 解析的計算: ガウス分布に従う遷移分布 $T(x, a) \sim \mathcal{N}(\mu, \Sigma)$ の確率的到着を扱うため、モーメントマッチングを用いて到着状態の安全値分布を解析的に計算する。これにより、サンプリングを行うことなく、安全インジケーターを直接評価することが可能になる。
• 経路の安全性: リプシッツ連続性を用いて安全閾値を調整する ($q_T' = q_T - L \cdot d_{max}/2$) ことにより、離散的なプランニングステップ間の連続的な軌跡に沿った安全性を保証する。

3. オブジェクト中心の定式化

複数の未知の物体との物理的な相互作用（例：棚にある物体を突く）を伴うシナリオへとフレームワークを拡張する。

• オブジェクト中心の表現: 移動する物体を扱うため、安全性は各物体に対するロボットの相対状態空間においてモデル化される。これにより、物体の位置が変化しても、GPが過去の相互作用データを再利用できるようになる。
• マルチオブジェクト安全性: グローバルな安全関数は、全オブジェクトにわたる最大安全コストとして定義される。全体の安全集合は、個々のオブジェクトの安全集合の共通部分 (intersection) として計算される。
• 実装: 連続的なケースでは、各オブジェクトに対して個別のGPを学習させ、予測時にそれらの最悪ケースの確率的境界を集計することで実装され、高次元の集合を明示的に計算するコストを回避する。

主な貢献

1. 離散的な安全探索: 確率的な遷移を伴う離散状態空間における、GPベースの不確実性を利用した安全な探索のための新しい手法。これは安全違反を限定し、安全な確率的帰還を保証する。
2. 連続的な緩和: 連続状態空間におけるスケーラブルな緩和策。これは、タスク完了の保証を緩和するものの、安全性（即時安全性および安全な到着）を維持しつつ、計算効率を向上させている。
3. 安全な物体相互作用: ロボットが相対座標でモデル化することで、未知の複数の物体と安全に物理的相互作用を行う方法を示す、応用駆動型の拡張。

実験結果

著者らは、広範なシミュレーションとハードウェア実験を通じて S.S. Explorer を検証した：

• 地上ロボット (離散): 高い確率性（意図した動きに対して $p=0.35$ で誤作動）を持つ8つの環境における80回の試行において、S.S. Explorer は成功率100%、**安全違反率0%**を達成した。対照的に、ベースライン手法（確率性を無視したもの）は、成功率35%、違反率65%であった。
• 地上ロボット (連続): 425回の軌跡において、S.S. Explorer は成功率70.35%、**違反率6.82%**を達成し、ベースライン（成功率41.8%、違反率49.8%）を大幅に上回った。動的な $\beta$ スケーリング（進捗に基づいて保守性を調整する）を用いたバリアントは、成功率88.47%、**違反率9.88%**を達成した。
• 安全な物体 (シミュレーション): 未知の物体を突くロボットアームを用いた55回の試行において、確率論的定式化は（特定の分散設定下で）最大81.8%の成功率、**違反率0%**を達成したが、ベースラインは50.9%の割合で失敗した。
• ハードウェア: Franka Emika Panda アームを用いた実機実験では、質量が異なるプリングルスの缶が置かれたテーブルを正常にナビゲートした。この手法は、物体を倒すことなくゴールに到達したが、ナイーブなベースラインは物体を倒して安全を違反した。

意義と主張

本論文は、S.S. Explorer が、複雑で不確実な環境における信頼性の高い広範なロボット自律性を実現するための前進であると主張している。その意義は以下の点にある：

• ギャップの解消: 既知のダイナミクスを前提とするか、あるいは遷移の不確実性を無視してしまう従来の安全性手法が残していた、確率的なダイナミクスを明示的に考慮するという重要な空白を埋めている。
• 未知の相互作用の処理: 単なる衝突回避を超えて、相互作用のダイナミクス（転倒、摩擦など）を管理するための、原理に基づいた安全な物理的相互作用のフレームワークを提供している。
• 安全性とパフォーマンスのバランス: 不確実性（GP経由）と確率論的モデリングを活用することで、決定論的なベースラインよりも効果的に探索を行い、現実世界のノイズに直面してもより頻繁にゴールに到達できることを示している。

著者らは、GPの計算量 ($O(N^3)$)、システム境界（リプシッツ定数など）に関する事前知識への依存、および安全性とパフォーマンスのトレードオフを含む限界も認めている。連続およびオブジェクト中心のバリアントは「安全な確率的帰還」の保証を緩和しており、理論的にはロボットが行き詰まる可能性があるが、瞬時的な安全性は維持される。今後の課題として、帰還の保証の再導入や、複雑な物体間相互作用への対応が挙げられている。