技術概要：ポリシーライブラリ制御バリア関数（PL-CBF）

問題定義

構造化されていない実世界環境における自律システムの展開は、オンライン安全性認証に関して重大な課題に直面しています。固定された制約と完全にモデル化されたパラメータを有する古典的な設定とは異なり、配備されたロボットは、安全領域がオンラインで明らかになり、動的な障害物が出現・消滅し、運転条件（例えば摩擦）が時間とともに変化する、知覚に制限された情報のもとで動作します。

ハミルトン・ヤコビ（HJ）到達性解析のような形式的検証ツールは強力な保証を提供しますが、次元の呪いに苦しんでおり、高次元のロボットシステムに対して計算的に扱いが困難です。制御バリア関数（CBF）はスケーラブルな代替手段を提供しますが、通常、固定された制約のもとでの完全な非線形システムに対する明示的なバリア関数を必要とし、これは制約がオンラインで変化する際に取得が困難です。

ロールアウトに基づく既存のランタイム安全性フィルタ、例えばポリシー CBF（PCBF）は、オフラインの価値関数計算なしに軌道ロールアウトから安全性証明を構築しようと試みます。しかし、これらの手法は単一の指定されたフォールバックポリシーに依存しています。構造化されていない環境では、単一の機動がすべての知覚更新に対して確実に安全であるとは限りません。例えば、急激な摩擦の損失下では停止機動が失敗する可能性があり、新たに検出された障害物により固定された回避機動が実行不可能になる可能性があります。この単一のフォールバックへの依存は、不要な保守性を誘発し、代替の安全な機動が存在する場合であっても安全性違反を引き起こす可能性があります。

手法：ポリシーライブラリ制御バリア関数（PL-CBF）

著者は、PL-CBFを提案します。これは、並列有限時間ホライズン・ロールアウトを通じて有限の多様なフォールバックポリシーのライブラリを評価し、安全性を認証して侵襲性の最も低い安全モードを選択するランタイム安全性フィルタです。

中核的な定式化

単一のバックアップポリシーに依存する代わりに、PL-CBF は $K$ 個の候補フォールバックポリシーのライブラリ $\Pi = \{\pi_1, \pi_2, \dots, \pi_K\}$ を定義します。これは有限時間ホライズンのポリシーライブラリ価値関数を構築します：
$$H^\Pi_T(x) := \max_{\pi_i \in \Pi} \left\{ \inf_{\tau \in [0,T]} h(\phi^{\pi_i}_\tau(x)) \right\}$$
ここで、$h$ は安全集合を定義する制約関数です。ライブラリ内の少なくとも 1 つのポリシーがホライズン $T$ 全体で非負の制約値を維持する場合、その状態は安全であるとみなされます。

安全性フィルタの合成

安全性フィルタは、安全性を確保しつつ名义制御入力 $u_{nom}$ を最小限に変更する二次計画問題（QP）を解くことで動作します。

1. 並列ロールアウト: システムは $\Pi$ 内のすべてのポリシーに対して並列ロールアウトを実行し、それぞれの安全性値 $H^{\pi_i}_T(x)$ を計算します。
2. ポリシー選択: 認証された安全な候補（$H^{\pi_i}_T(x) > 0$）の中で、フィルタは「侵襲性が最も低い」ポリシー $\pi_{i^*}$ を選択します。単に最大の安全性マージンを選ぶ手法とは異なり、PL-CBF は許容制御集合 $K_{cbf}(x; \pi_i)$ の体積を最大化するポリシーを選択します。これは以下のように定義されます：
   $$i^* = \arg \max_{i \in I_{safe}(x)} \text{Vol}(K_{cbf}(x; \pi_i))$$
3. QP 実行: 最終的な制御入力 $u^*$ は、以下を解くことで得られます：
   $$u^* = \arg \min_{u \in U} \|u - u_{nom}\|^2_2 \quad \text{s.t.} \quad \nabla H^{\pi_{i^*}}_T(x)^\top(f(x) + g(x)u) \geq -\alpha(H^{\pi_{i^*}}_T(x))$$
   勾配は、ダイナミクスを通じた自動微分を用いてランタイムで効率的に計算されます。

理論的解析

本論文は、有限時間ホライズン言語メトリックを用いた有限時間ホライズンの安全性認証のための完全性条件を確立します。このメトリックは、ホライズン $T$ における 2 つのポリシーロールアウト間の最悪ケースの状態偏差を測定します。著者は、ポリシーライブラリ $\Pi$ が十分に低い近似精度（すなわち、ライブラリが許容される行動の空間を十分に密にカバーしている）を持ち、かつ非ゼロのクリアランスを持つ厳密に安全なポリシーが存在する場合、そのライブラリは PL-CBF によって安全と認証されうるポリシーを必ず含むことを証明します。

また、この枠組みは、理想的な無限時間ホライズンの極限における古典的 CBF と前方不変性との概念的なつながりについても議論しており、ライブラリに有効なバックアップポリシーが含まれている場合、PL-CBF はバックアップ CBF 手法の再帰的実行可能性の保証を回復することを指摘しています。

主要な貢献

1. ポリシーライブラリ有限時間ホライズン安全性フィルタリング: PL-CBF の導入。これは、並列ロールアウトを通じて候補フォールバックポリシーの有限ライブラリを評価することで安全性を認証します。認証された候補の中で許容制御集合の体積を最大化することにより、最も制限の少ない制約を選択します。
2. 理論的特徴付け: クローズドループ行動における有限時間ホライズン言語メトリックに基づいた、有限時間ホライズンの安全性認証のための完全性条件の確立。これは安全性を認証するために必要なポリシーライブラリの網羅性要件を特徴付けます。
3. 実証的検証とランタイム効率: 3 つのシミュレーションベンチマーク（平面ダブルインテグレータ、急激な摩擦変化を伴う高速道路走行、3 次元クアッドコプタナビゲーション）において、単一ポリシー安全性フィルタに対する安全性カバレッジの向上を実証し、ミリ秒レベルのランタイムを維持しています。

実験結果

著者は、単一フォールバックポリシーを使用する 4 つの代表的な安全性フィルタ（モデル予測シールディング、ゲートキーパー、バックアップ CBF、ポリシー CBF）に対して PL-CBF を評価しました。

• 平面ダブルインテグレータ: PL-CBF は、停止および回避ポリシーのライブラリを評価することで、最大の安全集合を回復する能力を示しました。一方、単一ポリシー手法は、選択されたフォールバックに応じて、しばしばより小さな異なる安全集合を回復しました。
• 高速道路走行（急激な摩擦変化）: 現実的な非線形車両モデル（8 状態）と急激な摩擦変化（ブラックアイス）を伴うシナリオにおいて、PL-CBF は目標速度 10 m/s で0/50 の失敗を達成しました。対照的に、すべての単一フォールバックのベースラインは、22% から 92% の範囲の衝突または実行不可能率に苦しみました。PL-CBF はステップあたり7.5 msのランタイムを維持しました。
• 3 次元クアッドコプタナビゲーション: 混雑した動的環境（12 状態）において、単一ポリシーのベースラインは 68% から 79% の試行で失敗しました。PL-CBF は、65 の機動（64 の回避＋1 の名义）のライブラリを使用することで失敗率を 0% に削減し、ランタイムは27.9 msでした。論文は、同様の機動選択を行う混合整数 MPC ベースラインが著しく遅かった（688 ms）と指摘しています。

意義と主張

本論文は、PL-CBF が構造化されていない環境における単一の固定フォールバック機動への依存の脆さに対処することを主張しています。ライブラリを通じて多モーダルな安全機動を保持し、オンラインで侵襲性の最も低いオプションを選択することにより、この手法はリアルタイム性能を犠牲にすることなく安全性カバレッジを向上させます。

著者は PL-CBF を、実用的で展開可能な高レート安全性層として位置付けています。彼らは明示的に、この手法が HJ 到達性の計算上の扱いにくさと、従来の CBF のオフライン合成要件を回避することを述べています。その意義は、単一の機動では安全性を保証できない変化する制約や知覚更新に対処する能力にあり、これにより保守性を低減し、単一ポリシーフィルタで発生しうる安全性違反を防止します。

論文は控えめに結論付け、将来の作業は学習ベースのアプローチを用いた体系的なポリシーライブラリの構築、モデルの不一致と知覚の不確実性への対処、およびライブラリをオンラインで洗練するための適応メカニズムに焦点を当てると述べています。