Learning Safe-by-Design Neural Network Controllers

技術概要：安全設計に基づくニューラルネットワーク制御器の学習

問題定義
ニューラルネットワーク（NN）は、複雑で高次元の非線形ダイナミクスを処理するためのフィードバック制御方策として、ますます活用されるようになっている。しかし、純粋に学習された制御器は、形式的な安全性保証を欠くことが多く、衝突回避やアクチュエータ制限といった重要な制約に違反する可能性のある動作を生成する恐れがある。一般的な緩和策として、事前学習された制御器に、通常は制御バリア関数（CBF）に基づく安全性フィルタを追加するアプローチが取られる。標準的な枠組みでは、このフィルタは、CBF 候補 $h(x)$ と拡張クラス-$\mathcal{K}$ 関数 $\alpha(\cdot)$ によって定義される安全性制約を強制するために、オンラインで二次計画（QP）を解く。

この分離された設計には、2 つの主要な限界が存在する：

1. 保守性と最適性の欠如： $\alpha(\cdot)$ 関数は、しばしば手動で調整されたパラメータを伴って固定される（例：$\alpha(h) = \omega h$）。調整が不適切だと、過度に保守的な挙動を招き制御性能を低下させるか、あるいは攻撃的な調整は安全性違反のリスクを高める。
2. 計算オーバーヘッド： 実行時に QP を解くことは、計算遅延と信頼性に関する懸念をもたらす。特に高次元の状態空間や多数の制約を持つシステムにおいて、リアルタイム展開を妨げる。

BarrierNet や CAffNet といった最近の研究は、学習プロセスに安全性を統合しようとするが、これらは高価なオンライン QP レイヤーを保持するか、あるいは多数の制約によって定義される実行可能集合への出力の射影が指数的な複雑さを伴うため、スケーラビリティの問題に直面している。

手法
著者は、「安全設計（Safe-by-Design）」の枠組みを提案する。これは、ニューラルネットワーク制御器とニューラルネットワークでパラメータ化された CBF 条件を共同で学習し、制御器アーキテクチャに直接安全性制約を埋め込むことで、オンライン QP ソルバの必要性を排除するものである。

1. CAffNet-Lite アーキテクチャ：
   中核的な貢献は、既存の CAffNet アーキテクチャの軽量な拡張である CAffNet-Lite である。これは、制約アフィン層と学習可能な射影モジュールを統合し、状態依存のアフィン制約 $A(x)u \leq b(x)$ を構成上満たすものである。

   • 軽量な制約分解： 有効な制約のすべての可能な組み合わせを列挙し、指数的な複雑さ $O(2^{n_c})$ を招く CAffNet とは異なり、CAffNet-Lite は縮小された分解戦略を採用する。これは、最小次数（$k=1$）または最大次数（$k=\min(n_c, m)$）を持つ部分制約のみを考慮する。これにより、最悪の場合の複雑さを多項式 $O(n_c^m)$ に削減し、多数の制約を持つシステムのスケーラビリティを大幅に向上させる。
   • 射影メカニズム： ネットワークは制約のない制御信号 $f_\theta(x)$ を出力する。この信号が制約に違反する場合、射影層は部分制約超平面への射影によって実行可能な候補集合を計算する。最終出力は、制約を満たす場合は制約のない信号となり、そうでない場合は最も近い実行可能な射影となる。これにより、フルランクまたは線形独立な制約を必要とせずに、ハード制約の満足が保証される。

2. CBF パラメータの共同学習：
   減衰関数 $\alpha(\cdot)$ を固定する代わりに、この枠組みはそれを学習可能なニューラルネットワークパラメータ化 $\alpha_\vartheta(x, h(x))$ に置き換える。これにより、システムは制御器の挙動とシステムダイナミクスに適応する「最適減衰」特性を学習できる。安全性制約は以下のように定式化される：
   $$A(x)u \leq b_\vartheta(x)$$
   ここで、$b_\vartheta(x)$ は学習された $\alpha_\vartheta$ を含む。

3. 理論的保証：
   射影層は $\arg\min$ 演算を含み、不連続な制御信号をもたらす可能性があるため、著者は Filippov 意味 における安全性を確立する。彼らは、結果として生じる区分的連続な制御則が、安全集合の 強前方不変性 を保証することを証明する。これにより、システムが安全集合内で開始すれば、すべての未来の時間においてその集合内に留まることが保証される。

主要な貢献

1. CAffNet-Lite： 制約の数に関して計算複雑性を指数関数的から多項式的に削減しつつ、ハードなアフィン制約の満足と万能近似性を保持する軽量な射影アーキテクチャの導入。
2. 共同最適化： ニューラルネットワーク制御器と CBF パラメータ（特に減衰関数）を共同で学習する枠組み。これにより、オンライン QP ソルバを必要とせずに、構成上安全性制約を満たすことが可能になる。
3. 理論的証明： 提案された制御器が、射影層によって導入される不連続性に対処し、Filippov 意味において安全集合の強前方不変性を満たすことの証明。

実験結果
この枠組みは、2 つのシミュレーションシナリオで評価された：

1. 衝突回避を伴う単一積分器：

   • 設定： 3 つの凸多面体障害物を回避する 2 次元積分器システム。
   • 知見： CAffNet および CAffNet-Lite は、名目制御器に最も近い最低平均コストを達成し、かつすべての安全性制約を厳格に満たした（違反率 0%）。これに対し、標準的な NN や HardNet は制約違反を示し、固定パラメータの QP ベース手法は、過度に保守的（目標到達に失敗）であったり、より高い計算時間を要したりした。
   • 効率性： CAffNet-Lite は CAffNet と同等の性能を達成しつつ、テスト時間を短縮し、軽量分解の効率性を示した。

2. 固定翼機のジオフェンシング：

   • 設定： ジオフェンス制約を強制する 7 状態、3 入力航空機モデル。
   • 知見： CAffNet および CAffNet-Lite の両方とも、ジオフェンスを回避する安全な速度コマンドの学習に成功した。
   • 効率性： CAffNet-Lite は、元の CAffNet と比較して、訓練時間とテスト時間が著しく短く、高次元システムに対する優れたスケーラビリティを確認させた。コストの観点では、より多くの射影候補を持つ CAffNet がわずかに速く収束したが、CAffNet-Lite はリアルタイム適用性にとってより良いトレードオフを提供した。

意義と主張
本論文は、アフィン安全性制約をニューラル制御器に直接埋め込み、CBF パラメータを共同で学習することで、提案手法が固定パラメータフィルタの保守性とオンライン QP ソルバの計算負担を克服すると主張している。著者は、CAffNet-Lite が、ハード安全性制約を構成上保証する、スケーラブルでリアルタイム展開可能なソリューションを提供すると強調している。この研究は、安全性が事後の考慮事項や実行時フィルタではなく、学習された方策の内在的な特性である「安全設計（Safe-by-Design）」制御への一歩として位置づけられている。著者は控えめに、今後の研究として、より広範な制約クラスへの枠組みの拡張と、実世界システムにおける性能評価を検討すると述べている。