CALOS: Control-Affine Lyapunov On-manifold Safety Layer for Safe Deep Reinforcement Learning for Quadrotors

技術要約：CALOS – 制御アフィン・リアプノフ・オンマニフォールド安全層

問題提起
深層強化学習（DRL）はクアッドロータの制御において顕著な能力を示しているが、学習中およびデプロイメント時における安全制約に関する形式的な保証が欠如している。既存の安全なDRL手法は、永続的な緊張関係に直面している。すなわち、制約付きマルコフ決定過程（CMDP）は学習を不安定化させる可能性があり、一方で実行時のフィルタ（シールドまたは制御バリア関数）は、アクションを過度に修正しすぎると勾配信号を劣化させる可能性がある。さらに、現在のアーキテクチャの限界により、複数の安全証明を共同で最適化することが困難である。ATACOMのような手法はアクションを制約マニフォールドに投影するが、回転の散逸に関するエネルギーベースの証明を欠いている。また、リアプノフベースの手法は制約を独立して扱うことが多く、一つの制約を満たそうとする際に別の制約を違反するリスクがある。これらの手法を逐次的に合成しても、結合された実現可能性を保証することはできない。特に、大きな追従誤差により最大制御能力が必要な場合、逐次的なスケーリングはしばなしばしば制御出力を無効化してしまう。

手法
本論文では、標準的なDRLアルゴリズム（具体的には近接方策最適化、PPO）の学習アルゴリズム自体を変更することなく、その上に透明に動作する実行時安全層であるCALOS（Control-Affine Lyapunov On-manifold Safety）を提案する。CALOSは、名目上のトルク出力に対する最小ノルム修正を計算するために、単一の二次計画法（QP）を用いて、姿勢チルト制約とリアプノフ安定条件を統合する。

1. チルト制約（予測的チルト投影）:
   オイラー角の特異点を回避するため、姿勢はボディフレームにおける重力ベクトル（$g_b$）で表現される。シンプレクティック・オイラー離散化を用いることで、将来の重力ベクトルを制御トルクの型のアフィン関数としてモデル化する。この定式化により、ロールおよびピッチの制限（$\phi_{max} = \theta_{max} = 60^\circ$）を4つの線形不等式（$A_{PTP}\tau \le b_{PTP}$）として課すことが可能になる。

2. リアプノフ制約:
   リアプノフ関数 $V(x)$ は、チルト誤差と角速度に基づいて定義される。この層は、減衰条件 $\dot{V} \le -cV$ を強制する。回転力学の制御アフィン特性により、これは単一の線形不等式（$A_L\tau \le b_L$）へと変換される。これにより、回転エネルギーの散逸が保証される。

3. 統合された定式化:
   チルト投影の後にリアプノフ・スケーリングを適用する逐次的なアプローチ（誤差が大きい場合にトルクの無効化を招く可能性がある）とは異なり、CALOSは5つの線形制約（4つのチルト制約と1つのリアプノフ制約）を単一のシステムにスタックする。安全層は以下を解く：
   $$\tau^\star = \arg \min_{\tau \in \mathbb{R}^3} \frac{1}{2} \|\tau - \tau_0\|^2 \quad \text{s.t.} \quad A(x)\tau \le b(x)$$
   ここで、$\tau_0$ は方策からの名目上のトルクである。

4. ソルバー:

   • CALOS-P: 減衰疑似逆行列による投影近似。すべての制約を共同で強制するが、厳密な最小ノルム解を保証するわけではなく、大規模な並列学習のための速度を優先する。
   • CALOS-QP: 3次元トルク空間を活用する厳密なソルバー。すべての可能なアクティブセット（26個の候補）を列挙し、カルシュ・クーン・タッカー（KKT）条件を満たす厳密な最小ノルム解を見出す。実現可能な解が存在しない場合は、アクチュエータのクランプを伴う未修正の方策アクションにフォールバックする。

主な貢献

• 統合された安全層: チルト制約とリアプノフ安定性を単一のQPステップで共同最適化する初の実行時層であり、逐次的合成に伴う実現可能性の問題を回避する。
• リアルタイムのスケーラビリティ: 厳密なソルバー（CALOS-QP）は、現代の超並列DRL学習の要件である数千の並列シミュレーション環境全体で実行できるほど計算効率が高い。
• 学習軌道におけるゼロ違反: 制約を学習中に厳格に強制することで、エージェントが状態空間の不安全な領域を探索することを防ぐ。

実験結果
NVIDIA Isaac Labを用いた軌跡追従タスクにおいて、CALOSを、制約なしのPPO、スタンドアロンのチルト投影（PTP）、スタンドアロンのリアプノフ・スケーリング、および両方の逐次カスケードと比較評価した。

• 追従性能: CALOS-PおよびCALOS-QPは、学習軌道において、制約なしのPPOベースラインに対して横方向の追従誤差を**55～60%**減少させた。大きな初期位置オフセットを持つ未知の軌跡においても、CALOS変種は誤差を0.08 m未満に維持したが、リアプノフ法およびカスケード法はトルクの無効化により追従に失敗した。
• 安全指標: 学習軌道において、CALOS-QPは姿勢制約の違反ゼロを達成した。極端な初期オフセット下では、違反は最大でも連続3ステップ（CALOS-P）または9ステップ（CALOS-QP）に限定されており、逐次手法では最大27ステップに達した。
• 収束性とデータ効率: 安全な領域に探索を制限することで、CALOSは学習の収束を加速させた。
• 内部化された挙動: CALOSを用いて学習された方策は、テスト時に安全層を無効にした場合でも、より安全かつ正確な挙動を保持しており、PPOで学習された方策よりも横方向の誤差が55～74%低かった。これは、方策が安全制約を正常に内部化したことを示している。

意義
本論文は、CALOSが安全性の強制と学習効率の間のトレードオフを解決することを主張している。安全性を単一の低次元QPとして定式化することで、攻撃的な逐次的修正によって勾配信号が劣化しないことを保証する。この手法により、方策は安全なマニフォード内で最適な挙動を学習することができ、追従性能を犠牲にすることなく、本質的に安全でデータ効率の高い方策を実現する。著者らは、QPの実行可能集合がすべてのテストを通じて空でないままであったことを指摘しており、これは結合定式化の堅牢性を裏付けている。

今後の課題
著者らは、以下の3つの方向性を今後の研究として挙げている。

1. 非ゼロだが実現可能な参照姿勢を追跡する際に不要な介入を避けるための、学習されたタスク指向のリアプノフ証明の開発。
2. 非制御アフィン力学（ローター速度のダイナミクスやブレードフラッピング効果を含むモデルなど）へのフレームワークの拡張。
3. 物理ハードウェア上のモデルの不確実性を扱うための、ドメインランダム化およびデータ駆動型安全フィルタを用いたシム・トゥ・リアル（Sim-to-Real）転送の調査。