Learned Lyapunov Shielding for Adaptive Control

技術的概要：Euler–Lagrange 系における安全な残差強化学習のための学習済み Lyapunov 証明書

問題定義
Slotine–Li 制御器のような Euler–Lagrange 系の適応制御器は、剛体ダイナミクスの線形パラメータ化可能性と、質量、コリオリス力、重力項に関する事前知識に依存している。しかし、実際のロボットシステムは、摩擦のヒステリシス、関節の弾性、ソフトボディ効果など、明確なパラメータ化を困難にする未モデルの非線形性をしばしば示す。強化学習（RL）はこれらの残差を学習する道を提供するが、標準的な RL は形式的な安定性の保証を欠き、安全性が重要な制御タスクに適用された場合、収束に失敗することが多い。学習済み Lyapunov 関数への既存のアプローチは、しばしば tanh 活性化関数を持つ MLP などの汎用的なニューラルアーキテクチャに依存しており、正定値性を保証するために事後検証や複雑な最適化を必要とし、展開時に実行不可能な安全フィルタにつながる傾向がある。

手法
著者は、Slotine–Li 適応制御器を、制約付き Soft Actor–Critic（SAC）方策に統合された 3 つの学習コンポーネントで拡張するフレームワークを提案する。

1. 構造化された二次 Lyapunov 関数（$V_\psi$）: 汎用的なニューラルネットワークの代わりに、Lyapunov 候補は $V_\psi(x) = x^\top P_\psi(x) x$ としてパラメータ化され、ここで $P_\psi(x) = L_\psi(x)L_\psi(x)^\top + \epsilon I$ である。$L_\psi$ は下三角行列の MLP である。この Cholesky パラメータ化により、正定値性が構成上保証される。
2. 残差 SAC 方策: Soft Actor–Critic エージェントは、解析的な Slotine–Li ベースラインを補正する有界な残差トルク $\Delta \tau$ を学習する。方策は、Lyapunov 減少違反に関する制約の下で報酬（追跡性能）を最大化するように訓練される。
3. 物理情報ニューラルネットワーク（PINN）: ネットワーク $f_\theta$ は未モデルのダイナミクス（残差）を推定し、Euler–Lagrange 方程式の構造を強制する物理損失を通じて訓練される。このモデルは、安全フィルタのためのドリフト場を推定するために使用される。

安全フィルタと安定性メカニズム
中核的な革新は、単一のアフィン制約 $\dot{V}_\psi + \alpha V_\psi \leq 0$ から導出された閉形式の安全フィルタである。システムダイナミクスが制御に対してアフィン（$\dot{x} = h(x) + g(x)\tau$）であり、$V_\psi$ が二次であるため、制約は $\tau$ に対して線形となる（$b(x)^\top \tau \leq c(x)$）。

• 閉形式射影: フィルタは、任意の生方策出力 $\tau_{raw}$ を単純なユークリッド射影を通じて安全な半空間に射影し、オンラインの二次計画法（QP）ソルバの必要性を回避する。
• 実行可能性条件: 論文は、制御権限が消失する集合 $Z$（$b(x)=0$）上で「ドリフト減衰条件」が成り立つ場合、このフィルタが全球的に実行可能であることを証明する。具体的には、自然なドリフトダイナミクスがすでにこの集合上で Lyapunov 減少的である必要がある。
• ロバスト性: ロバストなフィルタのバージョンは、PINN 近似誤差（$\delta$）と $V_\psi$ の勾配 bound（$L_V$）を組み込み、学習されたダイナミクスモデルが不完全であっても安定性を保証する。

主要な貢献
本論文は、5 つの理論的および実証的な貢献を確立する。

1. 閉形式の実行可能性: 構造化された二次パラメータ化は、閉形式解を持つ単一制約 QP を生み出す。著者は、検証可能なドリフト減衰条件の下で全球的な実行可能性を証明する（定理 4）。
2. 安定性の保証: 完全なシールディングの下で指数安定性が証明される。また、安定性マージンが PINN 近似誤差に明示的に依存するロバストな拡張が提供される（定理 13）。
3. 収束性: 方策、Lyapunov 証明書、ラグランジュ乗数の同時更新が、3 タイムスケール確率近似法を用いて KKT 点へほぼ確実に収束することが示される（定理 10）。
4. 汎化: PAC（Probably Approximately Correct）汎化境界が導出され、有限サンプルに基づいてコンパクト集合上で学習された Lyapunov 関数を認証する（命題 14）。
5. 実証的検証: 2 自由度マニピュレータと 7 自由度 Franka Emika Panda における広範な実験により、フレームワークの有効性とスケーラビリティが実証された。

実験結果

• 2 自由度マニピュレータ: 非線形摩擦と可変ペイロードを持つシステムにおいて、学習済み Lyapunov 証明書が性能向上の主要な源として特定された。解析的な Slotine–Li ベースラインと比較して、提案手法は、名目摩擦下で追跡誤差を41%、訓練分布の重心における過激な摩擦下で**24%**削減した。アブレーション研究により、学習済み証明書（$V_\psi$）が、PINN や SAC 方策単独よりもはるかに大きな利益を提供することが確認された。
• 7 自由度のスケーラビリティ: 7 自由度 Franka Panda（35 次元状態空間）に関する研究は、完全なパイプライン（Transformer ベースの PINN、構造化された $V_\psi$、閉形式シールド）が産業規模でクリーンに収束することを確認した。真のダイナミクスへのアクセスを持つ正確な計算トルクベースラインと比較した場合、フレームワークはベースラインの**1.7%**以内の追跡を達成し、ベースラインがすでに最適である場合、これが性能向上装置ではなく認証済み安全フィルタとして機能することを確認した。
• 失敗モード: 研究は、特定の報酬構造の下で訓練された証明書が新しい報酬目標に対して敵対的になる「ウォームスタート病理」を特定し、新しい初期化が必要であることを示した。また、$\nabla V_\psi \approx 0$ となる状態近傍での数値的不安定性を指摘し、トルク増幅を防ぐためのゲーティングメカニズムの必要性を述べた。

意義と主張
本論文は、構造化された二次パラメータ化が、フレームワーク全体を可能にする中心的な設計選択であると主張する。構成上正定値性を保証することで、オンライン最適化なしで実行可能性を保証する計算効率の高い閉形式安全フィルタを可能にする。この研究は、学習コンポーネントが厳密な安定性保証を維持しつつ、未モデルのダイナミクスを処理するために古典的適応制御に統合できることを実証している。著者は、フレームワークの価値は、いかなる単一コンポーネントの孤立ではなく、形式的な安全制約下での方策、証明書、ダイナミクス残差の共同学習にあると強調している。結果は、解析的ベースラインがすでに完璧ではなく、訓練分布が運用範囲をカバーしている限り、そのようなフレームワークはマニピュレータのスケールを超えて実用的に使用可能であることを示唆している。