Learning Local Optimal Controller for a Class of Nonlinear Systems via Impulse-Supervised Exploration

技術要約：インパルス監視型探索による一連の非線形システムに対する局所最適制御器の学習

問題定式化
本論文は、連続時間近似動的計画法（ADP）を用いて、二次の非線形システムの一連のクラスに対する最適制御ポリシーを学習するという課題に取り組んでいる。ADPおよび強化学習（RL）は、ハミルトン・ヤコビ・ベルマン（HJB）方程式の解の近似を行うことで最適制御問題を解決する強力な枠組みを提供するが、非線形システムにおいては、**持続的励起（Persistence of Excitation: PE）**の必要性という決定的なボトルネックが存在する。

連続時間ADPにおいて、PEはクリティック（Critic）ニューラルネットワークの重みが理想的な値に収束することを保証するために必要である。しかし、PEを強制することは通常、大きな状態偏差を引き起こす。非線形システムの場合、このような偏差は問題となる。なぜなら、最適値関数はしばしばダイナミクスの局所線形化を用いて近似されるからである。励起信号によって状態軌跡が平衡点から離れすぎると、局所線形近似が無効になり、システムの不安定化や、軌跡が有効領域を逸脱する「有限逃逸（finite escape）」を招く可能性がある。既存の手法である同時学習（concurrent learning）は豊富なオフラインデータを必要とするが、そのようなデータは必ずしも利用可能ではない。本研究の目的は、状態軌跡を線形近似が成立する領域内に厳密に閉じ込めつつ、線形モデルに対する局所最適制御ポリシーを学習することである。

手法
著者らは、連続時間ADPとインパルス制御の監視層を統合した、**インパルス監視型閉じ込め探索フレームワーク（impulse-supervised confined exploration framework）**を提案している。核となる手法は、以下のコンポーネントで構成される。

1. システムモデルと局所線形化： システムは $\dot{x} = F(x) + G(x)u$ としてモデル化され、ドリフト項 $F(x)$ は線形部分 $Ax$と高次非線形項$\phi(x)$に分解される。制御目的は、原点の小さな近傍$S_1$ 内における局所的な線形時不変（LTI）近似 $\dot{x} = Ax + Bu$ に対する最適ポリシーを学習することである。
2. ADPフレームワーク： クリティックニューラルネットワークは、最適値関数 $J^*(x) \approx \hat{W}^T \sigma(x)$ を近似する。重み $\hat{W}$ は、ベルマン残差を最小化するために正規化勾配則を用いてオンラインで更新される。PE条件を満たすために、制御入力に持続的励起信号 $u_{PE}$ が加えられる。
3. インパルス監視層： 励起信号による状態の逸脱を防ぎ、有効領域 $S_1$ 内に留めるため、本フレームワークはインパルス制動入力を採用している。これらの入力は、特定の時刻 $t = \tau_k$ において適用されるディラックのデルタ関数としてモデル化される。
   • メカニズム： インパルス入力は速度状態（$x_2$）に対して瞬時に作用し、位置状態（$x_1$）は変化させずに、速度をゼロ（$x_2^+ = 0$）にリセットする。
   • 効果： この「制動」作用は、リアプノフ関数 $V(x) = x_1^2 + x_2^2$ の値を減少させ、ジャンプ後の状態が閉じ込め集合 $S_1$ 内に留まることを保証する。
4. ハイブリッドオートマトン定式化： 閉ループシステムは、以下の4つの離散モードを持つハイブリッドオートマトンとしてモデル化される。
   • $q_1, q_2$： 連続的な進化。ADP制御と重み適応が活性化されている状態（内側集合 $S_2$ および外側アニュラス $S_1 \setminus S_2$ 内）。
   • $q_3$： 境界レジーム。軌跡が $\partial S_1$ に到達した状態。
   • $q_4$： 制動後の回復フェーズ。制御と重み適応が中断され、システムは無制御のダイナミクス下で自律的に進化し、$S_2$ に再突入するまで続く。
   • 遷移： 状態トリガーによるガード関数が、インパルス制動が発生するタイミング（軌跡が外向きの速度を持って $\partial S_1$ に衝突したとき）および、学習モードと回復モードの間の切り替えを決定する。

主な貢献

• インパルス監視型探索： 本論文は、インパルス制動が集合の不変性を強制するための監視制約として機能する、新しいメカニズムを導入している。制御入力にハードな制約を課すことが多い安全制約付きRLとは異なり、この手法は離散的なリセットを用いて状態を閉じ込めることで、線形モデルの妥当性を損なうことなく、学習に必要な積極的な励起を可能にする。
• 学習のためのハイブリッドダイナミクス： 本研究は、連続時間ADPと状態トリガー型のインパルスリセットを組み合わせた理論的枠組みを確立している。これにより、結果として得られるハイブリッド閉ループシステムが、閉じ込め探索集合 $S_1$ を**正の不変集合（positively invariant）**にすることを証明している。
• 理論的保証： 著者らは、インパルス制動マップがリアプノフ関数に対して非膨張的であることを証明し、状態が $S_1$ から決して逸脱しないことを保証している。さらに、連続するインパルス間の時間がゼロから離れて下限を持つことを示し、ゼノ現象（Zeno phenomenon）を排除している。

シミュレーション結果
提案されたフレームワークは、非線形機械システム（3次の非線形性を持つマス・スプリング・ダンパ）を用いて検証された。

• 閉じ込め： シミュレーション結果は、探索プロセス全体を通じて状態軌跡が集合 $S_1$ 内に厳密に閉じ込められていることを示している。励起信号によって軌跡が境界に接近するたびに、インパルス制動がトリガーされ、速度がリセットされ、状態が内部へと引き戻された。
• 収束： クリティックの重みは、局所線形モデルに対する代数リカッチ方程式から導出された最適重みに極めて近い値に収束した。重みは回復フェーズ（モード $q_4$）の間は一定に保たれ、探索フェーズの間は更新された。
• 比較： インパルス監視層を用いない比較シミュレーションでは、軌跡が線形妥当領域を逸脱し、システムの不安定化と有限逃逸を招いた。これにより、閉じ込めメカニズムの必要性が浮き彫りになった。

意義と主張
本論文は、このアプローチがADPにおける持続的励起の必要性と、非線形制御における局所妥当性の要求との間の溝を埋めることに成功したと主張している。探索を線形近似が有効な近傍内に閉じ込めることで、本手法は、大きな状態偏差のリスクにより本来は達成困難な、局所最適制御器の学習を可能にする。

著者らは、現在の研究が局所線形ダイナミクスの知識を前提としていること、およびインパルス入力が理想化されていることを控えめに述べている。今後の方向性として、フレームワークをモデルフリーのシナリオ、高次元システム、および実用的なインパルス入力の近似（例：高ゲインフィードバックやソレノイドブレーキ）を用いた実験的検証へと拡張することを挙げている。本研究は、一般的な安全性制約よりも、学習の妥当性のための閉じ込めに焦点を当て、インパルス制御を特定の監視ツールとして利用している点で、「セーフRL（Safe RL）」と区別される。