技術要約：実時間制約付き最適制御のための随伴変数に基づくニューラルレギュレータ（ANR）

1. 問題設定

非線形システムのリアルタイム制約付き最適制御は、ロボティクスや自律システムにおいて重大な課題を提示している。これには、ミリ秒単位の計算制限の下で、性能と厳格な制約遵守のバランスを取るコントローラが必要となる。

• 非線形モデル予測制御 (NMPC): 効果的ではあるが、NMPCは毎ステップごとにオンラインで制約付き非線形最適化問題を解く必要がある。安全性が重視される場面や高速な動的設定においては、繰り返される最適化とソルバーのレイテンシが、この手法を計算量的に実行不可能なものにする。
• 強化学習 (RL): RLは、計算をオフライン学習に集約することで、高速なオンライン推論を提供する。しかし、標準的なRL手法（例：Soft Actor-Critic）は、サンプル効率、分布外（OOD）条件への汎化、および厳格な制約遵守において困難に直面することが多い。標準的なポリシーに適用される一般的な安全フィルタ（例：制御バリア関数（CBF））は、公称ポリシーが問題の最適性の構造を本質的にエンコードしていない場合、保守的すぎる修正、あるいは過度な修正を招く可能性がある。

対処すべき核心的な問題は、最適制御の最適性の構造を保持しつつ、制約遵守を保証し、かつNMPCのような重いオンライン最適化の負担を負うことなく、学習ベースの手法の計算速度を実現する制御フレームワークの開発である。

2. 手法：随伴変数に基づくニューラルレギュレータ (ANR)

本論文は、直接的な制御則ではなく、ニューラルな随伴変数（共状態）ポリシーを学習する学習ベースのフレームワークである随伴変数に基づくニューラルレギュレータ (ANR) を提案している。このアプローチは、ポントリャーギンの最小原理 (PMP) に基づいている。

A. コアアーキテクチャ

フレームワークは、オフライン学習フェーズとオンライン展開フェーズの2段階で構成される。

1. 共状態パラメータ化 (CoNN):

   • 共状態ニューラルネットワーク (CoNN) と呼ばれるニューラルネットワークは、現在のシステム状態 $x_i$ を有限ホライゾンの共状態軌跡 $\hat{\Lambda}_i = \{\hat{\lambda}_0, \dots, \hat{\lambda}_{N-1}\}$ にマッピングする。
   • RLがポリシー $\pi(u|x)$ を学習するのに対し、CoNNは状態から随伴変数へのマッピングを学習する。これらは、状態に対する値関数の感度を表す。

2. オフライン学習:

   • ロールアウト: 予測された共状態シーケンスが与えられると、制御入力シーケンスはハミルトニアンを各点ごとに最小化することによって導出される。二次形式のコストの場合、これは明示的な制御則 $\hat{u}^*_k = -\frac{1}{2}R^{-1}g^\top(x_k)\hat{\lambda}_k$ を与える。
   • 損失関数: ネットワークは、以下の3項からなる損失を用いてエンドツーエンドで学習される：
     • ステージコスト: ホライゾン全体にわたる走行コスト（$x^\top Q x + u^\top R u$）の総和。
     • 終端コスト: 最終状態におけるコスト。
     • 共状態正則化: 最小ノルムの予測を促すための、共状態軌跡に対する $\ell_1$ ノルムによるペナルティ。
   • 損失は、ネットワークのパラメータを更新するために、ホライゾン・ロールアウトを通じてバックプロパゲーションされる。

3. オンライン展開（リアルタイム制御）:

   • 各時刻 $t_k$ において、CoNNは現在の状態 $x_k$ から共状態シーケンスを予測する。
   • 最初に予測された共状態 $\hat{\lambda}_{0|k}$ が、制御入力の計算に使用される。
   • 安全性と実現可能性: 単純な投影ではなく、制御入力はリアルタイムでの制約付きハミルトニアン最小化問題によって決定される。この最適化には以下が含まれる：
     • アクチュエータの制限 ($u \in \mathcal{U}$)。
     • 高次制御バリア関数 (HOCBF) を通じて強制される状態安全制約。
   • 結果として得られる制御則は以下の通りである：
     $$u^*_k = \arg \min_{u} (u^\top R u + \hat{\lambda}^\top_{0|k} g(x_k) u)$$
     ただし、入力制約および安全性を保証するHOCBF条件に従うものとする。

3. 主な貢献

• 新規フレームワーク: 最適性の学習（随伴変数による）と制約の強制（リアルタイムの制約付き最小化による）を分離するANRの導入。
• 最適性の保存: 行動ではなく随伴変数を学習することにより、本フレームワークは制約付き最適制御問題の間接的な最適性の構造を明示的にエンコードし、標準的なRL-CBF手法における「公称解の後の投影」という欠点を回避する。
• 統一された安全性と実現可能性: ハミルトニアン最小化ステップ内で、HOCBFを用いてハードな状態制約と入力制約を同時に扱うことで、複雑な報酬エンジニアリングを必要とせずに実現可能性を確保する。
• 計算効率: このアプローチは、オンラインの非線形最適化を単一のニューラルネットワーク推論と小さな二次計画問題 (QP) に置き換えることで、NMPCと同等の性能を達成しながら、大幅に削減された計算コストを実現する。

4. 実験結果

フレームワークは、円形障害物を回避しながら参照点へナビゲートする任務を負った、ユニサイクルロボットモデル（動力学 $\dot{x} = v \cos \theta, \dot{y} = v \sin \theta, \dot{\theta} = \omega, \dot{v} = a$）を用いて評価された。比較対象として、NMPC (IPOPTを使用) および RL (HOCBF-QP安全フィルタを備えたSoft Actor-Critic) が用いられた。

パフォーマンス指標

• 計算速度:
  • RL: 最速（~0.5 ms）。
  • ANR: ~1.2–1.4 ms（NMPCより約250倍高速）。
  • NMPC: ~350–1200 ms（シナリオの複雑さに依存）。
• 汎化性能 (分布外/OOD):
  • RL: 学習ドメイン内の範囲内であっても、未知の初期状態や参照に対して信頼性の高い汎化ができず、成功率が低くなった（例：インドメインテストで成功率30%程度、OODテストでは完全に失敗）。
  • ANR: 未知のシナリオ（未知の初期状態や非ゼロの参照を含む）に対して、ほぼ不変の性能を示した。成功率はNMPCと同等であった（例：OOD障害物シナリオにおいて98%の成功率）。
• 精度:
  • ANRは、RLがオーバーフィットしたインドメインのケースではRLよりわずかに高いものの、NMPCと同等の絶対収束誤差 (ACE) および平均二乗微分 (MSD) を達成した。
  • OODシナリオにおいて、ANRはRLを大幅に上回った（RLは目標到達や制約遵守に失敗した）。

具体的な知見

• 障害物のないOODシナリオにおいて、ANRは計算コストを2桁低く抑えつつ、NMPCと同等の性能を発揮した。
• 障害物が密集したシナリオにおいて、ANRはRLが失敗する中で高い成功率（ランダム化された高密度障害物テストで98%）を維持した。
• ANRは、RLのベースラインが過去の低いパフォーマンスにより評価されなかった、OOD設定における非ゼロ参照追従タスクを正常に処理した。

5. 意義と主張

本論文は、ANRフレームワークが、学習ベースの制御の計算効率と、最適制御理論の厳格な最適性および安全性保証との間の溝を埋めることに成功したと主張している。

• 意義: この手法は、高速な動的システムや安全性が重要なロボティクスなど、ミリ秒単位の制御決定が求められるアプリケーションにおいて、NMPCに代わる実行可能な選択肢を提供する。
• 堅牢性: 標準的なRLとは異なり、ANRはPMPの構造的特性を利用することで、未知の初期条件や参照に対して効果的に汎化する。
• 安全性: HOCBFをハミルトニアン最小化に直接組み込むことにより、本フレームワークは、事後的な安全フィルタを非最適な公称ポリシーに適用する場合の構造的な限界を受けることなく、状態および入力制約の厳格な遵守を保証する。

著者らは、提案されたアプローチが、NMPCのわずかな部分の計算コストでNMPCと同等の性能を達成し、かつ学習分布外の領域においてRLを大幅に上回ることを結論付けている。今後の課題として、動的障害物および高次元システムへの拡張が挙げられている。