技術要約：ニューラルネットワークを用いた参照追従制御器の過渡性能向上

問題設定

参照追従（リファレンス・トラッキング）は、電力システム、ロボティクス、航空宇宙などの領域における制御システムの根本的な目的である。従来のコントローラ（PIDなど）は定常状態の精度を保証する一方で、非線形性や外乱が存在する場合に、エネルギー消費の最小化、オーバーシュートの低減、障害物の回避といった過渡性能指標を明示的に最適化することには失敗することが多い。

非線形な追従を強化するための既存のアプローチには、モデル予測制御（MPC）があるが、これは柔軟性に富む一方でリアルタイムでの計算コストが高い。適応制御は、局所的な保証しか提供できないことが多い。また、ニューラルネットワーク（NN）ベースの手法は、閉ループの安定性と性能の保証に欠けている。著者らは、ニューラルネットワークの柔軟性を活用して任意の過渡コスト関数を最適化しつつ、$L_p$安定性と参照追従特性を厳密に維持するフレームワークを開発することで、このギャップを埋めることを目指している。

手法

本論文では、既存のパフォーマンス向上（PB）フレームワークを参照追従タスク向けにカスタマイズした、**rPB（reference Performance Boosting）**を導入している。この手法は、内部モデル制御（IMC）アーキテクチャと以下の主要な理論的ステップに基づいている。

1. 追従コントローラの完全なパラメータ化:
   著者らは、与えられたベースライン・コントローラの追従特性を維持する非線形コントローラの完全な集合を特徴付けている。彼らは、このようなコントローラはすべて、IMC構造内における自由因果演算子 $M$ によってパラメータ化できることを示している。この構造において、制御入力 $u$ は $u = M(\hat{w}, x_{ref})$ として計算される。ここで、$\hat{w}$ は、実際のシステム状態と公称モデルの予測との差から導出された外乱の内部推定値である。

2. 安定性と追従の保証:

   • 完全モデルの場合: 演算子 $M$ が $\ell_p$ 入力に対して $\ell_p$ 信号を生成する場合、閉ループシステムはベースラインシステムの $L_p$ 安定性を維持し、集合 $X_{ref}$ 内の任意の参照信号に対して漸近的な参照追従を保証する。
   • モデル誤差に対するロバスト性: 本フレームワークは、不完全なモデル知識を扱うように拡張されている。モデル誤差を、増分有限利得 $\ell_p$ 安定（i.f.g $\ell_p$-stable）演算子としてモデル化することにより、著者らは、$M$ の増分利得がモデル誤差およびシステムダイナミクスの利得に対して十分に小さい場合に、参照追従が維持されることを証明している。

3. ニューラルネットワークの実装:
   最適化を扱いやすくするために、無限次元の演算子 $M$ を2つのコンポーネント $M = M_1 \circ M_2$ に分解する。

   • $M_1$ は、安定性を確保するために、パラメータ化された $L_p$ 安定演算子のクラス（具体的には、収縮型リカレント平衡ネットワークまたはREN）から選択される。
   • $M_2$ は、参照信号を扱うための、出力が有界な（例：シグモイド活性化関数を用いた）多層パーセプトロン（MLP）である。
     この分解により、問題はネットワークパラメータ $\theta$ に関する無制約最適化へと再定式化される。著者らは、追従誤差、衝突、およびその他の過渡コストをペナルティとして課す有限ホライゾン損失関数を最小化するために、バックプロパゲーション・スルー・タイム（BPTT）を利用している。

主な貢献

• rPBフレームワーク: 安定性の制約から性能最適化を切り離した、参照追従に特化した新しいニューラルネットワーク制御手法の導入。
• 汎用性: 特定の参照信号ごとに再学習が必要となる標準的なPBとは異なり、rPBの特性付けは特定の追従信号に依存しない。これにより、単一の学習プロセスで幅広い参照信号に対して汎用的に動作させることが可能となる。
• ロバスト性の保証: モデル誤差が特定の増分安定条件を満たす限り、参照追従の保証が維持されるという理論的証明。
• 無制約最適化: 制約付きの非線形最適制御問題を、ニューラルネットワークパラメータに関する無制約問題へと変換する定式化により、効率的な勾配ベースの最適化手法の使用を可能にした。

実験結果

著者らは、非線形な抗力を受ける2つの質点ロボットを含む、協調ロボティクスのシミュレーションシナリオを用いてrPBフレームワークを検証した。

1. 標準的なPB（bPB）との比較:
   「狭い通路」タスクにおいて、特定のターゲットペアに対して学習された標準的なPBコントローラは、新しいターゲット構成に対して汎用できず、障害物との衝突が発生した。対照的に、分布された参照ペアに対して学習されたrPBは、未知のターゲットに対しても衝突のない、準最適な軌道を生成することに成功し、優れた汎用性と過渡性能を示した。

2. 複雑な環境（山脈）:
   障害物が配置されたより複雑な環境において、rPBは2,000回のロールアウトを用いて学習された。結果として、コントローラは経路長を最小化するために様々な障害物の隙間を通り抜けることができた。初期条件とターゲットが変化する500のテストシナリオ全体を通じて、rPBコントローラは衝突ゼロを達成したが、ベースライン・コントローラのみでは衝突が発生した。システムは、ベースラインの定常追従能力を維持しながら、過渡挙動（障害物の回避）を最適化することに成功した。

重要性と主張

本論文は、rPBが、形式的な安定性保証を犠牲にすることなく、非線形参照追従問題における一般的な過渡コストを最適化するための原理的な方法を提供すると主張している。その主な意義は、以下の能力にある：

• 過渡挙ルの最適化: 従来のコントローラでは扱うことができない、複雑で非凸なコスト関数（例：障害物回避）を明示的に最小化できる。
• 安全性の確保: 高度な表現力を持つニューラルネットワークモデルを使用する場合でも、$L_p$ 安定性と参照追従の保証を維持する。
• 効率的な汎用化: 単一の学習フェーズによって、幅広い参照信号に対して堅牢な性能を実現し、標準的なPBや他の学習ベースの制御手法における主要な制限事項に対処する。

著者らは、このアプローチが標準的なPBフレームワークよりも大幅な改善であり、安全性と性能最適化の両方が極めて重要となる複雑な実世界のアプリケーションにおいて高い可能性を秘めていると結論付けている。今後の課題として、rPBを分散制御アーキテクチャや入出力表現を持つシステムへ拡張することが示唆されている。