技術要約：賢明なる選択：オンラインデータ選択を用いた非線形システムのためのデータ駆動型予測制御

問題提起

制御コミュニティは、明示的なシステムモデルは存在しないものの、データが利用可能な非線形システムの管理を模索している。データ駆動型予測制御（DPC）手法、例えばデータに基づく予測制御（DeePC）は、システム同定をバイパスすることで従来のモデル予測制御（MPC）の「モデルフリー」な代替案を提供するが、標準的なDeePCは線形時不変（LTI）仮定に依存している。この仮定は一般的な非線形システムにおいて著しく損なわれるため、恣意的な性能低下を招く。既存の非線形拡張DeePCには、以下のような重大なトレードオフが存在する：

• 特定の非線形クラス： 特定の非線形構造に特化した定式化は、任意のシステムには存在しない可能性のある強い事前知識を課す。
• タイムウィンドウ方式： 最近のデータのスライディングウィンドウを使用する手法は、緩やかな非線形性と高い信号対雑音比を持つシステムにおいてのみ実用的である。
• カーネル化／リフト化アプローチ： 非線形カーネルやコープマン作用素を用いて予測器を再定式化する方法は、しばしば高次元で非凸な最適化問題をもたらし、オンラインの計算複雑性を増大させ、劣最適な結果を招く。
• サンプリングベースMPC： ゼロ次情報のみを必要とし計算コストは低いが、明示的な出力制約を組み込むための構造化された方法を欠いている。

核心となる課題は、明示的なモデルを必要とせずに非線形ダイナミクスを正確に捉えつつ、最適化問題の凸性を維持（これにより計算の実行可能性と明示的な制約処理を保証）できる、直接的なデータ駆動型非線形予測制御手法を開発することである。

手法：Select-DPC

本論文は、各決定の瞬間に最も関連性の高いデータのみを選択することによって、「軌道空間」においてシステムダイナミクスを暗黙的に線形化する手法である Select-DPC (Select-Data-driven Predictive Control) を提案する。

コア概念

Select-DPCは、後退ホライゾン方式で動作する。すべての決定ステップにおいて大規模な事前収集データセット $D$ を利用する（これは計算量的に不可能であり、グローバルな線形性を仮定している）代わりに、アルゴリズムは反復的に凸二次計画問題（QP）を解く。ソルバーの各反復において、現在の動作点に対して「関連性」のあるデータの部分集合 $\tilde{D} \subset D$ を選択する。

軌道空間： 各次元が離散時間・有限長軌道における入力または出力に対応する高次元空間として定義される。線形化は、この空間において現在のオープンループ解の推定値に空間的に「近い」軌道を選択することによって達成される。

アルゴリズムのワークフロー

1. 初期化： オープンループ軌道をウォームスタートする（例：初期計測値の複製）。
2. 反復的な精緻化：
   • データ選択： 現在の予測 $\tilde{\tau}$ に基づいて、フルデータセット $D$ からサイズ $N_{cols}$ のデータ部分集合 $\tilde{D}$ を選択する。
   • QP解法： 新しい制御入力を生成するために、$\tilde{D}$ のみを用いた標準的なDeePC最適化問題を解く。
   • 収束： 収束条件（許容誤差または最大反復回数）を満たすまでプロセスを繰り返す。
3. 実行： 最初の制御入力を適用し、ホライゾンをシフトさせる。

データ選択戦略

本論文では、関連する部分集合 $\tilde{D}$ を選択するための2つの手法を提案し、比較している：

1. ノルムベース選択： 現在のオープンループ軌道とすべての軌道 $D$ との間の空間距離（例：$L_1$ または $L_2$ ノルム）を計算する。最も近い $N_{cols}$ 個の軌道が選択される。

   • 利点： 直感的であり、実装が効率的で、オンラインでの更新が容易である。
   • 欠点： 高次元の軌道空間における「次元の呪い」の影響を受けやすい。

2. 多様体埋め込みベース選択： 多様体学習（具体的には Isomap）を利用して、測地線距離を保持する低次元の埋め込み空間へと高次元の軌道データを投影する。

   • 利点： 次元の呪いを緩和する。埋め込み空間における距離は、データの固有の非線形構造をより良く反映する。
   • 欠点： 埋め込みを計算するためのオフラインの計算コストが高い（ただし、これは一度限りのコストである）。クエリ軌道のオンラインでの埋め込みが必要となる。

主な属性

• コスト非依存性： データセットの生成は、制御定式化から構造的に独立している。コスト関数や制約は事後的に変更可能であり、新しいデータ収集を行うことなく、新しいタスクへゼロショットで適用できる。
• 凸性： 予測器を局所的な線形データ部分集合に制限することで、結果としての最適化は凸QPのままであり、カーネル化やリフト化アプローチのように非凸になることはない。
• 暗黙的な線形化： モデルベースMPCにおける逐次二次計画法（SQP）と同様に、Select-DPCは明示的なモデルのヤコビアンを用いるのではなく、データを用いて軌道空間内で反復的な線形化を行う。

主な貢献

1. Select-DPCの導入： 凸最適化を維持しながら、軌道空間におけるオンラインデータ選択を通じて暗黙的な線形化を実現する、非線形システムのための直接的なデータ駆動型予測制御器を導入した。
2. データ選択手法： 高次元の非線形データを扱うための、ノルムベースの手法と多様体埋め込み（Isomap）による手法という2つの異なる選択メカニズムを提案し、比較した。
3. 実証的検証： 3つのベンチマーク非線形システム（平面ロケット着陸、平面ロボットマニピュレータ（Reacher）、カートポール倒立振子スイングアップ）において、標準的なDeePCおよびタイムウィンドウ型DeePCに対するSelect-DPCの優位性を実証した。

結果と評価

実験は、3つのシミュレータ（Rocket, Reacher, Cart-Pole）を用いて、Standard DeePC（フルデータセットを使用）およびTime-Windowed DeePCと比較して行われた。

1. 再利用可能なロケット着陸

• 性能： Standard DeePCおよびTime-Windowed DeePCはシステムの安定化に失敗するか、発散した。Select-DPCはロケットを目標値に安定させることに成功した。
• データセット： 「IIDデータ」（主に線形な挙動）と「ランダムウォークデータ」（高度に非線形な励起）の両方でテストされた。
  • IIDデータにおいて、Select-DPCはStandard DeePCと比較して閉ループコストを1.9倍削減した。
  • Random Walkデータにおいて、Standard DeePCは安定化に失敗したが、Select-DPCは成功した。
• 予測精度： 両方の選択手法（NormおよびIsomap）は、フルデータセットやランダムなスケッチングを使用した場合と比較して、ホールドアウト検証セットにおいてより低い累積残差を示した。
• 計算量： Select-DPCは、より小さなQPを解くことにより、Standard DeePCと比較して計算コストを1桁削減した。解時間は $N_{cols}$ に対して二次的にスケールする。

2. 平面ロボットマニピュレータ (Reacher)

• 性能： Select-DPCはエンドエフェクタの参照軌跡の追従に成功したが、Standard DeePCおよびTime-Windowed DeePCは収束に失敗した。
• 制約： 本手法は、コントローラや新しいデータへの構造的な変更なしに、事前には未知であった出力制約（例：特定の領域の回避）を扱うことで、ゼロショット汎用性を示した。
• アブレーション： ランダムなスケッチングはこの環境で完全に失敗したが、特定のサブセットサイズ（$N_{cols}$）を選択することで、予測精度と計算負荷のバランスを取る「スイートスポット」が見出された。

3. カートポール倒立振子スイングアップ

• タスク： 安定した下向き平衡状態から、不安定な上向き平衡状態への遷移。
• 性能： Standard DeePCは安定した平衡点の周りで振動し、スイングアップに失敗した。Select-DPCは、データセット内の劣最適なデモンストレーションから学習し、スイングアップを実行して振子を安定させることに成功した。
• メカニズム： コントローラは単一の軌跡をコピーするのではなく、各ソルバーの反復において複数の軌跡セグメントを線形結合することで、スイングアップ動作を構築した。

意義と主張

本論文は、Select-DPCが凸データ駆動型制御の実行可能性と、非線形システムへの性能要求との間の溝を埋めるものであると主張している。その意義は以下の通りである：

• 明示的な制約処理： サンプリングベースのMPCや強化学習（RL）手法が構造化された出力制約の扱いに苦慮するのに対し、Select-DCIは凸最適化を介してハード制約を強制する能力を保持している。
• スケーラビリティ： 関連するデータをサブサンプリングすることにより、大規模なデータセットに対しても良好にスケールする。これは、フルデータセットを使用する場合の超線形的な解法時間を回避する。
• 非線形能力： 明示的なモデルや複雑なカーネル化、あるいは非凸最適化を必要とせずに、DPCを非線形領域へと拡張する。
• ゼロショット適応性： データ収集と制御設計の分離により、同じデータセットを（制約あり vs 制約なしの追跡など）異なるタスクに再利用することが可能である。

限界

著者らは以下の限界を認めている：

• 計算コスト： 現在の実装ではステップあたり200〜400ミリ秒を要するため、極めて動的なアプリケーションへの使用は制限される。
• メモリフットプリント： 大きな予測ホライゾンやデータセットは、メモリ制約に抵触する可能性がある。
• ハイパーパラメータ・チューニング： 満足のいく性能を得るには、$N_{cols}$ やホライゾン長などのハイパーパラメータの調整が必要であり、多様なタスクにおけるその能力に関する大規模な経験的研究は今後の課題である。