Generalist AI Control: Towards Multi-purpose Adaptive Algorithms

技術要約：汎用AI制御：多目的適応型アルゴリズムに向けて

問題提起
従来の制御工学は、特定のシステムに対して明示的に合成されたコントローラを用いるモデルベース設計のパラダイムに依存している。これらのコントローラは、次数、ダイナミクス、または構造が異なるシステム間では、通常、転移することができない。模倣学習や行動クローニングといった学習ベースのアプローチも台頭しているが、これらは一般に、各システムに対して個別のポリシーを学習させるものであり、多様な動的システム間で共有される構造的特性を活用できていない。さらに、ロボティクスにおける既存の基盤モデルの多くは、知覚・行動レベルで動作しており、制御決定と視覚的特徴を結合させている。これは、感覚モダリティが変化したり、あるいは存在しなかったりする場合の純粋な制御理論的問題への適用性を制限している。解決すべき核心的な課題は、個別のシステム調整やアーキテクチャの変更を行うことなく、不均一なシステム・ファミリー（次数、安定性、線形性が異なるもの）を制御できる、単一の統一された制御ポリシーの開発である。

手法
著者らは、状態空間ドメインで直接制御ポリシーを学習する学習ベースのフレームワークである**汎用コントローラ（Generalist Controller）**を提案する。このアプローチは、エンボディメント（具現化）によって視覚的特徴は変化するものの、動的システムの根底にある数学（状態空間表現）は不変であるという洞察に基づいている。

• 入力表現： コントローラは、状態測定の履歴、参照軌道、および離散的なシステム・タグ（$\phi_i$）を受け取る。システム・タグは、制御対象となる特定のシステムを示すラベル付きの識別子であり、モデルは観測のみからシステムの同一性を推論することはない。
• 動的状態空間表現： 様々な次元（次数）のシステムを扱うため、本アーキテクチャは**妥当性マスキング（validity masking）**を用いた動的な状態空間表現を採用している。状態ベクトルは最大次元（$n_{max}$）までゼロパディングされ、バイナリマスクによって実際の状態とパディングされたゼロを区別することで、単一のネットワークが異なるサイズの入力を処理することを可能にしている。
• アーキテクチャ：
  • 特徴量エンコーディング： 並列エンコーダが、マスクされた状態履歴、参照軌道、およびシステム・タグを、統一された潜在特徴ベクトルへと処理する。
  • 時間的処理： マルチスケール時間プロセッサは、2つの並行したLSTM（一つはフルシーケンスを処理し、もう一つはダウンサンプリングされたシーケンスを処理して低速なダイナミクスを捉える）と、時間的依存関係を集約するためのマルチヘッド・アテンション機構を利用する。
  • 混合エキスパート（Mixture of Experts: MoE）： 最終段階では、ゲーティング・ネットワークを用いて複数のエキスパート・ネットワーク（ベースラインでは$M=3$）の出力を動的に重み付けする。これにより、単一のポリシー内で、異なるダイナミクス領域（例：安定対不安定、振動的対非振動的）に特化させることが可能となる。
• 学習： モデルは、25種類の多様なシステムから生成された314,630件のデモンストレーションを用いて、教師あり学習（行動クローニング）により学習される。学習データには、線形および非線形システム、安定および不安定なダイナミクス、ならびに最小/非最小位相の挙動が含まれる。目的関数は、予測された制御アクションと、システム固有の線形二次積分（LQI）コントローラによって生成されたアクションとの間の平均二乗誤差（MSE）を最小化することである。

主な貢献

1. 統一された制御ポリシー： アーキテクチャの変更やシステム固有の再調整を行うことなく、様々な次数（2次から4次）およびダイナミクスを持つシステムを制御可能な、単一のニューラルネットワーク・ポリシーを導入した。
2. 状態空間への汎化： 制御知識が、知覚レベルの特徴ではなく、状態空間表現上で直接動作することによって、不均一なシステム間で転移できることを示した。
3. 新規アーキテクチャ： 可変次数の入力のための妥当性マスキング、マルチスケール時間処理、および多様なダイナミクス領域を扱うための混合エキスパート機構を組み合わせた、特定のアーキテクチャを開発した。
4. 未知の条件下での堅牢性： 学習時に存在しなかった動作条件（アクチュエータの飽和、入力レート制限、外部外乱、および測定ノイズ）に対する汎化性能を検証した。

結果

• シミュレーション性能： 25のベンチマークシステム（CSTR化学反応器、REMUS AUV、ボーイング747の縦方向ダイナミクス、機械的な質量・バネ系を含む）において、汎用コントローラはシステム固有のLQIコントローラと同等の性能を達成した。立ち上がり時間、オーバーシュート、定常偏差などの指標においてLQIと同等であり、一部のケース（例：油圧アクチュエータ）では、汎用コントローラの方がわずかに優れた整定時間を示した。一方で、非常に困難な非最小位相のケースでは、定時時間がわずかに長くなった。
• ハードウェア検証： 本ポリシーは、Crazyflie 2.1+ ナノ・クアッドロータ上に正常にデプロイされた。ハードウェア実験により、モデル化されていない空気力学、センサーノイズ、およびアクチュエータ遅延が存在する状況下でも、微調整なしで安定したトラッキングを維持できることが確認され、シム・トゥ・リアル（sim-to-real）の転移が成功した。
• 堅牢性評価： 摂動条件下（アクチュエータ飽和、レート飽和、ノイズ）において、汎用コントローラは安定したトラッキングを維持した。対照的に、ベースラインとなるLQIコントローラは、同様の制約下で顕著な振動、ワインドアップ現象、または不安定性を示した。
• アブレーション研究：
  • 混合エキスパート（MoE）： モデルを単一のエキスパート（$M=1$）に削減すると、複雑なシステム（クアッドロータなど）においてMSEが数桁増加し、大幅な性能低下を招いた。これにより、多様なダイナミクスを扱うためのMoEの必要性が確認された。
  • 隠れ層の次元： 隠れ層の次元 $d=32$ が、性能と計算効率の最適なトレードオフを提供した（$d=16$ は性能不足、$d=64$ はパラメータ数が4倍になる一方で、性能向上は限定的であった）。

意義と主張
本論文は、定義された動的システム・ファミリー内における汎用制御ポリシーに向けた重要な一歩として、本研究を位置づけている。著者らは、自然言語処理やコンピュータビジョンにおける基盤モデルと同様に、制御知識がタスクに依存しない形で、システム・ファミリー全体にわたって学習可能であると主張している。

その意義は、特定のプラントのためにコントローラを設計するパラダイムから、システム・クラス全体に適用可能な一般原則を具現化するコントローラを学習するパラダイムへの転換にある。これは、柔軟な自動化や迅速な再構成を必要とする産業界に対して、潜在的な解決策を提供するものである。

限界と範囲
著者らは、以下の制限事項と境界を明示している：

• システム・タグの必要性： コントローラはデプロイ時に既知のシステム・タグを必要とする。本モデルは、暗黙的なシステム同定や、完全に未知のシステムへのゼロショット適応は行わない。
• 学習セットへの依存性： 汎化性能は、学習に含まれるシステムの分布に限定される。モデルは、学習時に見られなかった全く新しいシステム構造には汎化できない。
• SISOへの制限： 現在の実装は、単一入力単一出力（SISO）システムに限定されている。マルチ入力マルチ出力（MIMO）構成への拡張には、状態とアクションの調整に関するさらなる課題が存在する。
• 安定性の保証： 経験的な堅牢性は示されているものの、マルチシステム汎化フレームワークにおけるニューラルネットワーク・コントローラの形式的な安定性保証は、依然として未解決の理論的課題である。