LeARN: Learnable and Adaptive Representations for Nonlinear Dynamics in System Identification

技術要約：LeARN – 非線形ダイナミクスのための学習可能かつ適応的な表現

問題提起
システム同定（入力・出力データからの数学的モデルの導出）は、特に非構造化環境で動作するロボティクスにおいて、非線形ダイナミクスに対して大きな課題に直面している。従来の物理ベースのモデルは解釈性を提供する一方で、複雑な非線形性や未知の摂動、高次元の入力に苦慮する。SINDy（Sparse Identification of Nonlinear Dynamics）のようなデータ駆動型手法は、ダイナミクスを基底関数の線形結合へと凝縮することで解決策として浮上している。しかし、SINDyは（多項式や三角関数などの）事前定義された基底関数のライブラリを構築するために、高度なドメイン知識に大きく依存している。この依存性は、未知または進化するダイナミクスに遭遇した際の適応性を制限する。対照的に、ディープラーニングの手法（ユニバーサル近似器やPINNsなど）は、安全性が重視されるアプリケーションに必要な構造的な解釈性を欠いている。潜在的な座標変換を学習しようとする既存の試みは、結果として得られるダイナミクス方程式の解釈性を犠牲にすることが多い。

手法
著者らは、ドメイン知識を必要とせずに、ディープラーニングの表現力とSINDyの解釈性の間のギャップを埋たすべく設計されたフレームワークであるLeARN（Learnable and Adaptive Representations for Nonlinear Dynamics）を提案する。

1. 学習可能な基底ライブラリ: 固定された $\Theta(\cdot)$ を用いるSINDyとは異なり、LeARNは軽量なディープニューラルネットワーク（DNN）を用いて基底関数ライブラリ $\Theta(X; \psi)$ をパラメータ化する。このネットワークは、物理的な状態空間におけるデータから直接、基底関数の関数形式を学習する。
2. 特徴選択: 本フレームワークは、システムダイナミクスを $\dot{x} \approx \Theta(X; \psi)E(X; \phi)^T$ と分解する。ここで、$E(X; \phi)$ は第2のDNNとして機能する特徴選択行列である。この構造はSINDyのスパース回帰を模倣しており、たとえ基底関数の関数形式自体が学習されたとしても、どの入力特徴量がダイナミクスに支配的に寄与しているかを特定することで、特徴量の重要性に関する構造的な解釈性を保持することができる。
3. メタ学習による適応: 変動するノイズ条件や進化するシステムダイナミクスに対処するため、LeARNはModel-Agnostic Meta-Learning（MAML）を採用している。メタ学習プロセスは、タスクの分布（例：異なる風況条件）にわたって初期パラメータ ($\psi, \phi$) を最適化する。これにより、モデルはロバストな初期化状態を獲得し、オンライン展開時の数ステップの勾配降下を通じて、未知の環境へ迅速に適応することが可能となる。
4. オンライン適応: デプロイメント中、モデルは（新しい風速などの）新しいタスクに対し、状態入力に対するリプシッツ連続性を強制する正則化を含む適応損失を用いて適応する。これにより安定性を確保する。

主な貢献

1. 事前定義されたライブラリの排除: LeARNは、事前定義された関数ライブラリやドメイン知識の必要性を排除し、データから直接基底関数を学習する。
2. メタ学習による適応性: 基底関数のライブラリをメタ学習することにより、本フレームワークは変化するダイナミクスやノイズ条件下での迅速な適応を可能にする。
3. バランスの取れた解釈性: 軽量なDNNの使用により、複雑な非線形性をモデル化しつつ、学習された特徴選択行列のスパース構造を通じて、支配的な入力特徴を特定するという解釈性を維持する。

実験結果
本フレームワークは、様々な風況条件下でのクアッドローターの飛行を含む困難なベンチマークであるNeural Flyデータセットを用いて検証された。著者らは、以下の3つのクアッドローター・ダイナミクスの定式化において、LeARNをSINDyと比較した。

• 部分的な並進ダイナミクス
• 部分的な姿勢ダイナミクス
• フルシステム・ダイナミクス（並進と姿勢の結合）

パフォーマンスに関する知見:

• 汎化性能: LeARNは、SINDyと比較して競争力のある汎化性能を示した。
• 次元のスケーリング: 主要な知見として、入力特徴空間の次元が増加するにつれて、LeARNとSINDyの性能差が縮小することが挙げられる。フルシステム・ダイナミクス（高次元）において、LeARNはSINDyと比較してわずか0.001811の汎化誤差の差しか示さず、複雑で高次元なシステムに対する優れたスケーラビリティを示唆している。
• 定性的比較: さまざまな風況条件（例：35wind, 70wind, 100wind）におけるフルダイナミクスの視覚的比較により、LeARNがグラウンドトゥルースおよびSINDyの性能と一致するように、ダイナミクスの進化を効果的に捉えていることが示された。

意義と主張
本論文は、LeARNをダイナミカルシステムの自律的な発見への一歩として位置づけている。その主要な意義は、広範なドメイン固有の介入なしに、複雑なシステムの支配原理を明らかにできる能力にある。著者らは、LeARNが、現実世界の非構造化環境において安全に動作できる、堅牢で汎用的かつ適応的なロボットシステムへの経路を提供すると主張している。基底関数を直接学習することで、本フレームワークは、安全性が必要なアプリケーションに必要な解釈性を維持しつつ、SINDyのスケール性と柔軟性の限界に対処している。この研究は、データ駆動型の同定や、内在的な残留ダイナミクスのモデリングを通じたシステムのヘルスモニタリングにおける将来的な可能性を示唆している。