技術的概要：ASIA – 自律システム同定エージェント

問題定義

システム同定とは、入力・出力データから動的モデルを学習するプロセスであり、相互に関連する設計選択の複雑な連鎖を必要とする。実務家は、モデルクラス（線形状態空間から非線形ニューラルネットワークまで）を選択し、アーキテクチャハイパーパラメータ（例：ネットワークの深さ、カーネル関数、再帰セルの種類）を定義し、最適化ハイパーパラメータ（例：学習率、正則化、バッチサイズ）を調整しなければならない。現在、これらの決定は経験的な試行錯誤と専門知識に大きく依存している。固定されたモデルファミリーに対する部分的な自動化（例：ベイズ最適化による）は存在するが、モデルクラスの選択とトレーニングアルゴリズム自体の設計は、依然として主に手動であり、時間がかかり、専門家の直感に依存している。

手法：ASIA フレームワーク

著者は、最適同定構成の反復探索を自律的コーディングエージェントとして機能する大規模言語モデル（LLM）に委譲するフレームワーク、**ASIA（Autonomous System Identification Agent）*を提案する。新しい同定アルゴリズムを導入するのではなく、ASIA は発見のプロセス*を自動化する。

中核コンポーネント

このフレームワークは、最小限の人間の介入で反復ループ上で動作し、同定問題の平易な英語による記述のみを必要とする。これは以下の 4 つの主要コンポーネントで構成される：

1. 問題記述: タスク、利用可能なデータ、事前の物理的知識、候補アプローチ、および探索プロトコルを詳述した文書。
2. 不変評価パイプライン: データ前処理、交差検証分割、および評価指標（$V(\theta)$）の計算を担当する読み取り専用システム。これにより、すべての候補ソリューションが同一の条件下で評価されることを保証する。
3. 変更可能コンポーネント（$\theta$）: モデルアーキテクチャ、損失関数、トレーニング戦略を表すコードファイルのセットであり、エージェントが自由に編集できる。
4. 反復実験ループ:
   • エージェントは、コード変更と性能指標を含む過去の試行の履歴（$T$）を分析する。
   • 新しい仮説を策定し、関連するコードを編集して新しい構成$\theta_k$を実装する。
   • エージェントはトレーニングと評価を実行し、新しい指標を観察して内部状態を更新する。
   • このサイクルは、計算予算が尽きるか、性能が飽和するまで継続する。

このフレームワークは、Sonnet 4.6 LLMを搭載したClaude Codeを用いて具体化される。これは、物理法則や文献参照などのドメイン知識や候補戦略の注入をサポートするが、それらを必須とはしない。

実証的ケーススタディ

著者は、ASIA を 2 つの異なるベンチマークで評価し、探索効率と最終的なモデルの品質をベースラインと比較した。

1. 直列 2 槽システム

• タスク: 上部タンクの水位が未測定であり、硬い飽和非線形性を持つ 2 つの水槽からなる非線形システムの同定。
• プロトコル: 1024 サンプルのトレーニング軌跡に対する 2 分割交差検証；オープンループシミュレーションの RMSE による評価。
• 探索プロセス: バニラ RNN（4 隠れユニット、RMSE 0.681）から開始し、エージェントは以下を行った：
  • 反復 3: 切り捨て逆伝播を備えた 2 層 LSTM（128 ユニット）に切り替え、RMSE を 0.430 に低減。
  • 反復 5: **液体時間定数（LTC/CfC）**ネットワーク（64 隠れ状態）を LSTM に置き換えることで帰納的バイアスを導入。このアーキテクチャは散逸システムに構造的に predisposed であり、検証 RMSE 0.250 を達成した。
• 結果: 最終的なアンサンブルモデルはテスト RMSE 0.298を達成し、ベンチマーク文献で報告された最良の結果と同等の性能を発揮した。

2. ナノドローン動力学

• タスク: 実世界の飛行データから Crazyflie 2.1 クアッドコプター（12 状態 MIMO システム）の飛行動力学の同定。
• プロトコル: 1 軌跡除外交差検証；50 ステップのロールアウトにおける平均絶対誤差（MAE）による評価。
• 探索プロセス: 単層 LSTM（MAE 0.707）から開始し、エージェントは以下を行った：
  • 反復 3: **物理情報アーキテクチャ（KinematicsLSTM）**を導入。再帰ネットワークは速度/角速度の増分のみを予測し、位置と姿勢は明示的な運動学的積分を通じて復元する。また、推力の代理として入力にモータ速度の二乗を追加。
  • 反復 7: トレーニングを安定化させるためにスケジュールドサンプリングを実装し、MAE を 0.310 に低減。
  • 以降の反復では容量とトレーニングのテンポを洗練させ、最終 MAE 0.286に到達。
• 比較: ASIA は、最終性能と探索効率の両面でランダム探索ベースライン（30 反復）を上回り、ランダム探索の最良の性能に到達するのにわずか 3 反復で済んだ。最終モデルは、元のベンチマーク論文 [9] の最良手法を、すべての出力グループ（位置、速度、姿勢、角速度）において上回った。

主要な貢献と主張

本論文は、以下の技術的貢献と主張を行う：

• 自律パイプライン自動化: ASIA は、LLM ベースのエージェントが、モデルクラスの選択、アーキテクチャ設計、トレーニング戦略の最適化を含むシステム同定パイプライン全体を、初期プロンプト以降の人間の介入なしに自律的に実行できることを実証する。
• 仮説空間の拡張: グリッド探索やベイズ最適化などの古典的最適化手法が固定された有限次元のパラメータ空間で動作するのに対し、ASIA はモデルクラスとトレーニング戦略の組み合わせ空間を探索する。エージェントは、物理/ブラックボックスのハイブリッド構造やクープマンに着想を得た表現など、明示的に事前定義されていなかった非自明な解決策を成功裡に提案した。
• 競争力のある性能: このフレームワークは、確立されたベンチマークにおいて最先端の結果に匹敵するかそれを超えるモデルを発見し、この分野におけるエージェント型 AI の実現可能性を検証した。

限界と批判的分析

著者は、このアプローチに関連するいくつかの限界とリスクを明示的に議論している：

• 暗黙的なテスト漏洩: テストラベルに直接アクセスしていなくても、エージェントはテスト性能ログや、テストセット評価から導出された事前知識（文献）によって間接的に影響を受け、過学習や暗黙的なバイアスを招く可能性がある。
• 方法論的透明性: 生成されたコードは局所的に解釈可能であるが、最終的な構成に至る決定のグローバルな連鎖は不透明である。これは、特定の設計選択の根拠が明示的な人間の仮説ではなく、自動化された反復プロセスから生じるため、方法論の「科学的貢献」を低下させる。
• 再現性: LLM 出力の確率的性質により、異なる実行間で正確な探索軌跡を完全に再現することはできない。ただし、特定の構成が選択された後、その特定モデルのトレーニングは標準的な手法を用いて再現可能である。
• バイアス: エージェントの探索は、そのトレーニングデータと内部事前分布によってバイアスされており、革新的で非伝統的なアプローチよりも確立されたアーキテクチャを好む可能性がある。

意義と結論

本論文は、ASIA を人間主導のシステム同定の代替としてではなく、補完的なツールとして捉えるべきであると結論づけている。その主な価値は以下の点にある：

1. 実験サイクルの加速。
2. 日常的な設計選択の自動化。
3. 人間の直感を超えた仮説空間の探索の拡大。

著者は、結果の解釈、モデルの検証、プロンプトの設計、関連する事前知識の注入には、依然として人間の専門知識が不可欠であると強調している。この研究は、工学研究におけるエージェント型 AI の可能性と限界に関する初期の実証研究であり、コントローラ調整や実験設計への将来的な応用を示唆している。