技術要約：継続的ロボット学習のためのアクション・フロー・マッチング（Action Flow Matching）

問題提起

継続的学習（Continual Learning）におけるロボティクスの目的は、人間の適応性を模倣し、変化する環境やタスクに適応できるシステムを構築することである。中心的な課題は、ダイナミクスモデル（ロボットが自身の行動の結果を予測するために用いる数学的表現）の精緻化にある。モデルはプランニングや制御（例：モデル予測制御/MPC）において不可欠であるが、単純化された仮定、考慮されていない環境要因（例：トラクションの低下）、アクチュエータの劣化、あるいはパラメータの不確実性によって、モデルが乖離（ミスアライメント）してしまうことがよくある。

従来のモデルベース強化学習（MBRL）のアプローチでは、モデルを更新するためのデータを収集するために、最新の（しかし、おそらく乖離した）モデルを用いて探索を行うことが多い。しかし、これは非効率なデータ収集、破滅的な忘却、そして安全性のリスクを招く可能性がある。なぜなら、ロボットが不正確な予測に基づいて、最適ではない、あるいは誤った行動を実行してしまうからである。解決すべき核心的な問題は、いかにして、モデルが乖離している状態でもロボットを堅牢に動作させつつ、モデルを再適合させるための有益なデータを効率的に収集するかである。これには、大規模なリプレイバッファや正解（Ground-truth）のダイナミクスに大きく依存しない手法が求められる。

手法：アクション・フロー・マッチング（AFM）

著者らは、乖離したモデルを用いて探索を行うのではなく、計画されたアクションを変換することで、ロボットの「意図」（モデルが完全に適合していた場合に取るであろう行動）に近づけるという生成フレームワーク、Action Flow Matching (AFM) を提案している。

コア概念

乖離したモデル $f_{\theta_t}$ から導出された計画上のアクション $a^0_t$ をそのまま実行するのではなく、AFMは修正されたアクション $a^1_t$ を生成するための変換を適用する。この変換は、ロボットが「実際に到達した状態」と「到達するはずだった状態」の間の偏差を最小化するように学習され、モデルの不正確さを効果的に補償する。

主要構成要素

1. 効率的なダイナミクス空間の削減:
   • 無作為な探索を行う代わりに、AFMは初期の（不完全な）ダイナミクスモデルを利用して、状態・行動空間における動的に実行可能な領域を近似する。これにより、学習プロセスを物理的に妥当な領域に限定し、データ効率を向上させる。
2. 正解なしでのダイナミクス・レジーム表現:
   • 本手法は、状態の進化パターンを特定することで、異なる「ダイナミクス・レジーム」（例：氷の上か乾燥した路面か）を表現する方法を学習する。これは正解のダイナミクスモデルを必要とせず、計画された状態遷移と実際に実現した状態遷移の間の不一致をエンコードする。
3. 意図のマッピングのためのフロー・マッチング:
   • AFMは、ソース分布（計画されたアクション）をターゲット分布（意図されたアクション）へと変換するための速度場（Velocity Field）を学習する**フロー・マッチング（Flow Matching, FM）**を利用する。
   • 学習データの生成: 展開中（デプロイ時）には「意図されたアクション（ターゲット）」は未知であるため、著者らは反事実的な学習戦略を提案している。初期モデル $f_{\theta_0}$ を用いて状態遷移をシミュレートするが、その遷移を「異なるアクションによって引き起こされたもの」として登録する。これにより、$(s, a^0, a^1)$ のペアのデータセットが作成される。ここで $a^1$ は、現在のレジーム下で観測された状態を生み出したであろうアクションである。
   • アーキテクチャ: モデルは、ダイナミクス・レジーム・エンコーダ（状態、アクション、および予測誤差を処理）とアクション・エンコーダで構成され、これらがフローモデルに供給されて速度場を予測する。その後、ODEソルバがこの場を積分し、$a^0_t$ を $a^1_t$ へと変換する。
4. 継続的学習ループ:
   • システムは予測誤差を監視する。誤差が閾値を超えた場合、AFMモジュールが起動し、アクションの変換を行う。
   • 変換されたアクションが実行され、その結果得られた状態遷移がオンラインで基礎となるダイナミクスモデル $f_{\theta_t}$ の更新に使用される。
   • モデルが再適合（誤差が低下）すると、システムは生の計画済みアクションの使用に戻り、探索と利用（Exploration and Exploitation）のバランスをとる。

主な貢献

1. 効率的なダイナミクス空間の削減: 初期モデルを活用して、状態・行動空間を動的に実行可能な部分集合へと削減し、非効率なランダム・トラジェトリ生成を回避する。
2. 正解なしでのレジーム表現: 状態の進化パターンと予測誤差に焦点を当てることで、ダイナミクス・レジームを表現することを学習し、学習プロセスにおける正確な正解モデルへの依存を排除する。
3. 学習を加速させる意図のマッピング: フロー・マッチングを用いて、より情報量の多い遷移データを収集するためのガイディング信号（変換されたアクション）を生成し、ダイナミクスモデルの再適合を加速させる。
4. モデル非依存性: 本フレームワークは、純粋なデータ駆動型モデルと物理学に基づいたハイブリッドモデルの両方で動作し、基礎となるダイナミクスモデルのアーキテクチャに依存しない。

実験結果

著者らは、**無人地上車両（Jackal UGV）とクアッドローター（Crazyflie）**の2つのプラットフォームでAFMの検証を行った。

無人地上車両（UGV）

• タスク: 動的な変化（例：走行中の突然のトラクション変化）が発生するETHZマップ内での、疎なウェイポイントのナビゲーション。
• ベースライン: stream-x PE（ストリーミング確率アンサンブル）、Online-KNODE-MPC、および標準的な物理ベースモデルと比較。
• パフォーマンス:
  • AFMは平均タスク成功率81.4%を達成し、これは最も優れたベースライン（47.2%）よりも34.2%高い数値である。
  • AFMは、タスク完了までに平均で15.1%少ないステップ数を必要とした。
  • 困難なシナリオにおいて、AFMは22ケース中17ケースで成功したが、最良のベースラインは22ケース中15ケースで失敗した。
  • アブレーション研究により、AFMが重みを固定したモデルおよびオンライン更新されたベースラインモデルの両方を上回ることが示された。

クアッドローター

• タスク: 飛行中の質量変化（ペイロードの移動をシミュレート）を伴う円形軌道の追従。
• ベースライン: Online-KNODE-MPC（物理学に基づいたニューラルODE手法）および物理ベースモデルと比較。
• パフォーマンス:
  • AFMをOnline-KNODE-MPCのベースラインに統合することで、平均的な軌道追従の平均二乗誤差（MSE）を6.6%削減した。
  • この改善は、ベースラインがすでに専門家設計の物理的事前知識を利用していたことを踏まえると、極めて有意である。

意義と主張

本論文は、AFMが、多様な環境においてダイナミクスモデルを継続的に適応・洗練させることを可能にすることで、**生涯にわたるロボットの自律性（Lifelong Robot Autonomy）**に向けた重要な一歩であると主張している。

• 探索と利用のバランス: AFMは、即時の目標を追求（利用）すると同時に、リアルタイムでアクションを修正することにより、モデル改善のための価値の高いデータ収集（探索）を同時に行うことを可能にする。
• 安全性と効率性: 乖離したモデルを用いて盲目的に探索するのではなく、アクションを変換することで、破滅的な失敗のリスクを軽減し、学習プロセスを加速させる。
• 依存度の低減: 本手法は、大規模なリプレイバッファや過去のモデルのスナップショットへの依存を減らし、リソース制約のあるオンボードシステムへの適用を容易にする。
• 汎用性: データ駆動型のUGVモデルと物理学に基づいたクアッドローターモデルの両方で性能を向上させたことは、特定のダイナミクスモデルのアーキテクチャに依存しない、継続的学習のための一般的なフレームワークとしての潜在能力を示している。

著者らは、AFMがタスク成功率とサンプル効率を大幅に向上させる一方で、ダイナミクスモデル自体の汎用化や、フロー・マッチング・モデルの学習におけるデータ効率といった課題が依然として残っており、これらが今後の研究の方向性であることを示唆して結論づけている。