技術要約：適応型強化学習による自律型水上航走体のクロスプラットフォーム制御

1. 問題提起

自律型水上航走体（ASV）は、流体力学的特性および駆動特性において大きな多様性を示す。現在の制御戦略は、以下のデプロイメントにおけるボトルネックに直面している：

• モデルベース制御器（例：MPC）は、正確なシステム同定とプラットフォーム固有のチューニングを必要とし、これはヘテロジニアス（異種混在）なフリートに対して多大な労力を要する。
• **標準的な強化学習（RL）**のアプローチは、通常、単一の固定されたプラットフォーム、またはターゲットの特定のダイナミクスを正確に捉える必要があるシミュレータ上で学習を行う。これらのポリシーを新しい船舶にデプロイする場合、通常、再同定と再学習が必要となる。

核心となる課題は、デプロイメント時のダイナミクスに関する事前知識や、プラットフォームごとの微調整なしに、同一クラスの異なるASVプラットフォームに対してゼロショット・デプロイメントが可能な単一のジェネラリスト・コントローラーを開発することである。これは部分観測問題としてフレーム化される。すなわち、真のシステムダイナミクス（$\theta$）は未知であり、物理現象自体はマルコフ的であるにもかかわらず、デプロイメント時には状態が部分的に観測されている状態である。

2. 手法

著者らは、相互作用履歴から潜在的なダイナミクスを推論するために、Teacher–Studentアーキテクチャを利用した適応型強化学習フレームワークを提案している。

A. システムダイナミクスと定式化

• モデル: システムは、Fossenの定式化に基づく簡略化された3自由度（サージ、スウェイ、ヨー）水平面モデルを使用する。ダイナミクスは、質量、付加質量係数、線形減衰、慣性を含む7つの物理パラメータ（$\theta$）によってパラメータ化される。
• MDP定式化: 軌跡追従は、部分観測マルコフ決定過程（POMDP）として定式化される。状態 $s_t$ は観測可能であるが、ダイナミクスパラメータ $\theta$ は観測不可能である。ポリシーは、近似的なマルコフ性を回復するために相互作用履歴に条件付ける。
• アクション空間: ポリシーは、正規化された機体座標系の力およびトルク指令（$\bar{\tau} \in [-1, 1]^3$）を出力する。これらはデプロイメント時にプラットフォーム固有のアクチュエータ制限によってスケールされるため、ポリシーと絶対的な力の大きさの間のデカップリングを実現している。

B. Teacher–Student アーキテクチャ

本手法は、特権学習（privileged learning）に着想を得た、2段階のトレーニング・パイプラインを採用している。

1. フェーズ1：Teacher（教師）学習（特権学習）

   • 「Teacher」ポリシーは、特権ベクトル $e \in \mathbb{R}^9$ へのアクセスを持つシミュレーション内で学習される。このベクトルは、3自由度の運動方程式から導出された正規化ダイナミクスパラメータ（ピーク加速度、減衰率、およびコリオリ結合係数）をエンコードしている。
   • 教師は、システムダイナミクスの潜在表現 $z = \mu(e)$ を学習する。
   • 学習には、広範な範囲のダイナミクスパラメータに対するドメインランダム化を伴う近接方策最適化（PPO）が利用される。

2. フェーズ2：Student（生徒）学習（適応）

   • 特権ベクトル $e$ が除去される。エンコーダ $\mu$ は、**アダプター（Adapter）**モジュール $\phi$ に置き換えられる。
   • アダプターは、GRU（Gated Recurrent Unit）とMLPで構成され、相互作用履歴 $h_t$（最近の状態の変化、速度、および正規化されたアクション）のみから潜在表現 $\hat{z}$ を推定する。
   • Studentポリシー（凍結されたTeacherのアクター）は、アダプターによる推定値 $\hat{z}$ に条件付けられる。
   • アダプターは、フェーズ1におけるグラウンドトゥルースの潜在変数 $z$ との再構成誤差 $\|\hat{z} - z\|^2$ を最小化するように、教師あり学習を通じて訓練される。

C. トレーニング設定

• シミュレーション: 学習は、高精度な流体シミュレータではなく、軽量な解析的ダイナミクスモデルに依存している。
• カリキュラム: プログレッシブなカリキュラムにより、ランダム化されるダイナミクスパラメータの範囲と軌跡の複雑さ（直線から急旋回まで）を拡大し、難易度を段階的に高めている。
• 外乱: 環境外乱（潮流、風、波）はオルンシュタイン＝ウーレンベック過程としてモデル化されている。アクチュエータの遅延もランダム化されている。
• 報酬: 位置、方位、および速度の追従項に加え、前進運動への補助ボーナス、および横方向のドリフト、過度なヨー、アクションの大きさや滑らかさに対するペナルティを含む、複合的な報酬関数を使用している。

3. 主な貢献

1. ゼロショット・クロスプラットフォーム・ポリシー: 同一クラスでダイナミクスが異なる複数の異なるASVプラットフォームに対し、再学習やシステム同定なしに、単一のRLポリシーをゼロショットで展開できることを初めて実証した。
2. Teacher–Student 適応: 脚式移動（legged locomotion）のTeacher–Studentフレームワークを海洋ロボティクスに適応させ、相互作用履歴のみから潜在的なダイナミクスを推論することを可能にした。
3. 簡略化されたトレーニング・パイプライン: 本手法は、高精度な流体シミュレータの計算コストと複雑さを回避し、単純な3自由度の解析モデルのみを使用して高い性能を達成している。
4. 解釈性: 学習された潜在空間は、関連するダイナミクスを効果的に捉えており、主成分分析（PCA）により、9次元の潜在変数が低次元の部分空間を占めていることが示されている。

4. 実験結果

A. 実世界実験

実験は、質量、慣性、および駆動制限が異なる2つの異なる物理プラットフォーム（プラットフォームAおよびB）を用いて実施された。

• 性能: 適応型のStudentポリシーは、両方のプラットフォームにおいて位置平均絶対誤差（MAE） 4.0 cmを達成した。
• 比較:
  • 非適応型の一般PPOベースラインに対し、最大**58%**の改善を示した（プラットフォームBにおいて、Studentの4.0 cmに対し、ベースラインは9.5 cm）。
  • プラットフォーム固有のPPOベースライン（特定のプラットフォームのみで学習されたもの）に対しても、位置誤差において上回った。
  • プラットフォーム固有にチューニングされたモデル予測制御（MPC）の追従精度に迫る性能を示した（Student: 4.0 cm vs. MPC: 4.1–4.6 cm）。
• 方位: Studentは、非適応型ベースラインと比較して、同等またはより優れた方位精度を達成した。

B. シミュレーション実験

理想的な条件下での5つのプラットフォーム（Roboatのバリアントを含む）にわたるシミュレーションにより、実世界の知見が確認された：

• Studentは、非適応型の一般PPOと比較して、位置誤差を44%、方位誤差を**55%**削減した。
• Studentは、「Teacher（オラクル）」ポリシーとほぼ同一の性能を示し、アダプターが必要な潜在情報を正常に復元できていることが検証された。
• アブレーション研究では、アダプターの出力を静的な平均潜在変数（"Student avg. z"）に置き換えると、追従誤差が2倍以上に増大し、オンライン適応の必要性が確認された。

5. 意義と主張

本論文は、本研究がジェネラリストASV制御のための実用的なレシピを提供すると主張している。相互作用履歴に条件付けることで、単一のポリシーは、プラットフォームごとのチューニングや同定というエンジニアリングのオーバーヘッドなしに、ヘテロジニアスな艦隊全体へと汎用できる。

• 効率性: 全体のトレーニング・パイプライン（TeacherおよびStudentの両フェーズ）は、単一のコンシューマ向けGPU（NVIDIA RTX 4090）上で約30分で完了する。
• 拡張性: このアプローチは「プラットフォームごとのボトルネック」を取り除き、統一された制御戦略を用いたヘテロジニアスな艦隊の展開を可能にする。
• 限界に関する謙虚な姿勢: 著者らは、現在の3自由度の線形減衰モデルは低速の変位領域において有効であることを認めている。アダプターは、ランダム化範囲内での有効減衰を再推定することで、速度依存の効果（二次抵抗など）を処理しているが、高速の滑走（planing）や、ヒーブ/ロール/ピッチの強い結合まではまだカバーしていない。今後の課題として、オンラインでの継続的な適応や、モデルベース制御の目的とのより緊密な統合が示唆されている。