論文要約：Toward Hardware-Agnostic Quadrupedal World Models via Morphology Conditioning

1. 背景と問題定義

強化学習（RL）における「世界モデル（World Models）」は、エージェントが環境の物理法則を学習し、想像空間内で効率的に計画や行動学習を行うことを可能にするパラダイムシフトを約束しています。しかし、現在の世界モデルは**「ハードウェア特化型（Hardware-locked specialists）」**という重大な限界を抱えています。

• 問題点: 特定のロボット（例：Boston Dynamics Spot）で学習されたモデルは、運動学的・動的特性が異なる別のロボット（例：Unitree Go1）では破綻します。これはモデルが特定の身体構造（モルフォロジー）に過剰適合し、普遍的な移動ダイナミクスを捉えられていないためです。
• 現状の課題: ロボットのモーター変更や脚の長さ変更など、わずかなハードウェアの違いに対しても、ゼロからモデルを再学習させる必要があり、膨大なデータ収集と計算コストがかかります。また、従来の「暗黙的なシステム同定（Implicit System Identification）」手法では、ロボットが移動する履歴から物理特性を推測する必要があり、ゼロショット転送において「適応遅延（Adaptation Lag）」が発生し、安全性や効率性を損なうリスクがあります。

2. 提案手法：QWM (Quadrupedal World Model)

本研究は、環境のダイナミクスからロボットの身体構造（モルフォロジー）を分離し、**モルフォロジー条件付きの汎用的な四足歩行世界モデル（QWM）**を提案します。

2.1 核となるアイデア

ロボットの物理特性（質量、脚の長さなど）は、学習を通じて推測すべき「潜在変数」ではなく、設計仕様（USD/URDF ファイル）から得られる既知のエンジニアリング仕様であると捉え直します。これを明示的にモデルに条件付け（Conditioning）することで、ゼロショットでの転送を実現します。

2.2 主要なアーキテクチャ構成要素

DreamerV3 をベースとし、以下の 3 つの主要な改良を加えています。

1. 物理モルフォロジーエンコーダ (Physical Morphology Encoder, PME):

   • ロボットの USD ファイルから、スケール不変な物理特徴（脚の長さ、関節配置、質量分布、トルク密度など）を抽出し、正規化されたベクトル $\mu$ としてエンコードします。
   • これにより、モデルは静的な物理構造を明示的に理解できるようになります。

2. モルフォロジー条件付き世界モデル (Morphology-Conditioned WM):

   • 双塔エンコーダ: 高頻度のプロプリオセプション（センサーデータ）と、PME からの静的モルフォロジー特徴を、それぞれ独立したパスで処理し、融合させます。これにより、静的情報が動的なノイズに埋もれるのを防ぎます。
   • 再帰的状態への条件付け: 従来の RSSM（Recurrent State-Space Model）の再帰ステップ $h_t = f_\phi(h_{t-1}, z_{t-1}, a_{t-1})$ に、モルフォロジーベクトル $\mu$ を明示的に注入します（$h_t = f_\phi(h_{t-1}, z_{t-1}, a_{t-1}, \mu)$）。これにより、RNN は静的な物理特性を記憶する負担から解放され、純粋な動的状態（速度、接触タイミングなど）の追跡に集中できます。

3. 適応型報酬正規化 (Adaptive Reward Normalization, ARN):

   • 異なるロボットは物理スケールが異なるため、報酬の絶対値に大きな差があります（例：Spot は 350 程度、ANYmal は 25 程度）。
   • 各ロボットタイプごとに指数移動平均（EMA）を用いて報酬の分布（5 百分位〜95 百分位）を追跡し、学習信号を動的に正規化します。これにより、特定のロボットが学習を支配することを防ぎ、異種ロボット同時学習を安定させます。

3. 実験と結果

3.1 実験設定

• データセット: ANYmal (B, C, D), Unitree (A1, Go1, Go2, B2), Boston Dynamics Spot の 7 種からなる多様な四足ロボット群。
• シミュレーション: NVIDIA Isaac Lab 上で構築された「Hetero-Isaac」環境を使用し、異なるモルフォロジーを同時に並列学習可能にしました。

3.2 主要な結果

1. 多様体マスタリー（Multi-Morphology Mastery）:

   • QWM は、単一のモデルで異種ロボット群の移動を安定して習得しました。
   • 従来の DreamerV3 や暗黙的システム同定を行うベースラインは、収束に失敗するか、平均的なダイナミクスに適合して精度が低下しました。
   • モデルフリーの PPO（PME-PPO）と比較しても、QWM はより少ないステップで収束し、かつ「想像空間内での計画」という世界モデルの利点を享受しました。

2. 長期ダイナミクス予測:

   • 開ループ（Open-loop）での未来状態予測において、QWM は 45 ステップ先まで物理シミュレーションと高い一致を示しました。
   • 暗黙的推定を行うベースラインは、予測誤差が蓄積し、急速に発散しました。

3. ゼロショット一般化（Zero-Shot Generalization）:

   • 訓練データ未使用ロボットへの転送: 訓練セットから除外された ANYmal-D と Unitree Go1 に対して、モデルと方策を凍結したまま、対象ロボットの $\mu$ を注入するだけで、追加学習なしに安定した移動を実現しました。
   • 性能: 専門家として訓練された PPO と同等の性能（歩行距離、速度追従精度）を達成しました。
   • 限界: 訓練分布から極端に外れる Unitree B2（非常に重く、脚の配置が異なる）では性能が低下しましたが、これは分布外補外（Extrapolation）の限界を示しており、手法の欠陥ではなく原理的な制約であることが確認されました。

4. 実機デプロイ:

   • シミュレーションで学習されたゼロショット方策を、実機の ANYmal-D と Unitree Go1 に直接デプロイしました。
   • 実世界の摩擦やアクチュエータのバックラッシュなどのモデル化されていないダイナミクスが存在するにもかかわらず、転倒なしに安定した移動を実現し、Sim-to-Real の有効性を証明しました。

4. 重要な貢献と意義

1. ハードウェア非依存な世界モデルの確立:

   • 従来の「ロボットごとにモデルを学習する」アプローチから、「物理法則を学習し、モルフォロジーを条件として注入する」アプローチへの転換を実現しました。
   • これにより、新しいロボットへの展開時に、危険な実機でのウォームアップ期間や微調整（Fine-tuning）が不要になりました。

2. 明示的モルフォロジー条件付けの有効性:

   • 暗黙的なシステム同定（履歴からの推測）が持つ「適応遅延」と「エンタングルメント（状態と物理特性の混同）」の問題を、明示的な物理パラメータの注入によって解決しました。
   • 潜在空間の可視化（t-SNE, PCA）により、決定論的状態 $h_t$ がモルフォロジー情報を保持し、確率的状態 $z_t$ が動的状態のみを保持する「分離（Disentanglement）」が自然に生じていることを実証しました。

3. 実用性の向上:

   • 異種ロボットフリート（Heterogeneous Fleet）の管理コストを劇的に削減します。
   • 安全なシミュレーション内での学習と、ゼロショットでの実機展開を可能にするため、ロボティクス分野における世界モデルの実用化への大きな一歩となります。

5. 結論

本論文は、四足歩行ロボットにおいて、身体構造（モルフォロジー）を明示的に条件付けることで、ハードウェアに依存しない汎用的な世界モデル（QWM）を実現しました。このアプローチは、異なるロボットへのゼロショット転送を可能にし、実機での安定した移動を実現しました。将来的には、この枠組みを二足歩行やマニピュレータなど、より広範な可動体へ拡張し、真に汎用的な物理世界モデルの構築を目指すことが示唆されています。