技術要約: VENOM - 多様な形態に対応した全身体モーショントラッキングのための汎用エンボディード・ネットワーク

問題提起

単一のデモンストレーションデータのみを用いて、複数のヒューマノイドロボット間でエキスパートレベルかつ表現力豊かな全身モーショントラッキングを実現することは、ロボット学習における依然として大きな課題である。現在のクロスエンボディメント（形態横断的）なアプローチは、制御を上半身と下半身のセグメントに分離したり、特権情報を必要とする非対称アクター・クリティックを用いた強化学習（RL）に依存したりすることが多い。さらに、多様なヒューマノイドのための大規模な低レベル制御データセットが不足しているため、多才な基盤モデルの訓練が制限されている。既存のモデルは、ロコモーション（移動）タスクに限定されていることが多く、観測空間と行動空間の手動による整合なしには、異なる形態間で効果的に汎化できないことが多い。

手法

VENOMデータセット

著者らは、大規模な低レベル制御データの不足に対処するため、新しいマルチヒューマノイド・モーショントラッキング・データセットであるVENOMデータセットを構築した。

• ソースデータ: データセットは、5種類のヒューマノイド（Unitree G1, Unitree H1, Unitree H1 v2, Fourier N1, Booster T1 [29自由度]）に対してエキスパート・トラッカーを訓練するために、TWIST2訓練フレームワーク（RLベースのモーショントラッキング・パイプライン）を使用して生成された。
• データ生成: エキスパートはAMASSデータセット全体を用いて訓練された。各モーションに対し、エキスパートは1つのクリーンなロールアウトと8つのノイズを含むロールアウトを生成した。ノイズは、観測空間（ルートの位置、方位、速度、および関節位置）におけるリファレンス・モーションに適用された。
• 規模: VENOMデータセットは、状態、行動、および報酬を含む、6秒間のクリップに分割された約7,705時間のデータで構成されている。

モデルアーキテクチャ (VENOM)

VENOMは、複数のヒューマノイドに対する全身制御のために設計された、**GPTベース（Transformer）**のモーショントラッカーである。

• アーキテクチャ: コアコントローラーは、8つのアテンションヘッドと768の埋め込み次元を持つ8層のTransformer層で構成される。上半身と下半身の制御を分離しない統一されたアーキテクチャを利用している。
• 入力処理: モデルは、リファレンス・モーションを処理するために特定のエンコーダを採用している：
  • モーション・エンコーダ: 1ステップのリファレンス・モーションをエンコードする。
  • ヒストリー・エンコーダ: 1次元畳み込みを用いて、10ステップのリファレンス・モーションの履歴をエンコードする。
  • フューチャー・エンコーダ: MLPを用いて、1ステップの未来のリファレンス・モーションをエンコードする。
• マルチエンボディメントへの対応: モデルは、ヒューマノイドごとに異なるトークン埋め込み層とアクションヘッドを使用する。訓練中、すべてのヒューマノイドからの入力はバッチ次元に沿って結合され、共有Transformerデコーダに供給される。推論時には、対象となるヒューマノイドに対応する特定の入力モジュールとアクションヘッドのみがアクティブになる。
• 訓練目的: モデルは、予測されたアクションとエキスパートのアクションとの間の平均二乗誤差（MSE）を最小化するように、教師あり学習を用いて訓練される。堅牢性を高めるために、クリーンなロールアウトとノイズを含むロールアウトの両方で訓練される。

ベースライン

本研究では、VENOMを以下のモデルと比較している：

1. TWIST2ベースライン: 同様の教師あり学習フレームワークを用いて、VENOMデータセット上で訓練されたMLPベースのモデル（単一のロボット、または複数のロボット）。
2. RLエキスパート: TWIST2フレームワーク内で直接訓練された非対称アクター・クリティック・モデルであり、性能の上限（アッパーバウンド）として機能する。

主な結果

スケーリングとアーキテクチャ

• マルチロボット汎化: 複数のロボットで訓練された際、MLPベースのTWIST2ベースラインは負の転移（negative transfer）に苦しみ、リファレンス・モーションを追従しながらロボットを安定させることに失敗した。対照的に、TransformerベースのVENOMは、異なる形態間での汎化に成功した。
• ノイズへの堅牢性: VENOM-noisyモデル（ノイズを含むロールアウトで訓練されたもの）は、クリーンなデータのみで訓練されたモデルよりも優れたモーショントラッキング能力を示した。ノイズの導入により、ポリシーが未探索の観測領域にさらされ、堅牢性が向上した。
• 性能指標: Unitree G1において、VENOM-noisyは0.1052ラジアンの関節トラッキングRMS誤差を達成し、マルチロボットMLPベースライン（0.1686）を上回り、単一ロボットMLPベースライン（0.1067）と同等の性能を実現した。

モーショントラッキングと安定性

• 関節トラッキング: VENOMモデルは、様々な行動カテゴリ（アスレチック、クラウチング、ダンス、ホッピング、ロコモーション）において、マルチロボットMLPベースラインを一貫して上回る関節トラッキング精度を示した。
• 安定性と教師あり学習: VENOM-noisyは高い成功率（92–100%）と低いドリフトを実現し、他の教師あり学習モデルよりも優れていたが、RLエキスパートのモーション安定性には完全には及ばなかった。RLエキスパートはより高い成功率とより低いルートエラー率を達成しており、これは報酬フィードバックなしの教師あり学習のみに依存する場合の、モーションの忠実度と安定性の間のトレードオフを示唆している。
• 限界: すべてのモデル（RLエキスパートを含む）は、飛行フェーズ（ジャンプやスプリントなど）を伴う高度にダイナミックな動きに苦戦しており、安定性を確保するために接地を維持するような挙動を学習する傾向があった。

意義と主張

本論文は、上下半身の制御を分離せずに動作する、初のマルチヒューマノイド全身モーショントラッキングモデルとしてVENOMを位置づけている。その主な貢献は以下の通りである：

1. データセットの構築: エキスパートによる模倣を通じて生成された、大規模でマルチエンボディメントなデータセットであるVENOMデータセットの作成。これは、多才なモーショントラッカーを訓練するための基盤として機能する。
2. 基盤モデルの実現可能性: 多様なノイズを含むデータを用いた教師あり学習によって訓練されたGPTベースの基盤モデルが、従来のMLPベースラインを凌駕する、クロスエンボディメントの全身モーショントラッキング能力を達成できることを示した。
3. 教師あり学習とRLのギャップ: 教師あり学習とRLエキスパートの間の差を定量化した。著者らは、教師あり学習はエキスパートの能力の多くを回復できるものの、特に高度にダイナミックなタスクにおいては、現状ではモーションの安定性において妥協が生じることを示している。

著者らは、VENOMが汎用的な低レベル制御に向けた重要な一歩である一方で、今後の課題として、モーショントラッキングのための直接的なRL訓練、任意の形態を扱うためのオンライン・リターゲティング・ポリシー、およびダイナミックな飛行フェーズの動きに対する予測ホライゾンの改善などを挙げている。