論文サマリー：LATENT

1. 背景と課題 (Problem)

ヒューマノイドロボットにテニスのようなアスリート的なスポーツ技能を習得させることは、以下の理由から極めて困難です。

• 高度なダイナミクスと精度: テニスは高速な移動（6m/s 以上）、高速なボールへの反応（15-30m/s）、そして数ミリ秒という極めて短いラケット接触時間での正確な打撃を要求します。
• データ収集の困難さ:
  • テレオペレーションの限界: 人間とヒューマノイドの直接操作によるデータ収集は、運動範囲の広さや反応速度の観点から非現実的です。
  • モーションキャプチャの限界: 実際の試合から完全な人間 - テニス運動データを取得するのは、広範囲の移動や微妙な手首の動きの捕捉が難しく、莫大なコストと技術的ハードルを伴います。既存の手法（例：Vid2Player3D）は単眼ビデオからの抽出に依存しますが、複雑なパイプラインが必要で、物理的に非現実的な仮定（無限の関節トルクや残存力など）に頼らざるを得ない場合が多いです。

本研究の核心課題:
「不完全（Imperfect）」な人間運動データ（完全な試合データではなく、フォアハンド、バックハンド、サイドステップなどの「プリミティブ技能」の断片のみ）から、ヒューマノイドが自然な動作様式を維持しつつ、高速で正確なテニス返球を可能にするポリシーを学習することです。

2. 提案手法：LATENT (Methodology)

LATENT (Learns Athletic humanoid TEnnis skills from imperfect human motioN daTa) は、3 つの主要な段階で構成される階層的な制御システムです。

3.1 不完全な人間運動データの収集

• 実際の試合ではなく、フォアハンド、バックハンド、サイドステップ、クロスオーバーステップなどの「プリミティブ技能」のみを、5 名のアマチュア選手に光学モーションキャプチャシステムで記録させました。
• 必要なキャプチャ領域はフルコートに比べて 17 分の 1 以下（3m×5m）で済み、データ収集のハードルを大幅に低下させています。
• 収集されたデータは、人間からヒューマノイドへのリターゲティング（Loco-MuJoCo を使用）が行われますが、この過程で手首の動き（ラケット操作）は不正確になりがちです。

3.2 修正可能な潜在行動空間の構築 (Correctable Latent Action Space)

不完全なデータから、高レベルのポリシーが修正を加えられるような潜在空間を構築します。

• モーショントラッカーの事前学習: 収集されたノイズのあるデータに追従する RL ポリシー（トラッカー）を訓練します。
• オンライン蒸留と変分ボトルネック: 事前学習したトラッカーから、連続的な技能空間（潜在空間）を学習します。
  • 手首の修正への対応: 学習中に右腕（ラケットを持つ手）の制御信号を意図的に除外し、ランダムな摂動を加えることで、潜在空間が手首の誤差や修正に対してロバストになるように設計しました。
  • 状態依存の事前分布: 固定されたガウス分布ではなく、状態（ステート）に依存して学習可能な事前分布 $P(z_p|s_t)$ を導入し、異なる動作（移動 vs 打撃）における行動分布の違いを捉えます。

3.3 高レベルポリシーの学習 (High-Level Policy Learning)

潜在空間に格納されたプリミティブ技能を修正・構成して、テニス返球タスクを達成する高レベルのポリシー（$\pi_{planner}$）を訓練します。

• ハイブリッド制御: ポリシーは、潜在行動（$a_{latent}$）と、直接制御する右腕の修正コマンド（$a_{correct}$）の両方を出力します。これにより、下半身の安定性を保ちつつ、手首の微細な調整を可能にします。
• 潜在行動バリア (Latent Action Barrier, LAB):
  • 課題: 不完全なデータは「自然な動き」の事前知識しか持たず、「タスク遂行方法」の知識は含まれていません。RL 探索中に、高レベルポリシーが潜在空間を悪用して、タスクは達成するが不自然でガタガタした動き（ジッター）を生み出すリスクがあります。
  • 解決策: 探索空間を制約する「潜在行動バリア」を導入します。学習可能な事前分布の平均 $\mu_p$ を中心とし、その標準偏差 $\sigma_p$ に応じて適応的にスケールされたマハラノビス距離に基づいて、残差行動の探索範囲を制限します。これにより、タスク遂行能力と自然な動作様式の維持を両立させます。

4. シミュレーションから実世界への転移 (Sim-to-Real Transfer)

Unitree G1 ヒューマノイドロボットへの実装を成功させるため、以下のロバスト化設計を行いました。

• ダイナミクスランダム化: ロボット（摩擦、質量、重心など）とテニスボール（質量、地面との反発係数、空気抵抗係数など）の物理パラメータをランダム化し、シミュレーションと実世界のギャップを埋めます。
• 観測ノイズ: 実世界の状態推定誤差や遅延を模倣するため、ボールの位置・速度推定にノイズとフレームドロップ、遅延を付与します。特にボール速度の推定精度向上のため、4 フレームの移動平均ウィンドウを使用しています。

3. 主要な貢献 (Key Contributions)

1. LATENT システムの提案: 不完全で不正確な人間運動データ（プリミティブ技能の断片）から、アスリート級のヒューマノイドテニス技能を学習する新しいフレームワークを提案しました。
2. 新しい設計の導入:
   • 不完全なデータから潜在行動空間を構築・利用するための「修正可能な潜在空間」と「潜在行動バリア（LAB）」という 2 つの革新的な設計を行いました。
3. 実世界での実装: Unitree G1 上で実装し、人間プレイヤーとのマルチショットラリーを安定的に維持することに成功しました。
4. 広範な実験: シミュレーションおよび実世界での実験により、主要な設計要素の有効性を検証しました。

4. 実験結果 (Results)

シミュレーション結果

• ベースラインとの比較: 既存手法（PPO, MotionVAE, AMP, ASE, PULSE など）と比較して、LATENT は圧倒的な性能を発揮しました。
  • 成功率 (SR): フォアハンドで 96.52%、バックハンドで 82.10%（ベースラインは 40-70% 程度、PPO は収束せず）。
  • 動作品質: 距離誤差（DE）が最小（1.32m）、関節の滑らかさ（Smth）とトルク（Torque）も最も効率的でした。
• アブレーション研究:
  • 「手首の修正（Correction）」なしでは成功率が大幅に低下（フォアハンド 82.36% → 96.52%）。
  • 「潜在行動バリア（LAB）」なしでは、不自然な振動が生じ、動作品質が劣化しました。

実世界結果 (Unitree G1)

• 人間とのラリー: 人間プレイヤーとの連続ラリーにおいて、安定した返球を可能にしました。
• 性能: 実世界での成功率は、フォアハンドで 90.90%、バックハンドで 77.78% を記録しました。
• 転移の重要性: ダイナミクスランダム化や観測ノイズを除去したベースラインと比較し、これらがシミュレーションから実世界への転移に不可欠であることを示しました（w/o DR の場合、成功率は 16.67% まで低下）。
• 高速ボールへの対応: 最大 15m/s を超える高速ボールに対しても、自然なアスリート的な動作で返球に成功しています。

5. 意義と将来展望 (Significance)

• データ収集の革新: 完全な試合データが不要であり、簡易なモーションキャプチャ環境で収集した「不完全な断片データ」から高品質な制御ポリシーを学習できることを実証しました。これは、他のスポーツや複雑なタスクへの応用可能性を示唆しています。
• 実用性の向上: 物理的に非現実的な仮定（無限トルク等）に頼らず、実在するヒューマノイドロボット（Unitree G1）で実証された点は、ロボティクス分野における大きな進歩です。
• 一般化の可能性: 提案されたフレームワークは、完全な高品質データが入手困難な分野（サッカー、パルクールなど）におけるアスリート型技能の学習にも応用可能です。

結論:
本研究は、不完全な人間運動データという制約を逆手に取り、階層的制御と強化学習の巧妙な組み合わせによって、ヒューマノイドロボットが人間と対等にラリーを繰り広げるアスリート的なテニス技能を実現しました。これは、スポーツロボット開発における重要なマイルストーンと言えます。