テクニカル・サマリー：HiPHI — 高精度な人間動作および物体相互作用のための大規模ベンチマーク

1. 問題提起

ヒューマノイド知能の開発は、現在、利用可能なデータソースのミスマッチによってボトルネックに直面している。既存のデータセットは以下の2つのカテゴリーに分類されるが、いずれもスケーラブルなヒューマノイド・ポリシー学習には不十分である：

• インターネット規模のビデオデータ： 多様ではあるが、精密な物理状態や相互作用の接地（グラウンディング）に欠けており、直接的な物理測定ではなく、再構成やプロキシ信号への依存を必要とする。
• ラボラトリー動作データセット： 高い忠実度を持つが、行動のカバー範囲が狭く、多くの場合、エンボディド・インテリジェンス（身体性知能）よりもモーション合成やアニメーションを目的として設計されている。
• 人間と物体の相互作用（HOI）の限界： 既存の多くのHOIデータセットは小規模であり、同期された物体の状態データが欠如している（「空中に座る」といった物理的に不可能なシナリオを招く）。また、制御戦略を形作る荷重、摩擦、慣性を捉えることに失敗している。

ヒューマノイドのポリシー学習には、広範なカバー範囲、物理的な忠実性、そして物体に制約された全身制御に基づいたデータが同時に必要である。

2. 手法

2.1 FrameNetに導かれたモーション空間の構築

手動での行動スクリプト作成（これはアドホックな蓄積や意味的な重複を招く）ではなく、著者らはFrameNetという言語学的フレームワークに導かれた構造化されたパイプラインを提案している。

• 意味論的足場（Semantic Scaffold）： パイプラインは、モーションのシード（種）を定義するために、FrameNetのフレーム（イベントタイプ）と語彙単位（LU：特定の単語の意味）を使用する。これにより、理論的に裏付けられた、冗長性のないモーションの意味の列挙が保証される。
• 体系的な拡張： 各Frame-LUシードは、方向、速度、振幅、身体の姿勢、身体部位の関与、物体/接触条件を含む複数の物理的次元に沿って拡張される。
• スケーラビリティ： このアプローチは、データセットの成長を「新しいスクリプトの発明」から「構造化されたモーション空間の体系的な拡張」へと変容させる。これにより、ロボティクスに関連する「到達可能な人間の運動空間」（例：歩行、バランス、荷重支持）をカバーしつつ、無関係な行動（例：睡眠）を除外することを可能にする。

2.2 データ収集パイプライン

• ハードウェア： データは、サブミリメートル単位の空間追跡精度を持つ大型光学モーションキャプチャ（MoCap）システムを使用して取得された。
• パフォーマー： バリエーションを確保するため、132名の異なるパフォーマーが活用された。
• 物体相互作用： 相互作用シーケンスについては、実際の物体が使用された。完全な物理的相互作用（荷重、摩擦、幾何学形状）を保持するために、人間の動きとともに同期された物体の軌跡とメッシュがキャプチャされた。
• 規模： 最終的なデータセットは617.5時間のデータ（身体のみの動作371.8時間、人間と物体の相互作用245.7時間）で構成され、22のフレームにわたる214のFrame-LUモーションユニットと、40種類の異なる実世界の物体をカバーしている。

3. 主な貢献

1. FrameNetに導かれた構築パイプライン： 手動のスクリプト作成を超えた、言語学的な足場を持つスケーラブルな手法であり、モーション空間のカバー範囲を設計するための新しい体系的な方法。
2. HiPHIデータセット： 以下の特徴を持つ617.5時間の高精度データセット：
   • 245.7時間の相互作用データにおける、同期された物体の軌跡とメッシュ。
   • 全てのクリップに対するFrame-LUインデックスと自然言語による記述。
   • 全身動作およびメッシュレベルの物体追跡におけるサブミリメートル精度の実現。
3. 包括的な評価プロトコル： モーション空間の多様性、データ品質（滑らかさ、接地）、相互作用の一貫性、およびヒューマノイドのトラッキングと実世界への展開におけるダウンストリーム性能を評価するベンチマークスイート。

4. 実験結果

4.1 モーション空間の多様性

共有された時間畳み込みオートエンコーダとt-SNE投影を用いることで、HiPHIは既存のベースライン（AMASS, BONES-SEED, Motion-X++, LAFAN1）よりも広い運動学的カバー範囲を示す。

• HiPHIは、潜在空間においてより多くのグリッドセルを占有している（BONES-SEEDの1438に対し、HiPHIは1620）。
• より高い有効占有率と、より大きなロングテールシェア（14.1%）を示しており、これは一般的な動作を密にサンプリングしているだけでなく、より広く均一な動作分布をカバーしていることを示している。

4.2 データ品質

• 身体動作： HiPHIは、他のデータセットと比較して、ジャーク（躍度）、加速度、地面へのめり込み、浮遊、足のドリフトにおいて優れた指標を達成している。
• 相互作用の一貫性： 物体相互作用シーケンスにおいて、HiPHIは98.1%の非競合率と95.7%の近表面接地を実現し、幾何学的整合性においてHIMO（79.0%）やOMOMO（50.4%）を大幅に上回った。

4.3 ダウンストくヒューマノイド学習

• シミュレーション・トラッキング： HiPHIで訓練されたポリシーは、物理ベースのヒューマノイド・トラッキング（Unitree G1）において、AMASS, LAFAN1, Motion-X++, BONES-SEEDで訓練されたポリシーと比較して、最も高い成功率と最も速い収束を実現した。
• スケーリング挙動： HiPHIの訓練データを3時間から300時間へと増やすにつれて、クロスデータセット間の平均関節位置誤差（MPJPE）が継続的に減少しており、データセットの規模が直接的な性能向上につながることを示している。
• 物体相互作用： キック、運搬、押し、寄りかかりなどのタスクにおいて、HiPHIで訓練されたポリシーは、最高の身体トラッキング誤差と優れた物体位置/方位精度を示した。
• 実世界への展開： HiPHIで訓練されたポリシーは、シム・トゥ・リアル（Sim-to-Real）の差異があるにもかかわらず、走行、座る、這う、運ぶ、反転する、スーツケースを引くといった多様な動作を実行し、実世界のUnitree G1ハードウェアへの転移に成功した。

5. 意義と主張

本論文は、HiPHIを、実世界のエンボディド・タスクにおけるヒューマノイド・ポリシーの訓練、評価、および汎化のための重要な基盤として位置づけている。その主な意義は、以下の提供を通じて、高精度なモーションキャプチャとスケーラブルなポリシー学習の間の溝を埋めることにある：

• 物理的接地： 同期された物体の状態と実世界の相互作用を含めることで、パントマイム的な動作では捉えられない、荷重に依存した戦略の学習を可能にする。
• 体系的なカバー範囲： FrameNetに導かれたアプローチは、手動のスクリプト作成における「盲目的な蓄積」の問題に対処する、モーション空間のカバー範囲を拡張するための原理的な方法を提供する。
• 有用性： このデータセットは、大規模であるだけでなく、物理的に安定し、相互作用に基づいた実行可能な参照データとして機能し、ロボットがバランス、姿勢遷移、および接触戦略を効果的に学習することを可能にする。

著者らは、現在の焦点が単一人物の動作（複数人による相互作用を除く）にあることや、直接的な接触力の測定が欠けていることなどの限界を認めているが、HiPHIが将来のヒューマノイド・インテリジェンスおよびコンピュータグラフィックスにおけるモーション・プライア・モデルの進展のための、スケーラブルなデータ基盤を確立するものであると主張している。