技術要約: Human2Humanoid

問題提起

人間の動きをヒューマノイドロボットにリターゲティングすることは、テレオペレーション、模倣学習、および人間とロボットの相互作用を実現するための重要な要素である。しかし、このタスクは主に、結合された2つの課題に直面している：

1. 形態学的相違（Morphological Discrepancies）: 骨格のトポロジー、肢のプロポーション、および自由度（DoF）に関して、人間とロボットの間には顕著な差異が存在する。単純な幾何学的アライメントでは、体格や関節構造が劇的に異なる場合、動作のセマンティクス（意味論）を保持できないことが多い。
2. データの不足（Data Scarcity）: 高品質で同期された「人間とロボットの動きのペア」を取得することは困難であり、異なるロボットの形態間でのスケーリングも容易ではない。
3. 物理的な妥当性（Physical Plausibility）: 既存の非ペア型手法（コンピュータグラフィックス由来のものが多い）は、視覚的な妥当性を優先する一方で、実行可能な関節空間の軌道、安定した接地接触、またはロボット固有の運動学的限界への遵守を保証できていない。これにより、フットスケーティング（足の滑り）、地面へのめり込み、身体の浮遊といったアーティファクトが発生し、実際のハードウェアでの使用が不可能になる。

従来の最適化ベースの手法（逆運動学など）は解釈性は高いが、初期条件やチューニングに敏感であり、形態の不一致が大きい場合にはセマンティクスが歪んだポーズを生成することが多い。対照的に、教師あり学習手法は、ほとんど存在しないペアデータを必要とする。また、既存の非教師あり生成的アプローチは、ロボットへのデプロイに必要な物理的制約を欠いている。

手法

本論文では、ペアデータを用いずに人間の動きをヒューマノイドロボットに転送するために設計された、非教師ありモーションリターゲティングフレームワークであるHuman2Humanoidを提案する。このフレームワークはCycleGAN型のアーキテクチャに基づいているが、形態と物理学に対処するための特定のメカニズムを統合している。

1. ネットワークアーキテクチャ

• スケルトン認識型ジェネレータ（Skeleton-Aware Generators）: ポーズをフラットなベクトルとして扱う手法とは異なり、ジェネレータは**スケルトン認識型グラフ畳み込みネットワーク（GCN）**を採用している。これらは隣接行列を利用して、骨格運動のネイティブなトポロジカル構造を明示的にモデル化し、局所的な関節間の相関を捉える。アーキテクチャには、SkeletonConvレイヤーを備えたエンコーダ、潜在空間、およびターゲットのトポロジーを復元するためのアンプーリング操作を備えたデコーダが含まれる。
• フレーム単位のポーズ識別器（Frame-wise Pose Discriminator）: 識別器はフレーム単位で動作し、単一のスカラー値に集約されるのではなく、関節レベルでリアリズムを評価する。これは、局所的なリアリズムのための関節単位ブランチと、ポーズの一貫性のための全身ブリーチのデュアルブランチアプローチを使用し、それらを組み合わせて各関節を独立してスコアリングする。

2. 主要な損失関数と制約

ドメインギャップを埋め、物理的な実現可能性を確保するために、本フレームワークは3つの特定のコンポーネントを導入している：

• 形態不変エンドエフェクタ一貫性損失 ($L_{EE}$):
  スケールの不一致（例：人間の腕 vs コンパクトなロボットの腕）を処理するため、本手法は絶対的なデカルト座標のアライメントを避ける。代わりに、各エンティティのTポーズに対するエンドエフェクタの軌道をアライメントする。各エンティティのボディスケールによってTポーズからの変位を正規化することで、異なる形態間でも動作のセマンティクスを保持する。
  $$L_{EE} = \mathbb{E} \left[ \frac{1}{T|E|} \sum_{t=1}^{T} \sum_{k \in E} \left\| \frac{FK_k(q_B, t) - FK_k(q_B^{Tpose})}{S_B} - \frac{FK_k(\hat{q}_A, t) - FK_k(q_A^{Tpose})}{S_A} \right\|_2^2 \right]$$

• 物理的妥当性を考慮した実現可能性制約:
  非教師あり生成において一般的なアーティファクトを抑制するために、訓練中に明示的な制約が課される：

  • 足部接触制約 ($L_{con}$): ソースとなる人間の動きから接触状態を推論し（足の速度に基づく）、接触が期待される際にターゲットの足の速度にペナルティを課すことで、フットスケーティングを抑制する。
  • 足の高さ制約 ($L_{hei}$): ソースの足が接地しているとき、ターゲットの足が名目上の接地高度の近くに留まるようにすることで、「浮遊」を抑制する。
  • 関節リミット制約 ($L_{lim}$): ハードウェアの損傷や緊急停止を防ぐため、予測された関節角がロボットの機械的限界（$[q_{min}, q_{max}]$）を超える場合にペナルティを課す。

• 全目的関数:
  全ジェネレータ損失は、標準的なCycleGANの目的関数（敵対的損失、サイクル一貫性損失、アイデンティティ損失）と、提案された形態および物理損失を組み合わせたものである：
  $$L_G = \lambda_{GAN}L_{GAN} + \lambda_{cyc}L_{cyc} + \lambda_{idt}L_{idt} + \lambda_{EE}L_{EE} + \lambda_{con}L_{con} + \lambda_{hei}L_{hei} + \lambda_{lim}L_{lim}$$

実験結果

本手法は、Motion-Xデータセット（人間）とPHUMAデータセット（ロボット）の非ペアデータを用いて、Unitree G1ヒューマノイドロボット上で検証された。

• ダウンストリームの制御可能性: シミュレーションにおける固定トラッキングポリシーを用いて評価。Human2Humanoidは、すべてのベースライン（最適化ベースの手法であるPHCやGMR、および産業用リファレンスを含む）の中で、**最高の成功率（88.5%）と最低のトラッキング誤差（0.12）**を達成した。
• 物理的実現可能性: 本手法は、接触アーティファクトの抑制において優れた性能を示した。**最小の地面貫入（0.05 cm）**を達成し、フットスケーティング率においても競争力のある数値（4.7%）を示し、関節リミットの不連続性に苦しんだり、ジッターを避けるために動作ごとのチューニングを必要としたりする最適化ベースのベースラインを上回った。
• アブレーション研究: 形態不変損失（$L_{EE}$）を除去すると、トラッキングの成功率が大幅に低下し、誤差が増大したことから、セマンティクスの保持におけるその役割が確認された。物理制約（$L_{con}, L_{hei}$）を除去すると、フットスケーティングと地面への貫入が増加し、物理的な妥当性におけるそれらの必要性が検証された。

主な貢献

1. Human2Humanoidフレームワーク: 異種ヒューマノイドロボットのための、ロボット固有のペアデータへの依存を軽減する非ペア型モーションリターゲティングフレームワーク。
2. 形態不変エンドエフェクタ一貫性損失: 各エンティティのTポーズに対する正規化されたエンドエフェクタ軌道をアライメントすることにより、大きなスケール不一致の下でも動作のセマンティクスを保持する新しい損失関数。
3. 物理的妥当性を考慮した実現可能性制約: フットスケーティングや地面への貫入といったデプロイに不可欠なアーティファクトを軽減するために、接触、高さ、および関節リミットの明示的な制約を生成的な訓練プロセスに統合したこと。

意義と主張

本論文は、Human2Humanoidが、ペアデータを必要とせずに、人間の運動事前分布と実行可能なロボットの振る舞いの間のギャップを正常に埋めることを主張している。非教師あり学習を、形態不変なセマンティック・アライメントおよび明示的な物理的事前知識と組み合わせることで、本フレームワークはセマンティックな忠実度（人間の動きの意図を保持すること）と物理的な実行可能性（ロボットにとって安全で安定した動きを保証すること）の間の堅牢なバランスを実現している。

著者らは、既存の手法が敏感な最適化に依存するか、あるいは高価なペアデータの構築を必要とする一方で、自身のアプローチは高品質でトラッキング可能な参照動作を生み出すスケーラブルなソリューションを提供すると強調している。結果は、提案された手法が「エンボディメント・ギャップ（身体性の差）」を扱う上で特に効果的であり、現在の最先端のベースラインよりも高い信頼性で複雑な人間の動きを再現できることを示唆している。今後の課題として、非ヒューマノイドロボットへの汎用化、および全身制御ポリシーとのエンドツーエンドの結合が挙げられている。