技術要約：学習された点群対応関係によるヒューマノイド向けの統合モーション・リターゲティング

問題提起

ヒューマノイドロボットが、歩行、操作、物理的相互作用といった複雑な全身動作を学習するためには、大規模かつ高品質なモーションデータが必要である。人間のモーションデータはスケーラブルなコーパスを提供するが、体格の差（プロポーション）、関節のトポロジー、自由度（DoF）、および運動学的制約の違いにより、それらをそのままロボットの参照軌跡として使用することは不可能である。

既存のリターゲティング手法は、主に**スケルトン中心（骨格中心）**である。これらは、特定の人間関節とロボットのリンクとの間の、手動で定義された一対一のマッピングに依存している。このアプローチには、以下の制限がある：

1. スケーラビリティの欠如： 新しいロボットの形態に変更する場合、骨格の対応関係を再定義し、フィッティングパラメータを再調整する必要がある。
2. 疎なガイダンス： 関節レベルの表現は離散的な点でのみモーションを拘束するため、きめ細かなポーズの整合や信頼性の高い接触転送のための十分な幾何学的情報を提供できない。
3. 手動への依存： リターゲティングの品質は手動のセマンティック設計に大きく依存するため、多様なモーションソースやロボットの形態への汎用性が制限される。

メッシュベースの表現はより密な幾何学的情報を提供するが、現在の手法は、定義済みのスケルトンマップなしに、異なる形態間での一貫した表面対応関係を確立することに苦慮することが多い。

手法：統合モーション・リターゲティング (UMR)

著者らは、外部の点群を統一されたインターフェースとして扱うことで、リターゲティングをソース固有のスケルトン・セマンティクスおよびロボット固有のトポロジーから切り離すフレームワークであるUnified Motion Retargeting (UMR) を提案する。UMRは、主に以下の2つのステージで動作する。

1. 点群対応関係の学習

このステージでは、ソースとなる人間の表面とターゲットとなるロボットの表面との間に、再利用可能で高密度かつ順序付けられた対応関係を確立する。

• 入力： ヒューマンソース（例：SMPL-X, SOMA, スキャンされたメッシュ）とターゲットロボットの両方の標準的なTポーズ。
• プロセス：
  • 人間の点群 ($X_h$) は順序付けられており、固定されたインデックスを提供する。
  • ロボットの点群 ($X_r$) は順序付けられていない。
  • PointNet型のエンコーダ ($E_\theta$) が $X_r$ を処理して潜在表現を作成する。
  • MLPデコーダ ($D_\theta$) が各インデックス付けされた人間の点に対する変形ベクトルを予測し、対応するロボットの点群 ($\hat{X}_r$) を再構成する。
  • 学習目的関数： モデルは、以下の要素からなる複合損失 ($L_{corr}$) を最小化する：
    • チャムファ距離 ($L_c$): 再構成された点がターゲットのジオメトリをカバーすることを保証する。
    • 反発項 ($L_r$): 複数の点が同じ領域に崩壊するのを防ぐ。
    • エッジ平滑性 ($L_e$): 測地線グラフ上の接続された点間のコヒーレントな変形ベクトルを強制する。
• 成果： 体が動いても持続する固定された点のセットが得られ、これによりロボットの点が手動のマッピングなしに人間の身体セグメントのラベルを継承できるようになる。

2. 対応関係に導かれたリターゲティング

このステージでは、制約を満たしながら、ソースのモーションに一致するようにロボットの一般化座標 ($q_t$) をフレームごとに最適化する。

• 最適化目的： システムは、残差のスタックを最小化する：
  • ポーズ残差 ($r_p$): ペアになった点の位置と局所的な表面の向きの両方を一致させる。
  • 接触残差 ($r_c$): 接触マップを直接転送する。接触ベクトルは、身体の点と、その最近傍の環境（または自己接触の場合は別の身体セグメント）との差として定義される。
• 制約： 最適化は、制約付きガウス・ニュートン二次計画法 (QP) 問題として定式化される。これは以下を強制する：
  • 関節リミット ($q^-, q^+$)。
  • 床への貫入防止（足のめり込み防止）。
  • 安定性のための信頼領域半径。
• メカニズム： 学習された点のペアは幾何学的なアンカーとして機能する。ソースのメッシュが変形するにつれ、ペアリングされたロボットの点は最適化ソルバに対してきめ細かなターゲットを提供し、手動で設計された関連付けなしに、表面レベルの整合と直接的な接触転移を可能にする。

主な貢献

1. 統一された表面中心のフレームワーク： UMRは、表面点群から高密度なソース-ロボットの対応関係を学習し、手動で定義されたスケルトンやボディのマッピングを排除する。これは、異種混合のモーション表現（SMPL-X, SOMA, スキャンメッシュ）と多様なロボットの形態をサポートする。
2. 効率的なリターゲティング・パイプライン： 本フレームワークは、モーション間で共有される再利用可能な対応関係の設定を利用する。これにより、表面レベルのポーズマッチングと直接的な接触マップ転送が可能になり、リターゲティングプロセスを特定のソース・セマンティクスから分離する。
3. 体系的なダウンストリーム評価： 著者らは、全身トラッキング、大規模なポリシー学習、および接触を伴う相互作用タスクにわたる包括的な評価を提供し、フレームワークの汎用性を実証している。

実験結果

実験は主に Unitree G1 ヒューマノイドロボットを用い、トラッキングには LAFAN1 データセット、ポリシー学習には BONES-SEED を用いて行われた。

• モーション・トラッキング： UMRは、トラッキング成功率において、特に「転倒と起き上がり（Fall and GetUp）」や「格闘（Fight）」のような困難なモーションにおいて、最先端のベースライン（GMRおよびUnitree独自の型のリターゲティング）を上回った。ドメインランダム化およびSim2Sim設定の下でも、UMRはすべてのモーションカテゴリにおいて優れた性能を維持した。
• トラッキング精度： UMRは、ベースラインと比較して、平均関節角誤差および競争力のあるボディパーツ位置誤差を達成した。
• 大規模なポリシー学習： SONICフレームワークにおいて、UMRでリターゲティングされたデータで学習されたポリシーは、補助的なSMPLエンコーダを使用しない場合でも、GMRでリターゲティングされた参照と比較して、総報酬およびトラッキング誤差において一貫した改善を示した。
• 接触を伴う相互作用： ロボットと物体の相互作用（運ぶ、蹴る、押す）およびロボットとシーンの相互作用（階段、傾斜）を含むタスクにおいて、UMRは OmniRetarget を大幅に上回った。
  • UMRは意図された接触ジオメトリ（例：手と物体の接触）を保持したが、OmniRetargetは接触を誤った表面領域にずらすことが多かった。
  • UMRで学習されたポリシーは、物体相互作用タスクにおいて関節トラッキング誤差を40〜56%減少させた。
  • UMRは、ノイズを含む人間のモーションソース（ビデオから再構成されたもの）に対しても堅牢性を示し、階段昇降や傾斜タスクにおいてベースラインを上回った。
• 実機へのデプロイメント： UMRによって生成された高忠実度の参照は、高ダイナミックな動作（スピンキック）や多様な相互作用（ボールのピックアップ、階段の昇降）における、物理ロボットへのポリシー学習とデプロイメントの成功を可能にした。

意義と主張

本論文は、UMRが、大規模で異種混合な人間のモーション参照を、ロボットが学習可能なトレーニングデータへと変換するためのスケーラブルな基盤を提供すると主張している。疎で手動設計されたスケルトンの対応関係から、学習された高密度な表面対応関係へと移行することで、UMRは以下を実現する：

• リターゲティングを特定のソース・セマンティクスおよびロボットのトポロジーから分離し、単一のフレームワークで多様な形態を扱えるようにする。
• きめ細かな幾何学的整合と直接的な相互作用接触の転送を可能にし、これらは複雑な操作やシーンとの相互作用において極めて重要である。
• 密な表面対応関係が、人間とヒューマノイドの間の形態の差を埋めるための効果的なインターフェースとなり、既存の最先端手法よりも高いモーションの忠実度と妥当性をもたらすことを実証した。

著者らは現在の限界についても認めており、具体的にはメッシュベースのソースジオメトリと標準的なテンプレートへのアクセスを前提としている点であり、今後の課題として、非構造化された観測や、器用な手を持つような、より高度に分節化された形態への拡張を挙げている。