技術概要：DynaRetarget

問題定義

ヒューマノイドロボットに対する可行的な loco-manipulation（移動操作）行動の生成は、ロボットと操作対象物の両方の不完全駆動性、および複雑な接触相互作用により、複雑な課題である。従来のアプローチは勾配ベースの軌道最適化（TO）または深層強化学習（RL）に依存しているが、これらは明確な限界に直面している。勾配ベースの TO は、十分な探索のために検索ベースの拡張を必要とすることが多く、RL は探索効率に苦しみ、個々の動作に対してしばしば重み付け報酬設計を必要とする。

有望な代替手段として、探索問題を緩和するために人間のデモンストレーションをヒューマノイドロボットにリターゲティングし、得られた軌道を用いて RL ポリシーを訓練する方法がある。しかし、既存のリターゲティング手法は主に運動学的最適化問題を解決するものである。これらのアプローチは、足のスケーティング、貫通、接触の欠如といった物理的・幾何学的な不整合に脆弱であり、これらは loco-manipulation タスクにおいて特に有害である。さらに、最近のサンプリングベースのモデル予測制御（SBMPC）手法は整合性を向上させているが、短い時間範囲（ホライズン）で動作する。この近視眼的な性質は、限られた時間枠内で修正できない不完全な参照運動学的軌道が存在する場合、長期的なタスクにおいて失敗しやすい原因となる。

手法：DynaRetarget

本論文は、人間の動作をヒューマノイド制御ポリシーにリターゲティングするための完全なパイプラインであるDynaRetargetを導入する。中核的な革新は、不完全な運動学的軌道を動的に可行的な動作へと洗練させる新しい**サンプリングベースの軌道最適化（SBTO）**フレームワークである。

1. パイプライン概要

DynaRetarget パイプラインは 3 つの段階で動作する：

1. 運動学的リターゲティング: 逆運動学（IK）に基づくリターゲティング処理により、人間 - 物体デモンストレーションを運動学的に可行的なロボット - 物体軌道に変換する。この初期段階では、形態的な違いにより、接触の欠如や幾何学的な不整合などのアーティファクトが生じることが多い。
2. 動的洗練（SBTO）: 運動学的軌道は SBTO モジュールの参照として機能する。SBTO は軌道を洗練させ、物理的整合性を確保し、接触の欠如などのアーティファクトを修正する。
3. RL ポリシー訓練: 洗練され、動的に整合性の取れた軌道は、ドメインランダム化を用いたシミュレーション内で RL 追跡ポリシーの訓練に使用される。学習されたポリシーは、ゼロショットで実世界のヒューマノイドハードウェアへ転送される。

2. サンプリングベースの軌道最適化（SBTO）

標準的な SBMPC が後退的に短い時間範囲の問題を解決するのとは異なり、SBTO は最適化時間範囲を段階的に拡大し、完全な長期的な問題を解決する。

• 段階的な時間範囲拡大: SBTO は制御変数（補間ノット）を段階的に最適化する。最初のノットを最適化し、次に最初の 2 つ、というように、すべてのノットが最適化されるまで進める。このプロセスは、短い時間範囲からの解を用いて、より長い時間範囲の問題をウォームスタートする。
• 適応的収束: アルゴリズムは、時間範囲をいつ増分するかを決定するための適応基準を採用する。サンプリング分布の共分散行列（$\Sigma$）の対角値を監視する。現在の部分変数の十分な収束を示す最大対角値が閾値（$\sigma_{min}$）を下回った場合にのみ増分が行われる。これにより、早急な収束を防ぎ、オプティマイザが局所最適解から脱出することを可能にする。
• 効率性の最適化（SBTO skip）: 長期的な問題における計算コストに対処するため、著者は「SBTO skip」という変種を提案する。この実装は、すでに収束した（分散が $\sigma_{skip}$ 未満）初期軌道セグメントをキャッシュし、その後のロールアウト中の再計算をスキップすることで、シミュレーションステップを大幅に削減する。
• コスト関数: 最適化は、状態位置と速度の偏差、胴体/足/手のポーズの追跡、および接触関連の項（望まない衝突を抑制）を罰するコスト関数を最小化する。

主要な貢献

1. 新規最適化フレームワーク: 本論文は、不完全な運動学的デモンストレーションを、完全な問題時間範囲を考慮しながら、動的に可行的なヒューマノイド loco-manipulation 行動へリターゲティングできる、初のサンプリングベースの軌道最適化手法を導入する。
2. 優れた性能: 著者は OmniRetarget データセットの数百の動作でアプローチを検証し、最先端の SBMPC ベースライン（例：SPIDER）と比較して、著しく高いリターゲティング成功率を実証した。
3. 堅牢な汎化: このフレームワークは、単一の追跡目的を用いて、物体の特性（質量、サイズ、幾何学）が異なる場合にも汎化し、再訓練なしに多様なデモンストレーションの洗練を可能にする。
4. 下流 RL の利益: 本論文は、SBTO によって洗練された軌道が、下流の RL 追跡ポリシーの訓練効率と堅牢性を著しく向上させ、実ハードウェアへのゼロショット転送を可能にすることを示している。

結果と評価

著者は、G1 ヒューマノイドロボットが箱と相互作用する（把持、蹴り、押し、引き）285 の動作で SBTO を評価した。

• 成功率: SBTO は**74.6%の成功率を達成し（「skip」変種では 76.8%）、SBMPC ベースライン（SPIDER）の37.9%**の成功率のほぼ 2 倍であった。成功は、物体の位置誤差が 10 cm 未満かつ回転誤差が 25 度未満を維持することと定義された。
• 軌道の品質: SBTO はベースラインと比較して、より滑らかな軌道を生成した。
• 計算効率: 標準的な SBTO は計算コストが高かったが、「SBTO skip」変種は計算コストを 3 分の 1 に削減し、高い性能を維持しながらベースラインよりも効率的になった。
• アルゴリズム分析: 実験により、SBTO の段階的なウォームスタートプロセスが、固定時間範囲の TO に見られる収束問題を効果的に緩和することが示された。さらに、SBTO の「実効時間範囲」（初期決定変数が積極的に洗練される期間）は、SBMPC の増分ごとの先読みまたは固定時間範囲よりも実質的に長いことが判明し、これが長期的なタスクを処理できる理由を説明している。
• RL 転送: SBTO によって洗練された軌道で訓練された RL ポリシーは、運動学的にリターゲティングされたデータのみで訓練されたポリシー（79.41%）と比較して、実世界転送において収束が著しく速く、より高い成功率（97.09%）を達成した。SBTO 訓練のポリシーは、追加のカリキュラム設計なしに、脚を用いた物体操作などの困難な行動を成功裏に学習した。

意義

本論文は、DynaRetarget がヒューマノイドロボットの実世界データ収集における主要なボトルネック、すなわち高品質で物理的に整合性の取れた loco-manipulation デモンストレーションの不足に対処していると主張している。多様な人間のデモンストレーションを動的に可行的な動作へ堅牢にリターゲティング可能にすることで、このフレームワークは大規模な合成データセットの生成への扉を開く。この能力は、実世界ハードウェアに直接展開可能な堅牢な RL ポリシーの訓練を促進し、複雑な接触を伴うタスクにおけるシミュレーションと現実のギャップを埋める。