技術要約: TEXEDO

問題提起

テキスト条件付きのモーション生成は、ヒューマノイドロボットをプログラミングするための有望なインターフェースとして台頭しているが、**モーション生成器（motion generator）と全身制御器（whole-body controller）**の間には決定的な断絶が存在する。現在の生成器は、通常、人間の動作データセットをロボットの形態にリターゲティングして学習されている。これらのモデルは豊かな意味論的な運動学的事前知識を捉えているものの、バランスの限界、接触タイミング、アクチュエータの飽和、およびコントローラ特有の失敗モードといった、ダウンストリームの制御器が持つ具体的な制約にはさらされていない。その結果、生成されたモーションは意味論的には妥当であっても、動的には実行不可能であり、転倒や不適切な接触、アクチュエータの飽和といったデプロイメント時の失敗を招く可能性がある。

既存のアプローチでは、生成と制御が弱く結合されたものとして扱われることが多い。言語モデルは「テスト時スケーリング（複数の候補をサンプリングし、検証器を通じて最良のものを選択する）」を採用することで生成品質を向上させることに成功しているが、これをヒューマノイドのモーションに適用するには、「接地された（grounded）」品質の概念が必要となる。候補となるモーションは、テキストプロンプトと一致しているだけでなく、特定のハードウェアプラットフォーム上の特定の全身トラッカーによって実行可能でなければならない。

手法: TEXEDO (Text-See-Do)

TEXEDOは、生成器やトラッカーを修正することなく、凍結された事前学習済みテキスト・トゥ・モーション生成器を**コントローラを意識した（controller-aware）**モーションシステムへと変換するために設計された、テスト時スケーリング・フレームワークである。パイプラインは以下の3つのステージで動作する。

1. TEXT: 候補サンプリング (Candidate Sampling)

自然言語による指示 $\ell$ が与えられると、言語条件付き生成器 $G$（例：FSQ-GPT）が、$N$ 個の候補となる全身参照軌跡 $\{m_i\}_{i=1}^N$ をサンプリングする。生成器はブラックボックスとして扱われ、フレームワークはデコードされた軌跡のみに依存する。

2. SEE: 接地された検証 (Grounded Verification)

各候補は、2つの補完的な接地型検証器によって評価される。

• 動的実現可能性検証器 ($R_{dyn}$): この検証器は、生成されたモーションがデプロイ時の制御器（例：SONIC）によって正常に追従可能かどうかを予測する。これは、実際のトラッカーのオフライン・ロールアウトから蒸留されている。
  • オラクル信号: オフライン・ロールアウトは、バイナリ成功 ($y_s$)、追従品質 ($q_d$)、および進行比率 ($q_g$) の3つの信号を生成する。これらは単一のオラクル品質スコア $Q^*$ に集約される。
  • サロゲートモデル: 軽量な時間的Transformerが、モーション $m$ からこれらの信号を直接予測するように学習され、$R_{dyn}(m)$ を出力する。これにより、選択時にフル・ロールアウトを実行するという膨大なコストを回避できる。
• 意味論的整合性検証器 ($R_{text}$): この検証器は、テキストプロンプトとモーションの間の整合性を測定する。
  • アーキテクチャ: テキストとモーションの双方向GRUエンコーダが、対照学習損失を用いてターゲットとなるロボットのスケルトン上で学習される。
  • スコアリング: スコアは、テキストとモーションのエンコーディング間の指数関数的な負の埋め込み距離として定義される：$R_{text}(\ell, m) = \exp(-\|\phi_{text}(\ell) - \phi_{motion}(m)\|^2)$。

3. DO: 非対称選択 (Asymmetric Selection)

TEXEDOは、最終的なモーション $\hat{m}$ を選択するために、「フィルタリング・アンド・リランク（filter-then-rerank）」戦略を採用している。

1. フィルタリング (Filter): 動的に実行不可能であると予測された候補（$R_{dyn} < \theta$）は破棄される。これは、安全性と実行可能性を確保するために、動的実現可能性をハード制約として扱うものである。
2. リランク (Rerank): 残った実行可能な集合の中から、最も高い意味論的整合性スコア（$R_{text}$）を持つ候補が選択される。
3. フォールバック (Fallback): もし動的フィルターを通過する候補が存在しない場合は、$R_{dyn}$ が最も高い候補が選択され、実行の可能性を最大化する。

主な貢献

1. 問題定式化: 本研究は、コントローラを意識した言語条件付きヒューマノイドモーション生成を、テスト時スケーリング問題として定式化し、推論時の追加サンプルを活用することで、ロボットに指令される単一の参照モーションを改善する手法を提示した。
2. デュアル検証器のデザイン: 以下の2つの接地型検証器を導入した。
   • トラッカーのロールアウトから蒸留された、物理的な実行可能性を予測する動的実現可能性検証器。
   • ロボットのスケルトン・モーションに基づいて学習された、テキストとモーションの整合性を測定する意味論的整合性検証器。
3. 非対称選択戦略: 動的実現可能性をハード制約として優先させた後に、意味論的整合性を最適化するという「フィルタリング・アンド・リランク」ルールを提案した。これにより、安全かつ意味的に忠実であることを保証しつつ、相反する2つの基準間の緊張関係を解決している。

実験結果

本フレームワークは、Unitree G1ヒューマノイド上でSONIC全身制御器を用いて評価され、シミュレーションおよび実世界へのデプロイメントにわたる実験が行われた。

• テスト時スケーリングの有効性:
  • 候補プールのサイズ ($N$) を増やすことで、パフォーマンスが一貫して向上する。
  • $R_{dyn}$ のみの選択では、高い追従成功率 (0.990) を達成するが、意味論的整合性が低下する（VLM-Judgeスコアが4.924に低下）。
  • $R_{text}$ のみの選択では、高い意味論的整合性 (6.110) を達成するが、実行成功率の向上は限定的である (0.885)。
  • TEXEDO は両者のバランスをとり、($N=32$ において) 追従成功率 0.984 と VLM-Judge スコア 6.054 を達成し、ベースライン ($N=1$ の成功率 0.873、整合性 5.722) を大幅に上回った。
• ゼロショット汎化性能:
  • ジェネレータに依存しない性質: 検証器を再学習させることなく未知のジェネレータ（Kimodo）に適用した場合でも、TEXEDOは実行品質と意味論的整合性の両方を向上させ、選択基準がジェネレータのアーキテクチャを超えて転移することを実証した。
  • 分布外 (OOD) データ: 未知の BONES-SEED データセットのプロンプトにおいて、TEXEDOは追従成功率を 0.860 から 0.980 に向上させ、追従誤差を大幅に減少させた。これは、OOD プロンプトに対する堅牢な汎化性能を示している。
• 実世界へのデプロイメント:
  • TEXEDOは、30種類の多様なプロンプト（移動、ジェスチャー、その組み合わせ）を用いて、物理的な Unitree G1 にデプロイされた。
  • 全ての30個のプロンプトを正常に実行し、安定しており、意図した意味論に一致するモーションを一貫して選択した。これに対し、ベースラインの手法はしばしば失敗したり、不安定な挙動を示したりした。

重要性と主張

本論文は、**接地された検証（grounded verification）**が、デプロイ可能な言語誘導型ヒューマノイドモーション生成への効果的な道筋であることを主張している。動的実現可能性をハード制約とし、意味論的整合性を選択目的として扱うことで、TEXEDOは、再学習や複雑なコントローラの修正を必要とせずに、強力な事前学習済みテキスト・トゥ・モーション生成器を利用することを可能にする。

著者らは、このアプローチにより、追加の推論時計算量（より多くの候補をサンプリングすること）を、言語に整合し、かつ物理的に接地された単一の高品質な参照軌跡へと変換できることを強調している。本手法は、意味論的な生成と物理的な制御の間の溝を埋めることが可能であり、シミュレーションおよび実世界のハードウェア実行の両方において一貫した利点をもたらすことを示している。この研究は、コントローラを意識した検証器と組み合わせたテスト時スケーリングが、ヒューマノイドのオープンエンドなタスクにおける信頼性を向上させるための有効な戦略であることを示唆している。