技術概要：ヒューマノイド制御の能力拡張のための反復的クローズドループ運動合成

問題提起

物理ベースのヒューマノイド制御は、多様なデータ分布を持つ運動データセットを用いたトレーニングに大きく依存している。しかし、既存のアプローチには 2 つの主要な限界が存在する：

1. 固定された難易度分布：標準的なデータセット（例：AMASS）は、低動的な日常活動に偏った固定された分布を示すことが多い。これは学習された制御ポリシーのパフォーマンス上限を制限し、アクロバットや格闘技のような高動的な専門技能への対応を失敗させる。
2. スケーラビリティとコスト：モーションキャプチャ（MoCap）システムを用いた高品質な専門運動データの取得は費用対効果が低く、大規模なスケーラビリティを困難にしている。ビデオマイニングや異なる身体構造からの集約によるスケーリングの試みは、信頼性の高い意味的整合性や難易度の階層化を欠くことが多い。

その結果、静的で低動的なコーパスでトレーニングされたコントローラーは、未見の高動的な専門運動への汎化に苦しむ。

手法：CLAIMS フレームワーク

著者は、運動データ合成とコントローラー最適化を共進化させるフレームワークであるCLAIMS（Closed-Loop Automated Iterative Motion Synthesis：クローズドループ自動化反復運動合成）を提案する。このシステムは、コントローラーの能力フロンティアを段階的に拡張するように設計された、競争的な反復ループとして機能する。

1. 意味的定義と正規化

構造化された高動的データの欠如に対処するため、著者は格闘技、ダンス、戦闘、スポーツ、体操の 5 つの専門領域における動作データの意味分類を定義する。難易度は以下の 4 つの軸に沿って形式化される：

• 基本動作：原子スキル。
• コンボ動作：構成ロジック。
• 詳細：技術的キュー（例：四肢の配置）。
• 速度とリズム：時間的構造。

2. 自動化されたデータ生成

このフレームワークは、低コストで運動データを合成するために、事前学習されたテキスト条件付き運動拡散モデル（MDM）を利用する。

• プロンプトエンジニアリング：自由形式の説明の代わりに、システムは意味分類から導かれたテンプレート化された動作プロンプトを使用する。補助的な大規模言語モデル（LLM）が、これらのテンプレートを特定の難易度属性で具体化する。
• フィルタリング：生成された運動は、浮遊や沈没を防ぐためのルート関節の高さ境界などの妥当性チェック、およびプロンプトと運動が一致していることを確認するためのビジョン言語モデル（VLM）を用いた意味的整合性チェックを受ける。
• 分布シフト：システムは意図的に「難易度認識型可変バンク」からサンプリングし、MDM の元のトレーニング分布（HumanML3D/AMASS）の外側にある行動を誘発し、新しい専門的な組み合わせを生成する。

3. コントローラーのトレーニングと評価

単一プリミティブ・トラッカー（PHCに基づく）は、合成データ上で強化学習（RL）を通じてトレーニングされる。評価フェーズはループにとって決定的である：

• 客観的指標：システムは、平均関節位置誤差（mpjpe-g/l）、速度不一致（vel-dist）、加速度不一致（accel-dist）を含む物理的追跡指標を計算する。
• 主観的指標：VLM（GPT-4o および Qwen-VL-MAX）は、レンダリングされた運動シーケンスを分析し、技術的複雑さ、バランス、連続性に関する主観的な難易度スコアと記述子を提供する。

4. 競争的反復ループ

中核的な革新は競争的カリキュラムにある：

• 各トレーニングサイクル後、システムはコントローラーのパフォーマンスを評価する。
• 客観的指標が事前に定義された閾値を超えると、現在のデータ分布は「習得済み」と見なされる。
• LLM ポリシー（Chain-of-Thought を使用）は、客観的フィードバックと主観的フィードバックを組み合わせ、次の反復のためのより困難なプロンプトを生成する。
• これにより、データの難易度がコントローラーの成長する能力に応じてエスカレートし、ポリシーを元の限界を超えて押し上げる自己強化ループが生まれる。

主要な貢献

1. スケーラブルで難易度階層化されたデータセット：著者は、5 つの専門領域にわたる明確な難易度段階を持つスケーラブルなデータセットを生成する方法を導入し、高動的な複雑性を導入しながら運動とテキストの整合性を維持する。
2. 競争的反復フレームワーク：データ生成とコントローラー最適化を交互に行うゲームのような設定。これにより、ポリシーはデータと共進化することで、固定コーパスの難易度上限を超えられる。
3. コントローラー非依存の効率性：このフレームワークはコントローラーのトレーニング計算のみを必要とする。データ生成と評価コンポーネントはトレーニング不要で低コストであり、このアプローチはさまざまな追跡アーキテクチャに適用可能である。

実験結果

このフレームワークは、AMASS データセットの約1/10 のサイズでトレーニングされ、反復的な難易度エスカレーションを伴う PHC 単一プリミティブ・トラッカーを用いて評価された。

• 性能向上：Motion-X/Kungfu、EMDB、AIST++、Video-Convert の 4 つのベンチマークにわたる 2,201 クリップのテストセットにおいて、最終的な反復モデル（L6）は平均成功率76.9%を達成し、AMASS ベースラインの58.3%と比較した。これは平均失敗率の45% 削減に相当する。
• 汎化：このフレームワークは、未見の高動的データに対する強力な汎化を示した。反復しないベースライン（Loop 0）であっても、システムは一般的なコーパスでの標準的なトレーニングを上回った。その後のループ（Loop 1 以降）は、一貫した改善を示した。
• パラダイム横断的妥当性：このアプローチはMaskedMimicコントローラーに成功裏に適用され、フィードバック駆動型でプロンプト条件付きの洗練が、異なる模倣学習フレームワーク間でも転移することを証明した。
• アブレーション研究：
  • VLM の信頼性：VLM の難易度スコアは物理的指標（速度）と単調に相関し、自動スコアリングの有効性を検証した。
  • 観測の必要性：物理指標または VLM フィードバックのいずれかを除去すると性能が低下し、物理指標が課題設計にとって最も診断的であった。
  • 可変ライブラリ：構造化された可変ライブラリを除去すると性能が低下し、プロンプト生成を安定させるための構造化された事前知識の必要性を確認した。
  • 反復対規模：同じ総データ量のランダムサンプリングによるサイズ一致の非反復ベースラインは、反復アプローチよりも性能が劣り、利益がデータ量そのものではなくカリキュラム効果に由来することを確認した。

意義と主張

本論文は、CLAIMS が高価な MoCap データに依存することなく、高動的で多様なシナリオに向けた物理ベースのヒューマノイド制御を進展させる新たな道筋を提供すると主張する。データとコントローラーの共進化パラダイムを確立することにより、このフレームワークは：

• 固定難易度コーパスの限界を克服する。
• 専門的かつ高難易度の運動ベンチマークにおける安定した性能向上を可能にする。
• 既存の追跡アーキテクチャと統合可能な低コストの自動化パイプラインを提供する。

著者は限界を認め、合成の質は生成モデルの極端なダイナミクスに対する能力によって制限され、現在の可変ライブラリは手動によるキュレーションを必要としていると指摘している。しかし、モジュール型アーキテクチャは、将来のより能力の高い生成器や自動化ライブラリとのシームレスな統合を可能にすると仮定している。