技術要約: GPC: 転移可能な運動制御のための大規模生成事前学習

問題提起

物理ベースのコントローラーを用いて、バーチャルキャラクターに幅広いタスクを自然かつ生命感のある方法で実行させることは、コンピュータグラフィックスにおける重要な課題であり続けている。先行研究では、生成モデル（VAEやGANなど）を利用してモーションデータセットから運動スキルの潜在表現を学習する手法が用いられてきたが、これらのアプローチは連続的な潜在空間に依存することが多い。連続的な空間は、潜在多様体におけるドリフトやギャップによって、モード崩壊や不自然な挙動を引き起こしやすい。対照的に、ベクトル量子化VAE（VQ-VAE）に基づく離散潜在モデルは有望であるものの、低コード使用率やコードブックの崩壊といった学習の退化に悩まされることがあり、これらを軽減するために複雑なヒューリスティック（例：デッドコードの再初期化）を必要とすることが多い。さらに、既存のトークン化手法は、多くの場合、小規模なデータセット（AMASSのサブセットである約20時間程度のデータなど）に制約されており、学習されるスキルの多様性と堅牢性が制限されている。

手法

著者らは、トークン化と次トークン予測を活用することで、大規模なモーションデータセットから汎用的な再利用可能なコントローラーを作成するフレームワークであるGenerative Pretrained Controllers (GPC) を提案する。このフレームワークは、主に以下の3つの段階で構成される。

1. 有限スカラー量子化（FSQ）によるスキル量子化

GPCは、運動スキルの離散的な潜在表現を作成するために、VQ-VAEの代わりに**有限スカラー量子化（FSQ）**を採用している。

• メカニズム: エンコーダーはターゲット状態のシーケンスを連続的な潜在ベクトルにマッピングする。各次元は、丸め操作を用いて$L$個の固定されたスカラーレベルに独立して量子化され、サイズ$L^d$の暗黙的な離散コードブックが作成される。
• 利点: このアプローチは、明示的な学習済みコードブックを不要にするため、VQ-VAEに関連するコードブック埋め込みの更新、補助損失、およびアドホックなヒューリスティックを排除できる。
• 学習: エンコーダー・デコーダー・ポリシーは、モーション・トラッキング目的（Proximal Policy Optimization）を用いた**エンドツーエンドの強化学習（RL）**を用いて訓練される。これにより、学習された離散コードが、物理シミュレーションされたコントローラーによって忠実に実行可能なスキルに対応することを保証する。

2. 生成的コントローラーの訓練

離散的なスキル表現が確立された後、スキルトークンの分布をモデル化するために、GPTスタイルの自己回帰型トランスフォーマーが訓練される。

• トークングループ化: シーケンス長と計算コストを削減するために、連続する$L$進数トークンを、より大きなトークン（語彙サイズ$L^G$）へとグループ化する。
• アーキテクチャ: トランスフォーマー・デコーダーは、キャラクターの現在の状態および以前に生成されたトークンに条件付けられた上で、グループ化されたトークンの結合条件付き分布を自己回帰的にモデル化する。
• 推論: コントローラーは、核サンプリング（nucleus/top-$p$ sampling）を通じて潜在トークンのシーケンスを生成し、それらは凍結されたFSQデコーダーによって、PDコントローラーへのアクション（目標関節回転）へとデコードされる。

3. パラメータ効率の高い微調整（PEFT）によるタスク適応

事前学習済みのコントローラーを、全体を再学習することなく新しいダウンストリームタスクに適応させるために、著者らはConditional Low-rank Adaptation (CoLA) を導入している。

• メカニズム: CoLAは、凍結された生成コントローラー内に軽量なモジュレーション層（追加パラメータは1%未満）を挿入する。これは、重みの更新を振幅成分と方向成分に分解し、Feature-wise Linear Modulation (FiLM) を介してタスク固有の観測量によって変調するDoRA戦略を拡張したものである。
• 微調整戦略: 適応は以下の方法で行われる：
  • 教師あり微調整 (SFT): 例示モーションを用いて離散潜在コードに対するクロスエントロピー損失を最小化し、コントローラーをタスクに関連するスキルへとバイアスさせる。
  • 強化学習による微調整 (RLFT): タスク固有の報酬関数をPPOを用いて最適化する。その際、自然な挙動を維持するために、無条件生成モデルによって探索が正則化される。

主な貢献

1. FSQベースの離散表現: 運動スキルの量子化にFSQを導入したこと。これにより、明示的なコードブックとそれに伴うヒューリスティックを排除することで、学習を簡素化し、大規模データセット上での安定した学習を可能にした。
2. エンドツーエンドのRL訓練: 量子化エンコーダーとデコーダーがRLと共に共同で最適化されるフレームワークを提供した。これにより、教師あり蒸留に依存する従来の手法とは異なり、潜在空間が物理ベースの制御に直接適したものになることを保証している。
3. 大規模な事前学習: 600時間を超える多様な人間モーションを含むデータセット（"Bones"データセット）を用いて、生成コントローラーの訓練に成功した。これは、従来のトークン化手法よりも大幅に大規模である。
4. パラメータ効率の高い適応: CoLAベースのPEFT手法により、事前学習済みのコントローラーを、ベースモデルにエンコードされた自然で生命感のある挙動を維持したまま、多様なダウンストリームタスク（ステアリング、軌道追従、転倒からの回復など）に適応させることができる。

結果

• トラッキング性能: FSQベースのトラッキング・コントローラーは、大規模なBonesデータセットからのモーションクリップの再現において99.98%の成功率を達成し、平均関節位置誤差（MPJPE）は25.56 mmであった。これは、成功率と堅牢性の両面において、MLPベースラインおよびVQ-VAEベースのコントローラーを上回った。
• 創発的挙動: 生成的コントローラーは、明示的な報酬なしに、摂動に対する応答的な挙動（例：バランスを取り戻すための歩幅の調整）や、転倒後の回復戦略（例：起き上がるためのローリング）を含む、自然な創発的挙動を示した。
• タスク適応: 本フレームワークは、移動（目標到達、軌道追沢）やシーンとのインタラクションを含む、様々なダウンストリームタスクへの適応に成功した。
  • 多様性: 決定論的なベースライン（例：CVAE）とは異なり、GPCはタスク実行中も行動の多様性を維持し、同一のタスクに対して多様な軌道を生成した。
  • スタイルの制御: 教師あり微調整により、タスク性能を維持しながら、スタイリスティックな制御（例：屈んだ歩行スタイルの強制）が可能となった。
• 効率性: トークングループ化戦略により、モーションの品質を維持しながら、語彙サイズとシーケンス長のバランスを効果的にとり、計算コストを削減した。

意義と主張

本論文は、GPCが広範な運動スキルのレパートリーをモデル化できる、極めて堅牢で汎用的なコントローラーを提供すると主張している。FSQをエンドツーエンドのRLおよび自己回帰モデリングと組み合わせることで、本フレームワークは連続的な潜在空間の限界と、VQ-VAEの学習の不安定性を克服している。大規模なデータセットで事前学習を行い、PEFTを介して新しいタスクへ効率的に適応できる能力は、従来のトークン化手法と比較して学習プロセスを簡素化する。著者らは、GPCを、キャラクターが動的な環境と現実的に相互作用し、手動で作成されたアニメーションを超えて汎化する必要がある映画、ゲーム、XRにおける物理ベースのキャラクターアニメーションの実用的なアプリケーションへの一歩として位置づけている。本研究は、大規模な生成事前学習が、高い忠実度でデータを追跡するだけでなく、人間らしい回復力と適応性を示すコントローラーを生み出すことができることを示している。