Beyond MoCap: Scaling Motion Tokenizers with Synthetic Human Motion for Generative Modeling

技術要約：MoCapを超えて：生成モデリングのための合成人体運動によるモーション・トークナイザーのスケーリング

問題提起
現在の人間運動生成モデル、特に離散的な潜在表現（VQ-VAEトークナイザーとMotionGPTのような自己回帰型トランスフォーマーの組み合わせなど）に依存するモデルは、既存のモーションキャプチャ（MoCap）データセットの多様性の乏しさに根本的な制約を受けている。Human3.6MやAMASSといったデータセットは、一般的な反復動作（歩行、座るなど）に偏っており、その結果、「制限された運動語彙」が学習された潜在空間内に形成されてしまう。したがって、これらのモデルは、アクロバットや様式化されたパフォーマンスといった、稀で複雑、あるいは非常にダイナミックな動き（運動の「ロングテール」）への汎化に失敗する。著者らは、単にモデルのアーキテクチャや学習時間をスケールアップするだけでは、このボトルネックを克服できないと主張している。主要な制限は、学習された運動表現自体のサポート（支持領域）にある。

手法
本論文は、運動データ分布とモーション・トークナイザーの容量を共同でスケールさせるフレームワークを提案している。このアプローチは、主に2つのコンポーネントで構成される：

1. スケーラブルな合成運動生成パイプライン:

   • ポーズ合成: 遺伝的アルゴリズムに着想を得たこのパイプラインは、ポーズ空間における構造化された確率的探索を行う。ポーズを、骨盤をルートとするキネマティックツリーとして表現し、骨の向きには球面座標を用いる。交叉（Crossover）（親となるポーズ間で肢のルートとなるサブツリーを交換する）と突然変異（Mutation）（ガウスノイズを用いて骨の向きを摂動させる）を通じて、多様なポーズを生成する。
   • 物理的フィルタリング: 解剖学的な妥当性を確保するため、生成されたポーズはダイナミクス・ポーズ事前分布（Akhter and Black [2015]）を用いてフィルタリングされ、関節角度が実行可能な範囲内に制限される。親のポーズよりも妥当性スコアが高いポーズのみが保持される。
   • ポーズから運動への変換: 有効なポーズは、球面線形補間を介して運動シーケンスへと変換される。その後、軽量なTransformerベースのリカバリモデルが使用され、身体的特徴からグローバルなルート軌跡（回転および並進）を予測・復元し、運動シーケンスが物理的に妥当で時間的に一貫したものであることを保証する。
   • データ規模: このパイプラインは、HumanML3Dデータセットに基づき、約64倍の追加の合成運動を生成し、運動空間のカバー範囲、特に過小評価されている領域を大幅に拡大する。

2. 拡張されたVQ-VAEトークナイザー:

   • コードブックのスケーリング: 固定サイズのコードブック（例：約512エントリー）では、拡張された分布に対して不十分であることを認識し、著者らはコードブックサイズ（$K$）を2048へと増大させた。
   • 共同学習: トークナイザーは、実データと合成データの混合データ（$D = (1-\lambda)D_{real} + \lambda D_{syn}$）で学習される。著者らは、分布内（in-distribution）の忠実度と分布外（out-of-distribution）への汎化性能のバランスを取るために、混合比（具体的には実データ対合成データの1:2）を採用している。
   • 安定化戦略: より大きな語彙によるコードブック崩壊を防ぐため、学習には指数移動平均（EMA）による更新と定期的なコードブックのリセットが利用される。

3. ダウンストリームモデルへの適応:

   • 改善されたトークナイザーは、既存の自己回帰型運動生成フレームワーク（T2M-GPT、MotionGPT、MotionAgentなど）に、そのアーキテクチャを変更することなく統合される。元のテキストと運動のペアは変更せず、新しい拡張トークナイザーを用いて学習データを再トークン化することで、モデルのファインチューニングを行う。

主な貢献

• ボトルネックの特定: 本研究は、MoCapデータの狭さが引き起こすモーション・トークナイザーの限定的なサポートが、現代の運動生成における重要なボトルネックであり、単なるモデルアーキテクチャの問題ではないことを特定した。
• 共同スケーリング: 運動生成の向上には、モデルのサイズをスケールさせるだけでなく、学習データ分布とトークン容量を同時に拡張する必要があることを示した。
• 合成パイプライン: 運動空間のロングテールをカバーする、多様で物理的に妥当な運動を生成するスケーラブルなパイプラインを導入した。
• 拡張されたトークナイラー: 合成分布に適応する拡張コードブックを持つVQ-VAEトークナイザーを開発し、高いコードブック利用率と豊かな運動語彙を実現した。
• アーキテクチャに依存しない改善: 既存の離散トークンモデルをアップグレードするための実用的なレシピを提供し、アーキテクチャの変更なしに異なるバックボーンに対して一貫した改善をもたらした。

結果
HumanML3D（分布内）およびMotion-X++（分布外）を用いた広範な実験により、本アプローチの有効性が示された：

• トークナイザーの性能: HumanML3Dにおいて、再構成FIDが42.4%改善した（0.132から0.076へ低下）。未知のデータセットであるMotion-X++において、トークナイザーは顕著な汎化性能の向上を示し、様々なサブセット（例：「Sports」サブセットでの12.4%の減少）でMPJPEが減少した。
• 生成性能: ダウンストリームモデルに適用した場合、拡張されたトークナイザーは一貫して運動の忠実度（FID）を向上させた。例えば、T2M-GPTのFIDは16.4%、MotionGPTは24.1%、MotionAgentは20.0%向上した。
• 定性的改善: モデルは、標準的なトークナイザーでは表現が困難であったり、生成不可能であったりした複雑で稀な動き（ブレイクダンスのフレア、ヨガのポーズ、カンフーなど）を合成する能力が向上した。
• アブレーション研究: 実験により、コードブックサイズ2048が再構成品質とコードブック利用率の最適なバランスを提供することが確認された。さらに、1:2（実データ:合成データ）の混合比が、分布内の忠実度と分布外への汎化性能の間の最適なトレードオフを提供することが判明した。

意義と主張
本論文は、人間運動合成における主要なボトルネックは生成モデルのアーキテクチャではなく、限られたデータに由来する制限されたトークン空間であると主張している。合成運動を表現学習と並行してスケールさせることで、著者らは、より表現力豊かで制御可能、かつ汎用性の高い運動合成への「原理的な道筋」を提示している。本研究は、運動生成の全ポテンシャルを解き放つためには、厳選されたMoCapデータセットだけに頼るのではなく、合成データによる拡張を受け入れる必要があることを示唆している。著者らは限界についても言及しており、具体的には現在のパイプラインは身体運動に焦点を当てており（微細な手や顔のダイナミクスは含まない）、合成された運動にテキスト注釈を付与するプロセスもまだ完了していないが、将来的にテキストラベルを追加することで、意味的な整合性をさらに高められると考えている。