技術的概要：MoScale – テキストからモーション生成のための次スケール自己回帰モデル

1. 問題定義

テキストからモーションへの生成は、テキスト記述を忠実に反映する人間の動きを合成することを目指しています。最近のモデル（拡散モデル、マスク付きトランスフォーマ、次トークン自己回帰モデル）は現実的な局所的なダイナミクスを生成しますが、大域的な意味構造を保持することには苦労しています。具体的には、既存の手法は、反復回数を含む複雑なテキスト指示（例：「2 回ジャンピングジャック」）や、連続した動作パターン（例：「向きを変え、物を拾い、再び向きを変える」）との整合性を保つことに失敗することが多いです。

著者らは、この限界の主な原因を 2 つ特定しました：

1. 拡散モデルとマスク付きモデル： これらのモデルは双方向の精緻化に依存し、因果的な順序なしに全解像度のシーケンスを生成します。単一の非指向予測ステップで大域的意味を推論することは本質的に困難であり、その後の精緻化は主に局所的な整合性を強制するものであり、初期のドラフトで確立された大域的構造を変更するものではありません。
2. 次トークン自己回帰（AR）モデル： 言語モデリングでは成功していますが、モーション生成においては性能が劣ります。人間の動きは非常に予測可能な短期的なダイナミクスを示すため、AR モデルは短期的な予測可能性を利用することで損失を最小化し、大域的な時間構造を学習する代わりに、局所的な相関を強化する傾向があります。さらに、モーションのトークン化における時間的畳み込みエンコーダは局所的な相関を増幅し、モデルにとって長距離推論を必要としなくするため、局所的には整合しているが大域的に整合しない動きが生じます。

2. 手法：MoScale

本論文は、標準的な次トークン予測を粗から細への因果的階層に置き換える次スケール自己回帰フレームワークであるMoScaleを提案します。

2.1 階層的モーション表現

MoScale は残差 VQ-VAEを用いて、モーションシーケンスを $K$ 段階の離散トークンにエンコードします。

• 粗スケール： 大域的構造をエンコードします。
• 細スケール： 以前のレベルで捕捉されなかった残差の詳細を表します。
• トークン化： 入力モーション $m$ が与えられると、エンコーダは潜在特徴を生成します。これらは異なる時間解像度（$L_1, \dots, L_K$）にダウンサンプリングされます。各スケール $k$ において、目標特徴は、元の特徴から以前のスケールの累積再構成を引いた残差です。この残差は共有コードブックを用いて量子化され、離散トークン $z_k$ を生成します。

2.2 次スケール自己回帰生成

1 つのトークンを予測する代わりに、モデルは特定のスケールに対するトークンのグループ全体 $z_k$ を予測します。これは以下の条件に基づきます：

1. 以前に生成されたより粗いスケール（$z_1, \dots, z_{k-1}$）。
2. テキスト埋め込み（事前学習済み T5 エンコーダから導出）。

アーキテクチャは、自己注意においてスケールごとの因果的マスキングを採用し、より細いスケールからより粗いスケールへの情報漏洩を防ぐことで、厳密な階層的因果性を保証する因果トランスフォーマを使用します。クロス注意は、一貫した意味ガイダンスを維持するために、生のテキスト埋め込みを参照します。

2.3 精緻化戦略

データ不足と誤差伝播に対処するため、MoScale は 2 つの精緻化メカニズムを導入します：

• スケール間階層的精緻化：

  • 問題点： 標準的な次スケール AR は、クリーンな正解入力を用いた教師あり学習を行うため、推論中に不完全な粗スケール予測から回復する方法を学習できません。
  • 解決策： 訓練中、モデルは粗いスケール（$k-1$）のトークンに摂動を導入し、トークンのサブセットをランダムにコードブックのエントリに置き換えます。その後、スケール $k$ のモデルは、この汚染された入力に基づいて残差を予測するように訓練されます。これにより、モデルは適応的な精緻化を学習し、前期段階から伝播した誤りを修正することを強制され、暴露バイアスが軽減されます。

• スケール内時間的精緻化：

  • 問題点： テキスト - モーションデータセットは、言語コーパスと比較して規模が小さいです。
  • 解決策： 各スケール内において、モデルは選択的マスクと再予測戦略を採用します。単一スケール内で利用可能な双方向注意を用いて、モデルは低信頼度のトークンを特定し、それらをマスクして反復的に再予測します。これは拡散スタイルの反復的精緻化を模倣しますが、因果的 AR フレームワーク内で動作し、大域的な粗から細への構造を乱すことなく、局所的な時間的整合性と忠実度を向上させます。

3. 主要な貢献

1. 次スケール AR フレームワーク： 次トークン AR の限界（短期的なショートカット）と、拡散/マスク付きモデルの大域的整合性の問題を克服する、モーション生成のための階層的因果構造を導入します。
2. 精緻化メカニズム： 誤差伝播と限られたデータに対処するためのスケール間階層的精緻化と、スケール内の双方向コンテキストを利用して局所的整合性を強化するためのスケール内時間的精緻化を提案します。
3. 最先端（SOTA）の性能： 標準的なベンチマークにおいて、MoScale が SOTA の性能を達成しつつ、高い訓練効率を維持することを示しています。
4. ゼロショット汎化： タスク固有の微調整なしに、インペインティング、アウトペインティング、編集、連続生成など、多様なタスクにフレームワークが汎化できることを示しています。

4. 実験結果

モデルはHumanML3DおよびKIT-MLデータセットで評価されました。

• 定量的性能： MoScale は、既存の次トークン AR、拡散モデル、マスク付きトランスフォーマのベースラインを上回ります。
  • HumanML3D において、最高のR-精度（Top-1: 0.540）とMM-Dist（2.830）を達成し、競争力のあるFID（0.046）を示しました。
  • モデルサイズ（4 から 18 のスケール/ステップ）に対して効果的にスケーリングします。
• 定性的性能： 可視化により、MoScale がベースラインが失敗する微細な意味（例：特定の反復回数や複雑なシーケンス）を正常に捕捉していることが示されました。
• 複雑性分析： MoScale は、高複雑性のテキスト記述においてベースラインに対して最大の相対的改善を示し、複雑な意味指示に対する階層的設計の有効性を検証しました。
• 効率性： MoScale は拡散モデルよりも速く訓練され、マスク付きトランスフォーマと同等です。推論も効率的です（完全モデルで 0.28 秒、最小構成で 0.08 秒）が、拡散ベースの手法（例：MotionDiffuse は 7.12 秒）よりも大幅に高速です。
• ユーザー調査： ユーザーは、テキスト整合性（71.5% の投票）とモーション品質（73.3% の投票）の両方において、ベースラインよりも MoScale を好みました。ゼロショット編集タスクでは、モーション品質、テキスト整合性、一貫性のすべてにおいて最高の評価スコアを受けました。

5. 意義と主張

本論文は、階層的因果性が改善されたテキスト整合性の主要な駆動因子であると主張しています。最も粗いスケールで大域的意味の足場を確立し、それを段階的に精緻化することで、MoScale は次トークン AR の「短期的ショートカット」と双方向精緻化モデルの「大域的構造の不安定性」を回避します。

著者らは以下を強調しています：

• 階層的予測パスは、詳細なテキストの手がかりを捕捉する上で支配的な因子であり、双方向の反復的精緻化単独よりも優れています。
• 時間的精緻化は主に局所的な滑らかさと一貫性に寄与しますが、大域的テキスト整合性においては二次的な役割を果たします。
• このフレームワークは、多様な中間状態をシミュレートするためにスケール間摂動を活用することで、限られたデータ環境において堅牢です。
• MoScale は、マスクと再予測戦略を通じて、条件付き（テキストからモーション）と無条件（編集、インペインティング）のタスクの両方に対する統一アプローチを提供し、編集されていない領域を効果的に保持します。

この研究は、拡散スタイルの利点（反復的精緻化、双方向コンテキスト）を因果的かつ階層的な自己回帰フレームワークに統合することが、テキストからモーション生成における訓練効率、大域的意味整合性、局所的モーション品質の優れたバランスを提供することを示唆しています。