技術要約：テキストからのモーション生成のための再構成アンカー型拡散モデル（RAM）

1. 問題提起

現在のテキストからのモーション生成における拡散ベースのモデルは、高精度で意味論的に整合した人間の動きを生成することを妨げる、主に2つの制限に直面している：

1. 表現のギャップ（Representational Gap）： 事前学習済みのテキストエンコーダ（CLIPやT5など）は、通常、静的な画像とテキストのペアや一般的な言語タスクに基づいて学習されている。これらは、動きのダイナミクス、時間的制約、および運動学的な規則に関する特定の知識を欠いている。このため、拡散モデルは、抽象的なテキスト埋め込みと、複雑で連続的な人間の動きのダイナミクスの間の大きな隔たりを埋めることを強いられる。
2. 誤差の伝播（Error Propagation）： 反復的なデノイジング過程において、純粋なノイズから動きを復元する初期のステップでエラーパターンが発生することが多い。これらのアーティファクトは、その後のデノイジングステップを通じて伝播し、最終的なサンプルの品質を低下させる。標準的な拡散モデルには、推論中にこれらの特定の誤差パターンを検出・修正するための固有のメカニズムが欠けている。

2. 手法：再構成アンカー型拡散モデル（RAM）

著者らは、モーション潜在空間を中間的な教師信号として活用し、推論時に新しいガイダンスメカニズムを導入することで、これらの問題に対処するフレームワークであるRAMを提案する。

2.1 アーキテクチャと学習目的

RAMは、共通のモーション拡散モデル（MDM）デコーダを共有する2つのストリーム・パイプラインを採用している：

• モーション再構成ブランチ： モーションエンコーダを使用してモーションシーケンスを潜在空間（$z_m$）にエンコードし、拡散モデルを介してそれらを再構成する。
• テキスト駆動型生成ブランチ： テキスト記述を潜在空間（$z_t$）にエンコードし、これらの潜在変数に条件付けられたモーションシーケンスを生成する。

これらのブランチを最適化するために、RAMは4つの主要な目的関数を導入している：

1. 再構成損失（$L_{rec}$）： モーション潜在変数を与えられた状態で、ノイズからモーションを再構成できることを保証する標準的な拡散損失。
2. テキスト駆動型生成損失（$L_{gen}$）： テキスト潜在変数に条件付けられたモーションを生成できることを保証する。
3. 自己正則化（$L_{sr}$）： モーション潜在空間内で適用されるクロスエントロピー損失。これは異なるモーション潜在変数間の分離性を最大化し、高い意味的解像度を持つコンパクトかつ表現力豊かな多様体を作り出す。
4. モーション中心の潜在変数アライメント（$L_{latent}$）： テキスト潜在空間（$z_t$）をモーション潜在空間（$z_m$）に整合させる。極めて重要な点として、このアライメントはモーション中心である。つまり、対称的な結合空間を強制するのではなく、テキスト空間をモーション空間へと引き寄せる。これにより、モーション空間がテキスト空間に適応しようとする際に失われる可能性のある、不可欠な動きのダイナミクスを保持することができる。小さな勾配フローパラメータ（$\beta$）により、モーション特有の特性を失うことなく、モーションエンコーダがわずかに適応することを可能にし、安定性を確保している。

2.2 推論：再構成誤差ガイダンス（REG）

誤差の伝播を軽減するために、著者らはモデルの自己修正能力を利用した、テスト段階のメカニズムである**再構成誤差ガイダンス（REG）**を提案している：

• メカニズム： 各デノイジングステップ $t$ において、モデルは前のステップの最終出力（$\hat{x}_{t+1, s}$）を取り込み、それをモーション潜在変数（$z_{m, t+1}$）へとエンコードし直し、再構成を行う。この再構成は、前の推定値に含まれる誤差パターンを捉える。
• ガイダンス： モデルは、現在のテキスト駆動型の予測と、前の推定値の再構成との間の残差を計算する。この残差は、現在のステップで行われた「改善」を表している。
• 増幅： この残差項を増幅させることで、REGはサンプリングプロセスを、誤差の生じやすい領域（再構成された前の推定値）から、実際のデータ多様体へと導く。
• 統合： REGは、標準的なClassifier-Free Guidance (CFG) と組み合わされ、意味的な正確さと動きのリアリズムのバランスを取りながら、最終的な出力を生成する。

3. 主な貢献

• モーション中心の潜在空間： 本論文は、テキスト埋め込みを、主にモーションの再構成と自己正則化を通じて学習された潜在空間に整合させる学習戦略を導入している。このアプローチは、従来の結合言語・モーション空間よりも効果的に表現のギャップを埋める。
• 再構成誤差ガイダンス（REG）： モデル自身の再構成ブランチを使用して、デノイジング過程中に蓄積された誤差パターンを特定し、修正する、新しい推論時ガイダンス技術。これにより、誤差の伝播を大幅に削減する。
• 最先端の性能： これらのコンポーネントの統合により、拡散モデルは、歴史的にVQ-VAEベースのアプローチが優位であった性能指標（特にFID）において、それらに匹敵する、あるいは凌駕する性能を達成できる。

4. 実験結果

著者らは、HumanML3DおよびKIT-MLデータセットを用いてRAMを評価した。

• HumanML3D： RAMは、わずか20回の推論ステップで、FID 0.032および**R-Precision@1 56.1%**を達成した。
  • すべての従来の拡散ベースの手法をFIDにおいて上回った。
  • 歴史的にFID指標において優位であったほとんどのVQ-VAEベースのモデルを上回りつつ、競争力のある意味的整合性を維持した。
• KIT-ML： より小さく困難なこのデータセットにおいて、RAMは拡散モデルの中で最もバランスの取れた性能を示し、FIDとR-Precisionの両方で第2位となり、意味的正確さにおいてはReMoDiffuseを、R-PrecisionにおいてはSaladを大幅に上回った。
• アブレーション研究：
  • 増分的な実験により、各コンポーネント（モーションエンコーダ、潜在変数アライメント、自己正則化、およびREG）が最終的な性能に大きく寄与していることが確認された。
  • 他の潜在空間学習戦略（双方向アライメントや対照学習など）との比較では、競合する手法が同程度の意味的正確さ（R-Precision）を達成した一方で、RAMはモーションの忠実度（FID）において大幅に上回っており、モーション中心のアライメント戦略の有効性を検証している。
• 定性的評価： 視覚的な比較により、RAMはMDM、MoMask、Saladといったベースラインと比較して、複雑なマルチアクションシーケンスをより良く実行し、不自然なアーティファクト（例：ドリフト、手足の不規則な動き）をより少なく生成することが示された。

5. 重要性と主張

本論文は、拡散ベースのアプローチが、伝統的にモーションの忠実度において優れていると考えられてきたVQ-VAEベースのアプローチと同等、あるいは場合によってはそれを上回るFID性能を達成できることを、RAMが証明していると主張している。

生成プロセスをモーション特有の潜在空間にアンカーし、自己修正型のガイダンスメカニズムを利用することで、RAMは「意味からダイナミクスへのマッピング」と「誤差の伝播」という二重の課題を効果的に解決している。著者らは、この研究を、抽象的なテキスト記述から、物理的に妥当で、忠実かつシーケンスとして正しい人間の動きを実現するというビジョンに向けた一歩として位置づけており、その応用範囲はバーチャルリアリティ、ゲームコンテンツ制作、およびエンボディド・ロボティクスに及ぶ。

著者らは、現在の実装ではテキスト記述全体を表現するために単一のトークンを使用しているという限界を控えめに述べている。彼らは、長期的なモーション生成をより良く扱うために、複数のトークンを用いたより細かい粒度の条件付けを探索することが、今後の課題であると示唆している。