技術概要：DiscoForcing

問題定義

本論文は、「展開に忠実（deployment-faithful）」な問題として定義されるリアルタイムの音声応答型キャラクター制御の課題に取り組む。これは、厳密に因果的であり、バウンドされた遅延を持つストリーミング生成を要求する。過去の音楽からモーションへのシステムが、グローバルな文脈（未来の音声）へのアクセスを前提としたオフライン生成に最適化されていたのに対し、DiscoForcing は、音声条件が急激に変化する場合（テンポの変化、ドロップ、ユーザー編集など）であっても、インタラクティブなフレームレートで整合性の取れた全身モーションを生成しなければならない。

既存の手法は、ストリーミング設定において以下の 3 つの構造的限界に直面している：

1. 因果性の制約：未来のビートやフレーズを予測できないため、瞬時の同期が困難である。
2. 非定常な条件：音楽ストリームには急激な変化が含まれる。モーションの履歴への過度な依存は滑らかさを保証するが反応を遅らせ、過剰な上書きはジッターと不連続性を引き起こす。
3. 誤差の蓄積：長視野のロールアウトにおいて、小さな予測誤差が将来の条件付けを汚染し、訓練とテストの分布のシフトおよび蓄積するアーティファクトをもたらす。

さらに、著者らは、知覚、ストリーミング生成、オンライン実行を結合するエンドツーエンドのシステムの欠如を指摘しており、これが現実的なインタラクティブな制約下でのモデル評価を困難にしていると述べている。

手法：DiscoForcing

DiscoForcing は、3 つの緊密に結合されたコンポーネントからなる統合フレームワークである：

1. 因果的音楽処理

先読みなしの厳密なストリーミング制御を可能にするため、本システムはスライドする音声ウィンドウからコンパクトで因果的な音楽特徴量 $c_t$ を抽出するために**ベクトル量子化周期オートエンコーダ（VQ-PAE）**を使用する。この特徴量は以下のように分解される：

• 離散リズム符号化：拡張 1 次元畳み込み潜在空間に適用される残差ベクトル量子化（RVQ）が、離散的なリズムパターンと高レベルの構造を捉える。
• 周期整合せンコーディング：高速フーリエ変換（FFT）を用いた軽量ネットワークが、周波数領域のパラメータを推定し、滑らかな位相整列信号（$\phi$）、振幅（$A$）、およびオフセット（$B$）を再構成する。

2. ストリーミング音声駆動モーション拡散

中核となる生成モデルは**潜在拡散フォース（Latent Diffusion Forcing）**シーケンスモデルである。

• モーション表現：グローバルな座標のドリフトを回避し、リアルタイムのリターゲティングを可能にするため、モーションは、ルート線形/角速度と局所関節位置、速度、回転を含む 272 次元ベクトルとして符号化される。これは変分オートエンコーダ（VAE）を介してコンパクトな潜在空間へ投影される。
• 拡散フォース：本モデルは Diffusion Forcing フレームワークを適応させ、トークンごとの不均一なノイズを用いて訓練される。これにより、モデルは独立したノイズレベル（$k_t$）でトークンをノイズ除去することを学習し、不完全または陳腐な自己回帰履歴に対してロバストになる。
• ハイブリッド時間スケジューリング：訓練中、モデルは訓練と推論のギャップを埋めるために、3 つのノイズスケジューリングバリエーションからサンプリングする：
  • ランダム：柔軟性のための独立サンプリング。
  • 単調：過去フレームがクリーンで未来フレームがノイズであるスライドウィンドウ。
  • 台形：競合する事前分布をフィルタリングするため、遠い履歴に高いノイズを割り当てる。
• 時間ガイダンスを伴うストリーミング推論：推論時には、固定長の FIFO ノイズ除去ウィンドウが維持される。システムは**時間ガイダンス（TG）**を採用し、履歴ベースの予測（単調スケジューリング、音声条件なし）と音声条件付き予測（台形スケジューリング）の加重和を計算する。これにより、新しい音声への応答性とドリフトに対する安定性のバランスが取られる。

3. リアルタイムインタラクティブシステム

著者らは、厳密な遅延予算下でフレームワークを検証するためにエンドツーエンドのシステムを構築した：

• オンラインアバタープラットフォーム：SMPL パラメータを使用した Unity ベースの可視化で、ROS2 を介してモーションデータを受信する。
• 物理ベースのヒューマノイドプラットフォーム：Unitree G1 ロボットへの展開。生成されたモーションは GMR を介してリターゲティングされ、低レベルの PD 追跡を伴う全体制御（WBC）ポリシーによって実行される。これらはすべてリアルタイムで動作する。

主要な貢献

1. 初のエンドツーエンドリアルタイムフレームワーク：DiscoForcing は、因果的音声符号化とインタラクティブなキャラクター制御のためのストリーミングダンス生成を統合する最初のフレームワークとして提示される。
2. 分解された条件付けを伴う潜在拡散フォース：分解されたリズムおよび周期特徴量に条件付けられ、時間ガイダンス戦略を用いて高速な反応と長視野の安定性のバランスを取るモデルの提案。
3. 再現可能なインタラクティブシステム：オンラインアバターの再生と物理ベースのヒューマノイド実行の両方をサポートする通信ベースのシステムの構築により、統一されたランタイム内でのクロスプラットフォーム検証が可能になった。

結果

因果性と遅延の制約を一致させた FineDance および AIST++ データセット上で評価されたところ、DiscoForcing は以下の結果を示した：

• 優れたモーション品質：自己回帰モデル（FACT, Bailando）および拡散ベースライン（EDGE, Lodge, MEGADance）と比較して、最低のフレッチェ・インセプション距離（FID）スコア（運動学的および幾何学的の両方）を達成。
• 改善された安定性：強力なベースラインと比較して、誤差の蓄積が減少し、長視野のロールアウト動作が改善された。
• 応答性：急激な音楽変化に反応しながらも連続性を犠牲にすることなく、高いビート整列スコア（BAS）と多様性を維持。
• リアルタイム性能：システムは、品質と遅延のバランス（フレームあたり約 26ms）を取りながら、ノイズ除去ステップ数を 10 とした場合、安定した 30 FPS のスループットを維持。

アブレーション研究により、直接前方運動学を可能にする 272 次元のモーション表現と、時間ガイダンス戦略が性能にとって決定的であり、標準的な Classifier-Free Guidance（CFG）や手作りの音声特徴量を上回ることが確認された。

意義と主張

本論文は、DiscoForcing がインタラクティブなアプリケーションにおける堅牢な音声応答型キャラクター制御への実用的な道筋を提供すると主張している。オフラインで訓練されたモデルとストリーミング展開の間の構造的なミスマッチに対処することで、このフレームワークは、展開を意識した条件付け管理と組み合わされた拡散フォースモデルが、安定性、応答性、物理的に妥当なモーションを提供し得ることを示している。

著者らは、この研究をインタラクティブな具現化アプリケーションのための**「展開に忠実な生成シーケンスモデリング」**への一歩として位置づけている。彼らは、因果性と遅延を尊重するリアルタイムストリーミング生成の基準を確立することを貢献として控えめに位置づけつつ、分布シフト下でのより強力な堅牢性の探求、より豊かなユーザー制御信号、および安全な実世界展開のための下流コントローラーとのより緊密な統合を巡る今後の研究が必要であることを認めている。