技術サマリー: OmniDance

問題提起

音楽駆動型のダンス動画生成は、高い視覚的忠実度を維持しながら、音楽に時間的に同期した表現力豊かな人間の動きを合成することを目指している。近年のAI生成コンテンツ（AIGC）の進歩にもかかわらず、既存の手法は、表現力豊かな動きと高い視覚的品質を同時に達成することに苦慮している。著者らは、進歩を阻害している2つの主要な制限を特定している：

1. データセットの制限: ダンス動画生成に特化した大規模かつ高品質なデータセットと効果的なデータ収集パイプラインが不足している。既存のデータセットは小規模（例：FineDanceは約8時間のモーションのみ）であるか、特定の振付アノテーションを欠いていることが多い。
2. 手法の制限: オーディオによる監督なしに訓練されるビデオ生成基盤モデル（VGFM）に対して、補完的な条件付け信号として音楽を効果的に統合するための、原理に基づいたフレームワークレベルの解決策が存在しない。既存のアプローチは、中間表現（2Dキーポイントや3D SMPL）に依存するか、エンドツーエンドの拡散モデルの潜在能力を十分に活用できていないことが多く、その結果、動きの表現力が限定的であったり、視覚的な外観が劣化したりしている。

手法: OmniDance

これらの課題に対処するため、著者らは、元の制御性や視覚的忠実度を損なうことなく、テキスト/画像からビデオへの（TI2V）基盤モデルに音楽条件付けを統合するように設計された統一フレームワークであるOmniDanceを提案する。このフレームワークは、設計が共同で行われた3つのレベルで動作する：

1. データセット: CIPE-Dance

著者らは、現在までで最大規模のオープンソースのダンス動画生成用データセットであるCIPE-Danceを導入する。これは約30万個の高品質なクリップ（400時間以上）で構成されている。

• 構築パイプライン: 人気のクリエイターからウェブクロールされたデータをフィルタリングするために、「段階的なエキスパートベースのデータ収集パイプライン」が採用されている。これは、単純なタスクのための軽量な検証エキスパート（Qwen3-VL-2B）から始まり、より重いフィルタリングエキスパート（Qwen3-VL-8B）を用いて複雑な失敗モード（例：グループダンス、鏡の反射、シーンの不安定性）を特定して排除するという、段階的な「イージー・トゥ・ハード」戦略を利用している。
• アノテーション: データセットには、Qwen3-VL-8Bによって生成された、ボディダイナミクス、振付内容、表現力、カメラプレゼンテーション、および全体的なルックの5つの次元にわたる振付情報付きテキストアノテーションが含まれている。
• 多様性: データセットは、30以上のダンスジャンル、多様な環境（スタジオ、ストリート、ホーム）、および多様なパフォーマーの属性をカバーしている。

2. モデルアーキテクチャ: 音楽-テキスト段階的特化 (Music-Text Progressive Specialization)

WAN2.2-TI2V-5B Diffusion Transformer (DiT) バックボーン上に構築されたOmniDanceは、深さ方向の特化メカニズムを導入している：

• アーキテクチャ: 各DiTブロックに、追加の音楽クロスアテンション層が追加されている。
• 段階的特化: 浅い層が低周波のグローバル構造を捉え、深い層が高周波の詳細を精緻化するという観察に基づき、モデルは深さ依存のスケーリング戦略を採用している。テキスト条件付けは、意味的なレイアウトを確立するために浅い層で支配的となる一方、音楽ブランチの影響（残差更新を介して）は、リズムに応じた動きのダイナミクスを精緻化するために、深い層に向かって段階的に増加する。スケーリング係数は $(\ell/L)^\gamma$ で定義される（ここで $\ell$ はレイヤーインデックス、$L$ は総深度）。

3. 学習戦略: イージー・トゥ・ハード・カリキュラム学習

TI2Vの能力を、統一されたTI2V、音楽・テキスト・ツー・ビデオ（MTI2V）、および音楽・ツー・ビデオ（MI2V）生成へと拡張するために、3段階のカリキュラムが採用されている：

• ステージ I (テキスト適応ウォームアップ): モデルはTI2Vのみで訓練され、音楽ブランチを凍結したまま、ダンス特有のテキスト記述にバックボックを適応させる。
• ステージ II (アンカー付き音楽統合): 音楽ブランチが導入され、モデルはTI2VとMTI2Vの両方で訓練される。これにより、音楽条件付けがテキストのガイダンスの下で学習され、既存のTI2V能力の急激な劣化を防ぐ。
• ステージ III (モダリティのデカップリング): モデルはこれら3つのタスクすべて（TI2V, MTI2V, MI2V）で訓練され、テキストが存在しない場合に音楽のみからダンス動画を生成することを可能にする。

4. 推論戦略: モダリティ特化型CFG

著者らは、モダリティ特化型分類器フリーガイダンス (Classifier-Free Guidance: CFG) 戦略を提案している。テキストはグローバルな意味を伝え、音楽は時間的なダイナミクスを提供することを認識し、ガイダンスの重みは時間依存となる：

• 初期タイムステップ: グローバルな意味を確立するために、テキストガイダンスが支配的となる。
• 後半タイムステップ: リズムに応じた動きのダイナミクスを精緻化するために、音楽ガイダンスの影響力が次第に増していく。
• ガイダンススケールは時間の経過とともに減衰する（テキスト: $5 \to 1$; 音楽: $4 \to 2$）。これにより、意味的なレイアウトからリズムの精緻化へのスムーズな移行を保証する。

主な貢献

1. CIPE-Dance データセット: 新しい段階的エキスパートパイプラインを通じて構築された、振付情報付きアノテーションを持つ最大規模のオープンソース・ダンス動画生成データセット（30万クリップ）の導入。
2. OmniDance フレームワーク: 3つのレベルのデザイン（アーキテクチャ、カリキュラム学習、推論）を通じて、TI2V基盤モデルに音楽条件付けを正常に注入する統一フレームワークであり、TI2V、MI2V、MTI2Vタスク間のシームレスな切り替えをサポートする。
3. 最先端の性能 (SOTA): 広範な実験により、OmniDanceが3つの生成タスクすべてにおいてSOTAの性能を達成し、強力なマルチモーダル統合能力を示すことが実証された。

実験結果

実験はCIPE-Danceデータセットを用いて行われ、ビデオ品質、モーション品質、およびアライメント（整合性）について評価された。

• TI2V タスク: OmniDanceは、ビデオ品質指標（IQ: 67.74, AQ: 55.17）およびモーション忠実度（FIDk: 13.55）において、強力なベースライン（CogVideoX1.5-5B, HunyuanVideo, WAN2.2-TI2V-5B）を上回った。
• MI2V タスク: OmniDanceは音楽駆動生成においてSOTAの結果を達成し、視覚的品質（IQ: 65.61）およびビートアライメント（BAS: 0.293）において、ファインチューニングされたトーキングヘッドモデル（Hallo2）や推論のみのベースライン（WAN-S2V, Echomimic-V3）を凌駕した。
• MTI2V タスク: モデルは効果的なマルチモーダル・シナジーを示し、アイデンティティとシーンの安定性を維持しながら、高い一貫性（OC: 13.08）と強力なビート同期（BAS: 0.287）を達成した。
• アブレーション研究: 段階的特化（MTPS）またはカリキュラムステージを除去すると、時間的な滑らかさとビートアライメントが著しく低下し、提案されたアーキテクチャおよび学習デザインの必要性が検証された。

重要性と主張

本論文は、データ不足と効果的な音楽統合という二重の課題を解決することにより、OmniDanceがマルチモーダル駆動のダンス動画生成における重要な前進であることを主張している。大規模で高品質なデータセットを活用し、テキスト（意味論）と音楽（ダイナミクス）の補完的な役割を尊重する原理に基づいたフレームワークを用いることで、高い視覚的忠実度と表現力豊かなリズムに沿った動きの両方を備えたダンス動画の生成が可能であることを著者らは示している。本研究は、3つの異なる生成タスクを単一のモデルに統合し、個別のジェネレーターを必要としないようにしている。著者らは、リアルタイム生成がまだサポートされていないことを認めているものの、彼らのアプローチを蒸留技術と組み合わせることが、将来の効率化に向けた有望な経路を提供すると示唆している。