技術的概要：SteadyDancer

問題定義

人間画像アニメーションは、単一の静止画から制御可能な動画を生成することを目的としています。拡散モデルがこの分野を進展させたものの、根本的な課題が残されています。それは、最初のフレームのアイデンティティと外観を維持しつつ、正確な動きの制御を確保することです。

支配的な**リファレンス・トゥ・ビデオ（R2V）**パラダイムは、アニメーションをリファレンス画像を駆動ポーズ系列にバインドする処理として扱います。このアプローチは本質的に、入力画像と駆動ポーズ間のアライメント制約を緩和します。実世界的应用において、これは以下の重要な問題を引き起こします：

1. 時空間ミスマッチ: 元画像と駆動ポーズの間で、四肢の構造、比率、動きの種類の不一致が生じ、アイデンティティのドリフト、視覚的アーティファクト、時間的不整合を引き起こします。
2. 最初のフレームの失敗: 時間的ミスマッチにより、R2V 手法はリファレンスフレームから正確に動画を開始できず、VFX 後処理やデジタルヒューマンの活性化などのアプリケーションで許容できない急激なジャンプや「開始ギャップ」が生じます。

**画像・トゥ・ビデオ（I2V）**パラダイムは本質的に最初のフレームの保存を保証しますが、リファレンス画像と駆動ポーズの厳密なアライメントを必要とするため、技術的に困難です。既存の I2V ベースのアニメーション研究は乏しく、単純な実装は動きの制御と外観忠実性のバランスを取るのに苦労することが多いです。

手法

著者は、調和のとれた一貫したアニメーションを実現し、堅牢な最初のフレームの保存を達成するために設計された、I2V パラダイムに基づくフレームワークSteadyDancerを提案します。このアーキテクチャは、事前学習済みの Wan-2.1 I2V 14B モデルを基盤とし、3 つの中核的な技術的コンポーネントを導入します：

1. 条件和解メカニズム

静的画像の詳細を維持することと動的ポーズの制御することとの間の矛盾を解決するため、著者は単純な要素ごとの加算（単純なベースラインで使用されるもの）を 3 部構成の戦略に置き換えます：

• 条件融合: ポーズと画像の潜在変数を加える代わりに、チャネル方向の連結を採用します。これにより、静的な外観信号（$z_c$）と動的なポーズ信号（$z_p$）を区別し、相互の干渉と情報の損失を防ぎます。
• 条件注入: ポーズの潜在変数を、画像条件 alongside してLoRA 微調整を用いて注入します。これにより、学習可能なパラメータを大幅に増加させず、また事前学習済みの生成器の能力を干渉させることなく、動きの制御を強化します。
• 条件拡張: 最初のフレームの保存を強化するため、モデルは時間レベルで明示的な参照を受け取ります。チャネル連結された潜在変数は、最初のフレームの画像潜在変数（$z_{c0}$）および最初のフレームのポーズ潜在変数（$z_{p0}$）と時間的に連結されます。さらに、グローバルコンテキストは最初のポーズフレームの CLIP 特徴量で拡張されます。

2. 協調的ポーズ変調モジュール

リファレンス画像と駆動ポーズ間の時空間ミスマッチに対処するため、このフレームワークはリファレンスに特化して適応したポーズ表現を抽出します：

• 空間構造適応型リファイナ（PSSAE）: 動的畳み込みを使用してポーズ依存のパラメータを生成し、潜在表現を変調することで、融合干渉を低減し、微細な詳細を維持します。
• 時間的動き一貫性モジュール（PTMCM）: 因数分解されたブロック（深度方向の空間畳み込みと点方向の時間畳み込み）を使用して離散的なポーズ系列から連続的なダイナミクスをモデル化し、ジッターを抑制してフレーム間ダイナミクスを滑らかにします。
• フレームごとのアテンションアライメントユニット（PFAU）: 軽量のクロスアテンションユニットであり、ノイズ除去潜在変数がポーズ潜在変数に注意を向けることで、外観較正されたポーズ特徴を生成します。
  これらのモジュールは階層的に集約され、洗練された制御条件として機能する高品質で時空間的に一貫したポーズ表現（$z_p^*$）を生成します。

3. 段階的脱結合目的トレーニングパイプライン

モデルは、動き、品質、連続性を効率的に最適化するために、3 つの明確な段階でトレーニングされます：

• 段階 1（動作監督）: 最初のフレームがリファレンスである動画データに対する LoRA 微調整を用いて、動き制御能力を習得させます。
• 段階 2（条件脱結合蒸留）: 動き学習中に失われた視覚品質の回復を目指します。事前学習済みの無条件 I2V モデルが「教師」として、段階 1 のモデルが「生徒」として機能します。速度予測は、無条件成分と条件成分に分解されます。無条件成分は教師から蒸留され、ベース生成多様性を維持し、条件成分は真値に対して回帰します。これにより分布のシフトを防ぎ、動画の忠実性を維持します。
• 段階 3（動きの不連続性緩和）: リファレンス画像と最初の駆動ポーズが異なる「開始ギャップ」に対処します。著者はポーズシミュレーションを提案します。これはデータ中心の戦略であり、シーケンス内の 2 番目のポーズを、最初のフレームと後続のフレームから導出された補間ポーズでランダムに置き換えるものです。これにより、モデルはトレーニング中に現実的な不連続性に曝され、アーキテクチャの変更や後処理なしに滑らかな遷移を生成できるようになります。

主要な貢献

1. SteadyDancer フレームワーク: 最初のフレームの保存を I2V パラダイム内で堅牢に保証する初の高忠実度アニメーションフレームワークであり、既存の手法と比較してトレーニングリソース効率を大幅に向上させます。
2. 新規メカニズム:
   • 条件和解メカニズム: チャネル連結、LoRA 注入、時間的拡張を通じて、矛盾する外観条件と動き条件を調和させます。
   • 協調的ポーズ変調モジュール: ポーズ表現をリファレンス画像に適応させる一連のモジュール（PSSAE、PTMCM、PFAU）であり、時空間ミスマッチを解決します。
   • 段階的脱結合目的トレーニングパイプライン: 動き制御、品質蒸留、不連続性緩和を脱結合する 3 段階のプロセスであり、限られたデータでパフォーマンスを最適化します。
3. X-Dance ベンチマーク: リファレンス画像と動作ソースが不一致（異なるスタイル、体型、または開始ギャップなど）の場合のモデル性能を評価する初の**非均質ベンチマーク（X-Dance）**を導入し、TikTok などの既存の均質ベンチマークにおけるギャップを埋めます。

実験結果

著者は、TikTok、RealisDance-Val、および提案された X-Dance を含む複数のベンチマークで SteadyDancer を評価しました。

• 定量的パフォーマンス: SteadyDancer は、外観忠実度（SSIM、PSNR、LPIPS、FID）および動画忠実度（FVD）において最先端のパフォーマンスを達成します。X-Dance ベンチマークでは、被写体の一貫性、背景の一貫性、動きの滑らかさにおいて競合他社を大幅に上回り、実世界のミスマッチに対する堅牢性を示しています。
• リソース効率: このモデルは、トレーニングリソースを大幅に少なく必要とします。10.2 時間（7,338 動画クリップ）のデータセット上で14,500 回のトレーニングステップのみで結果を達成します。対照的に、同様の DiT ベースの手法は、はるかに大規模なデータセットで数十万回のステップを必要とすることが多いです。
• 定性的パフォーマンス: 視覚的比較により、SteadyDancer は最初のフレームのアイデンティティを維持し、困難な条件下（遮蔽、ぼかし、異性駆動など）でも一貫した動きを生成することが示されています。物理的に妥当な物体との相互作用を成功裏に合成し、ゼロショット方式で多人数および動物のシナリオに一般化します。
• 長動画生成: このフレームワークは、重なり合うコンテキストウィンドウと線形融合を使用して、トレーニング不要で分単位の動画生成をサポートし、長時間にわたってアイデンティティと一貫性を維持します。

意義と主張

本論文は、SteadyDancer が人間アニメーションのための R2V パラダイムから、より堅牢な I2V アプローチへの重要な転換を表していると主張しています。外観の保存と動きの制御の間のトレードオフを解決することで、このフレームワークは、映画制作、広告、デジタルヒューマンの活性化など、高い視覚的および時間的忠実度を必要とするアプリケーションを可能にします。

著者は、彼らのアプローチが効率的でアクセス可能であり、最先端の手法に必要なトレーニングデータおよび計算リソースの一部分で優れた結果を達成することを強調しています。X-Dance ベンチマークの導入とポーズシミュレーション戦略は、実世界での適用性への焦点を浮き彫りにし、以前は実用的なシナリオにおける人間アニメーションモデルの展開を妨げていた入力ミスマッチという重要な課題に対処しています。この研究は、これらの革新が将来の堅牢な人間アニメーションシステムのための堅固で効率的な基盤を提供すると結論付けています。