MotionWeaver: 多人数型ヒューマノイド画像アニメーションのための包括的な 4 次元アンカーフレームワーク

技術的サマリー（日本語）

本論文は、参照画像とポーズ系列を入力として、複数のヒューマノイドキャラクター（人間、ロボット、アニメキャラクターなど）を含む動画を生成する新しいフレームワーク「MotionWeaver」を提案しています。既存の手法が単一キャラクターに限定され、複雑な相互作用や遮蔽（オクルージョン）に弱いという課題を解決し、多様なヒューマノイド形態や相互作用が絡むシナリオにおいて、高い汎化性能と一貫性を達成することを目的としています。

1. 解決すべき課題 (Problem)

既存のキャラクター画像アニメーション手法には、以下の 3 つの主要な限界がありました。

1. 運動表現の不足: 既存の手法は、骨格マップや SMPL レンダリングなどの制御信号を使用しますが、これらは形状や体型の情報と運動が混在（エンタングル）しており、多様なヒューマノイド形態への汎化が困難です。また、複数キャラクターの制御信号を単一のマップに統合すると、キャラクターの識別（アイデンティティ）が混同され、位置交換時の誤動作を招きます。
2. 明示的な 4 次元モデリングの欠如: 従来の手法は、動画の潜在表現と制御信号を単純に融合させるだけで、キャラクター間やシーンとの空間的・時間的関係（特に深度情報）を明示的にモデル化していません。そのため、頻繁な遮蔽や複雑な相互作用、奥行きによるサイズの違いの区別が困難です。
3. 最適化されていない学習戦略: 多くの手法は 2 次元の画素ごとの MSE 損失に依存しており、4 次元の運動に対する明示的な監督が不足しています。これにより、運動の理解が不十分になり、特定の人間の視覚的特徴への過剰適合（オーバーフィッティング）を引き起こします。

2. 提案手法 (Methodology)

MotionWeaver は、以下の 3 つの主要な革新要素に基づいて構築されたエンドツーエンドのフレームワークです。

(1) 統一された Choreography コア (Unified-Choreography Core: UCC)

• 目的: 多様なヒューマノイド形態に汎用可能な「アイデンティティ非依存」の運動トークンを抽出し、それを対応するキャラクターに明示的に紐付ける。
• 仕組み:
  • 運動トークンの抽出: 駆動動画から SMPL パラメータを抽出し、関節座標に変換します。その後、標準化されたスケルトン（隣接関節間のユークリッド距離を固定）にマッピングすることで、体型やスケールに依存しない「標準化された表現」を得ます。さらに、タスク固有のトキシナイザー（Tokenizer）を用いて運動トークン（$z_{mo}$）を生成します。
  • キャラクターへの紐付け: 参照フレームから抽出した「アイデンティティトークン（$z_{id}$）」と、上記の運動トークンを「グループアテンション（Group Attention）」モジュールで結合します。ここで運動トークンをクエリ、アイデンティティトークンをキー/バリューとして扱うことで、運動を特定のキャラクターに確実に関連付け、複数キャラクター間の識別混乱を防ぎます。

(2) ハイパー・シーン・インテグレーター (Hyper-Scene Integrator: HSI)

• 目的: 共有された 4 次元空間内で、運動表現と動画潜在表現を融合させ、遮蔽や密集した相互作用を解決する。
• 仕組み:
  • 4 次元空間の構築: 各運動ユニット（キャラクター $p$、タイムステップ $t$）に対して、SMPL の位置パラメータ $(x, y, z)$ と潜在タイムステップ $t$ を組み合わせた 4 次元位置ベクトル $\Psi$ を定義します。
  • 深度認識アテンション (Depth-Aware Attention): 深度（$z$ 軸）情報を明示的にエンコードする「深度トークン」を生成し、クロスアテンションのキーに付与します。これにより、キャラクター間の前後関係（遮蔽関係）を正しく学習させるための「遮蔽損失（Occlusion Loss）」を最適化プロセスに組み込みます。
  • 動的 C-RoPE (Dynamic C-RoPE): 時間軸 ($t$) と空間軸 ($x, y$) の位置関係をモデル化するために、クロスアテンションで共有されるロータリーポジショナルエンコーディング（RoPE）を動的に選択・適用します。これにより、キャラクターとシーンの空間的・時間的関係を効率的に捕捉します。

(3) 階層的 4 次元監督 (Hierarchical-4D Supervision: H4S)

• 目的: 学習プロセス全体を通じて、外観に依存しない 4 次元運動の理解を促進する。
• 仕組み: 拡散モデルの特性（高ノイズ段階で全体構造を、低ノイズ段階で詳細を学習する）を利用した動的損失関数を採用します。
  • 高ノイズ段階 ($t \ge \alpha T$): 標準的な MSE 損失に加え、遮蔽損失 ($L_{OCC}$) を適用し、キャラクター間の深度順序を早期に確立させます。
  • 低ノイズ段階 ($t < \alpha T$): 遮蔽損失を運動レベル損失 ($L_{MO}$) に切り替えます。この段階では、生成された潜在表現を復号し、事前学習済みの 4 次元ポーズ検出器に通して抽出した運動特徴と正解を比較することで、強力な 4 次元運動の事前知識をモデルに注入します。

3. 主要な貢献 (Key Contributions)

1. MotionWeaver フレームワークの提案: 多様なヒューマノイド形態、複雑な相互作用、頻繁な遮蔽を扱うための、統一された運動表現と 4 次元アンカー型パラダイムに基づく新規フレームワーク。
2. 技術的革新:
   • UCC: 運動と外観を分離し、キャラクターに紐付けることで、複数キャラクターの識別混乱を解消。
   • HSI & H4S: 共有 4 次元空間の構築と、段階的な 4 次元監督による、遮蔽や相互作用の高精度な処理。
3. データセットとベンチマークの整備:
   • MultiHuman46: 46 時間にわたる、豊富な相互作用パターンを持つ多人数動画データセット。
   • DualDynamics: 2 人のヒューマノイドキャラクターが相互作用する 300 本の動画からなる、多様な形態と複雑な相互作用を評価するための新規ベンチマーク。

4. 実験結果 (Results)

• 定量的評価: 提案された DualDynamics ベンチマークにおいて、MotionWeaver は RealisDance-DiT、UniAnimate-DiT、HumanVid などの最先端手法（SOTA）をすべての評価指標（FVD, FID, PSNR, SSIM, CLIP など）で上回りました。特に、遮蔽や位置交換を含むシナリオでの性能が顕著に優れていました。
• 定量的評価: 視覚的な比較において、MotionWeaver は他の手法が失敗する「アイデンティティの混同（キャラクターの入れ替わり時の誤動作）」や「遮蔽の誤解（奥にあるキャラクターが手前に見えるなど）」を正確に処理し、多様なヒューマノイド（ロボット、アニメキャラなど）に対しても一貫したアニメーションを生成できました。
• アブレーション研究: UCC、HSI、H4S の各コンポーネントを除去した実験により、それぞれが遮蔽処理、運動の正確性、収束速度において決定的な役割を果たしていることが確認されました。

5. 意義と将来性 (Significance)

MotionWeaver は、キャラクターアニメーションの分野において、単一キャラクターから「多人数・多形態」の複雑なシナリオへパラダイムシフトをもたらす重要な一歩です。

• 汎用性の向上: 人間以外のヒューマノイド（ロボット、アニメキャラクターなど）への汎化を可能にし、ゲーム、VR/AR、映画制作などでの応用範囲を拡大します。
• 物理的整合性: 4 次元空間を明示的にモデル化することで、現実的な遮蔽や奥行き関係を理解し、物理的に整合性の高い動画を生成します。
• 研究基盤の整備: 公開された大規模データセットとベンチマークは、今後の多人数動画生成研究の標準的な評価基盤として機能し、分野全体の発展を加速させます。

本論文は、単なる「制御信号のレンダリング」を超え、運動情報に導かれた真の生成モデルとしての可能性を示唆しており、没入型コンテンツやデジタルツイン技術の発展に寄与するものです。