WildActor: Unconstrained Identity-Preserving Video Generation

本論文は、大規模データセット「Actor-18M」を基に、多様な視点や動きにおいても全身の同一性を維持する動画生成フレームワーク「WildActor」を提案し、既存手法が抱える顔中心の偏りや rigid な動きの問題を解決するものです。

要約

この論文「WILDACTOR」は、**「動画の中で、キャラクターの『顔』も『体』も、どんなにカメラが動いても、どんなに激しく動いても、絶対に崩れないようにする技術」**について書かれたものです。

これまでの AI 動画生成は、「顔は似ているけど体がおかしい」「体が動くと顔が別人になる」といった問題に悩まされていました。この研究は、その問題を解決する「新しい道具箱（データ）」と「新しい魔法のレシピ（技術）」を提案しています。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

---

1. 従来の問題：「浮遊する頭」と「コピー＆ペースト」の呪い

これまでの AI 動画生成には、大きく分けて 2 つの失敗パターンがありました。

• 「浮遊する頭」現象（Face-centric）:
  顔は完璧に似ているのに、体が勝手に変形したり、服の模様がバラバラになったりします。まるで**「頭だけ浮いていて、体が別物に置き換わってしまった」**ような不気味な動画になります。
• 「コピー＆ペースト」現象（Pose locking）:
  参考画像のポーズをそのまま固定してしまい、キャラクターが動けなくなります。まるで**「写真に切り抜かれたキャラクターを、無理やり動画に貼り付けている」**ように、動きがギクシャクして不自然です。

2. 解決策その 1：「Actor-18M（アクター 1800 万）」という巨大な写真館

まず、AI に教えるための「教科書」が必要でした。これまでのデータは、正面からの写真ばかりで、横や後ろからの写真が不足していました。

そこで、研究者たちは**「Actor-18M」**という、160 万本の動画と 1800 万枚の画像からなる巨大なデータベースを作りました。

• どんなもの？
  同じキャラクターが、正面、横、後ろ、上から、下からなど、あらゆる角度から撮影された写真がセットになっています。
• なぜ重要？
  これまで AI は「正面しか知らない」状態でしたが、このデータで「横から見たらどう見えるか」「後ろから見たらどう見えるか」を徹底的に学習させました。
  • 例え話: 以前は「正面からの似顔絵」しか持っていなかった画家が、このデータによって「横顔、背面、動き回る姿」まで全て描けるようになったようなものです。

3. 解決策その 2：「WILDACTOR」という魔法のレシピ

この巨大なデータを使って、新しい AI モデル「WILDACTOR」を作りました。ここには 2 つの重要な「魔法」が使われています。

① 非対称なアイデンティティ・アテンション（AIPA）

**「顔と体は『先生』、動画は『生徒』」**という関係を作りました。

• 仕組み:
  参考画像（顔や体の写真）は「先生」として、動画を作る「生徒」に「あなたは誰か（アイデンティティ）」を教えてくれます。
  しかし、「生徒（動画）」が「先生（参考画像）」に干渉したり、先生を混乱させたりすることは許しません。
• 例え話:
  料理をするとき、レシピ（参考画像）を見ながら料理（動画）を作りますが、レシピ自体が鍋の中で溶け込んでしまわないように、**「レシピはあくまで見本として提示し、料理の材料とは混ぜない」**というルールを作ったのです。これにより、キャラクターの姿は崩れず、動きも自由に作れます。

② 視点適応モンテカルロサンプリング

**「偏りのない写真の選び方」**です。

• 仕組み:
  学習する際、AI が「正面の写真」ばかり選んでしまわないよう、「横や後ろの写真」を無理やり選んで学習させる工夫をしています。
• 例え話:
  勉強する際、「得意な数学」ばかり解いて「苦手な英語」を避けていたら、テストで失敗します。この技術は、**「苦手な角度（横や後ろ）の写真をあえて選んで、バランスよく勉強させる」**ようなものです。これにより、どんな角度からカメラが回っても、キャラクターは崩れません。

4. 結果：まるで実写のような「不死身のキャラクター」

この技術を使うと、以下のようなことが可能になります。

• カメラがぐるぐる回っても: キャラクターの服の柄や顔の形が変わらない。
• 激しく走っても: 体が伸び縮みしたり、別人になったりしない。
• 複雑な動き: 「振り返って、手を振って、走って」という一連の動作を、最初から最後まで同じ人物として自然に表現できる。

まとめ

この論文は、**「AI に『誰か』を教えるには、正面だけでなく、あらゆる角度と動きの『写真集』が必要だ」**と気づき、それを 1800 万枚も集めて、AI がそれを正しく理解するための「特別な学習方法」を開発したという話です。

これにより、映画やゲームのように、**「同じキャラクターが、どんなシーンでも、どんな動きをしても、崩れることなく活躍する」**未来が近づきました。

技術概要

以下は、提示された論文「WILDACTOR: Unconstrained Identity-Preserving Video Generation」の技術的な詳細な要約です。

WILDACTOR: 制約のないアイデンティティ保持ビデオ生成の技術的概要

1. 研究の背景と課題

プロフェッショナルな映画制作において、俳優の「アイデンティティ（同一性）」は視覚的物語の基盤です。しかし、既存のビデオ生成モデル（特に Diffusion Transformer: DiT）は、視点の変化、カメラ距離の差異、激しい動作において、被写体の全身のアイデンティティを厳密に維持することに課題を抱えています。

既存手法の主な限界は以下の 2 点に集約されます：

1. 顔中心のバイアスと「浮遊する頭」現象: 顔認識エンコーダーを適用する手法は、顔の特徴（髪型など）に過度に依存し、身体部分の生成を無視する傾向があります。その結果、頭部は一致しても身体が幻覚（ハルシネーション）として生成され、不自然な「浮遊する頭」が生じます。
2. ポーズの固定（Pose Locking）とコピーペースト: 参照画像を単純に結合する手法は、参照ポーズを基準視点として扱い、生成されたキャラクターの動きを制限します。これにより、被写体が硬直した「コピーペースト」のようなアーティファクトが発生し、提示されたプロンプト（動作指示）に従えない問題が起きます。
3. データの不足: 野外（In-the-wild）における多様な視点や環境でアイデンティティが整合する大規模なヒト中心ビデオデータセットが存在しませんでした。既存のデータセットはスタジオ撮影に依存するか、顔のみに焦点を当てており、全身の視点不変性を学習するには不十分です。

2. 主要な貢献：Actor-18M データセット

これらの課題を解決するため、著者らはActor-18Mという大規模なヒト中心ビデオデータセットを構築しました。

• 規模: 160 万本の高品質な動画と、対応する 1,800 万枚の人間画像を含みます。
• 特徴:
  • 多視点・多環境: 任意の視点、環境、動作におけるアイデンティティの一貫性を学習可能にします。
  • 3 つのサブセット:
    • Actor-18M-A: 視点変換（View-transformed）参照画像を生成し、ポーズ固定問題を緩和。正面視点の偏りを是正し、側面・背面視点の比率を大幅に増加（側面 70.5% など）。
    • Actor-18M-B: 属性（環境、照明、表情、動作）の多様化を行い、背景や照明への過学習を防ぎます。
    • Actor-18M-C: 正面・側面・背面の「標準的な 3 視点（Canonical Three-view）」画像を提供し、完全なアイデンティティのアンカーとして機能します。
• フィルタリング: 粗いフィルタリング（顔の類似度）と微細なフィルタリング（高密度ポイント追跡、クリップ類似度検証）を 2 段階で実施し、動画内のアイデンティティの一貫性を厳密に保証しています。

3. 提案手法：WILDACTOR

Actor-18M を活用し、任意の視点条件付きヒトビデオ生成を実現するフレームワークWILDACTORを提案します。

3.1 モデルアーキテクチャ

ベースモデルは Rectified Flow (RF) で学習された Latent Video DiT（Diffusion Transformer）です。これに以下の 2 つの主要な技術的革新を導入しています。

A. 非対称アイデンティティ保持アテンション (Asymmetric Identity-Preserving Attention: AIPA)

参照トークン（顔・身体）とビデオトークンの間の情報フローを非対称に制御し、アイデンティティの漏洩やポーズ固定を防ぎます。

• 参照専用 LoRA: 参照トークンに対してのみ軽量な LoRA モジュールを適用し、参照情報からアイデンティティ特徴を抽出します。ビデオトークンは凍結されたバックボーン重みを使用し、参照情報によるノイズ混入を防ぎます。
• 非対称アテンションフロー:
  1. 参照トークンは自己アテンションにより統合されたアイデンティティ表現 $C_{ref}$ を生成します。
  2. ビデオトークン（Query）は、自身と参照トークン（Key/Value）の両方にアテンションしますが、参照トークン側はビデオトークンからのアテンションを受けません（一方向の流れ）。これにより、参照画像の静的な情報が動画の動的な生成を支配することを防ぎます。

B. アイデンティティ認識 3D RoPE (I-RoPE)

動画トークンと参照トークンが同じアテンション空間で混在する際の曖昧さを解消します。

• 時間的分离: 動画トークンは時間インデックス $t$ を持ち、参照トークン（顔・身体）には固定された時間オフセット（$T+\Delta_f$, $T+\Delta_b$）を割り当てます。
• 空間的分离: 参照トークンの空間座標 $(h, w)$ を動画の最大次元 $(H_{max}, W_{max})$ 以降にシフトさせます。これにより、参照トークンと動画トークンは時空間埋め込み空間上で明確に区別され、動きと外見の混同を防ぎます。

3.2 学習戦略：視点適応モンテカルロサンプリング

Actor-18M の多視点情報を効果的に利用するため、トレーニング時に参照画像のサンプリングを動的に再重み付けします。

• 角度近傍の抑制: 特定の参照画像がサンプリングされた場合、その角度の近傍にある他の候補画像の重みを減衰させます（$\gamma < 1$）。
• 効果: 冗長な視点（例：複数の正面画像）のサンプリングを避け、補完的な視点（正面、側面、背面など）の均一なカバレッジを促進し、モデルが視点不変性を学習するのを支援します。

4. 評価結果 (Actor-Bench)

著者らは新しいベンチマークActor-Bench（75 人の被写体、3 つの条件設定）を構築し、評価を行いました。

• 評価指標:
  • 身体の一貫性 (Body Consistency): 視点変化に対する全身アイデンティティの維持度。
  • 顔のアイデンティティ保持 (Face Identity): 顔の類似度。
  • セマンティックアライメント: テキストプロンプトとの整合性。
• 結果:
  • 連続ナラティブ: 長い動画生成において、WILDACTOR は既存手法（VACE, Stand-In, 商用モデル Kling 1.6, Vidu Q2 など）を凌駕し、アイデンティティのドリフトや時間的不整合を最小限に抑えました。
  • 身体の一貫性: 側面や背面など、困難な視点でも 0.952 という高いスコアを達成（Vidu Q2 の 0.905 を上回る）。
  • プロンプト追従: 複雑な動作や視点変化を指定したプロンプトに対しても、高い忠実度を示しました。
  • アブレーション研究: AIPA と I-RoPE の両方が存在する場合、セマンティックアライメントと身体の一貫性が最も高くなることが確認されました。

5. 意義と結論

WILDACTOR と Actor-18M は、以下の点で画期的です：

1. データと手法の統合: 野外（In-the-wild）の大規模データセットと、それを活用する新しいアーキテクチャ（AIPA, I-RoPE）を組み合わせることで、従来の「スタジオ撮影依存」や「顔中心」の限界を突破しました。
2. 実用的な応用: 視点、カメラ距離、激しい動作が変化する動的なショットにおいても、全身のアイデンティティを厳密に保持できるため、プロフェッショナルな動画生成やデジタル俳優の制作に直結する技術です。
3. 汎用性: 標準的な 3 視点だけでなく、任意のスパースな視点からも高品質な生成が可能であり、実世界の多様なシナリオに対応します。

本論文は、アイデンティティ保持ビデオ生成の分野において、データ不足とアーキテクチャの限界という 2 つのボトルネックを同時に解決し、新しい基準（SOTA）を確立したと言えます。