技術概要：MiVE（参照ガイド付き動画編集のためのマルチスケール視覚言語特徴）

1. 問題定義

本論文は、参照ガイド付き動画編集という課題に取り組みます。このタスクは、ソース動画（$x_{src}$）、テキスト指示（$x_{text}$）、参照画像（$x_{ref}$）という 3 つの入力に基づいて編集された動画シーケンスを生成することを要求します。参照画像は通常、ソース動画の最初のフレームであり、望ましい変化を反映させるために外部の画像編集モデルを介して修正されます。

核心的な課題は、2 つの競合する目的のバランスを取ることにあります：

1. 忠実な伝播：モデルは、参照画像に指定された視覚的属性と外観の変化を、動画のすべてのフレームにわたって正確に伝播させなければなりません。
2. 整合性の維持：モデルは、参照画像で遮蔽されている領域であっても、ソース動画の元の運動ダイナミクス、意味的整合性、および編集されていない内容を維持しなければなりません。

既存の手法はマルチモーダル融合において限界に直面しています：

• 分離型エンコーダ：テキスト（例：T5）と視覚（例：SigLIP）に対して個別のエンコーダを使用するアプローチは、モダリティのギャップに悩まされます。ここで、後段階のクロスアテンションは、指示と視覚内容との間の意味的な隔たりを埋めることに失敗します。
• 単一層出力を備えた統合エンコーダ：統合エンコーダとして使用される最近の視覚言語モデル（VLM、例：Kling O1）は、通常、最終層の表現のみに依存します。著者らは、このアプローチが、深い層がグローバルな意味をエンコードする一方で、より前の層が局所的な空間構造を捉えるため、精密な編集に不可欠な微細な空間詳細を破棄してしまうと観察しています。

2. 手法：MiVE

著者らは、VLM をマルチスケール特徴抽出器として流用し、統合された自己アテンション拡散トランスフォーマ（DiT）に統合するフレームワークであるMiVEを提案します。このアーキテクチャは、3 つの中核コンポーネントから構成されます：

A. マルチスケール文脈抽出

VLM の層が階層的に補完的な情報をエンコードするという観察に動機付けられ、MiVE は事前学習済み VLM（具体的には Qwen3-VL-8B）の最初の層と最後の層の両方から特徴を抽出します。

• 診断的洞察：クロスモーダルアテンション分析を通じて、著者らは初期の VLM 層が空間詳細（例：人間のシルエット）を正確に局所化し、最終層がホリスティックな意味を捉えることを実証しています。
• 実装：最初の層（$\phi_1$）と最後の層（$\phi_L$）からの特徴は、軽量アダプタを介して DiT の潜在空間に投影されます。これらの多レベル特徴は連結され、融合されて、ノイズ除去プロセス全体を通じて意味的アンカーとして機能する定常的な条件トークン（$c$）を生成します。

B. 参照感知型潜在エンコーディング

外観を参照に固定しつつ構造的整合性を維持するために、この手法はソース動画、ターゲット動画、参照画像という視覚入力を、事前学習済み VAE を使用して共有潜在空間にエンコードします。

• 入力構築：トレーニングおよび推論中、モデルは「ノイズ付きターゲット」ブランチと「制御」ブランチの 2 つの時系列拡張ブランチをチャネル次元に沿って連結することで、統合入力を構築します。
• アンカーリング：クリーンな参照潜在（$z_{ref}$）は、両方のブランチの先頭に付加されます。これにより、モデルは拡散プロセス全体で一貫した外観アンカーを維持し、参照スタイルのドリフトを防ぎます。

C. 統合自己アテンションバックボーン

モダリティを個別のクロスアテンションブランチを介して融合する分離型アーキテクチャとは異なり、MiVE は条件文脈（$c$）と視覚潜在トークン（$v$）を含むすべてのトークンを、単一の統合自己アテンション多様体内で処理します。

• メカニズム：条件トークンと視覚トークンは、単一のシーケンス $u^{(0)} = [c; v]$ として連結されます。
• 適応的変調：モデルはトークンごとの適応的レイヤー正規化（AdaLN）を採用します。「クリーン」トークン（文脈と参照パッチ）は完全にノイズ除去済み（$t=0$）として変調され、安定したアンカーとして機能します。一方、「ノイズ付き」トークン（残りの動画パッチ）は、現在のタイムステップに応じて変調されます。
• 利点：この設計は、クロスアテンション設計に内在するモダリティの不一致を排除し、共有空間内で微細な空間詳細とグローバルな意味文脈の双方向的融合と深い統合を可能にします。

3. 主要な貢献

1. マルチスケール特徴抽出：本論文は、VLM の階層的性質を特定し活用し、詳細の保持と指示への準拠というトレードオフに対処するため、初期（空間的）および後期（意味的）の層から補完的な特徴を抽出します。
2. 統合自己アテンションアーキテクチャ：MiVE は、条件トークンと視覚トークンを共同で処理する統合トークンモデリングアプローチを導入し、非対称なクロスアテンションの限界を回避し、より良いモダリティの整列を促進します。
3. 参照感知型潜在エンコーディング：この手法は、参照フレームをノイズ付きブランチと制御ブランチの両方の先頭に付加する特定の潜在連結戦略を採用し、明示的なセグメンテーションマスクを必要とせずに安定した外観の伝播を確保します。

4. 実験結果

著者らは、60 本の動画（720p）からなるキュレーションされたベンチマークで MiVE を評価しました。これは、単純サブセット（局所的な編集）と複雑サブセット（ホリスティックなシーン変換、高速運動、遮蔽）に分割されています。

• 定量的パフォーマンス：
  • 自動評価：6 つの次元（指示への準拠、内容の一貫性、時間的滑らかさ、物理的リアリズム、視覚的美観、スタイルの一貫性）にわたって Gemini-3-Flash を使用した結果、MiVE は複雑サブセットで全次元において最高スコアを達成し、単純サブセットでは第 1 位または第 2 位にランクインしました。
  • 人間の嗜好：30 名の参加者によるユーザー調査において、MiVE は両方のサブセットで人間の嗜好において最高位にランクされ、VACE、LucyEdit、VideoCof、Wan-Animate などの主要な学術的手法や、商用システムである Kling O1 を上回りました。
• アブレーション研究：
  • アーキテクチャ：統合自己アテンションを分離型エンコーダまたはクロスアテンション機構に置き換えると、パフォーマンスが大幅に低下し、統合多様体の必要性が実証されました。
  • 層の選択：初期層のみ、または後期層のみを使用すると、「最初＋最後」の組み合わせアプローチと比較して劣る結果となり、マルチスケール抽出の利点が確認されました。

5. 意義と主張

本論文は、MiVE が参照ガイド付き動画編集における最先端のアプローチであると主張しています。その意義は以下の点にあります：

• モダリティギャップの克服：条件トークンと視覚トークンを自己アテンション多様体内で統合することで、モデルは以前の分離型またはクロスアテンションベースのアプローチよりも深いクロスモーダル推論を達成します。
• 忠実度と意味のバランス：マルチスケール抽出戦略は、アイデンティティやテクスチャに不可欠な微細な空間詳細の保持と、グローバルな意味指示の理解という間の緊張関係を成功裡に解決します。
• 実用的適用性：この手法は明示的なセグメンテーションマスクを必要とせず、正確なマスクの取得が困難または不可能な複雑な編集シナリオに適しています。

著者らは、MiVE を映画のポストプロダクション、コンテンツ制作、視覚効果における堅牢なソリューションとして位置づけていますが、誤用（例：ディープフェイク）の可能性を認め、責任ある使用と検出メカニズムを提唱しています。