技術的概要：Smart-Insertion-V

問題定義

本論文は、ユーザーが提供する空間的マスクなしで、生の参照オブジェクトをソース動画にシームレスに統合する「マスクフリー動画オブジェクト挿入」の課題に取り組む。近年の拡散ベースの動画生成モデルは著しく進歩したが、既存の手法は、参照オブジェクトがソースシーンに対して深刻なスタイルのドメインギャップ（照明、テクスチャ、または芸術的スタイルなど）を示す場合に困難に直面する。

現在の手法は、それぞれ固有の限界を持つ3つのカテゴリに分類される：

1. 明示的な空間ガイダンス: ユーザー定義のマスクや制御点に依存する手法は、注釈の負担を導入し、しばしばシーンの文脈についての推論に失敗し、オブジェクトの属性（スケール、視点）が不自然になる。
2. マスクフリー手法: 手動注釈を排除するが、生の参照がターゲット動画にスタイルを適応させるための明示的な制約なしに処理されるため、文脈の調和を欠いた生成となることが多い。
3. カスケード戦略: 参照画像を編集してから動画を挿入するパイプラインは、誤差の蓄積に悩まされる。初期編集段階からのアーティファクトや不正確なスタイル適応が動画生成中に伝播・増幅され、時間的整合性と視覚的品質を低下させる。

核心的な課題は、特に参照ドメインとソースドメインが視覚的に互換性がない場合に、空間的な妥当性、スタイルの調和、および時間的一貫性を同時に達成することである。

手法：Smart-Insertion-V

著者は、動画挿入と画像スタイル転送を同時に行うように設計された、エンドツーエンドの双ストリームフレームワークであるSmart-Insertion-Vを提案する。このアーキテクチャは、3つの主要なコンポーネントを統合している：

1. クローズドループフィードバックを備えた双ストリームフレームワーク

このフレームワークは、2つの並列ストリームで構成される：

• 画像ストリーム: ソース動画の最初のフレーム（$V^0_{src}$）と生の参照（$I_{ref}$）に基づき、スタイルが調和した参照画像（$\hat{I}_{tar}$）を合成する。このストリームは、生の参照からターゲット環境へのスタイル遷移の傾向を捉える。
• 動画ストリーム: ソース動画、生の参照、および画像ストリームによって生成された中間特徴に基づき、コアとなる挿入タスクを実行する。

クローズドループフィードバック: 推論中、フレームワークはフィードバック機構を採用する。画像ストリームは1ステップ推定（$\hat{x}^{onestep}_0$）を生成し、これをビジョン・ランゲージモデル（VLM）ブランチが分析して、スタイル的または空間的な欠陥を特定する。VLMは、初期予測に代わる洗練ガイダンス埋め込みを生成し、両ストリームが生成経路を反復的に洗練できるようにする。

2. 分離型ガイダンスモジュール（DGM）

時間的ダイナミクスを犠牲にすることなく、空間的知覚とスタイルの不一致に対処するため、DGMは2つの異なるブランチを利用する：

• VLM推論ブランチ: （MLPを介して適応された）ビジョン・ランゲージモデルが、シーンの空間配置、照明、およびスタイルを理解する。粗いテキスト指示に基づき、参照オブジェクト（スケール、向き、位置）に必要な調整を推論する。
• ネイティブテキストブランチ: 一般的な動画記述を処理するためにネイティブのT5テキストエンコーダを保持し、特に運動ガイダンスに焦点を当て、時間的事前知識を維持する。
  この分離により、空間的・スタイル的推論がモデルの一貫した運動ダイナミクスを維持する能力を妨げないことが保証される。

3. ダブル・ワールド・ビュー RoPE（Dual-RoPE）

特徴の絡み合いおよびスタイルの漏洩（挿入されたオブジェクトのスタイルが編集されていない領域を汚染すること）を防ぐための重要な革新が、ダブル・ワールド・ビュー回転位置エンベディングである。

• メカニズム: タスクインジケーター次元を追加したり、条件を追加フレームとして扱ったりすること（高いトレーニングオーバーヘッドを伴う）の代わりに、Dual-RoPEは異なる入力に対して固有の空間的・時間的オフセットを適用する。
• 実装: ターゲット潜在変数はゼロオフセット位置にアンカーされる。強い条件（例：ソース動画、ターゲット参照）は空間的に（幅軸に沿って）オフセットされ、弱い条件（例：生の参照）は時間的にオフセットされる。これにより特徴空間が分離され、モデルは重い計算コストなしに多様な条件信号を効率的に処理できる。

データキュレーション

生のオブジェクトから調和したオブジェクトへの挿入のためのペアデータの不足を認識し、著者はスケーラブルなデータキュレーションパイプラインを開発した：

1. ソース: 大規模なオープンソースのテキスト対動画データセットを利用する。
2. 合成: 除去可能なオブジェクトを特定し、インペインティングでそれらを除去し、除去されたオブジェクトにランダム化されたスタイル転送を適用して「生」の参照を作成することで、トレーニング用の四つ組（ソース動画、ターゲット動画、生の参照、調和した参照）を自動的に生成する。これにより深刻なドメインギャップを持つ参照が作成される。
3. 検証: 厳格な二重検証機構（エージェントによる自動スコアリング）が合成データをフィルタリングし、ソース、ターゲット、参照の状態間の高品質かつ厳密な整合性を確保する。

実験結果

この手法は、4つのベースライン（TeleOmni、UniVideo、UniVideo-Q、VACE）およびそれらのカスケード変種に対して評価された。

• 定量的性能: Smart-Insertion-Vは、以下のすべての指標においてすべてのベースラインを上回った：
  • FVD（Fréchet Video Distance）: 1.055（低いほど良い）、次点のベースラインは1.189。
  • Video-LPIPS: 0.125（低いほど良い）。
  • Harmonic Score: 0.842（高いほど良い）、次点のスコア0.693を大幅に上回る。
• 定性的性能: 視覚的比較は、優れたオブジェクトスタイルの調和と空間的妥当性を示す。周囲のオブジェクトを歪めたり、オブジェクトのスタイルを適応させることに失敗したりすることが多いベースラインとは異なり、Smart-Insertion-Vは編集されていない領域の完全性を維持しつつ、オブジェクトをシームレスに統合する。
• アブレーション研究: 双ストリーム設計、フィードバック機構、またはDual-RoPEを除去すると、測定可能な性能低下が生じ、各コンポーネントの必要性が確認された。

意義と主張

本論文は、Smart-Insertion-Vが以下の点により、マスクフリー動画編集の新たなパラダイムを確立すると主張する：

1. ドメインギャップの解決: 同時に行うスタイル転送と挿入を通じて、スタイル的に互換性のない生の参照を動画に成功裡に統合する。
2. エンドツーエンドの堅牢性: 単一のフレームワークでタスクを統合することで、カスケードパイプラインに固有の誤差蓄積を排除する。
3. 効率的な特徴の分離: 従来の手法に伴う重いトレーニングオーバーヘッドなしに複雑な条件信号を処理するためのDual-RoPEを導入する。
4. データのスケーラビリティ: この特定のタスクにおけるデータギャップを埋めるためのスケーラブルなパイプラインと高品質なオープンソースデータセットを提供する。

著者は、自らのアプローチが、空間的推論、スタイル適応、および時間的一貫性のバランスを効果的に取り、現在までに最も調和のとれた挿入結果を達成したと結論づけている。