Controllable Video Object Insertion via Multi-View Priors

技術要約：マルチビュー・プライアを用いた制御可能なビデオ・オブジェクト挿入

問題提起
ビデオ・オブジェクト挿入は、ユーザーが指定したオブジェクトを既存の動的なシーンに統合しつつ、視覚的な一貫性を維持することを目的としている。現在の手法は通常、テキストプロンプトや単一の参照画像を使用してオブジェクトの外観を定義するが、このアプローチには以下のような重大な制限がある。

• アイデンティティの漂流と歪み： 単一視点の観察では、視点の変化に伴うオブジェクトの外観を制約できないため、アイデンティティの漂流（identity drift）、幾何学的な歪み、および未観測の角度におけるアーティファクトが発生する。
• 統合の失敗： 既存の多くのアプローチは、前景と背景の相互作用を明示的にモデル化していない。その結果、カメラの動きや視点の変化によって、不適切なレイヤリング（例：遮蔽物となる背景要素の前にオブジェクトが表示される）や、境界のアーティファクト、時間的なちらつき（フリッカリング）が生じることがある。
• 制約不足の生成： マルチビュー情報の欠如により、挿入されたオブジェクトのアイデンティティを保持し、動的な環境において妥当な遮蔽関係を確保することが困難である。

手法
著者らは、**3D由来のマルチビュー・プライア（multi-view priors）**を、特殊なコンディショニングおよび一貫性モジュールと共に組み込むことで、これらの制限に対処するビデオ・オブジェクト挿入フレームワークを提案している。このフレームワークは、ソースビデオシーケンス、前景参照画像、テキストプロンプト、および時空間制御信号（マスクまたはバウンディングボックス）に基づいて動作する。

アーキテクチャは、主に以下の3つのコンポーネントで構成される。

1. マルチビュー参照生成：

   • 単一の2D参照画像を、事前学習済みの3D再構成ツール（Hunyuan3D 2.0）を用いて、3Dテクスチャメッシュへと「リフトアップ」する。
   • メッシュは、一様に分布したカメラ外特性を用いて、$N$個のビュー（視点）のマルチビュー画像へとレンダリングされる。これにより、生成モデルは単一の静的なビューに依存するのではなく、様々な観点からの豊かな外観および幾何学的情報を得ることができる。

2. 視点一貫性コンディショニング・モジュール：

   • デュアルパス参照注入（Dual-Path Reference Injection）： マルチビューデータを安定性を損なうことなく効果的に利用するために、本モジュールは2つの補完的なパスを採用している。
     • アイデンティティ保持型潜在注入（IPLI）： 共有ビジュアルエンコーダがソースビデオとマルチビューレンダリングを処理する。連結された表現は、デノイジングDiTブロックに直接注入され、フレーム間でオブジェクトの外観を固定する。
     • マルチビュー特徴バンク（MVFB）： マルチビュー画像は、キー・バリューのペアからなる検索可能な知識ベースへとエンコードされる。クロスアテンションを通じて、モデルはこのバンクから視点に関連するテクスチャや幾何学的手がかりを動的に取得し、オブジェクトの回転や移動に伴って適応的な外観生成を行う。
   • 品質認識型ウェイト付け： 3Dリフトアップは不完全な再構成（例：欠落したジオメトリ、歪んだテクスチャ）を生む可能性があることを認識し、フレームワークは以下の堅牢性メカニズムを実装している。
     • 合成アーティファクト拡張（Synthesized Artifact Augmentation）： 学習時に自然な不完全レンダリングを保持することで、モデルを現実的な再構成ノイズに曝露させる。
     • 意味的一貫性チェック（SCC）： CLIPベースのモジュールが、テキストプロンプトと各レンダリングビュー間のコサイン類似度を計算する。この一貫性スコアが、参照スケール（$\alpha_{ref}$）および個々の特徴トークルを調整する。これにより、意味的に整合しない、あるいはノイズの多いビューの影響を抑制しつつ、信頼できるエビデンスを保持する。

3. 統合認識型一貫性モジュール：

   • 幾何学的グラウンディング： 空間的なリアリズムを向上させるため、潜在空間内で動作する2つの補助ヘッド（Depth HeadおよびContour Head）を備えている。
     • Depth Head は、正しい深度順序と遮蔽関係を強制するために、疑似グラウンドトゥルースの深度マップによって監督される。
     • Contour Head は、セグメンテーションマスクの不一致を最小化し、シャープなオブジェクト境界を生成してカラーブリーディングを低減させる。
   • 時間的一貫性最適化： ファインチューニング中に、Lucas-Kanadeオプティカルフローを用いた時間的損失が適用される。これは、デコードされた予測を後続のフレームへとワーピングすることで、フレーム間のちらつきを最小限に抑え、運動の連続性を確保する。

主な貢献

• マルチビュー・プライア・フレームワーク： 2D参照をマルチビュー表現へとリフトアップすることで、動的なシーンにおける外観の一貫性と前景・背景の統合を改善する新しいアプローチ。
• 視点一貫性コンディショニング： アイデンティティの安定のための直接的な潜在注入と、視点適応型の検索のための特徴バンクを組み合わせたデュアルパス・メカニズムであり、不完全な3D再構成を扱うための品質認識型ウェイト付けシステムによってサポートされている。
• 統合認識型一貫性： 遮蔽を明示的にモデル化し、境界をシャープにし、ちらつきを低減するために、潜在的な深度および輪郭の監督と時間的制約を導入した。
• 包括的な評価： DAVIS、VIPSeg、MagicBenchの複数のベンチマークにおける検証により、視覚的品質、制御可能性、アイデンティティ保持、および知覚的統合の向上を実証した。

実験結果
本フレームワークは、DAVIS 2017、VIPSeg、MagicBenchにおいて、7つのベースライン手法（AnyV2V、UniVideo、VACE、MagicMotion、LoRA-Edit、PISCOを含む）と比較評価された。

• 定量的性能： 提案手法は、再構成忠実度（PSNR: 23.22, SSIM: 0.9026）および知覚的品質（最低のLPIPSおよびFVDスコア）において、最先端（SOTA）の結果を達成した。また、空間的制御可能性（Mask_IoUおよびBox_IoU）においてもベースラインを上回った。
• 参照フリー指標： 知覚的なビデオ品質において、本手法は最高のSubject ConsistencyおよびTemporal Flickeringスコアを達成しており、優れたアイデンティティ保持と滑らかな遷移を示している。
• アブレーション研究： コアコンポーネント（マルチビュー・プライア、デュアルパス注入、SCC、または幾何学的グラウンディング）のいずれかを除去すると、性能の測定可能な低下を招き、各モジュールの必要性が確認された。例えば、マルチビュー特徴バンクを除去すると回転中のアイデンティティの漂流が発生し、SCCを除去するとモデルが欠陥のある3D再構成に従ってしまうことが判明した。
• テキスト駆動能力： テキストから参照画像を3Dリフトアップ前に合成するテキスト駆動型バリアント（Ours t2i）も競争力のある性能を維持しており、パイプラインのドメインシフトに対する堅牢性を実証している。

意義と主張
本論文は、提案するフレームワークが、異なる視点間での挿入オブジェクトのアイデンティティ保持と、動的なシーンへの知覚的に妥当な統合という中心的な課題を効果的に解決することを主張している。マルチビュー・プライアと統合認識型一貫性を組み合わせることで、本手法はシングルビュー・コンディショニングの限界、具体的にはアイデンティティの漂流、幾何学的歪み、および境界のアーティファクトを克服している。著者らは、本研究を、オブジェクトが時間の経過とともに複雑なシーンと視覚的に一貫性を保つ必要がある映画のポストプロダクション、没入型AR/VRコンテンツ制作、および自動運転シミュレーションなどの用途に向けた、現実的かつ制御可能なビデオ編集への重要なステップとして位置づけている。本フレームワークは、全シーンの再構成を必要とせずに、粗いバウンディングボックス制御から微細なマスク制御までをサポートする。