技術概要：Preserve, Reveal, Expand ー 領域認識型条件付けによる忠実な 4D ビデオ編集

1. 問題定義：証拠と役割の不一致

既存の 4D 駆動型ビデオ拡散モデルは、4D シーン表現（カメラ運動、物体軌道など）を条件として、説得力のあるビデオを生成することに優れています。しかし、忠実な 4D ビデオ編集には明確な課題が存在します。モデルは、ソースで観測された領域（アイデンティティ、テクスチャ、時間的詳細の保持）を保持しつつ、新たに可視化された、非遮蔽された、または視野外のコンテンツを合成する必要があるからです。

著者は、**証拠と役割の不一致（Evidence-Role Mismatch）**と呼ばれる致命的な失敗モードを特定しました。現在の手法では、単一の条件付け信号（通常は粗いレンダリングされた 4D プロキシ）が、3 種類の異なる情報を絡み合わせています：

1. 信頼できる証拠（Reliable Evidence）： 保持すべきソースに基づく観測値。
2. 信頼性の低い手がかり（Unreliable Cues）： 真実の ground-truth サポートを欠く、非遮蔽領域のためのレンダリングされたヒント。
3. サポートされていない領域（Unsupported Regions）： 元の視野外にあり、外挿を必要とする領域。

これらを均一に扱うことは、拡散モデルに証拠の信頼性と編集役割を暗黙的に推論させることになり、保持のドリフト（ソースコンテンツの劣化）、ゴースト（無効な証拠が現れた領域に漏れること）、および拡張された視野における不安定な外挿を引き起こします。

2. 手法：PREX フレームワーク

証拠と役割の不一致に対処するため、本論文はPREX（Preserve, Reveal, Expand）を提案します。これは、観測サポートとシーンの範囲に基づいて、ターゲットとなる時空間ボリュームを 3 つの異なる役割に分解する領域認識型フレームワークです。

2.1 領域分解

各ターゲットフレームにおいて、ピクセルは以下のように分類されます：

• 保持（Preserve, $M^P$）： 編集後に有効なソース観測値によってサポートされるピクセル。これらは元の外観と時間的な挙動を保持しなければなりません。
• 現出（Reveal, $M^R$）： 元のシーン範囲内にあるがサポートされていないピクセル（例：物体の除去や運動によって引き起こされる非遮蔽）。これらはシーン整合性のある補完を必要とします。
• 拡張（Expand, $M^E$）： 元の視野外にある新たに可視化された領域。これらは、視野外の一貫した外挿を必要とします。

2.2 観測に基づく外観条件付け

生レンダリングされた 4D 外観を直接の RGB 条件として使用する代わりに、PREX は**観測に基づく外観場（observation-backed appearance field, $C_{rgb}$）**を構築します：

• 保持領域については、可視性、深度、インスタンス、およびビュータイムの一貫性チェックを用いて、近傍のソースフレームから外観を取得します。
• 現出および拡張領域については、ピクセルをサポートされていないものとして扱い、拡散モデルがコンテンツを合成できるように、弱くまたは低信頼度の条件付けのみを提供します。

2.3 幾何学的信頼度

投影された 4D サポートの信頼性を測定する連続的な**信頼度マップ（confidence map, $C_{conf}$）**が推定されます。このマップは、投影カバレッジ、インスタンスの一貫性、および局所的な深度変化から導き出されます。安定した幾何学的に整合した証拠には高い信頼度が割り当てられ、疎な領域や曖昧な領域には低い信頼度が割り当てられます。

2.4 領域認識アダプタ

PREX は、これらの制御を凍結されたビデオ拡散バックボーン（Wan2.1-I2V-14B）に注入するために領域認識アダプタを採用します。

• アダプタは、観測に基づく外観（$z_{rgb}$）、信頼度マップ、および領域マスク（$M^R, M^E$）を制御トークンにエンコードします。
• これらのトークンは、凍結されたバックボーンの選択された層への残差ヒントとして注入されます。
• この設計により、モデルはバックボーン全体を再学習することなく、役割固有の挙動（保持対合成）を学習でき、編集制約に適応しながらも強力な視覚品質を維持します。

2.5 プロキシタスクカリキュラムによる学習

ペアリングされたデータ（ソースビデオ＋編集された 4D シーン＋編集されたビデオの ground truth）が不足しているため、PREX は編集されていないビデオで学習されたプロキシタスクカリキュラムを利用します。このカリキュラムは 3 つの役割をシミュレートします：

1. 保持： 信頼できる観測値によってサポートされる領域を保持するようにモデルを学習させる。
2. 現出： シーン内で合成的に保持された領域を補完するようにモデルを学習させる。
3. 拡張： 観測されたビューウィンドウを超えてコンテンツを外挿するようにモデルを学習させる。

3. PREBench：診断ベンチマーク

著者は、包括的なビデオ品質スコアを超えて、領域認識型メトリクスを用いた忠実な 4D 編集を評価するために設計された診断ベンチマークPREBenchを導入します。

• データセット： DynPose-100K、UVO、PointOdyssey などの 6 つのデータセットからキュレーションされ、10,000 件のトレーニングサンプルと 350 件の現実世界の編集テストケース（カメラのみの場合とカメラ・物体の両方の場合）を含みます。
• メトリクス：
  • 保持： P-LPIPS、P-DISTS、P-TempDrift（ソース忠実度と時間的安定性を測定）。
  • 現出： R-Ghost（無効な証拠の漏れを測定）、R-Seam（境界の連続性）。
  • 拡張： E-Temp（時間的安定性）、E-Seam、E-Copy（境界テクスチャの劣化したコピー/伸張を検出）。
• 検証： 人間の嗜好調査により、R-Ghost や E-Copy などのメトリクスが特定のアーティファクトに対する人間の判断とよく一致することが確認されました。

4. 実験結果

実験により、PREX はグローバル品質と領域固有の忠実度の両方において、最先端のベースライン（DaS、GEN3C、VerseCrafter、NeoVerse など）を上回ることが示されました。

• グローバル品質： PREX は最高の**VBench 総合スコア（77.99）**を達成し、競争力のある知覚的リアリズムと時間的な滑らかさを示しています。
• 領域認識型忠実度：
  • 保持： PREX は P-LPIPS（0.2137）および P-TempDrift において最低の誤差を達成し、ベースラインと比較して保持のドリフトを大幅に減少させています。
  • 現出： PREX は最低のR-Ghostスコア（0.1374）を取得し、非遮蔽領域でのゴーストアーティファクトを効果的に抑制しています。
  • 拡張： PREX は最も優れたE-Temp（0.0615）およびE-Copy（0.7085）スコアを示し、より安定した非劣化の視野外合成を意味しています。
• 制御精度： PREX は、カメラのみの設定とカメラ・物体の両方の設定において、最低のカメラ回転および並進誤差を達成し、4D 編集への正確な準拠を示しています。
• ユーザー調査： 2AFC（2 択比較）調査において、PREX はモーションアライメントで82.6%、入力コンテキスト保持で81.9%、知覚された視覚品質で**81.8%**のケースでベースラインよりも好まれました。

5. 意義と主張

本論文は、証拠の信頼性を編集役割から分離することが、忠実な 4D ビデオ編集の基礎であると主張しています。問題を明示的に保持、現出、拡張の役割に分解することで、PREX は既存の統合型条件付けアプローチを悩ませている証拠と役割の不一致を解決します。

• 主要な貢献： 単一の凍結拡散バックボーン内で、サポートされていない領域に対する生成的合成を可能にしつつ、観測に基づく保持を可能にする領域認識型フレームワークの導入。
• 診断的価値： PREBench は、集約スコアに依存するのではなく、ゴースト、ドリフト、コピーなどの特定の失敗モードを局所化する詳細な評価ツールを提供し、4D 編集手法の限界をより解釈可能にします。
• 謙虚さ： 著者は、PREX が上流の 4D 再構成の精度に依存することを認めています。幾何学、カメラポーズ、または可視性推定における誤差は領域マスクに伝播する可能性があり、信頼できる 4D 証拠の取得が困難な複雑な動的遮蔽、非剛体運動、または透明物体に対しては、この手法は困難に直面する可能性があります。

要約すると、PREX は「説得力のある生成」から「忠実な編集」へとパラダイムをシフトさせることで分野を前進させ、ソース証拠が有効な場所では保持され、必要な場合のみ合成されることを保証します。