技術概要：RVEDiT – ビデオ編集における拡散トランスフォーマーの暗黙的推論

問題定義

指示に基づくビデオ編集は、自然言語の指示に従ってソースビデオを変換しつつ、無関係なコンテンツを保持し、時間的整合性を維持することを要求します。著者らは、既存の拡散トランスフォーマー（DiT）ベースの編集ツールが、現在のパイプラインにおける 2 つの構造的限界により、このタスクに苦慮していると主張します。

1. 未分化な条件付け: 標準的な DiT では、テキスト指示と視覚トークンが単一の結合シーケンスに連結され、すべてのトランスフォーマーブロックによって均一に処理されます。これにより、単一のトークンストリームが高レベルの編集意図と低レベルの視覚ターゲットの両方を同時に符号化することを強制され、推論のための専用の「作業領域」が残されません。
2. 教師なし内部推論: 編集を支配するクロスアテンションパターンは、ピクセルレベルの再構成損失（例：フローマッチング）を通じて間接的にのみ教師信号を与えられます。その結果、モデルの内部推論の痕跡（どのテキストトークンがどの視覚領域を読み取るかを符号化するアテンションマップ）は、制約が不十分です。モデルは再構成誤差を最小化することを学習しますが、指示に忠実な編集に必要な微細な対応関係を確立するように明示的に教えられていません。

本論文は、指示に基づくビデオ編集は、外部のマルチモーダル大規模言語モデル（MLLM）に推論を委ねる（これは幻覚を引き起こす可能性がある）か、バックボーンをブラックボックスとして扱うのではなく、DiT バックボーン内でネイティブに解決されなければならない、本質的に潜在推論問題であると仮説立てています。

手法：RVEDiT

著者らは、条件付けストリームを構造化し、内部推論プロセスを教師信号化するよう設計されたフレームワークRVEDiT（Reasoning Video Editing DiT）を提案します。これは 2 つの相補的なコンポーネントで構成されます。

1. 粒度ルーティングトークン条件付け（GRTC）

このコンポーネントは、深さ認識型ルーティング機構を導入することで、未分化な条件付けのボトルネックに対処します。

• 学習可能な編集トークン: ソースビデオと指示に基づき、MLLM（具体的には Qwen2.5-VL）から $K$ 個の学習可能な編集トークン（$X_e$）が蒸留されます。これらのトークンは、編集意図の抽象的な、かつ文脈的にグローバルな担体として機能します。
• 粒度に基づくルーティング: トークンは、その意味的粒度に応じて DiT の異なる層へルーティングされます。
  • 浅い層（$\ell_{idx} \le L_s$）: 学習可能な編集トークン（$X_e$）のみにアテンションします。これにより、早期ブロックは数千のピクセルレベルトークンによって希釈されることなく、グローバルな編集意図を確立できます。
  • 深い層（$\ell_{idx} > L_s$）: 完全なシーケンス $[X_e; X_v; X_\ell]$ にアテンションします。ここで、$X_v$ はネイティブな視覚トークン、$X_\ell$ はテキストトークンです。これにより、深いブロックはグローバルな意図を特定の領域、テクスチャ、動きに具体化できます。
• 効果: これにより、バックボーン内で粗い粒度から細かい粒度への編集プロセスが創出され、グローバルな意図の形成と局所的な洗練が分離されます。

2. 参照アンカー型アテンション整合（RAAA）

このコンポーネントは、推論コストを発生させない訓練時の正則化項を導入することで、教師なし推論のボトルネックに対処します。

• 参照ブランチ: 訓練中、同じ DiT（共有重み）を、グランドトラウトのターゲットビデオ（$v^*$）とそのキャプション（$\ell^*$）に基づいて条件付け、2 回目のフォワードパスを実行します。このブランチは、成功した推論の痕跡（クロスアテンションマップ）を生成し、アンカーとして機能します。
• 相互情報最大化: この手法は、編集ブランチ（ソース＋指示に基づく）と参照ブランチ（ターゲットに基づく）のクロスアテンション特徴間の相互情報を最大化します。
• 目的: 対称的な InfoNCE 推定量を用いて、モデルは、編集ブランチのアテンション幾何学を、ランダムにサンプリングされた深さにおいて参照ブランチと整合させるように促されます。これにより、モデルは単にピクセル再構成誤差を最小化するのではなく、成功した編集を反映するためにどこで、どのようにアテンションすべきかを学びます。
• 推論: 参照ブランチは訓練後に破棄されるため、展開時の計算オーバーヘッドは追加されません。

最終的な訓練目的関数は、標準的なフローマッチング損失（$\mathcal{L}_{fm}$）と整合項（$\mathcal{L}_{align}$）を組み合わせます。
$$\mathcal{L} = \mathcal{L}_{fm} + \lambda_{align} \mathcal{L}_{align}$$

主な貢献

1. 問題定式化: 本論文は、ビデオ編集における暗黙的推論を阻害する既存の DiT パイプラインにおける 2 つの構造的ボトルネック（未分化な条件付けと教師なし推論）を特定し、形式化しました。
2. RVEDiT フレームワーク: 推論を内部化するための DiT ネイティブなフレームワーク。
   • 粒度ルーティングトークン条件付け: MLLM 由来のトークンを浅い層へ、ネイティブトークンを深い層へルーティングすることで、粗い粒度から細かい粒度への編集プロセスを確立します。
   • 参照アンカー型アテンション整合: 編集と参照のアテンション痕跡間の相互情報を最大化することで、推論経路を積極的に教師信号化します。
3. 実証的検証: 広範な実験により、RVEDiT が、特に局所的、構成的、忠実度感受性の高い編集において、最先端のオープンソースベースラインを上回ることを示しました。

実験結果

著者らは、VACE、OmniVideo、ICVE、Lucy-Edit、DITTO、Kiwi-Edit などのベースラインに対して、OpenVE-Bench上で RVEDiT を評価しました。評価は、指示遵守（IC）、整合性忠実度（CF）、視覚品質（VQ）の 3 つの軸をスコアリングする MLLM-as-a-judge プロトコル（Gemini-3.1-Pro および Qwen3.5-VL-35B）を用いて行われました。

• 定量的性能: RVEDiT は、両方のジャッジにおいて最良の総合スコアを達成しました（Qwen3.5-VL-35B で 77.42、Gemini-3.1-Pro で 62.48）。
• 具体的な改善: このモデルは、周囲のコンテンツの正確な修正と保持を必要とするローカル追加およびローカル変更タスクで特に優れた性能を示しました。また、グローバルスタイル転送でも良好な結果を得ました。
• アブレーション研究:
  • GRTC を除去すると、明確なグローバル意図を必要とするタスク（ローカル追加、グローバルスタイル）で性能が低下しました。
  • RAAA を除去すると、微細な位置対応を必要とするタスク（ローカル追加、CF および VQ 指標）で低下が見られました。
  • 両方のコンポーネントを除去すると、特にローカル削除タスクで重大な失敗を招き、IC は完全モデルと比較して約 17 ポイント低下しました。
• メカニズム分析: アテンション質量の分析により、浅い層が編集トークン（グローバル意図）に焦点を当て、深い層がネイティブトークン（局所的な洗練）へと移行することが確認され、粗い粒度から細かい粒度への設計が検証されました。

意義と主張

本論文は、RVEDiT が、生成バックボーンの内部推論プロセスを明示的に形成することが、堅牢で制御可能なビデオ編集への実現可能な道であることを実証していると主張します。このタスクを潜在推論問題として扱い、標準的な DiT の構造的ボトルネックに対処することで、本手法は以下の成果を達成します。

• 指示への忠実度: 複雑な自然言語指示へのより良い遵守。
• ソースの保持: 編集されていないコンテンツとシーン構造のより良い保持。
• 時間的整合性: フレム間のちらつきやアーティファクトの低減。

著者らは、これらの改善が外部の計画モジュールや追加の推論コストなしに達成されており、アーキテクチャ設計とターゲットを絞った訓練目的を通じて、エンドツーエンドの生成パスに暗黙的推論能力を付与できることを示唆しています。