技術要約: CoT-Edit: CoT（思考の連鎖）による指示ベースのビデオ編集の誘導

1. 問題提起

テキスト駆動型の指示に基づくビデオ編集は、複数のオブジェクトが共存する場合、類似したエンティティが密集している場合、あるいは動的な相互作用がある場合など、複雑な現実世界のシナリオにおいて重大な課題に直面しています。純粋なテキストプロンプトだけでは、正確な空間関係や物理的制約を捉えきれないことが多く、以下のような問題を引き起こします：

• ターゲットの曖昧性: 類似したオブジェクトが存在する場合、意図したオブジェクトを選択することが困難になる（例：複数の犬がいる中で「黄色い犬」を変更しようとする場合）。
• 物理的不自然さ: 運動軌跡、スケール、または接触関係を尊重できない（例：物体が不可能なパターンで飛んだり、重力を無視したりする）。
• ローカライゼーションのドリフト: 不正確な空間的なグラウンディングにより、誤った領域に編集が及んだり、時間的な安定性が欠如したりする。

既存の手法は、大規模なデータセットと高容量のモデルに依存してこれらの制約を暗黙的に学習させることが多いですが、空間的なグラウンディングが不十分であるケースが頻発します。さらに、曖昧なテキストのみからマスクを生成することは、空間レイヤーに意味論的な不確実性を伝播させ、編集の品質を損なう原因となります。

2. 手法: Plan–Guide–Edit フレームワーク

著者らは、Plan（計画）、Guide（誘導）、**Edit（編集）**という3つのコアステージを通じて、高レベルの意味論的な意図と低レベルの空間的な実行を明示的に橋渡しするモジュール型フレームワークを提案しています。

3.1. Planner: CoTによる意味・空間プランニング

Plannerは、CoT（Chain-of-Thought：思考の連鎖）によって強化されたマルチモーダル大規模言語モデル（MLLM）を利用する、意味・空間翻訳機として機能します。MLLMは、直接的なシングルパスの出力ではなく、入力キーフレームとテキスト指示に対して構造化された多段階の推論プロセスを実行します：

1. タスク解析とフレーム間知覚: 編集の意図（例：追加、入れ替え）を特定し、カメラの動きと物体の動きを区別しながら、フレームを横断して物体を追跡します。
2. 物理および時間的一貫性のモデリング: 物理的制約（重力、遮蔽、接触）および時間的な連続性（変位、スケールの変化）について明示的に推論し、運動学的な妥当性を確保します。
3. 出力生成: 以下の2つの構造化された出力を生成します：
   • 時間的バウンディングボックス・シーケンス: キーフレームに整合した正規化されたバウンディングボックスのシーケンス（$\{b_t\}$）を提供し、明示的な空間アンカーとなります。
   • 拡張された指示: ターゲットの属性、空間関係、およびシーンの制約を組み込んだ、増強されたテキスト記述。

3.2. Guide: ボックス誘導型マスク生成

Guideブランチは、Plannerの出力をハード制約として用いることで、マスク生成という困難なグローバルな問題を、ローカルな精緻化問題へと変換します。

• ボックス条件付き生成: バウンディングボックスのシーケンスをハード制約とし、拡張された指示とビデオ特徴量をソフト制約として利用します。
• 時空間自己注意機構: Editorと階層的なアーキテクチャを共有し、時間的一貫性のための自己注意（self-attention）と、意味的および空間的な事前知識を注入するための相互注意（cross-attention）を利用します。
• 双方向補正:
  • リバース・コネクター (Reverse-Connector): Editorからの高レベルな意味理解をGuideへフィードバックし、細い構造や遮蔽された領域のディテールを回復させます。
  • マスク・コネクター (Mask-Connector): 精緻化されたマスク特徴量をEditorへ注入し、低レベルの空間的なガイダンスが各レイヤーで維持されるようにします。
• 出力: 時間的に一貫したバイナリマスクシーケンス（$\{M_t\}$）を生成します。

3.3. Editor: 拡散ベースの編集

Editorは、拡散バックボーン（Wan2.2 5B）を使用して、実際の外観変更とコンテンツ生成を実行します。

• マルチ条件融合: Editorは、拡張された指示（Qwen-VL特徴量経由）、正確な時空間マスク、および元のビデオ潜在表現を統合します。
• 相互注意メカニズム: 特殊な相互注意モジュールが、MLLMの整理された意味的知識とマスク特徴量を拡散プロセスに注入します。
• コンポジティング: マスク誘導戦略により、編集をマスク領域内に厳密に適用しつつ、マスク外の元のビデオを保持することで、時間的一貫性と意味的な忠実性を確保します。

学習戦略

本フレームワークは、データ要件を削減し安定性を向上させるために、2段階の学習アプローチを採用しています：

1. モジュール学習: マスク（Guide）ブランチとEditorブランチを、混合された画像/ビデオセグメンテーションおよび編集データセットを用いて個別に学習させます。
2. 共同学習: 精密なマスク注釈が付与された10万組の高品質な内部ビデオ編集ペアデータセットを用いて、各ブランチを共同で学習させます。

3. 主な貢献

• Plan–Guide–Edit パラダイム: 意味的な意図を空間的な実行から切り離し、拡散編集プロセスが始まる前にターゲットを解析し、空間と時間にローカライズする新しいフレームワーク。
• CoT強化型 MLLM Planner: テキストの曖昧さを積極的に解決し、物理的に一貫した空間的事前知識（バウンディングボックス）と拡張された指示を生成する推論モジュール。
• ボックス条件付きマスク予測: 明示的な空間的事前知識を高品質で時間的に一貫したマスクへと変換するメカニメントであり、拡散エディタの負担を大幅に軽減します。
• 双方向の協調: EditorとGuideが互いの出力を相互に精緻化することを可能にする、リバース・コネクターとマスク・コネクターを備えた設計であり、境界の安定性と物理的な妥当性を高めます。

4. 実験結果

著者らは、自動指標とユーザー調査の両方を用いて、CoT-Editを最先端のベースライン（例：InsV2V, StableV2V, Lucy-1.1, OmniVideo）と比較評価しました。

• 定量的パフォーマンス: CoT-Editは、以下の複数の指標において最先端の性能を達成しました：
  • 視覚的品質: FVD（1015.67 vs ベースライン >1400）、時間的一貫性（TC）、運動の滑らかさ（MS）、および美学（AES）の向上。
  • 指示への追従性: 高いCLIPScore、および物理的妥当性、空間関係、全体的な編集品質に関するGeminiによる評価スコア。
  • 空間推論: 複数の類似したオブジェクトや物理法則（例：放物線運動）を含む複雑な指示の処理における顕著な向上。
• 定性的改善: 視覚的な比較により、優れたターゲットのローカライズ、非編集領域のより良い保持、およびテキストのみの手法では達成できなかった物理的に妥当な動き（例：跳ねるボール）の生成能力が示されました。
• アブレーション研究:
  • CoT: 思考の連鎖（Chain-of-Thought）推論を除去すると、物理的に妥当な運動軌跡の生成に失敗しました。研究では、Qwen3-VL-32BおよびGemini 2.5 Pro（CoTの有無両方）のバリアントを比較し、その有効性を検証しました。
  • マスクブランチ: マスクブランチと双方向コネクターの導入により、空間的なローカライズと指示への追従スコアが大幅に向上しました。研究では、Editorブランチ内の指示強化モジュールとしてQwen3-VL-8Bを用いた構成を比較しました。

5. 重要性と主張

本論文は、CoT-Editの主要な意義は、構造化されたプランニングを通じて信頼性の高い意味・空間リンクを確立したことにあると主張しています。生成の前に空間的制約と物理的事前知識を明示的にモデリングすることで、本フレームワークは以下を実現します：

• ローカライゼーションと生成の分離: 拡散モデルから空間的なグラウンディングの負担を取り除くことで、生成タスクを簡素化し、大規模な整列済みデータセットの必要性を低減します。
• 物理的一貫性の確保: スケール、運動学、および接触関係について明示的に推論することで、オブジェクトのドリフトや不可能な物理現象といった一般的な失敗モードを防ぎます。
• 効率性と安定性の向上: モジュール化された段階的な学習アプローチにより、各コンポーネントの学習目標が明確になり、エンドツーエンドのテキスト・トゥ・ビデオ編集モデルと比較して、より安定した学習と効率的な推論が可能になります。

著者らは、このアプローチが精密で、物理的に一貫しており、かつ時間的に一貫したビデオ編集を可能にし、高レベルの自然言語指示と低レベルのピクセルレベルの実行との間の決定的なギャップを埋めるものであると結論付けています。