技術サマリー：Aurora – ツール利用エージェントによる統一型動画編集

1. 問題定義

最近の統一型動画編集モデルは、テキスト指示、元動画、参照画像（またはマスク）を単一の拡散トランスフォーマーが共同で消費し、置換、削除、スタイル転送、挿入などの多様なタスクを実行するという設計に収束しています。このアーキテクチャは柔軟ですが、ユーザーがモデルが直接使用できる条件入力（精密なテキスト、視覚パターンに対する特定の参照画像、局所的編集のための空間マスク）を提供することを前提としています。

実際には、生のユーザー要求は以下の 2 つの軸に沿って**不十分指定（underspecification）**に陥ることがよくあります：

1. 視覚的不十分指定： ユーザーは特定のエンティティやパターン（例：「バーバリーのチェック柄のスカーフ」や「神奈川沖浪裏」）を名乗りますが、参照画像は提供しません。
2. テキスト的不十分指定： 編集が間接的に記述されます（例：「青いアイテムを、はるかに速く走る車両に変更する」）。これにより、モデルは具体的な目標を推論する必要があります。

現在の統一型モデルは、生成開始前にこれらの欠落した条件を推論、グラウンディング、または埋めるメカニズムを欠いています。これにより、モデルが利用可能な豊富な条件チャンネルと、ユーザーから提供される不完全な情報の間にギャップが生じます。

2. 手法：Aurora フレームワーク

Aurora は、条件構築を動画生成から分離することでこのギャップを埋めます。これにより、ツール拡張型ビジョン・ランゲージモデル（VLM）エージェントと統一型動画拡散トランスフォーマー（DiT）を組み合わせるエージェント型フレームワークを導入します。

2.1 VLM エージェント（条件構築）

エージェントは、LoRA 微調整されたQwen3-VL-8B-Instructとして実装され、プリプロセッサとして機能します。これは、元動画（$V_{src}$）、生のユーザー指示（$y$）、オプションのユーザー参照（$R$）を受け取り、構造化された編集プランを生成します：
$$(y', c, q, m) = \pi_\phi(V_{src}, y, R)$$
ここで：

• $y'$（書き換えられた指示）： テキスト的不十分指定を解決する、標準化されたモデル利用可能な指示。
• $c$（タスクラベル）： ルーティングに使用される標準的な編集タイプ（例：replace_object、remove_object）。
• $q$（画像検索クエリ）： 参照画像が欠落している場合に、Web 画像検索ツール（Serper API を経由）をトリガーするためのオプションのクエリ。
• $m$（マスクフレーズ）： 空間的グラウンディングが欠落している場合に、セグメンテーションツール（GroundingDINO + SAM）をトリガーするためのオプションのフレーズ。

ツールの実行：
$q$ または $m$ が空でない場合、エージェントは外部ツールを呼び出します：

• 画像検索： 候補画像を取得し、最も関連性の高いものを選択します。
• セグメンテーション： 対象領域のマスクを生成し、それを元動画に合成します。

最終出力は、統一条件タプル $\mathbf{x} = (y', V_{src}, R^+)$ であり、ここで $R^+$ には元のユーザー参照に加え、取得された画像またはマスク付き画像が含まれます。タスクラベル $c$ は計画時に使用されますが、動画モデルには入力されません。

2.2 動画 DiT（動画生成）

動画生成のバックボーンは、Wan2.2-TI2V-5B に基づいて構築された統一型**拡散トランスフォーマー（DiT）**です。これは、2 つの経路を通じて条件タプル $\mathbf{x}$ を消費します：

1. マルチモーダルコンテキスト経路： フリーズされたQwen3.5-4Bエンコーダが、書き換えられた指示（$y'$）、サンプリングされた元フレーム、および参照画像（$R^+$）を処理し、クロスアテンションのための共有マルチモーダルコンテキスト（$T_{ctx}$）を生成します。
2. 潜在トークン経路： ノイズ付き動画トークン、元トークン、および参照トークンが、トークンシーケンス次元に沿って連結されます。
   • ゼロタイムステップ変調： 編集されていないコンテンツと参照アイデンティティを保持するため、元トークンと参照トークンはゼロタイムステップ埋め込み（$a(0)$）で変調され、ノイズ付きトークンは標準的なフローマッチング軌道（$a(t)$）に従います。これにより、動画がノイズ除去される間、条件トークンは固定されたままになります。

2.3 訓練目的

• 動画 DiT： 画像編集、指示ベースの動画編集、および参照ガイド付き動画編集データの混合に対してフローマッチングで訓練されます。これは、空、ユーザー提供、およびツール取得の参照を均一に処理することを学習します。
• VLM エージェント：
  • 教師あり微調整（SFT）： 25k の計画例と 10k の参照画像選択例で訓練されます。ターゲットは完全な 4 項目のプランであり、エージェントに指示の書き換え、タスクのルーティング、ツールの選択を教えます。
  • 好適性アライメント（DPO）： 境界ケース（例：誤った画像検索トリガー、曖昧なマスクフレーズ、制約を失う書き換え）を解決するために、1.8k の好適性ペアで訓練されます。これにより、学習目的に動画サンプリング分散を混合することなく、意思決定境界を鋭くします。

3. 主な貢献

1. Aurora フレームワーク： ツール拡張型 VLM エージェントを使用して、生で不十分指定された要求を完全なモデル利用可能な条件タプルにマッピングするエージェント型動画編集システム。
2. AgentEdit-Bench： テキストおよび視覚的不十分指定下での動画編集を評価するために特別に設計された新しいベンチマーク。IP 置換、IP 追加、IP 背景変更、推論、および削除の 5 つのタスクタイプにわたる 150 のケースを含み、生の要求が必要な条件を省略しています。
3. 訓練データとアライメント： VLM エージェントの計画と参照選択のためのデータセット構築パイプラインと、ツールのトリガーや指示の書き換えにおけるエッジケースを処理するための DPO ベースの好適性アライメントの組み合わせ。
4. モデル転送性： Aurora VLM エージェントが、凍結された既存の統一型動画編集モデル（例：UniVideo、Kiwi-Edit）と組み合わせて使用でき、不十分指定された要求に対するそれらのパフォーマンスを向上させることの証明。

4. 実験結果

• AgentEdit-Bench におけるパフォーマンス：
  • エージェントなしの Aurora 動画 DiT 単体は74.7を記録し、生プロンプトにおいて UniVideo（67.0）および Kiwi-Edit（69.7）を上回ります。
  • VLM エージェントを追加するとスコアは87.9に向上します。この gains は、エージェントが欠落した参照画像を正常に取得する IP タスク（置換と追加）で最も顕著です。
  • 除去実験により、SFT が gains の大部分（85.0）に寄与し、DPO が境界誤りを修正することでさらに洗練（87.9）を加えることが示されました。
• 既存ベンチマーク（EditVerse-Bench、OpenVE-Bench）におけるパフォーマンス：
  • 適切に指定された入力を持つベンチマークにおいて、Aurora はオープンソース手法の中で最先端の結果を達成しています（EditVerse-Bench で 7.61、OpenVE-Bench で 3.38）。これにより、クローズドソースの Runway Aleph ベースラインとのギャップの大部分が埋められています。
  • ツールが無効化されている場合（指示の書き換えのみが発生）でも、エージェントはパフォーマンスを向上させ、指示の洗練の価値を示しています。
• 転送性：
  • Aurora VLM エージェントを凍結された UniVideo および Kiwi-Edit のバージョンと組み合わせると、AgentEdit-Bench および既存のベンチマークの両方でそれらのスコアを一貫して向上させ、エージェントの有用性がモデル非依存であることを証明しています。

5. 意義と限界

意義：
本論文は、動画編集の進展は、より強力な動画 DiT だけでなく、生のユーザー要求をモデル利用可能な条件へ信頼性高く変換することにも依存すると主張しています。Aurora は、エージェント層が不十分指定を効果的に解決し、統一型モデルが、動画モデル自体を新しいツールや条件ごとに再訓練することなく、現実世界の不完全なユーザー入力を処理できるようにすることを示しています。

限界：

• 訓練パラダイム： VLM エージェントはオフライン DPO によってアライメントされます。著者らは、最終編集クリップを報酬信号として使用して全パイプライン全体でオンライン RL（例：GRPO）を行うことは、計算制約により現在非現実的であると指摘しています。
• 運動の複雑さ： 5B 動画 DiT は、限られた運動を持つオブジェクトの削除、様式化、および挿入を信頼性高く処理します。しかし、大規模で物理的に妥当な運動を持つ新しい被写体の追加は困難であり、これはバックボーンの容量と、訓練データにおけるそのようなケースの希少性の両方に起因します。

広範な影響：
著者らは、Web 画像検索ツールに起因する同意なきアイデンティティ操作や著作権の問題に関するリスクを認識しており、Aurora を証拠生成ツールではなく、創造的ツールとして位置付けています。