技术摘要：Aurora——基于工具使用智能体的统一视频编辑

1. 问题陈述

近期的统一视频编辑模型已收敛于一种设计：单个扩散 Transformer 联合消费文本指令、源视频以及参考图像（或掩码），以执行替换、移除、风格迁移和插入等多样化任务。尽管这种架构具有灵活性，但它假设用户提供的是模型就绪的 conditioning 输入：精确的文本、用于视觉模式的具体参考图像，以及用于局部编辑的空间掩码。

在实践中，原始用户请求往往在两个维度上存在定义不足（underspecification）：

1. 视觉定义不足：用户命名了特定实体或模式（例如“一条博柏利格纹围巾”或“神奈川冲浪里”），但未提供参考图像。
2. 文本定义不足：编辑描述是间接的（例如“将蓝色物品改为一种运行速度快得多的车辆”），需要模型推断具体目标。

当前的统一模型缺乏在生成开始之前推断、定位或填充这些缺失条件的机制。这导致了模型可用的丰富 conditioning 通道与用户提供的不完整信息之间的差距。

2. 方法论：Aurora 框架

Aurora 通过将条件构建与视频生成解耦来填补这一空白。它引入了一个智能体框架，将工具增强的视觉 - 语言模型（VLM）智能体与统一视频扩散 Transformer（DiT）配对。

2.1 VLM 智能体（条件构建）

该智能体实现为 LoRA 微调的Qwen3-VL-8B-Instruct，充当预处理器。它接收源视频（$V_{src}$）、原始用户指令（$y$）和可选的用户参考（$R$），以生成结构化的编辑计划：
$$(y', c, q, m) = \pi_\phi(V_{src}, y, R)$$
其中：

• $y'$（重写指令）：标准化的、模型就绪的指令，用于解决文本定义不足问题。
• $c$（任务标签）：规范化的编辑类型（例如 replace_object、remove_object），用于路由。
• $q$（图像搜索查询）：如果缺少参考图像，则触发网络图像搜索工具（通过 Serper API）的可选查询。
• $m$（掩码短语）：如果缺少空间定位，则触发分割工具（GroundingDINO + SAM）的可选短语。

工具执行：
如果 $q$ 或 $m$ 非空，智能体将调用外部工具：

• 图像搜索：检索候选图像并选择最相关的一张。
• 分割：为目标区域生成掩码，并将其合成到源视频上。

最终输出是一个统一 conditioning 元组 $\mathbf{x} = (y', V_{src}, R^+)$，其中 $R^+$ 包含原始用户参考以及任何检索到的图像或带掩码的图像。任务标签 $c$ 在规划期间使用，但不输入给视频模型。

2.2 视频 DiT（视频生成）

视频生成骨干是一个基于Wan2.2-TI2V-5B构建的统一扩散 Transformer（DiT）。它通过两条路径消费 conditioning 元组 $\mathbf{x}$：

1. 多模态上下文路径：一个冻结的Qwen3.5-4B编码器将重写指令（$y'$）、采样的源帧和参考图像（$R^+$）处理为共享的多模态上下文（$T_{ctx}$），用于交叉注意力。
2. 潜在 Token 路径：噪声视频 Token、源 Token 和参考 Token 沿 Token 序列维度进行拼接。
   • 零时刻调制：为了保留未编辑内容和参考身份，源 Token 和参考 Token 使用零时刻嵌入（$a(0)$）进行调制，而噪声 Token 遵循标准的流匹配轨迹（$a(t)$）。这确保了 conditioning Token 在视频去噪过程中保持固定。

2.3 训练目标

• 视频 DiT：在图像编辑、基于指令的视频编辑和参考引导的视频编辑数据的混合体上使用**流匹配（flow matching）**进行训练。它学习统一处理空、用户提供的和工具检索的参考。
• VLM 智能体：
  • 监督微调（SFT）：在 2.5 万个规划示例和 1 万个参考图像选择示例上进行训练。目标是完整的 4 字段计划，教导智能体重写指令、路由任务并选择工具。
  • 偏好对齐（DPO）：在 1800 个偏好对上进行训练，以解决边界情况（例如，错误的图像搜索触发、模糊的掩码短语、丢失约束的重写）。这在不将视频采样方差混入学习目标的情况下， sharpened 决策边界。

3. 主要贡献

1. Aurora 框架：一个智能体视频编辑系统，利用工具增强的 VLM 智能体，将原始、定义不足的请求映射为完整的、模型就绪的 conditioning 元组。
2. AgentEdit-Bench：一个新基准，专门用于评估在文本和视觉定义不足情况下的视频编辑。它包含 150 个案例，涵盖五种任务类型（IP 替换、IP 添加、IP 背景更改、推理和移除），其中原始请求省略了必要的条件。
3. 训练数据与对齐：用于 VLM 智能体规划和参考选择的数据集构建流程，结合基于 DPO 的偏好对齐，以处理工具触发和指令重写中的边缘情况。
4. 模型可迁移性：证明了 Aurora VLM 智能体可以与冻结的现有统一视频编辑模型（例如 UniVideo、Kiwi-Edit）配对，以提高它们在定义不足请求上的性能。

4. 实验结果

• AgentEdit-Bench 上的性能：
  • 仅 Aurora 视频 DiT（不带智能体）得分为74.7，在原始提示下优于 UniVideo（67.0）和 Kiwi-Edit（69.7）。
  • 添加 VLM 智能体将得分提升至87.9。增益在 IP 任务（替换和添加）中最为显著，智能体成功检索了缺失的参考图像。
  • 消融研究表明，SFT 贡献了大部分增益（85.0），而 DPO 通过纠正边界错误进一步细化（87.9）。
• 现有基准上的性能（EditVerse-Bench, OpenVE-Bench）：
  • 在输入定义明确的基准上，Aurora 在开源方法中取得了最先进的结果（EditVerse-Bench 上为 7.61，OpenVE-Bench 上为 3.38），缩小了与闭源 Runway Aleph 基线的大部分差距。
  • 即使禁用工具（仅发生指令重写），智能体也能提高性能，表明了指令细化的价值。
• 可迁移性：
  • 当 Aurora VLM 智能体与 UniVideo 和 Kiwi-Edit 的冻结版本配对时，它一致地提高了它们在 AgentEdit-Bench 和现有基准上的得分，证明了该智能体的效用与模型无关。

5. 意义与局限性

意义：
该论文认为，视频编辑的进步不仅取决于更强大的视频 DiT，还取决于将原始用户请求可靠地转换为模型就绪条件的能力。Aurora 表明，智能体层可以有效解决定义不足问题，使统一模型能够处理现实世界中不完整用户输入，而无需针对每种新工具或条件重新训练视频模型本身。

局限性：

• 训练范式：VLM 智能体通过离线 DPO 进行对齐。作者指出，由于计算约束，使用最终编辑片段作为奖励信号，对整个流水线进行在线 RL（例如 GRPO）目前是不切实际的。
• 运动复杂性：5B 视频 DiT 能够可靠地处理移除、风格化和具有有限运动的物体插入。然而，添加具有大幅、物理合理运动的新主体仍然困难，这归因于骨干网络的容量以及训练数据中此类案例的稀缺性。

更广泛的影响：
作者承认了与非自愿身份操纵和由网络图像搜索工具引发的版权问题相关的风险，将 Aurora 定位为一种创意工具，而非证据生成工具。