💻 computer science

Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing

本文介绍了 Goku，这是一个包含 200 万个指令对齐的视频编辑对的大规模数据集，涵盖了复杂的多任务和结构化操控，以及用于提升指令式视频编辑能力（使其超越简单的外观变化）的 Goku-Edit 模型和 Goku-Bench 基准测试。

原作者： Sen Liang, Cong Wang, Zhentao Yu, Fengbin Guan, Zhengguang Zhou, Teng Hu, Youliang Zhang, Yuan Zhou, Xin Li, Qinglin Lu, Zhibo Chen

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sen Liang, Cong Wang, Zhentao Yu, Fengbin Guan, Zhengguang Zhou, Teng Hu, Youliang Zhang, Yuan Zhou, Xin Li, Qinglin Lu, Zhibo Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个神奇的视频编辑器，只需输入一句话，比如“让那只狗跑快点，并把天空变成紫色”，它就能改变电影中的任何内容。长期以来，这些神奇工具就像是不成器的小学徒：它们可以更换衣服的颜色或移除多余的物体，但如果你要求它们让角色穿过房间或改变摄像机角度，它们就会变得混乱、卡顿或搞砸一切。

这篇论文介绍了一个名为 Goku 的庞大新项目，旨在训练这些神奇的编辑器成为真正的宗师。以下是他们所做工作的简单拆解：

1. 问题所在：“单一技能型”数据集

在此之前，这些 AI 视频编辑器的训练数据就像是一个只包含关于“改变汽车颜色”这一主题书籍的图书馆。如果你想学习如何驾驶汽车（移动主体）或改变场景（摄像机运动），这个图书馆里根本没有相关的书。AI 模型因此陷入了困境，因为它们只知道如何进行简单的“填色游戏”任务。

2. 解决方案：“Goku”图书馆

研究人员构建了 Goku，这是一个包含 200 万个视频对的海量数据集。你可以把它想象成为 AI 建造的一个巨大的、高科技的训练健身房。

里面有什么？ 与之前的图书馆不同，这个图书馆包含了复杂的挑战。它包括摄像机环绕拍摄、人物从房间一侧移动到另一侧，以及多个变化同时发生（例如，“换掉衬衫并且戴上帽子”）的视频。
他们是如何制作的？ 他们不仅仅是拍摄了这些视频，还建立了一个“机器人工厂”来创造它们。他们使用先进的 AI 将复杂的请求分解成细小、易于处理的步骤。例如，为了让狗跑起来，他们首先教 AI 如何在单张图像中让狗跑起来，然后如何让这张图像在视频中平滑地移动。
质量控制： 为了确保视频不是垃圾，他们安装了一个“三重检查”安全系统。每一个视频都经过了一个超级聪明的 AI（Gemini）的三次检查，以确保指令被遵循、动作看起来真实且视频没有出现故障。他们丢弃了大约 88% 的尝试，只保留了最好的 200 万个。

3. 新工具：Goku-Edit

有了这个新的图书馆，他们开发了一个新的视频编辑器，叫做 Goku-Edit。

大脑： 这个编辑器不仅仅是读取文本，它还使用了一个“多模态大语言模型”（MLLM）。你可以把它想象成给编辑器装上了一个能够真正“理解”故事和指令的大脑，而不仅仅是匹配关键词。
“双手协作”的方法： 最重要的创新在于，这个编辑器有两只协同工作的“手”：
- 手 A（建筑师）： 这只手绘制一张粗略的地图（掩码/mask），确定哪里应该发生变化。它专注于结构和运动。
- 手 B（画家）： 这只手专注于细节、颜色和纹理。
- 为什么这很重要： 通过将“在哪里”与“是什么”分开，编辑器不会感到困惑。它知道确切地在哪里移动狗，而不会不小心把狗的毛发涂成蓝色。
“空间 CFG”： 这是一个高级术语，指的是一个安全网。它确保当编辑器进行更改时，不会意外溢出并破坏视频的其他部分。它让变化保持紧凑且精准。

4. 测试：Goku-Bench

为了证明他们的新编辑器是最优秀的，他们创建了一个新的测试，叫做 Goku-Bench。

他们没有使用简单的测试，而是给了 AI 1,000 个具有挑战性的任务，比如“在猫跳跃的同时将摄像机向左移动”。
他们使用了 7 种新的评估方式来评判结果，检查诸如“物理规律是否合理？”以及“摄像机移动是否平滑？”等内容。
结果： Goku-Edit 打败了所有其他开源模型，将其遵循指令的能力提升了高达 8%。它在移动物体以及处理复杂的、多步骤请求方面表现尤为出色，而其他模型在这些任务中往往会失败。

总结

简而言之，这篇论文是在说：“我们构建了一个海量的、高质量的训练库（Goku），它教会 AI 如何进行复杂的视频编辑，而不只是简单的颜色替换。我们构建了一个新的编辑器（Goku-Edit），它使用一个将结构与细节分开处理的两部分系统，并且我们通过一个新的、更难的测试（Goku-Bench）证明了它的卓越表现。”

他们并未声称这项技术已准备好用于医院或特定的临床用途；他们的重点完全在于让视频编辑变得更聪明、更灵活，并能更好地处理复杂的创意需求。

技术摘要：Goku：一个用于指令驱动视频编辑的百万级通用数据集与基准测试

1. 问题陈述

现有的基于指令的视频编辑（IVE）数据集和模型大多局限于单任务外观编辑（例如：物体移除、属性替换或风格迁移）。它们无法处理现实世界场景中复杂且多方面的需求，具体缺乏对以下方面的支持：

结构化操控： 对主体运动和摄像机运动的精确控制。
多任务编辑： 同时执行多个编辑指令（例如：在改变风格的同时添加一个物体）。
参考引导编辑： 基于用户提供的具有姿态或光照变化的参考图像进行编辑。

当前的数据集通常存在任务定义狭窄、过滤严谨性不足（导致低质量或静态样本）以及缺乏能够评估这些复杂结构化和多任务能力的基准测试等问题。

2. 方法论

本文提出了一个综合解决方案，包括一个大规模数据集（Goku）、一个鲁棒的数据合成流水线、一种新型编辑模型（Goku-Edit）以及一个严谨的基准测试（Goku-Bench）。

A. Goku 数据集（200 万对）

Goku 是一个高质量、指令对齐的数据集，包含 200 万个视频编辑对。它将 IVE 的范畴扩展到了：

基础编辑： 添加（Add）、移除（Remove）、替换（Swap）、改变（Alter）、风格迁移（Style Transfer）。
结构化编辑： 主体运动（Subject Movement，即动作/位置变化）和摄像机运动（Camera Movement，如平移、缩放等）。
复杂编辑： 多任务编辑（同时执行 2–5 个任务）和基于参考的编辑（Reference-based editing）。

数据合成流水线：
为了在保持语义精确性和时间相干性的同时生成如此规模的数据，作者设计了一个自动化流水线：

预处理： 从 Koala-36M 中通过美学评分、运动分析和基于 OCR 的水印去除技术，精选出 100 万个高质量剪辑。
指令生成： 利用 Gemini2.5-Pro（一种 MLLM）生成多样化、结构化的编辑指令并识别可操作对象。
特定任务生成：
- 外观（Appearance）： 使用 VACE 进行替换/改变，并采用对偶方法（移除 $\to$ 角色互换 $\to$ 添加）进行插入。
- 风格迁移（Style Transfer）： 将其分解为对第一帧进行风格化（使用 Flux）、提取深度图，并通过 VACE 进行风格传播，以确保时间一致性。
- 结构化（Structural）： 对复杂任务进行分解。对于主体运动，动作变化使用 Wan2.2；而位置变化则结合了 Flux（帧级偏移）和 Wan2.2（视频生成）。摄像机运动则利用了 RecamMaster。
- 多任务（Multi-Task）： 作为单任务编辑的顺序链条来执行。
渐进式过滤系统： 一个由 Gemini2.5-Pro 和几何检查驱动的三层质量控制系统：
- 第一层： 源视频过滤（美学、运动、水印）。
- 第二层： 条件验证（掩码 IoU、指令与目标之间的语义一致性）。
- 第三层： 合成后验证（帧间一致性、频率伪影、照片级真实感）。该层过滤掉了约 88% 的合成样本，以确保高保真度。

B. Goku-Edit 模型架构

Goku-Edit 是一个双分支框架，旨在处理复杂的指令和结构化控制：

双分支设计：
- 主分支（Main Branch）： 在文本、源视频和参考图像的条件下生成编辑后的视频（ $V_e$ ）。
- 辅助分支（Auxiliary Branch）： 预测编辑掩码（ $M$ ）以提供空间定位。它在源视频的空间下采样版本上运行。
- 编码器： 两个分支都利用冻结的多模态大语言模型（MLLM）（Qwen3VL-8B）作为文本编码器，以增强对复杂指令的语义理解。
RoPE 对齐的空间交叉注意力（RoPE-Aligned Spatial Cross-Attention）：
- 为了解决高分辨率视频分支与低分辨率掩码分支（分辨率为 $1/n$ ）之间的空间失配问题，作者提出在进行 RoPE 计算前，将掩码分支的位置索引乘以因子 $n$ 。
- 这将掩码 token 映射到一个统一的物理坐标系中，消除了宏观层面的偏移并保留了局部偏差。
- 双向注意力（Bidirectional Attention）： 包括掩码到视频（M2V）和视频到掩码（V2M）的注意力。V2M 允许掩码分支根据主分支演变的状态来优化其预测，从而防止边界不连贯。
空间增强型 CFG（Spatial Enhanced CFG / SpatialCFG）：
- 一种无需训练的推理策略，用于放大跨分支的空间约束。
- 它通过对比耦合预测（带有交叉注意力）与解耦基准（带有空潜变量）来隔离并放大掩码分支注入的空间信号。
- 这抑制了编辑溢出并提高了边界一致性，且无需额外训练。

C. Goku-Bench

一个包含 1,000 个经人工验证的测试用例的全面基准测试，涵盖了不同的主体、场景和任务难度（包括低光照和快速运动）。

指标： 包含 7 个针对编辑特性的指标：
1. 物理规则忠实度 (PR)： 对现实世界物理规律的遵循程度。
2. 空间关系准确性 (SR)： 正确的空间排列。
3. 指令遵循度 (IF)： 多任务执行的完整性。
4. 整体编辑质量 (EQ)： 视觉自然度和一致性。
5. 主体运动 (SuM)： 主体轨迹的真实感。
6. 摄像机运动 (CM)： 摄像机运动类型的准确性。
7. 风格迁移 (ST)： 用于风格准确性的特征相似度。

3. 关键结果

在 Goku-Bench 上进行的评估显示，Goku-Edit 相比于现有的开源模型（如 LucyEdit, InsViE, Omni-Video）有显著提升，并能与商业模型（如 Runway Gen-4, Luma Ray3）进行有力竞争。

指令遵循： 比其他开源模型提升了高达 8%。
结构化与多任务性能： 在 PR（物理规则忠实度）、SR（空间准确性）、SuM（主体运动）和 CM（摄像机运动）方面显著优于基准模型，验证了该数据集在训练模型处理复杂结构化任务方面的能力。
消融实验：
- 数据质量： 在经过过滤的 Goku 数据上训练的模型明显优于在未过滤数据或现有数据集（InsV2V, InsViE）上训练的模型，证实了渐进式过滤系统的价值。
- 架构： 去除 MLLM 编码器、双分支设计、RoPE 对齐或 SpatialCFG 都会导致性能的可衡量下降，特别是在空间准确性和指令遵循方面。
- 下采样因子： 研究发现 $n=4$ 是平衡纹理细节与结构信号的最佳下采样因子。
用户研究： 在关于指令遵循、视频质量和时间相干性的用户研究中，Goku-Edit 在所有方法中排名第一。

4. 重要性与主张

论文声称，Goku 代表了指令驱动视频编辑的一个范式转变，因为它超越了简单的属性改变，转向了多任务和结构化操控。

数据集贡献： 它是第一个明确覆盖结构化变形（主体/摄像机运动）和百万级规模多任务编辑的数据集，解决了当前 IVE 研究中的关键空白。
方法论贡献： 所提出的 Goku-Edit 架构证明了将结构化控制（掩码分支）与外观渲染（主分支）解耦，并结合基于 MLLM 的推理和空间对齐，对于实现高保真复杂编辑至关重要。
基准测试贡献： Goku-Bench 建立了一个新的评估标准，引入了专门针对物理合理性和空间推理的指标，而这些指标在以前是被忽视的。

作者总结道，他们的工作提供了必要的数据、模型和评估框架，以弥合当前生成式 AI 能力与现实世界视频制作中复杂、创意性需求之间的差距。