ScaleEdit-12M: Scaling Open-Source Image Editing Data Generation via Multi-Agent Framework

该论文提出了完全开源的 ScaleEditor 多智能体框架，成功构建了迄今规模最大的开源图像编辑数据集 ScaleEdit-12M（包含 1200 万数据及 23 种任务类型），并通过微调实验证明该方法能以低成本实现媲美商业级数据的质量，显著提升统一多模态模型在各类图像编辑基准上的性能。

要点

这篇论文介绍了一个名为 ScaleEdit-12M 的大项目，它的核心目标是：用完全开源、免费的方法，制造出像“商业级”那样高质量的海量图片编辑数据，用来训练 AI 修图师。

为了让你更容易理解，我们可以把整个过程想象成**“开一家超级 AI 修图学校”**的故事。

1. 背景：为什么我们需要这所学校？

现在的 AI（比如 GPT-4o）很厉害，能听懂人话并修图（比如“把天空变成粉色”、“把猫换成狗”）。但是，要训练这些 AI，需要海量的“教科书”（数据：原图 + 指令 + 修好的图）。

• 以前的做法（商业派）： 直接花钱请顶级商业模型（像 GPT-4o）来生成这些教科书。但这太贵了，像请米其林大厨天天给你做饭，做不了几顿就破产了。
• 以前的做法（开源派）： 用免费模型自己造数据。但这就像让刚学做饭的学生互相教，做出来的菜（数据）要么味道奇怪（质量差），要么只会做几种固定的菜（种类少）。

这篇论文问： 我们能不能用一群“开源的小助手”（多智能体框架），通过巧妙的分工，造出既便宜又海量、还像大厨做的一样好吃的“教科书”？

2. 核心方案：ScaleEditor（超级修图学校）

作者设计了一个叫 ScaleEditor 的“学校管理系统”，它由三个主要部门组成，就像学校的三个关键流程：

第一步：招生办（Source Image Expansion）—— 寻找千奇百怪的素材

• 以前： 学校只有一堆普通的风景照，太单调了。
• 现在： 招生办不仅去图书馆（开源数据集）找书，还派了“搜索特工”去互联网上搜各种稀奇古怪的图片（比如“夕阳下的摩天轮”、“雨中的赛博朋克街道”）。
• 魔法： 如果找不到现成的，就用生成式 AI 把现有的图片“变”出新的花样（比如把白天变成黑夜，把夏天变成冬天）。
• 结果： 学校拥有了 1000 万张 风格各异、覆盖现实和虚拟世界的“原图”，就像拥有了全世界所有的画布。

第二步：教务处（Adaptive Multi-Agent Synthesis）—— 智能分配任务

这是最精彩的部分。学校有 23 种不同的“修图专业”（比如：加东西、删东西、改颜色、改材质、改文字、改风格等）。

• 智能路由（Task Router）： 就像一个聪明的教导主任。看到一张“海滩照片”，他不会让所有老师都来教，而是判断：“这张图适合教‘加遮阳伞’（添加类）和‘改天空颜色’（背景类），但不适合教‘改文字’（因为图上没字）。”
• 专业导师（Specialized Agents）：
  • 指令老师： 负责写题目。比如看到海滩，就写出：“在沙滩上加一把蓝黄相间的遮阳伞。”
  • 操作老师： 负责真的去修图。
  • 文字专家： 专门处理海报上的字怎么改。
  • 逻辑专家： 处理需要常识的题目（比如“把生鸡蛋变成煎蛋”）。
• 结果： 每一张图都找到了最适合它的“老师”，生成了 1200 万条 高质量的“题目 + 答案”配对。

第三步：质检部（Task-Aware Quality Verification）—— 严格的考试

• 以前： 随便看看，差不多就行。
• 现在： 引入了一个超级严格的“阅卷 AI 老师”（Qwen2.5-VL-72B）。它有三个评分标准：
  1. 听不听话？（指令遵循：真的加了伞吗？）
  2. 像不像？（一致性：伞是不是浮在半空？光影对不对？）
  3. 美不美？（生成质量：有没有奇怪的噪点？）
• 淘汰机制： 只有拿到满分的作业才能进入教材库。如果伞画歪了，或者颜色太假，直接扔掉。
• 结果： 留下的都是精品，确保学生（AI 模型）学到的是真本事。

3. 成果：ScaleEdit-12M 数据集

经过这一套流程，学校终于出版了 ScaleEdit-12M 教材：

• 规模： 1200 万条数据（目前开源界最大）。
• 种类： 涵盖了 23 种修图任务，从简单的“换个颜色”到复杂的“把教堂尖顶变成玻璃做的”。
• 质量： 经过严格筛选，质量堪比花钱请商业模型做的数据。

4. 效果：学生进步神速

作者把这套教材喂给了两个开源的 AI 模型（UniWorld-V1 和 Bagel）：

• 普通考试（通用修图）： 成绩提升了 10% 到 35%。
• 高难度考试（需要常识和逻辑的修图）： 成绩提升了惊人的 150%！
• 对比： 用这套教材训练出来的 AI，表现甚至超过了那些用商业数据训练过的开源模型，几乎能和大厂（如 GPT-4o）的成品掰手腕。

总结：这为什么重要？

这就好比以前只有大公司买得起“顶级厨师培训教材”，现在作者发明了一套**“开源的、自动化的、超级严格的培训流水线”**。

它证明了：我们不需要花巨资去依赖昂贵的商业 API，只要用聪明的开源工具和多智能体协作，也能造出世界顶级的 AI 训练数据。 这让未来的 AI 修图工具变得更便宜、更普及，而且完全掌握在我们自己手中。

一句话概括： 这是一个用“开源机器人团队”自动生产“百万级高质量修图教材”的工厂，让开源 AI 也能学会像商业大师一样修图。

技术摘要

1. 研究背景与问题 (Problem)

基于指令的图像编辑（Instruction-based Image Editing）已成为统一多模态模型（UMMs）的核心能力。然而，构建大规模、多样化且高质量的图像编辑数据集面临巨大挑战：

• 商业模型依赖的局限性：现有的高质量数据集（如 OpenGPT-4o-Image）通常依赖闭源商业模型（如 GPT-4o）进行标注。随着数据规模扩大，这种策略在经济上变得不可持续（成本高昂），且无法开源。
• 开源合成数据的缺陷：现有的开源数据集多采用固定的合成流水线（如基于掩码的修复、背景替换），导致数据分布狭窄、存在伪影、指令与图像不对齐，且缺乏真实世界的多样性。
• 核心问题：是否可以使用完全开源且具有成本效益的智能体（Agentic）工具包，构建出媲美商业级质量的大规模图像编辑数据集？

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 ScaleEditor，这是一个完全开源的、分层的多智能体框架，用于端到端地构建大规模高质量图像编辑数据集。该框架包含三个核心阶段：

2.1 源图像扩展 (Source Image Expansion)

旨在解决源图像分布狭窄的问题，通过注入世界知识来丰富图像池：

• 基于检索的扩展：利用大规模搜索引擎，结合图像检索（以代表性域图像为查询）和文本检索（以特定领域描述为查询），引入真实世界的变化和长尾视觉概念。
• 基于合成的扩展：利用生成模型（Qwen-Image）对源图像进行语义感知的变体生成。首先使用 MetaCaptioner 获取详细描述，然后生成保留核心语义但元素有所修改的变体，增加域内多样性。
• 去重：基于感知哈希去除近重复样本，最终获得超过 1000 万张独特的源图像。

2.2 自适应多智能体编辑合成 (Adaptive Multi-Agent Editing Synthesis)

这是核心生成阶段，将编辑任务细分为 23 种预定义类型：

• 任务路由 (Task Router)：使用 Qwen2.5-VL-72B 作为路由代理，采用“拒绝策略”判断每张图像适合哪些编辑任务（一张图可对应多个任务），而非传统的单一任务分配。
• 专用智能体池：
  • 指令代理 (Instruction Agents)：24 个专用代理（基于 Qwen2.5-VL-72B），根据任务类型（如文本编辑、知识推理、物体属性修改等）生成编辑指令。
  • 编辑代理 (Edit Agents)：集成最先进的开源编辑模型（如 Qwen-Image-Edit, FLUX.1 Kontext, Step1X-Edit, Flux-Text），生成编辑后的图像。
• 特殊工作流：
  • 文本感知编辑：结合 PaddleOCR 检测文本区域，生成语义对齐的文本编辑指令和掩码。
  • 知识注入推理编辑：采用“指令解耦”策略，先构建复杂的推理链指令，再由重写代理将其转化为可执行的简洁命令，同时保留原始复杂指令作为用户输入，以弥合人类意图与模型执行能力之间的差距。

2.3 任务感知质量验证 (Task-Aware Quality Verification)

为了确保数据质量，引入了基于 Qwen2.5-VL-72B 的多维验证机制：

• 评估维度：针对 23 种任务类型，分别评估三个维度：(1) 指令遵循度 (Instruction Following)，(2) 编辑一致性 (Editing Consistency)，(3) 生成质量 (Generation Quality)。
• 筛选标准：仅保留指令遵循度得分为 3（满分），且一致性和生成质量得分至少为 2 的样本。
• 验证可靠性：实验表明，Qwen2.5-VL-72B 作为评估代理，在评分一致性上与 GPT-4o 高度对齐（Accuracy > 0.82, MAE < 0.28），可作为可靠的开源替代方案。

3. 核心贡献 (Key Contributions)

1. ScaleEditor 框架：提出首个完全开源的、基于多智能体的分层框架，实现了从源图像扩展、自适应指令 - 图像合成到多维质量验证的完整闭环，证明了开源智能体流水线可逼近商业级数据质量。
2. ScaleEdit-12M 数据集：构建了迄今为止最大的开源图像编辑数据集，包含 1200 万 个经过严格验证的“指令 - 图像 - 编辑”三元组。涵盖 23 种编辑任务（如添加、移除、风格转换、文本编辑、知识推理等），跨越自然、城市、人文等多样视觉域。
3. 性能验证与泛化性：证明了该数据集对主流统一多模态模型（如 UniWorld-V1 和 Bagel）的显著提升作用，且开源方案在性能上可媲美甚至超越基于商业模型训练的方案。

4. 实验结果 (Results)

作者在多个基准测试上微调了 UniWorld-V1 和 Bagel 模型，结果如下：

• 通用编辑基准 (General Editing)：

  • 在 GEdit-EN-full 上，UniWorld-V1 微调后得分从 4.85 提升至 6.55（提升 35.1%），Bagel 从 6.52 提升至 7.17。
  • 在 ImgEdit-Full 上，UniWorld-V1 提升 10.4%，Bagel 提升 7.8%。
  • 对比优势：ScaleEdit 微调的模型在大多数指标上均优于其他开源数据集（如 OmniEdit, AnyEdit, UltraEdit）微调的模型，甚至在部分指标上超越了使用商业数据（如 ShareGPT-4o-Image）训练的模型。

• 知识注入编辑基准 (Knowledge-Infused Editing)：

  • 在 RISEBench（推理一致性）上，UniWorld-V1 得分提升 150.0% (从 2.22 到 5.55)。
  • 在 KRIS-Bench（事实与概念知识）上，UniWorld-V1 提升 12.6%，Bagel 提升 26.5%。
  • 这表明 ScaleEdit 有效增强了模型处理复杂逻辑推理和世界知识的能力。

• 消融实验：

  • 等规模对比：在将数据规模统一为 100 万样本的情况下，ScaleEdit 依然表现最佳，证明其数据质量优于现有数据集。
  • 组件有效性：移除任务路由或质量过滤会导致性能显著下降，验证了这两个模块的必要性。
  • 指令重写：引入指令重写代理显著提升了 RISEBench 上的推理能力。

5. 意义与影响 (Significance)

• 打破商业壁垒：ScaleEdit-12M 证明了无需依赖昂贵的闭源 API，社区完全可以通过开源智能体框架构建出大规模、高质量的数据集。
• 推动 UMM 发展：该数据集为训练更强大、更可靠的统一多模态模型提供了关键资源，特别是在处理复杂指令、知识推理和多样化编辑任务方面。
• 开源生态建设：框架和数据集均已开源（GitHub 和 HuggingFace），为后续研究提供了可复现的基准和工具，有助于推动图像编辑领域的公平发展和技术创新。

总结：ScaleEdit-12M 通过创新的 ScaleEditor 多智能体框架，成功解决了开源图像编辑数据稀缺且质量参差不齐的痛点，以 1200 万规模的数据集和显著的模型性能提升，确立了开源方案在图像编辑数据生成领域的竞争力。