FireRed-Image-Edit-1.0 Technical Report

本文介绍了 FireRed-Image-Edit，这是一种通过构建 16 亿样本的高质量训练语料、设计包含预训练与强化学习的多阶段训练流程、提出多项创新优化策略（如多条件感知采样器与不对称梯度优化），并在涵盖 15 类任务的 REDEdit-Bench 基准上达到最先进水平的指令驱动图像编辑扩散 Transformer 模型。

要点

这篇论文介绍了一个名为 FireRed-Image-Edit 的超级 AI 模型，它的核心能力是**“听指挥修图”**。

想象一下，你手里有一张普通的照片，你想让它变成“夕阳下的赛博朋克风格”，或者想把照片里的人换成穿西装的，甚至想把照片上的文字从“吸烟区”改成“无烟区”。以前的 AI 要么听不懂你的话，要么改得面目全非。而 FireRed-Image-Edit 就像是一位**“拥有读心术的顶级修图大师”**，你只需要用自然语言（像聊天一样）告诉它想怎么改，它就能精准地完成任务，同时完美保留照片里原本不该动的部分（比如人物的脸、背景的细节）。

为了让你更容易理解，我们可以把这篇论文的技术细节拆解成三个部分：“食材准备”、“烹饪秘籍”和“试吃评测”。

---

1. 食材准备：打造“顶级食材库” (数据工程)

做一道好菜，首先得有新鲜的食材。以前的 AI 模型训练数据要么太杂，要么不够多。FireRed 团队做了三件大事：

• 海量采集 (16 亿份食材)：他们从互联网上收集了16 亿张图片和对应的文字描述。这就像是一个超级巨大的图书馆，里面既有“凭空画图”的教程（比如“画一只猫”），也有“修改图片”的教程（比如“把猫变成老虎”）。
• 严格筛选 (去毒去烂)：这 16 亿份里有很多“坏食材”（模糊的、重复的、带水印的、甚至是 AI 自己生成的假图）。他们建立了一套**“智能质检流水线”**：
  • 去重：把长得一模一样的照片删掉，只留独特的。
  • 去噪：把模糊、曝光过度的照片扔掉。
  • 去伪：专门识别并剔除那些由其他 AI 生成的“假图”，确保训练数据都是真实世界的“真材实料”。
• 精准标注 (给食材贴标签)：光有图不行，还得有说明书。他们利用更聪明的 AI（VLM）给每一张图写了详细的“食谱”。
  • 详细版：像专业厨师长写的，精确到“光线是暖色调，女孩在右边”。
  • 口语版：像普通用户说的，比如“帮我把背景变漂亮点”。
  • 这样，AI 就能学会既听懂专业指令，也能听懂大白话。

最终成果：经过层层筛选，他们留下了1 亿多份高质量、种类齐全的“完美食谱”，既有教怎么画图的，也有教怎么改图的，比例刚好 1:1，让 AI 既会“无中生有”，又擅长“点石成金”。

---

2. 烹饪秘籍：独门“烹饪技法” (模型训练)

有了好食材，还得有高超的厨艺。FireRed 团队发明了一套独特的训练方法，让模型学得快、记得牢、不跑偏。

• 智能“分锅”策略 (Bucket Sampler)：
  • 比喻：以前训练 AI 就像让一群人在一个大锅里炒菜，有的菜是正方形的，有的是长方形的，有的要加 3 个图，有的只要 1 个。这导致锅很大，但很多空间被浪费了（就像为了装小盘子而用了大锅）。
  • 创新：他们设计了**“智能分锅”**系统。根据图片的大小、长宽比、以及需要处理的图片数量，自动把相似的任务分到同一个“锅”里。这样既省空间，又让 AI 学得更快。
• 打乱顺序练“定力” (Stochastic Instruction Alignment)：
  • 比喻：如果 AI 总是按顺序看“图 1、图 2、图 3"，它可能只是死记硬背顺序，而不是真的理解内容。
  • 创新：在训练时，他们故意打乱图片的顺序，或者随机隐藏某张图，同时自动修改文字指令（比如把“图 1"改成“图 2"）。这迫使 AI 必须真正理解“谁是谁”，而不是靠猜顺序。这让它在面对复杂的多图编辑时更聪明。
• 分阶段“特训” (多阶段训练)：
  1. 通识教育 (预训练)：先让 AI 看遍世界，学会基本的看图说话。
  2. 专业进修 (微调)：专门教它怎么听指令修图，怎么保留原图特征。
  3. 实战演练 (强化学习)：这是最关键的。他们引入了**“人类反馈”**机制。
     • 不对称奖励：如果 AI 改得好，就大力表扬（加强）；如果改得不好，就轻轻批评（避免过度惩罚导致它不敢改）。
     • 文字特攻：针对改文字的任务，他们发明了一种**“布局感知 OCR"奖励。以前 AI 改字，为了得分可能会把字写得巨大或歪歪扭扭（作弊）。现在，AI 必须保证字不仅写对，还要位置对、大小对、风格对**，就像真正的排版设计师一样。
• 保住“灵魂” (一致性损失)：
  • 比喻：修图最怕把人的脸修变形了，或者把背景里的树修没了。
  • 创新：他们给 AI 加了一个**“灵魂锁定器”**。在修图过程中，AI 会时刻检查：“这张脸还是原来那个人吗？”“背景还是那个背景吗？”如果发现有“灵魂漂移”，就自动修正。这让 AI 在大胆创新的同时，绝不丢失原图的精髓。

---

3. 试吃评测：建立“米其林标准” (REDEdit-Bench)

以前评价 AI 修图好不好，大家各说各话，没有统一标准。FireRed 团队决定自己制定一套**“米其林级”的评测标准**，叫 REDEdit-Bench。

• 全面覆盖：这个榜单包含了15 种不同的修图任务，从简单的“换个颜色”、“加个物体”，到复杂的“人像美化”、“低画质修复”、“文字修改”等。
• 双语挑战：包含中文和英文指令，测试 AI 是否真的懂语言，而不是只会背英文。
• 真实场景：不像以前只测“画一只猫”，这里测的是“把海报右下角的文字改掉”、“把模特身上的衣服换成图 1 的那件”等真实需求。

比赛结果：
在 REDEdit-Bench 以及国际公认的 ImgEdit、GEdit 等榜单上，FireRed-Image-Edit 的表现吊打了其他开源模型，甚至能和一些闭源的商业巨头（如 Nano Banana Pro, Seedream 4.0）掰手腕，甚至在“指令遵循度”和“画面一致性”上拿到了第一名。

---

总结：为什么它很重要？

这篇论文告诉我们，AI 变强不一定非要靠“堆参数”（把模型做得巨大无比）。

• 以前：大家觉得模型越大越好，动不动就是几百亿参数，训练成本高得吓人，像“大力出奇迹”。
• 现在：FireRed 证明了，通过精心挑选数据（好食材）、优化训练方法（好厨艺）和建立科学评测（好标准），一个经过精心设计的模型，可以用更高效的成本，达到甚至超越那些“巨无霸”模型的效果。

一句话概括：FireRed-Image-Edit 就像是一个**“懂你心意、手稳心细、还能听懂方言的修图大师”**，它让普通人也能轻松拥有专业级的图片编辑能力，而且它把这套“独门秘籍”（代码、模型、评测标准）都公开了，让全人类都能一起进步。

技术摘要

FireRed-Image-Edit 技术报告详细总结

1. 研究背景与问题 (Problem)

当前的生成式图像编辑领域面临两大核心挑战：

1. 数据与训练效率的瓶颈：现有的开源模型往往依赖单纯扩大参数量（如数十亿参数）来提升性能，导致训练和部署成本高昂。同时，高质量、多样化的图像编辑数据集构建困难，缺乏系统性的数据清洗和分层策略，导致模型在指令遵循和长尾任务上的表现不足。
2. 评估体系的缺失：现有的基准测试（Benchmarks）往往侧重于理论指标，难以全面反映模型在实际应用场景（如文本编辑、人像美化、低层增强）中的表现，缺乏统一、多维度的评估标准，导致学术分数与用户体验脱节。
3. 可控性与一致性的矛盾：在复杂的指令编辑中，模型难以在严格遵循指令的同时，保持未编辑区域（如人脸身份、背景纹理）的高度一致性，容易出现“身份漂移”或过度编辑。

2. 方法论 (Methodology)

FireRed-Image-Edit 是一个基于扩散 Transformer（Diffusion Transformer）的端到端框架，通过数据工程、训练策略优化和评估体系创新三个维度实现了系统性的提升。

2.1 数据工程 (Data Engineering)

• 大规模语料构建：构建了包含 16 亿样本 的训练语料库（9 亿文本生成图像 + 7 亿图像编辑对），来源包括开源数据集、自研数据引擎、视频序列及互联网数据。
• 两阶段过滤与清洗：
  • 预过滤：实施去重（全局、成对、多指标）、光度统计过滤（亮度、饱和度、熵等）、内容有效性检查（去除水印、二维码等）、感知质量评估及 AIGC 检测。
  • 后过滤：利用基于 Qwen3-VL-8B 微调的多模态评估模型，结合人类专家标注的“硬负样本挖掘”，对 1 亿 + 原始样本进行自动化质量筛选，保留 1 亿 + 高质量样本（生成与编辑比例 1:1）。
• 数据生产引擎：
  • 指令控制合成：利用 VLM 发现编辑目标，结合专家模型生成指令驱动的数据。
  • 结构化控制合成：利用 SAM、DWPose 等提取掩码和关键点，实现精确的空间控制。
  • 无模型模板合成：使用 3D 参数模板、布局模板和算法滤镜进行确定性编辑。
  • 长尾补充：针对数据稀疏的长尾任务，通过向量检索和“检查 - 填充”策略补充数据。
• 智能标注系统：开发了结构化描述、详细指令、简洁指令及用户口语化指令的多尺度标注引擎，增强模型对不同指令风格的泛化能力。

2.2 模型架构与训练策略 (Architecture & Training)

• 架构：基于开源多模态 T2I 基础模型，采用 双流多模态扩散 Transformer (MM-DiT)。输入流融合了文本嵌入、VAE 潜在令牌及参考图像特征，支持任意分辨率和任意数量输入图像。
• 训练效率优化：
  • 多条件感知桶采样 (Multi-Condition Aware Bucket Sampler)：根据任务类型和输入图像数量动态分组，优化长宽比，减少填充带来的计算浪费。
  • 随机指令对齐 (Stochastic Instruction Alignment)：在数据拼接阶段随机丢弃或打乱参考图像顺序，并动态重索引文本提示，强制模型解耦空间顺序与内容，提升多参考场景的泛化性。
  • 系统级优化：采用 FSDP/HSDP、梯度检查点、混合精度训练及预计算 VLM 特征缓存。
• 多阶段训练流程：
  1. 预训练 (Pre-training)：利用海量互联网数据建立视觉词汇和世界知识，采用渐进式时间步采样（Curriculum Learning）从高频到低频学习。
  2. 持续预训练 (CT)：平衡 T2I 和 I2I 任务，引入密集描述训练，覆盖长尾词汇。
  3. 监督微调 (SFT)：使用高质量指令数据，通过 EMA（指数移动平均）平滑参数，提升细节和美学质量。
  4. 强化学习 (RLHF)：
     • DPO (直接偏好优化)：引入 非对称梯度优化 和 正样本增强 (PSR)，防止模型在优化过程中退化，确保高保真分布的锚定。
     • Diffusion NFT：针对文本编辑，引入 布局感知 OCR 奖励，不仅评估文本拼写，还评估字符位置和缩放，防止布局破坏。
• 一致性损失 (Consistency Loss)：提出动态权重的身份一致性约束，仅在去噪早期（高噪声阶段）施加身份损失，利用预训练的人脸识别骨干网络锁定身份，避免后期优化破坏细节。

2.3 评估体系 (Evaluation)

• REDEdit-Bench：构建了包含 1,673 个双语样本 的基准测试，涵盖 15 个编辑类别（包括新增的美颜、低层增强、文本修改等）。
• 评估维度：涵盖指令遵循度、一致性保持、视觉自然度、物理与细节连贯性。
• 文本编辑专项指标：结合 OCR（字符级精度）和 VLM Judge（视觉质量、风格一致性）进行综合评分。

3. 关键贡献 (Key Contributions)

1. 系统化的数据工程：构建了 16 亿样本的超大规模语料库，并通过两阶段过滤和自研数据引擎，提炼出 1 亿高质量、平衡的编辑数据，解决了高质量编辑数据稀缺的问题。
2. 高效的训练框架：提出了多条件桶采样、随机指令对齐、非对称 DPO 优化、布局感知 OCR 奖励及动态身份一致性损失等一系列创新技术，在不盲目扩大参数量的前提下显著提升了模型性能。
3. 全面的基准测试：发布了 REDEdit-Bench，填补了现有基准在长尾任务（如美颜、文本编辑）和双语评估上的空白，提供了更贴近实际应用的评估标准。
4. 开源与复现：开源了代码、模型权重及基准测试套件，推动社区发展。

4. 实验结果 (Results)

在 REDEdit-Bench、ImgEdit 和 GEdit 等多个基准测试中，FireRed-Image-Edit 展现了卓越的性能：

• 综合性能：在开源模型中达到 SOTA (State-of-the-Art) 水平，并在多项指标上超越了部分闭源商业模型（如 Nano Banana Pro, Seedream 4.0/4.5）。
• 指令遵循与一致性：在人类评估中，FireRed-Image-Edit 在“指令遵循”和“一致性保持”两个维度上均获得最高分，特别是在保持未编辑区域（如人脸身份、背景）不变方面表现优异。
• 特定任务表现：
  • 文本编辑：在字符级精度和布局保持上领先，有效解决了文本编辑中的字体变形和布局混乱问题。
  • 人像与换装：在虚拟试穿和换装任务中，能精准处理衣物几何形状和边界，保持人物身份一致。
  • 创意与低层编辑：在图像修复、去噪及复杂创意合成任务中，展现出强大的细节恢复能力和物理合理性。

5. 意义与影响 (Significance)

FireRed-Image-Edit 证明了通过精细化的数据工程和科学的训练策略优化，可以在不依赖极端参数规模的情况下，实现甚至超越现有顶级商业模型的编辑能力。

• 技术层面：为扩散模型在指令编辑领域的训练范式提供了新的思路，特别是在数据清洗、多模态对齐和强化学习奖励设计方面。
• 应用层面：其强大的文本编辑、人像美化和虚拟试穿能力，使其能够直接应用于电商、社交媒体内容创作、广告设计等实际场景。
• 社区层面：通过开源高质量模型和基准测试，降低了研究门槛，促进了开源社区在图像编辑领域的良性竞争和技术进步。

该工作标志着图像编辑技术从“单纯堆砌算力”向“数据与算法协同优化”的重要转变。