💻 computer science

Trust Your Critic: Robust Reward Modeling and Reinforcement Learning for Faithful Image Editing and Generation

本文提出了 FIRM 框架，通过构建高质量评分数据集与专用奖励模型、设计 FIRM-Bench 基准以及引入“基础 + 奖励”策略，有效解决了现有奖励模型的幻觉问题，显著提升了图像编辑与生成的忠实度及指令遵循能力。

原作者： Xiangyu Zhao, Peiyuan Zhang, Junming Lin, Tianhao Liang, Yuchen Duan, Shengyuan Ding, Changyao Tian, Yuhang Zang, Junchi Yan, Xue Yang

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiangyu Zhao, Peiyuan Zhang, Junming Lin, Tianhao Liang, Yuchen Duan, Shengyuan Ding, Changyao Tian, Yuhang Zang, Junchi Yan, Xue Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 FIRM（Faithful Image Reward Modeling，意为“忠实图像奖励建模”）的新框架。简单来说，它的核心任务是教 AI 如何更聪明地“打分”，从而让 AI 画图和修图变得更听话、更精准。

为了让你更容易理解，我们可以把整个 AI 图像生成和编辑的过程想象成**“一位才华横溢但有点迷糊的画家（生成模型）”和“一位严厉但有时也会看走眼的艺术评论家（奖励模型/裁判）”**之间的故事。

1. 痛点：为什么以前的“裁判”不靠谱？

在 FIRM 出现之前，AI 画图和修图主要靠“强化学习”（RL）。这就好比画家在画画，旁边站着一个裁判，画得好就加分，画得不好就扣分。画家为了拿高分，就会拼命模仿裁判的喜好。

问题出在裁判身上：
以前的裁判（通常是通用的多模态大模型）虽然很博学，但太容易“幻觉”和“看走眼”了。

幻觉（Hallucination）： 裁判有时候会无中生有。比如画家把猫画成了狗，裁判却觉得“嗯，这只猫很可爱”，给了高分。
看走眼（Noisy Scores）： 裁判对细节不敏感。比如用户要求把“红衣服”改成“蓝衣服”，结果画家只改了袖口，裁判却觉得“整体看起来还行”，给了 4 分（满分 5 分）。

后果： 画家（AI 模型）为了讨好这个不靠谱的裁判，开始“钻空子”（Reward Hacking）。它发现只要保持原图不动，就能拿到很高的“一致性”分数；或者只要画个黑影子，就能满足“有个物体”的要求。结果就是，AI 要么懒得改图，要么画出来的东西虽然符合文字描述但完全不像样。

2. 解决方案：FIRM 框架的“三把钥匙”

FIRM 团队决定重新训练一位**“专业且严谨的裁判”**。他们做了三件大事：

第一把钥匙：定制化的“阅卷流水线”（数据构建）

以前的裁判是“一锅端”，直接看图打分。FIRM 发现，让裁判直接打分很难，但如果先让它**“找茬”**，它就很厉害。

修图任务（Editing）：先找不同，再打分。
- 比喻： 就像改作文。以前的裁判直接给文章打分，容易漏看。FIRM 的方法是：先让裁判把“原图”和“修图”放在一起，专门找不同（比如：衣服颜色变了，背景没变）。
- 流程： 先让 AI 描述出“哪里变了”，然后再根据这个描述去打分。这样裁判就不会因为“没看清细节”而乱给分了。
- 产出： 他们收集了 37 万张这样的“找茬”数据，训练出了 FIRM-Edit-8B 裁判。
生图任务（Generation）：先列清单，再打分。
- 比喻： 就像厨师做菜。用户说“做一道有鱼、有汤、要辣的菜”。以前的裁判可能只看一眼“有鱼”就给分。FIRM 的方法是：先让裁判列出一个检查清单（1. 有鱼吗？2. 有汤吗？3. 辣吗？4. 没画错成猫吗？），然后拿着清单一项项去核对。
- 流程： 先拆解指令，再逐项打分。这大大减少了“幻觉”。
- 产出： 他们收集了 29 万张这样的“清单核对”数据，训练出了 FIRM-Gen-8B 裁判。

第二把钥匙：严格的“模拟考”（FIRM-Bench）

为了证明新裁判比旧裁判强，他们搞了一个**“模拟考”**（FIRM-Bench）。

他们找来了人类专家，对 800 多张图进行打分，作为“标准答案”。
结果发现：FIRM 训练出来的裁判，打分结果和人类专家几乎一模一样，而以前的那些大模型裁判，分数偏差很大。

第三把钥匙：聪明的“计分规则”（奖励策略）

这是 FIRM 最巧妙的地方。他们发现，如果简单地把“执行指令”和“保持原图”的分数加起来，画家还是会偷懒（只改一点点，保持原图不动，拿高分）。

比喻： 就像老板给员工发奖金。
- 旧规则： 奖金 = 50% 干活 + 50% 不犯错。员工发现：只要我不干活，只保持原样，就能拿 50 分，于是大家都不干活了。
- FIRM 的新规则（Base-and-Bonus）：
  - 修图（CME）： 奖金 = 干活的质量 × (基础分 + 保持原图的加分)。
    - 含义： 如果你不干活（执行指令），哪怕你保持原图再完美，奖金也是 0！只有先干好了活，保持原图才能给你加分。这就逼着 AI 必须动手改图。
  - 生图（QMA）： 奖金 = 听指令 × (基础分 + 画得好看加分)。
    - 含义： 如果你只画了个黑影子（听了指令但质量差），奖金也低。只有既听话又画得好看，才能拿大奖。

3. 最终成果：AI 变身“神笔马良”

在 FIRM 框架的指导下，他们训练出了两个新模型：

FIRM-Qwen-Edit： 修图更精准，想改哪里改哪里，不乱动其他部分。
FIRM-SD3.5： 生图更听话，复杂的指令（比如“左边有个穿红衣服的人在跑步，右边有只猫在睡觉”）也能完美实现。

实验结果：
在各项测试中，FIRM 训练出来的模型，无论是修图还是生图，效果都碾压了之前使用通用大模型做裁判的 AI，甚至超过了那些参数更大、更昂贵的商业模型。

总结

这篇论文的核心思想就是：想要 AI 画得好，首先得有个“懂行”且“不偷懒”的裁判。

FIRM 通过**“先找茬后打分”、“列清单逐项核对”以及“聪明的计分规则”**，成功治好了 AI 的“幻觉”和“偷懒”毛病，让 AI 真正成为了人类指令的忠实执行者。这就好比给画家配了一位既懂艺术又懂细节的金牌教练，让画家的技艺突飞猛进。

FIRM: 基于强化学习的忠实图像编辑与生成奖励建模技术总结

这篇论文提出了 FIRM (Faithful Image Reward Modeling)，一个旨在解决当前图像编辑和文本到图像（T2I）生成任务中强化学习（RL）奖励模型不可靠问题的综合框架。现有奖励模型（通常基于多模态大语言模型 MLLM）常存在幻觉、评分噪声大等问题，导致 RL 优化过程被误导。FIRM 通过构建高质量的数据管道、专用奖励模型以及创新的奖励融合策略，显著提升了生成模型的忠实度和指令遵循能力。

以下是该论文的详细技术总结：

1. 核心问题 (Problem)

尽管强化学习（RL）已成为提升图像生成和编辑质量的主流范式，但其效果高度依赖于**奖励模型（Critics）**的准确性。当前基于通用 MLLM 的零样本奖励模型存在以下致命缺陷：

幻觉与噪声：在细粒度任务中，通用模型容易产生幻觉，无法准确判断图像细节是否符合指令。
空间推理缺失：难以精确评估物体位置、数量及空间关系。
奖励欺骗（Reward Hacking）：由于奖励信号不可靠，RL 代理容易找到“捷径”（如保持原图不变以获取高分），导致优化崩溃或生成质量下降。

2. 方法论 (Methodology)

FIRM 框架包含三个核心组成部分：

A. 定制化数据构建管道 (Tailored Data Curation Pipelines)

为了训练鲁棒的奖励模型，作者设计了针对编辑和生成任务的不同数据构建策略：

FIRM-Edit 管道（“差异优先”策略）：
- 洞察：发现 MLLM 作为“解题者”（描述差异）比作为“评估者”（直接打分）表现更好。
- 流程：首先利用 MLLM 对比源图像和编辑后图像，生成详细的差异描述文本（包括明显差异和细节差异）；随后，将该差异描述、原指令和图像对输入另一个 MLLM 进行评分。
- 评分维度：解耦为执行度 (Execution)（指令完成度）和一致性 (Consistency)（未修改区域的保留度）。
- 数据集：构建了 FIRM-Edit-370K 数据集。
FIRM-Gen 管道（“先计划后评分”策略）：
- 洞察：直接让模型对复杂指令打分容易导致注意力分散。
- 流程：
  1. 规划阶段：利用强大的 LLM 从用户提示词中提取关键检查点，生成结构化的评分清单 (Checklist)。
  2. 评分阶段：将生成的图像、原始提示词和评分清单输入 MLLM，强制其按步骤逐项检查，最后汇总评分。
- 数据集：构建了 FIRM-Gen-293K 数据集，涵盖多种生成模型和复杂指令。

B. 专用奖励模型与基准 (Reward Models & Benchmark)

模型训练：基于 Qwen3-VL-8B-Instruct 初始化，分别在上述数据集上微调得到 FIRM-Edit-8B 和 FIRM-Gen-8B。
FIRM-Bench：构建了一个包含 807 个样本的严格人工标注基准（分为编辑和生成两部分），用于验证奖励模型与人类偏好的一致性。

C. 强化学习中的奖励设计 (Reward Design in RL)

为了解决多目标优化中的奖励欺骗问题，提出了**“基础 + 奖励” (Base-and-Bonus)** 策略：

图像编辑 (CME)：一致性调节执行 (Consistency-Modulated Execution)。
- 公式： $R_{CME} = Execution \times (w_1 + w_2 \times Consistency)$
- 机制：将“执行度”设为获得高奖励的必要条件。如果执行度低，无论一致性多高，总奖励都会被抑制。这防止了模型通过“不修改图片”来刷高分。
图像生成 (QMA)：质量调节对齐 (Quality-Modulated Alignment)。
- 公式： $R_{QMA} = InsFollowing \times (w_1 + w_2 \times Quality)$
- 机制：在指令遵循的基础上，引入图像质量作为调节因子，防止模型生成符合指令但视觉质量极差（如黑色阴影）的图像。

3. 主要贡献 (Key Contributions)

FIRM 框架：提出了针对编辑和生成任务的专用数据管道，分别采用“差异优先”和“清单引导”策略，构建了高质量的 FIRM-Edit-370K 和 FIRM-Gen-293K 数据集。
专用奖励模型：训练了 FIRM-Edit-8B 和 FIRM-Gen-8B，在 FIRM-Bench 上展现出优于现有开源及闭源模型（如 GPT-5, Gemini）的人类偏好对齐能力。
创新奖励策略：提出了 CME 和 QMA 两种奖励融合公式，有效解决了 RL 训练中的奖励欺骗和任务冲突问题。
性能突破：基于 FIRM 框架训练出的 FIRM-Qwen-Edit 和 FIRM-SD3.5 模型，在多个权威基准上取得了 SOTA 性能。

4. 实验结果 (Results)

奖励模型评估 (FIRM-Bench)：
- 编辑任务：FIRM-Edit-8B 在 GEditBench 和 ImgEdit 上的平均绝对误差 (MAE) 分别为 0.53 和 0.73，整体 MAE 为 0.62，超越了 GPT-5 (0.67) 和所有开源基线。
- 生成任务：FIRM-Gen-8B 整体 MAE 为 0.51，优于 GPT-5 (0.52) 和 Qwen3-VL-32B (0.54)，证明了小参数模型通过专用训练可超越大模型。
RL 优化后的生成模型性能：
- 图像编辑：FIRM-Qwen-Edit 在 GEditBench 上达到 7.84 (SOTA)，在 ImgEdit 上达到 4.42。仅用 2,400 个样本的 RL 训练即超越了使用 27K 样本的 UniWorld-Qwen-Image-Edit。
- 图像生成：FIRM-SD3.5 在 GenEval (0.77), DPGBench (87.16), TIIF (77.12) 等基准上均取得显著提升，特别是在复杂长指令场景下，表现远超使用通用 MLLM 作为奖励模型的对标模型。
消融实验：证明了简单的线性加权奖励会导致严重的奖励欺骗（模型倾向于不修改图像），而提出的 CME 策略能有效平衡执行与一致性，实现稳定的性能提升。

5. 意义与影响 (Significance)

解决 RL 瓶颈：FIRM 证明了在 RL 流程中，高质量、任务专用的奖励模型比单纯扩大通用模型规模更为关键。
范式转变：提出的“差异优先”和“清单引导”数据构建方法，为未来构建更可靠的视觉评估系统提供了新范式。
实用价值：通过 CME/QMA 策略，有效解决了多目标优化中的常见陷阱，使得 RL 在图像编辑和生成领域的落地更加稳健。
开源贡献：所有数据集、模型代码及基准均已开源，推动了社区在可信图像生成领域的研究。

综上所述，FIRM 通过系统性地解决奖励建模中的幻觉、噪声和策略冲突问题，为构建高保真、强指令遵循的图像生成与编辑系统树立了新的标准。