💻 computer science

CREval: An Automated Interpretable Evaluation for Creative Image Manipulation under Complex Instructions

该论文提出了名为 CREval 的自动化可解释评估框架及包含 800 多个样本的 CREval-Bench 基准，旨在系统评估复杂指令下的创意图像编辑任务，并通过用户研究验证了其指标与人类判断的高度一致性，揭示了当前模型在此类任务上的局限性。

原作者： Chonghuinan Wang, Zihan Chen, Yuxiang Wei, Tianyi Jiang, Xiaohe Wu, Fan Li, Wangmeng Zuo, Hongxun Yao

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chonghuinan Wang, Zihan Chen, Yuxiang Wei, Tianyi Jiang, Xiaohe Wu, Fan Li, Wangmeng Zuo, Hongxun Yao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 CREval 的新工具，以及一个配套的“考场”叫 CREval-Bench。

为了让你轻松理解，我们可以把现在的 AI 画图/改图技术想象成一群正在学艺的“数字画师”。

1. 背景：画师们遇到了什么难题？

以前，我们让 AI 改图，指令通常很简单，比如“把猫变成狗”或者“把背景变蓝”。现在的 AI 画师们（比如 GPT-Image-1, Seedream 等）在这些简单任务上已经做得很棒了。

但是，现在的用户想要更疯狂、更有创意的指令，比如：

“把这个战士变成热带鱼毛绒玩具，要有柔软的亮色花纹，还要夸张鱼鳍，但保持原来的动作，最后把它们放在沙布上，看起来像海底世界。”

这种指令非常复杂，充满了创意和细节。目前的 AI 画师们面对这种“高难度创意作业”时，经常犯三个错误：

听不懂人话（指令遵循差）： 漏掉细节，比如忘了加鱼鳍。
丢了魂（视觉一致性差）： 把原来的主角改得面目全非，认不出来了。
画得很假（视觉质量差）： 图片里有奇怪的扭曲、多出来的手指或者模糊的纹理。

2. 核心问题：谁来给画师打分？

以前，我们怎么知道哪个画师画得好呢？

旧方法： 让另一个 AI（大语言模型）直接看画，然后打个总分（比如 85 分）。
- 缺点： 这就像让一个裁判直接喊“好”或“不好”，但说不出具体哪里好，哪里不好。而且这个裁判有时候会“偏科”，或者为了凑分乱打分，不够透明，也不够准确。

3. 解决方案：CREval（创意改图自动评分系统）

这篇论文提出了 CREval，它不再让 AI 直接“凭感觉”打分，而是换了一种更聪明的方法：“问答考试法”。

想象一下，CREval 不是直接给画师打分，而是先给画师出了一套试卷：

第一步：出题（生成问题）
系统会根据你的指令和原图，自动生成一系列具体的“是非题”（Yes/No Questions）。
- 比如针对上面的“战士变鱼”指令，它会问：
  - “战士变成鱼了吗？”（指令遵循）
  - “原来的动作姿势还在吗？”（视觉一致性）
  - “鱼鳍看起来自然吗？有没有多长出来？”（视觉质量）
第二步：阅卷（自动评分）
系统把“原图”、“改完的图”和“问题”一起交给一个超级 AI 裁判（比如 GPT-4o）。
- 裁判不需要猜，它只需要回答：“是”或“否”。
- 如果改完的图符合问题描述，就得分；不符合，就不给分。
第三步：算总分
最后，系统把所有问题的得分加起来，算出一个综合成绩。
- 指令遵循 (IF)： 考你有没有听懂要求。
- 视觉一致性 (VC)： 考你有没有保留原图的灵魂。
- 视觉质量 (VQ)： 考你画得漂不漂亮、真不真实。

比喻： 以前的评分像“盲盒”，不知道分是怎么来的；现在的 CREval 像“体检报告”，每一项指标（听力、视力、体力）都清清楚楚，告诉你哪里做得好，哪里需要改进。

4. 配套考场：CREval-Bench

为了测试这些画师，作者们还建立了一个超级题库，叫 CREval-Bench。

里面收集了 800 多张 极具创意的图片和 13000 多道 考题。
题目涵盖了 3 大类、9 种创意方向：
- 定制类： 比如把真人变成 Q 版手办。
- 场景类： 比如把物体放进雪景球里，或者做成漫画。
- 风格类： 比如把照片变成油画，或者变成乐高积木。

5. 考试结果：谁赢了？

作者用这套系统测试了目前市面上最火的 AI 模型（包括开源的和闭源的）：

闭源模型（大厂出品）： 像 Seedream 4.0 和 Gemini 2.5 表现最好，它们最听话，画得也最像样。
开源模型（社区出品）： 像 Qwen-Image-Edit 表现也很亮眼，正在快速追赶大厂。
共同弱点： 所有模型在“保留原图特征”（比如不改变人物长相）这一点上，都还比较吃力，经常改着改着就“变脸”了。

总结

这篇论文就像给 AI 改图领域立了一套新的“高考制度”：

不再模糊打分，而是通过具体的问答来透明化评分。
不再只考简单题，而是专门考高难度创意题。
指出了方向：未来的 AI 不仅要“听话”，还要在保持原图特征的同时，画出高质量的作品。

这套系统让研究人员能更清楚地看到 AI 的短板，从而推动它们变得更强，直到能完美完成我们那些天马行空的创意指令。

这是一篇关于CREval（Creative Image Manipulation Evaluation）及其配套基准CREval-Bench的论文技术总结。该研究旨在解决当前基于指令的图像编辑模型在应对复杂、创造性指令时缺乏系统化、可解释且与人类对齐的评估框架的问题。

以下是详细的技术总结：

1. 研究背景与问题 (Problem)

现状：基于指令的多模态图像编辑（Instruction-based Image Editing）发展迅速，但现有的评估方法主要关注简单的对象添加、删除或替换等常规任务。
痛点：
1. 缺乏对创造性任务的评估：现有基准难以评估“自由风格”的创意编辑（如将物体转化为特定艺术风格、复杂的叙事性编辑、超现实幻想等）。
2. 评估指标不透明：现有的评估多依赖多模态大语言模型（MLLM）直接打分（Black-box scoring），缺乏可解释性，且容易遗漏关键的评估维度。
3. 人类对齐度低：自动评分与人类的主观偏好往往存在偏差，且难以量化模型在“指令遵循”、“视觉一致性”和“视觉质量”之间的权衡。

2. 核心方法 (Methodology)

A. 基准构建：CREval-Bench

为了填补创意编辑评估的空白，作者构建了包含 874 个高质量编辑样本的基准数据集，涵盖 13,000+ 个评估查询。

分类体系：将创意编辑分为 3 大类 和 9 个维度：
1. 定制化 (Customization)：衍生角色 (Derivative Characters)、重构表征 (Reimagined Representations)、超现实幻想 (Surreal Fantasy)。
2. 情境化 (Contextualization)：容器化场景 (Containerized Scenario)、商业设计 (Commercial Design)、信息/叙事表达 (Informational & Narrative Expression)。
3. 风格化 (Stylization)：艺术风格转换 (Artistic Style Transformation)、身份与文化转换 (Identity & Cultural Transformation)、材质转换 (Material Transformation)。
数据生成：利用 GPT-4o 等模型，基于精选的高质量原图，针对上述 9 个维度生成详细的创意编辑指令。

B. 评估框架：CREval

提出了一种全自动的、基于问答 (QA) 的评估流水线，利用 MLLM（如 GPT-4o）作为评估者，但摒弃了直接打分，转而采用结构化查询。

三大核心指标：
1. 指令遵循 (Instruction Following, IF)：评估输出图像是否准确执行了指令中的所有修改要求。
2. 视觉一致性 (Visual Consistency, VC)：评估原图中关键视觉元素（如身份特征、核心物体）是否在编辑中被保留。引入权重机制（1-3 分），根据元素对身份识别的重要性分配权重。
3. 视觉质量 (Visual Quality, VQ)：评估图像的逼真度、自然度及是否存在伪影（如扭曲、断裂）。
评估流程：
1. 生成 QA 对：针对每个样本，利用 Chain-of-Thought (CoT) 推理生成针对 IF、VC、VQ 的多个 Yes/No 问题及标准答案。
2. 评分：将原图、编辑图、指令和问题输入 MLLM，模型回答 Yes/No。若回答与标准答案一致则得分。
3. 加权计算：最终得分为加权平均： $S = 0.4 \times S_{IF} + 0.4 \times S_{VC} + 0.2 \times S_{VQ}$ 。
- 注：VQ 权重较低（0.2）是因为当前 MLLM 在细微视觉伪影检测上表现不如 IF 和 VC 敏感，且 IF 和 VC 对创意任务更具区分度。

3. 主要贡献 (Key Contributions)

CREval 框架：首个针对复杂指令下创意图像编辑的全自动、可解释评估框架。通过分解为具体的 QA 任务，解决了 MLLM 直接打分不可解释和覆盖不全的问题。
CREval-Bench 基准：构建了涵盖 3 类 9 维度的综合性基准，包含 800+ 样本，专门用于评估模型在自由风格、高难度创意任务上的表现。
全面实验与洞察：对主流开源和闭源模型进行了系统评估，揭示了当前模型在创意任务上的能力边界。
人类偏好验证：通过用户研究证明，CREval 的自动评分与人类偏好具有高度一致性，验证了框架的可靠性。

4. 实验结果 (Results)

研究评估了包括 GPT-Image-1, Seedream 4.0, Gemini 2.5 Flash, Qwen-Image-Edit, FLUX 等在内的 10+ 种模型。

总体表现：
- 闭源模型领先：闭源模型（如 Seedream 4.0, Gemini 2.5 Flash）在整体性能上优于开源模型，特别是在指令遵循（IF）和视觉质量（VQ）方面。
- 开源模型进步：Qwen-Image-Edit-2509 在开源模型中表现最佳，综合得分接近闭源模型，显示出巨大的潜力。
具体发现：
- 指令遵循 (IF)：Seedream 4.0 和 GPT-Image-1 表现最强（IF 接近 90 分），但部分开源模型在“超现实幻想”等抽象任务上得分较低。
- 视觉一致性 (VC)：所有模型在此项上得分普遍较低，表明模型难以在大幅修改的同时精准保留原图的关键身份特征。UniWorld-V1 虽然 VC 分高，但主要是因为其未能执行编辑指令（即“没改”所以“没丢”）。
- 视觉质量 (VQ)：闭源模型表现优异，但 MLLM 评估者有时难以察觉细微的肢体扭曲等伪影。
人类偏好验证：CREval 的评分排名与人类偏好排序高度相关（Pearson 相关系数高），证明了其作为自动化评估工具的有效性。

5. 意义与展望 (Significance)

填补空白：为创意图像编辑领域提供了首个系统化、细粒度的评估标准，推动了从“简单编辑”向“复杂创意生成”的研究转变。
可解释性提升：通过 QA 机制，不仅给出了分数，还指出了模型具体在哪些指令点或视觉元素上失败，为模型改进提供了明确方向。
指导未来研发：实验表明，当前模型在保持视觉一致性（VC）方面仍是最大瓶颈，未来的研究应重点关注如何在满足复杂创意指令的同时，更好地保留原图的核心语义和身份特征。
开源与闭源竞争：虽然目前闭源模型领先，但开源模型（如 Qwen 系列）的快速进步表明，随着社区发展和技术迭代，开源模型有望在不久的将来缩小甚至超越闭源模型的差距。

总结：CREval 通过引入基于问答的细粒度评估和专门的创意基准，成功建立了一个可靠、透明且与人类对齐的评估体系，为下一代图像编辑模型的研发和筛选奠定了坚实基础。