💻 computer science

TECCI: Tricky Edits of Collected and Curated Images

该论文介绍了 TECCI，这是一个具有挑战性的新基准测试，由 7,550 对精心策划的图像编辑对组成，旨在系统地评估并揭示当前文本引导图像编辑模型在指令遵循、编辑最小化以及视觉质量方面的局限性，特别是针对复杂的空间和创意任务。

原作者： Aishwarya Agrawal, Roy Hirsch, Yasumasa Onoe, Sherry Ben, Jason Baldridge

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Aishwarya Agrawal, Roy Hirsch, Yasumasa Onoe, Sherry Ben, Jason Baldridge

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一群非常有才华的数字艺术家（AI 模型），他们以根据你的描述画出图像而闻名。你对他们说：“画一只猫”，他们做得很好。但当你要求他们做一些棘手的事情时，比如：“把猫的帽子改成一把小雨伞，但保持猫的其他部分完全不变，并确保雨伞看起来像是原本就在那里的”，情况会发生什么？

这正是这篇名为 TECCI 的论文所探讨的内容。这是一个巨大的、复杂的测试，旨在观察这些数字艺术家的真实水平到底有多高。

以下是使用简单类比对这篇论文进行的拆解：

1. 问题所在：“太容易”的测试

作者注意到，以往对这些 AI 艺术家的测试就像是给学生做一道只有简单加法题的数学测试。AI 模型拿到了满分，但当被要求做更难的事情时——比如改变时钟上的时间、移动汽车到不同的位置或重写标牌上的文字——它们仍然表现不佳。

作者意识到：“我们需要一个更难的测试，来观察这些模型究竟在哪里失效。”

2. 解决方案：一个新的秘密游乐场（数据集）

为了创建一个公平的测试，作者构建了一个全新的游乐场，名为 TECCI（收集与策划图像的复杂编辑）。

新鲜食材： 不同于其他使用互联网上随处可见的照片（AI 可能在学习过程中已经“见过”了）的测试，作者在过去几年中亲自拍摄了这 1,934 张照片。这就像是给学生一本全新的、秘密的食谱，他们从未见过。
菜单： 这些照片涵盖了 7 种不同的“风味”：文本、时钟、车辆、建筑、艺术、动物和自然。
指令： 他们创建了 7,550 个具体的挑战。其中一些是由人类编写的，旨在变得超级难（例如“把这只猫变成黑白 Logo”），许多则是通过另一个 AI 自动生成的，以覆盖不同类型的技巧。

3. 挑战：游戏的三个规则

当 AI 艺术家尝试编辑这些照片时，评委（人类）根据三条特定的规则进行评分，就像一位严厉的艺术评论家：

你听话了吗？（指令遵循度）： AI 真的按照你的要求做了吗？如果你要求一辆金色的车，它给了你一辆金色的车吗？
你弄乱了其他部分吗？（最小化修改）： 这是“不要碰其他东西”的规则。如果你要求改变汽车的颜色，AI 是否也意外地改变了天空或道路？优秀的编辑就像外科医生：切口精准，不损伤健康组织。
它看起来好看吗？（视觉质量）： 结果是模糊、奇怪还是有像素感？还是看起来像一张真实的、高质量的照片？

4. 结果：AI 艺术家们陷入苦战

作者在这一新测试上测试了世界上最优秀的五个 AI 模型。结果是一次现实的警示：

计分板： 即使是最优秀的 AI 模型，也仅在约 22% 的任务中获得了“及格分数”。这意味着在近 10 个棘手的请求中，有 8 个请求至少违反了上述三条规则中的一条。
获胜者： 一个名为 Nano Banana Pro 的模型脱颖而出，但它失败的次数仍然比成功的次数多。
弱点：
- 简单的东西： 改变颜色或简单的外观对 AI 来说是最容易的。
- 困难的东西： 需要“思考”的事情，比如改变时钟上的时间、以逻辑方式移动物体，或者编辑复杂的建筑和自然场景，对 AI 来说非常困难。AI 经常会对空间布局（物体在 3D 空间中的位置）感到困惑。
- “过度编辑者”： 一些模型非常擅长听从指令，但在保持图像其余部分不变方面表现很差。它们可能会把车变成金色，但也意外地把天空变成了紫色。

5. “机器人评委”（自动评分器）

由于雇佣人类来为数千张图片评分既慢又贵，作者构建了一个“机器人评委”（一个给其他 AI 打分的 AI）。

这个机器人评委经过训练，能够像人类一样思考。
它表现得非常准确，与人类意见的一致性达到了 75%。这意味着我们可以使用这个机器人评委快速测试未来的 AI 模型，而无需庞大的专业团队。

核心结论

论文得出结论：虽然 AI 图像编辑器正在变得更好，但它们离完美还很远。它们就像是擅长临摹绘画，但在被要求进行微小且精确的改动而不破坏整个画面时却感到吃力的学生。TECCI 数据集现在是一个公开的工具，供研究人员尝试修复这些特定的弱点，从而确保下一代 AI 艺术家能够处理这些“复杂的编辑”而不会破坏图像。

技术摘要：TECCI —— 收集与策划图像的棘手编辑 (Tricky Edits of Collected and Curated Images)

问题陈述

尽管生成模型取得了显著进展，但目前的文本引导图像编辑方法在三个核心领域仍面临持续挑战：忠实于指令、最小化对源图像的修改（保留非目标区域）以及维持高视觉质量。这些局限性在处理涉及复杂空间推理、运动、视角变化、尺度调整和创意修改的“棘手”编辑时尤为突出。现有的基准测试通常依赖于合成数据或已存在于模型训练集中的图像，无法充分测试模型在处理未见的、具有细微且具有挑战性指令的自然图像时的泛化能力。

研究方法

数据集构建 (TECCI)

作者引入了 TECCI（收集与策划图像的棘手编辑），这是一个由 7,550 对 图像和编辑指令组成的全新基准测试，这些指令源自 1,934 张独特的图像。

图像策划： 与以往使用现有数据集（如 COCO、OpenImages）或合成生成的做法不同，TECCI 的图像是完全全新的，由作者在数年间手动拍摄。这确保了这些图像在当前最先进（SOTA）模型的训练过程中并未被见过。
类别： 该数据集涵盖七个图像类别：文本 (Text)、时钟 (Clock)、车辆 (Vehicle)、建筑 (Architecture)、艺术 (Art)、动物 (Animal) 和自然 (Nature)。这些类别的选择旨在针对现有模型的特定失效模式（例如，在曲面上渲染文本、逻辑性的时钟指针位置、结构性的建筑变化）。
指令集：
- TECCI-IRCS（指令丰富挑战集）： 包含 530 张图像及人工编写的具有挑战性的指令。这些指令涵盖了高精度任务，如文本修改、风格迁移、物体添加/移除以及主体重构。
- TECCI-GGIS（Gemini 生成指令集）： 包含 1,404 张图像，通过 Gemini 3 Pro 自动生成指令。每张图像都配有五种不同的编辑类型（推理、前景外观、前景语义、图像风格、背景、创意），并根据特定的图像类别进行定制。

评估框架

论文采用了多维度的评估策略：

人工评估： 一个包含 1,315 个样本（来自 IRCS 和 GGIS）的子集由五名独立的评分员进行评估。
- 指标： 评分员在三个维度上根据 5 分制李克特量表 (Likert scale) 对输出进行评分：
  1. 指令遵循度 (Instruction Following, IF)： 对文本提示的忠实程度。
  2. 图像一致性 (Image Consistency, IC)： 编辑的最小化程度（保留原始身份和非目标区域）。
  3. 视觉质量 (Visual Quality, VQ)： 美学和技术上的卓越程度（无伪影）。
- 成功率： 只有当编辑在所有三个标准上同时达到阈值 ( $\tau=4.5$ ) 时，才被视为“成功”。
- 规模： 该研究针对五种模型收集了 32,875 次人工判断。
自动评估 (Auto-rater)： 为了将评估扩展到整个数据集，作者使用 Gemini 3 Flash 构建了一个自动评分器。
- 该模型分析源图像、指令和编辑后的图像，并对上述三个标准进行评分。
- 该自动评分器通过 Z 分数归一化针对人工判断进行了校准，并在匹配人工得出的整体成功率方面达到了 74.7% 的准确率。

被评估的模型

通过其官方 API 测试了五种具有代表性的 SOTA 模型：

Nano Banana Pro (Gemini 3 Pro Image Preview)
Nano Banana 2 (Gemini 3.1 Flash Image Preview)
Grok Imagine Pro
Seedream 5.0 Lite
GPT Image 1.5

关键结果

整体性能

该基准测试揭示了巨大的能力差距。没有任何模型在合并数据集上的整体成功率超过 22.3%。

表现最佳者： Nano Banana Pro 取得了最高的整体成功率 (22.3%)，紧随其后的是 Grok Imagine Pro (20.0%) 和 Nano Banana 2 (19.7%)。
IRCS 的难度： 手工策划的 IRCS 子集明显比 GGIS 子集更难，表现最好的模型在 IRCS 上的成功率仅为 19.7%，而 GGIS 为 23.0%。

维度分析

指令遵循 vs. 质量： 模型在指令遵循 (IF) 方面的表现普遍优于图像一致性 (IC) 或视觉质量 (VQ)。例如，GPT Image 1.5 拥有具有竞争力的 IF 分数（~42%），但在 IC 方面表现极差（9.6%），表明其存在过度编辑的倾向。
类别难度：
- 最容易： 文本和动物类别得分较高，可能是由于主体较为孤立。
- 最难： 建筑和自然类别带来了最大的挑战，即使是表现最好的模型也很少能超过 20% 的成功率。这些类别需要强大的空间布局理解能力和复杂的细节保留能力。
编辑类型难度：
- 最容易： 颜色和外观的变化。
- 最难： 推理和创意编辑（例如，逻辑性的文本翻译、幽默的创意添加）是最困难的，成功率通常在 20% 左右徘徊。

自动评分器验证

自动评分器成功地将评估扩展到了全部 7,550 对图像。虽然与人类相比，它在 IF 和 VQ 指标上表现出轻微的偏高倾向，但其整体成功率趋势与人工评估高度一致，证实了其作为可扩展的人类判断代理工具的效用。

意义与主张

论文将 TECCI 定位为社区的关键资源，并提出了以下贡献：

一个新的基准测试： TECCI 提供了第一个使用完全未见过的自然图像的大规模、具有挑战性的图像编辑基准，解决了先前工作中存在的数据污染问题。
系统性的差距分析： 通过在不同类别和编辑类型下评估模型，作者揭示了 SOTA 模型的特定弱点，特别是在空间推理、建筑理解和创意想象力方面。
可扩展的评估： 开发了一个高准确率的自动评分器（与人类匹配度为 74.7%），为未来无需高昂人工标注成本的大规模基准测试提供了一种实用的方法。
面向未来研究的资源： 发布 1,934 张独特图像、7,550 条指令以及自动生成的描述，为推进文本生成图像、图像描述和图文对齐研究奠定了基础数据集。

作者总结道，虽然目前的模型展示了强大的指令遵循能力，但在执行最小化、高质量且复杂的编辑方面仍存在根本性的限制，这为受控生成研究指明了明确的方向。