🤖 machine learning

PaintBench: Deterministic Evaluation of Precise Visual Editing

本文介绍了 PaintBench，这是一个用于评估精确视觉编辑的程序化生成且具有确定性的基准测试，涵盖了 20 种基本操作，揭示了当前多模态模型在这些任务上表现出显著困难，同时证明了 PaintBench 的得分与在应用数据可视化编辑方面的性能强相关。

原作者： Kai Xu, Ellis Brown, Shrikar Madhu, Rob Fergus, He He, Saining Xie

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kai Xu, Ellis Brown, Shrikar Madhu, Rob Fergus, He He, Saining Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一支数字画笔和一个非常聪明的机器人助手。你对机器人说“把红色的心形向左移动”或“把蓝色的正方形变成绿色”。如果你对人类这么说，他们能完美完成。但如果你对现在的 AI 机器人这么说，它们往往只能做到“差不多”，会出现一些微小且令人沮丧的错误：心形移动得稍微远了一点，绿色变得稍微偏黄了一点，或者它们不小心涂抹到了背景上。

PAINTBENCH 这篇论文就像一位严厉、不讲情面的老师，它决定不再猜测机器人做得是否“不错”，而是开始用尺子和色卡来给它评分。

以下是他们所做工作的详细拆解，使用了简单的类比：

1. 问题所在：“足够好”并不等于“好”

目前的 AI 模型非常擅长创意性的、开放式的任务（比如“画一个梦幻般的日落”）。但它们在处理需要精确执行、且只有一个正确答案的任务时却表现挣扎。

旧方法： 为了测试这些模型，研究人员使用“评判模型”（其他的 AI）或人类来看结果，并评价说：“嗯，看起来挺接近的。”这就像一位老师根据“感觉”而不是检查事实来给作文评分。它是主观的，并且带有偏见。
新方法 (PAINTBENCH)： 作者创建了一个答案在数学上是完全精确的测试。如果指令是“将形状向右移动 50 像素”，计算机完全知道结果应该是什么样子的。他们将机器人的输出与完美的答案进行逐像素对比。没有猜测，没有观点。

2. 测试：数字障碍赛

研究人员构建了一个巨大的、无限循环的障碍赛场，叫做 PAINTBENCH。

设置： 他们没有使用真实的图片，而是生成了数千个包含简单几何图形（圆、方、三角）以及不同背景的场景。
任务： 他们定义了 20 种特定的“动作”，要求机器人完成，分为四类：
- 几何变换： 移动、旋转或拉伸形状。
- 结构操纵： 添加、删除或复制形状。
- 颜色改变： 改变颜色、填充区域或混合渐变。
- 符号推理： 先进行数学或逻辑运算（例如：“数一下红色形状的数量，然后移除相同数量的蓝色形状”）。
转折： 他们不仅仅是测试一次机器人。他们改变了测试的“天气”：让背景变成条纹状，或者添加数百个形状而不是三个，或者使用奇怪的、非标准的颜色。这测试了机器人是脆弱的（容易崩溃）还是鲁棒的（稳健的）。

3. 结果：机器人正处于挣扎之中

结果是一个残酷的现实检查。即使是世界上最优秀、最昂贵的 AI 模型，得分也非常糟糕。

得分： 表现最好的模型也仅能“完美”完成约 17% 的任务。
类比： 想象一个学生在参加数学考试。如果他只得了 17% 的分数，那他不及格了。然而，这些模型竟然也能写诗并能与你流畅地聊天。它们是“创意天才”，却是“笨拙的画家”。
具体弱点：
- 几何： 移动或旋转形状是最难的。机器人经常移动的距离不对，或者旋转的角度略微偏离轴线。
- 复杂颜色： 如果被要求创建一个平滑的渐变（两种颜色的混合），机器人往往会在过渡处出错。
- 微小细节： 如果需要编辑的区域很小，机器人往往会“过度编辑”，画出一大片混乱而不是一个小点。
- 混乱： 如果图片中有太多的形状或过于复杂的条纹背景，机器人的表现会显著下降。它们会被噪声干扰而感到困惑。

4. “专家型”机器人

论文发现不同的模型拥有不同的“超能力”和“致命伤”。

一个模型擅长移动形状，但在改变颜色方面表现糟糕。
另一个模型在删除物体方面还可以，但在绘制新物体时完全失败。
没有一个“完美的机器人”；它们都是在不同且往往相互冲突的领域中表现出专业化特征。

5. 与 “Tiny Grafix” 的联系

为了证明这不仅仅是关于简单形状的问题，他们创建了第二个测试，叫做 TINYGRAFIXBENCH。这个测试使用了相同的规则，但将其应用于数据图表（如柱状图和散点图）。

发现： 在简单形状测试中表现良好的机器人，在复杂的图表上也表现良好。它们的得分几乎是完美关联的。
启示： 这意味着 PAINTBENCH 测试不仅仅是一个关于形状的无聊游戏；它实际上衡量了一种有助于处理实际任务（如编辑图表和图表）的真实技能。

总结

PAINTBENCH 是给 AI 世界的一记警钟。它在说：“别再假装这些模型是完美的编辑了。它们其实在基础操作上表现得很差。”

通过使用一种确定性（基于数学、无歧义）的测试，作者表明当前的 AI 就像一位虽然能构思杰作、却无法稳住手感画出一条直线的画家。在机器人能够通过这种“像素级精准”的测试之前，它们还无法胜任需要极高精确度的工作，比如编辑医学图表或工程蓝图。

技术摘要：PAINTBENCH

问题陈述

虽然目前的多种模态模型在开放式、主观性的视觉编辑（例如“让天空更蓝”）方面表现出色，但在处理精确的、单答案的视觉编辑任务时却显得力不从心。现有的图像编辑基准测试主要依赖于人类判断、视觉语言模型（VLM）评分或感知指标（如 SSIM、LPIPS、FID）。这些方法对于具有确定性标准答案的任务并不适用，因为它们会引入偏差，且无法验证精确的正确性。本文指出，在评估模型是否能够执行精确的栅格操作（例如将形状移动 50 像素、对特定区域进行油漆填充或移除特定实例）方面存在评估空白，而这些操作都有唯一的正确输出。

方法论

PAINTBENCH：一个确定性基准

作者引入了 PAINTBENCH，这是一个程序化生成的基准测试，旨在评估 20 种基础的精确视觉编辑操作，涵盖四个类别：

几何变换： 平移、旋转、反射、缩放、错切。
结构操纵： 构建、移除、复制、边框、裁剪。
颜色变化： 重着色、油漆填充、混合、渐变、点操作。
符号推理： 比较、排序、模式、计数、图例。

生成与设计：

程序化生成： 问题通过带有可配置参数（画布尺寸、物体数量、背景纹理、调色板）的随机种子生成。这创建了一个实际上无限且具有抗污染能力的评估套件。
确定性标准答案： 每个问题由一张输入图像、一条自然语言指令和一个通过确定性变换 $A = f(I, t)$ 生成的唯一标准答案图像组成。
视觉条件： 为了测试鲁棒性，每个任务都在八种视觉条件下进行评估，每次仅改变一个参数（例如，条纹背景 vs 实色背景、物体数量从 3 到 60 个、非标准调色板）。

评估协议：

像素级比较： 评估完全避免了使用“评判模型”。相反，它在像素层面将模型的输出 $\hat{A}$ 与标准答案 $A$ 及输入图像 $I$ 进行比较。
颜色距离： 逐像素的正确性使用 $\Delta E^*_{76}$ （CIE Lab* 空间中的欧几里得距离）进行衡量。如果距离在容差 $t \in \{0, \dots, 10\}$ 之内，则认为该像素是正确的。
指标：
- IoU@t： 应用于像素正确性的 Jaccard 指数，同时惩罚编辑失败（错误的编辑像素）和保护区域损坏（错误的保留像素）。
- mIoU（平均 IoU）： 主要汇总指标，计算 11 种颜色容差（ $t=0$ 到 $10$）及所有问题的 IoU 平均值。它捕捉了全谱系颜色精度的性能表现。

TINYGRAFIXBENCH

为了测试超越合成形状的泛化能力，作者引入了 TINYGRAFIXBENCH，这是一个针对数据可视化编辑的伴随基准测试。它将相同的程序化、确定性框架应用于五种图表类型（柱状图、散点图、折线图、热力图、网络图），包含 600 个问题。

关键结果

整体性能

在评估的 11 个模型（涵盖原生多模态生成模型、扩散编辑模型和流匹配编辑模型）中，性能极低：

表现最好的模型（NANO-BANANA-2）仅实现了 17.1% 的 mIoU。
第二好的模型（GPT-IMAGE-2）得分为 16.3%。
开源权重模型得分普遍较低，部分模型（如 HUNYUANIMAGE-3.0、INSTRUCTPIX2PIX）在许多任务上的得分接近 0%。

任务难度与专业化

最难任务： 几何变换（尤其是错切和缩放）、基于公式的颜色变化（渐变、混合）以及大多数结构化操纵任务对所有模型来说都持续具有挑战性。
较易任务： 移除操作和单色操作（重着色、油漆填充）相对容易实现，但仍远未解决（例如，最佳模型的“移除”任务达到约 50%）。
模型专业化： 模型表现出明显的优势差异。例如，GPT-IMAGE-2 在几何和结构任务方面表现出色，而 NANO-BANANA-2 在颜色变化和符号推理方面领先。值得注意的是，NANO-BANANA-2 在“图例”任务上的得分为 47.1%，而 GPT-IMAGE-2 仅为 19.4%。

对场景变化的敏感度

模型具有高度的脆弱性：

条纹背景： 导致 mIoU 显著下降（例如，NANO-BANANA-2 下降了 11.1%）。
高物体数量： 性能随物体数量增加而线性下降（例如，当物体从 3 个增加到 60 个时，NANO-BANANA-2 的 mIoU 下降了 11.9%）。
非标准颜色： 虽然标题 mIoU 得分看起来很稳定，但精确的像素匹配度（ $\Delta E^*_{76} = 0$ ）在非标准调色板下崩溃，表明模型难以精确还原特定的、非标准的颜色。
编辑区域大小： 模型相对于目标区域存在严重的过度编辑现象。对于较小的编辑区域（< 32² 像素），模型改变的像素数量比要求的多出 50 到 1,400 倍，从而导致性能剧烈下降。

泛化能力

PAINTBENCH 与 TINYGRAFIXBENCH 的得分之间存在强线性相关性（ $R^2 = 0.91, p < 0.001$ ）。这表明 PAINTBENCH 的合成基准捕捉到了能够泛化到应用数据可视化编辑任务的基础能力。

重要性与主张

本文声称，PAINTBENCH 为衡量精确多模态视觉编辑的进展提供了一个严谨、无偏的基础。通过从主观、开放式的评估转向确定性的像素级验证，该基准揭示了当前的尖端模型在执行基础栅格操作方面根本无法达到高精度。

作者强调：

当前模型在精确编辑方面尚未“解决”： 即使是表现最好的模型，在大多数任务上也表现不佳，特别是那些需要几何精度或复杂颜色逻辑的任务。
评估必须具备任务针对性： 聚合排名掩盖了显著的模型专业化和失效模式（例如，颜色不精确 vs 结构缺失）。
程序化生成至关重要： 静态基准容易受到污染；动态生成允许进行受控的场景变化消融研究（背景、物体数量、颜色）。
该框架具有可扩展性： 用于 PAINTBENCH 和 TINYGRAFIXBENCH 的方法可以应用于其他具有唯一正确输出的领域，如科学可视化、工程制图和 3D 场景操纵。

论文总结道，尽管开放式生成已经取得了进步，但执行精确、确定性视觉编辑的能力仍然是一个关键且尚未解决的挑战。