💻 computer science

SCOOTER: A Human Evaluation Framework for Unrestricted Adversarial Examples

本文介绍了 SCOOTER，这是一个开源的、基于统计学的框架和基准数据集，旨在通过大规模人类研究评估无限制对抗样本，揭示当前攻击往往无法实现人类感知层面的不可察觉性，并凸显自动化视觉系统与人类感知之间的错位。

原作者： Dren Fazlija, Monty-Maximilian Zühlke, Johanna Schrader, Arkadij Orlov, Clara Stein, Iyiola E. Olatunji, Daniel Kudenko

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dren Fazlija, Monty-Maximilian Zühlke, Johanna Schrader, Arkadij Orlov, Clara Stein, Iyiola E. Olatunji, Daniel Kudenko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《Scooter：一种用于无限制对抗样本的人类评估框架》的通俗解释，辅以生动的类比。

宏观图景：并非魔法的“魔术”

想象你有一台非常擅长识别照片动物的电脑。它能瞬间分辨出猫和狗。但如果有人能骗过电脑，让它把猫认成狗，而你（人类）却看不出照片有任何奇怪之处，那会怎样？

在 AI 安全领域，这些被欺骗的照片被称为对抗样本。

旧方法（受限）： 想象有人在照片上添加了一层微小到看不见的静态噪点。这就像往沙滩上撒了一粒沙子。电脑会因此困惑，但人类看不见这粒沙子。
新方法（无限制）： 想象有人把猫的毛色从橙色改成蓝色，或者把狗的耳朵换成兔耳朵。这些变化大到足以被人看见，但攻击者声称它们足够“自然”，人类不会觉得它们是假的。

问题在于：我们如何知道这些“大改动”对人类来说真的不可见？

问题所在：“相信我，这看起来是真的”

多年来，研究人员一直在制造这些“无限制”攻击。他们声称：“看，我的 AI 骗过了电脑，而人类永远看不出区别！”

但直到现在，还没有可靠的方法能证明这一点。

有些研究人员只是问几个朋友：“这看起来假吗？”
另一些人则使用计算机程序来衡量“图像质量”，但计算机很难猜出人类实际上看到了什么。
这就像一位魔术师声称他的戏法“不可见”，仅仅是因为他没有相机来证明相反的情况。

解决方案：登场"Scooter"

作者们构建了一个名为Scooter（系统化观察混淆以评估真实性，Systemizing Confusion Over Observations To Evaluate Realness）的新系统。你可以把 Scooter 想象成针对 AI 图像的一次严谨、科学的“品尝测试”。

Scooter 不是只问一个人，而是组织数百人进行大规模、结构化的实验，以获得统计学上坚实的答案。其工作原理如下：

1. “视力检查”（初步筛选）

在任何人评判图像之前，他们必须证明自己真的能分辨颜色。

类比： 想象一场品酒比赛。如果某人色盲，分不清红色和绿色，你绝不会让他评判葡萄酒。
测试： 参与者需通过色盲测试（如著名的带有隐藏数字的伊舍哈姆色盲测试板）以及“你是否阅读了指令”的测试。如果未通过，即被淘汰。这确保了评委的敏锐度。

2. “盲品测试”（主要研究）

参与者会看到 106 张图像。他们不知道哪些是真实的，哪些是被 AI“欺骗”过的。

评分标准： 他们不只是简单地说“真”或“假”，而是将图像在从 -2（绝对是假的） 到 +2（绝对是真的） 的尺度上进行评分。
陷阱： 研究人员会混入一些明显是假的“假”图像（例如带有巨大红色滤镜的图片），以观察参与者是否专心。如果你说一个鲜红的滤镜看起来是真的，你就会被标记为不合格的评委。

3. “数学检查”（统计分析）

这是最重要的部分。研究人员不仅查看平均分数，还使用一种特殊的数学测试，称为TOST（双单侧检验，Two-One-Sided Tests）。

类比： 想象你要证明两枚硬币完全相同。你不能只是抛掷它们并指望它们落地相同。你必须证明它们之间的差异小到无关紧要。
结果： 如果“被欺骗”的图像评分显著低于真实图像，数学就证明了该攻击未能做到不可见。

他们的发现：“魔法”没那么好

作者测试了六种不同的“无限制”攻击（三种改变颜色，三种使用高级 AI 生成器）。

令人震惊的结果：

人类很容易就能识破这些赝品。
在每一次测试中，“被欺骗”的图像评分都显著低于真实图像。
即使是最高级的攻击（那些使用高级 AI 生成器的攻击），在人类眼中也是显而易见的。
结论： “人类无法分辨区别”的说法是错误的。这些攻击并非不可感知。

“机器人评委”实验

研究人员还让一个超级智能的 AI（GPT-4o）查看图像并猜测它们是否真实。

结果： 该 AI 在某些方面比人类更擅长识破诡计，但在其他方面仍会感到困惑。
教训： 即使是当今最聪明的 AI 模型，也难以完美模仿人类的感知。你不能仅仅让计算机来检查图像是否看起来真实；你需要真实的人类。

“记分牌”（客观指标）

论文还考察了计算机程序（如 FID 或 TOPIQ）如何评价这些图像。

问题： 计算机程序经常给“被欺骗”的图像打高分，声称：“哇，这看起来很棒！”
现实： 人类看着同样的图像却说：“那看起来很奇怪。”
结论： 我们不能信任计算机指标来判断图像对人类来说是否真实。我们需要人类评委。

总结

Scooter 是一个新的开源工具包，它迫使研究人员通过在科学上严谨的方式使用真实人类，来证明他们所谓的“不可见”AI 攻击实际上是看不见的。

主要发现是什么？ 那些大家都在吹嘘的“不可见”攻击？它们并非不可见。 人类能看见它们，数学也证明了这一点。该论文提供了工具（代码、数据集和指南），以便在未来，任何人若声称某种攻击是“不可感知”的，都必须拿出人类数据作为支撑。

技术摘要：Scooter——用于无限制对抗样本的人类评估框架

问题陈述

无限制对抗攻击旨在通过以不受 $\ell_p$ 范数约束的方式（例如改变物体的颜色或纹理）修改图像，从而欺骗计算机视觉（CV）模型。与受限攻击不同，这些修改在语义上可以是连贯的，且容易被人类忽略，从而使攻击者能够绕过基于范数的传统防御手段（如对抗训练或认证鲁棒性）。然而，由于缺乏基于范数的约束，因此不存在不可感知性的数学保证。因此，要验证这些对抗样本（AEs）对人类而言是否显得真实，必须进行人类评估。

现有文献通常依赖自动化指标或小规模的人类研究，这些研究缺乏统计严谨性。许多先前的工作要么完全忽视图像质量评估，要么依赖无法与人类感知保持一致的自动化指标。此外，现有的人类评估协议往往缺乏具有统计显著性的见解、透明的人口统计学报告、功效分析以及对注意力不集中参与者的稳健过滤。这导致在可靠地比较和验证无限制攻击的不可感知性方面存在差距。

方法论：Scooter 框架

为了弥补这些差距，作者引入了 Scooter（Systemizing Confusion Over Observations To Evaluate Realness，即“系统化观察困惑以评估真实性”），这是一个开源的、具备统计功效的框架，用于评估无限制对抗样本。该框架围绕一个旨在确保数据质量和统计有效性的三阶段流程构建：

初步检查：
- 色盲测试： 参与者必须正确分类五张类似伊舍华（Ishihara）的图像，以确保他们能够感知基于颜色的修改（这是无限制攻击的主要向量）。
- 理解力检查： 参与者查看修改过与未修改图像的示例，并必须在至少 6 对图像中正确识别出被修改的图像。这确保了参与者理解任务，并过滤掉非英语流利者。
主要标注阶段：
- 参与者在 5 点李克特量表上对 106 张图像（50 张真实图像，50 张对抗图像）进行评分，范围从“肯定被修改”（-2）到“肯定是真实的”（+2）。
- 该设计采用受试者内重复测量方法，参与者对真实图像和修改后的图像均进行评分。
- 注意力检查： 研究包含“虚假项目”（明显被修改的图像）和“指令操纵检查”（IMCs），以检测注意力不集中的参与者。未能通过 6 项注意力检查中 2 项或以上的参与者将被标记。
- 过滤： 使用其他指标（如每张图像的平均耗时、长字符串统计量和个体内响应变异性 IRV）来过滤低质量数据。
统计分析与伦理报告：
- 等价性检验： 为了检验显著差异（这将意味着可检测性），Scooter 采用双单侧检验（TOST）程序来检验等价性。目标是证明对抗图像的平均评分（ $\mu_{modified}$ ）在预定义的容差（ $\Delta$ ）内与真实图像的平均评分（ $\mu_{real}$ ）在实际上等价。
- 界限： 基于经验模拟，作者设定了实际等价界限 $\Delta_L = -0.2$ 和 $\Delta_U = +0.2$ 。如果 $\mu_{real}$ 和 $\mu_{modified}$ 之间的差异落在该范围内，则该攻击被视为不可感知。
- 报告： 该框架强制要求报告参与者人口统计学信息、补偿、时间投入以及详细的统计输出，以确保可重复性。

实验设置

作者应用 Scooter 框架评估了六种无限制攻击：

基于颜色的攻击： SemanticAdv (SemAdv)、cAdv 和 Natural Color Fool (NCF)。
基于扩散的攻击： DiffAttack (DA)、AdvPP 和 ACA。

受害模型： 攻击针对的是经过对抗训练的 ResNet-50（ResNet-50-AT），这是一种以抵抗标准范数边界攻击而闻名的鲁棒基线模型。
数据集： 一个精心挑选的 ImageNet-1k 验证图像子集，称为 ImageNet S-R50-N，包含 2,966 张图像，这些图像被受害模型正确分类且不存在预先存在的伪影。
参与者： 通过 Prolific 共招募了 346 名参与者，产生了超过 34,000 个人类评分。

关键结果

该研究得出了具有统计显著性的证据，反驳了当前无限制攻击具有不可感知性的说法：

不可感知性的失败： 对于所有六种攻击，TOST 程序未能拒绝“图像不等价”的零假设。具体而言，所有攻击的上限检验（ $\Delta > \Delta_U$ ）的 p 值均为 1.000。这表明真实图像的评分显著更高（更“真实”），其差距远远超过了 $\pm 0.2$ 的容差范围。
攻击性能：
- 基于扩散的攻击在不可感知性方面通常优于基于颜色的攻击（例如，AdvPP 的 $\mu_{modified}$ 为 -0.5188，比其他攻击更接近真实图像），但仍未能实现统计等价。
- SemAdv 尽管是最简单的攻击，但表现令人惊讶地好，在原始修改评分上优于其他四种攻击，尽管它仍未通过等价性检验。
- NCF 产生了最明显的修改，真实评分与修改评分之间的差距最大。
与模型成功率的差异： 攻击对受害模型的成功率与其对人类观察者的不可感知性之间没有相关性。例如，NCF 的攻击成功率很高（0.922），但极易被察觉；而 AdvPP 的成功率较低（0.081），但却是感知度最低的。
自动化代理：
- GPT-4o： 视觉 - 语言模型显示出一定的能力来标记不可感知的攻击，但并未与人类评分完全一致，特别是在 AdvPP 和 ACA 方面。
- 客观指标： 标准图像质量指标（如 FID、FD、KD）未能与人类感知相关联。值得注意的是，这些指标经常将 NCF（感知度最高的攻击）排名为图像质量最高，这直接与人类判断相矛盾。每张图像的指标 TOPIQ 显示出最好的对齐性，但仍无法在所有攻击中可靠地代理人类判断。

意义与主张

该论文声称提供了首个公开可用的、具备统计功效的基准，该基准严格地将人类感知与无限制对抗样本的质量联系起来。其主要贡献包括：

方法学标准： 它确立了评估不可感知性的众包研究功效、补偿和统计分析（特别是 TOST）的最佳实践指南，解决了先前工作中缺乏统计显著性见解的问题。
经验证据： 它证明了当前最先进的无限制攻击（包括基于扩散模型的攻击）对人类而言并非不可感知。作者得出结论，人类可以轻松区分真实图像与这些攻击修改后的图像。
目标的解耦： 研究结果表明，欺骗计算机视觉模型和欺骗人类观察者在很大程度上是正交的目标；高攻击成功率并不意味着高不可感知性。
自动化指标的局限性： 该研究重申，现有的客观图像质量指标在对抗样本背景下不足以作为人类感知的代理。

作者将 Scooter 定位为一种工具，以促进可重复的、以人为本的研究，并呼吁社区超越自动化指标和未经证实的不可感知性声明。他们发布了源代码、ImageNet S-R50-N 数据集以及超过 34,000 个人类评分，以促进该领域的未来研究。