🤖 machine learning

Accelerating Targeted Hard-Label Adversarial Attacks in Low-Query Black-Box Settings

本文提出了一种名为 Targeted Edge-informed Attack (TEA) 的新型攻击方法，该方法利用目标图像的边缘信息来优化扰动生成，从而在低查询次数的黑盒设置下，显著提升了针对特定类别的对抗攻击效率并减少了约 70% 的查询需求。

原作者： Arjhun Swaminathan, Mete Akgün

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Arjhun Swaminathan, Mete Akgün

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 TEA（Targeted Edge-informed Attack，目标边缘感知攻击）的新方法。为了让你轻松理解，我们可以把整个过程想象成一场"高难度的伪装游戏"。

1. 背景：一场“蒙眼”的伪装游戏

想象一下，你面前有一台非常聪明的AI 摄像头（比如自动驾驶汽车的眼睛或医院的诊断系统），它能识别图片里的东西（比如认出这是“猫”还是“狗”）。

白盒攻击：如果你能直接看到 AI 的大脑（代码和参数），你可以轻易地修改图片让它认错。这太容易了，不现实。
黑盒攻击（本文场景）：你看不到AI 的内部，你只能给它看一张图，它告诉你“这是猫”或者“这是狗”。这就是现实世界中的情况（比如商业 API）。
硬标签攻击：AI 只告诉你最终结果（“猫”），不告诉你它有多确定（比如"99% 是猫”）。这就像玩猜谜游戏，对方只给“对”或“错”的反馈，不给任何提示。
目标：你想把一张“猫”的照片（源图片），通过极其微小的修改，变成一张看起来像“狗”的照片（目标图片），但必须让 AI 依然认为它是“猫”。这就像你要把一只猫伪装成狗，但骗过 AI 的眼睛，让它觉得这还是一只猫。

难点：AI 对“猫”和“狗”的界限划分得很细。如果你改得太多，AI 就发现破绽了；如果你改得太少，它又认不出是“狗”。而且，你只有很少的尝试机会（比如只能问 AI 1000 次），问多了系统就封你号了。

2. 旧方法的困境：盲目摸索

以前的攻击方法（比如 HSJA, AHA 等）就像是一个在迷宫里乱撞的人。

他们不知道迷宫的墙在哪里，只能不停地往各个方向走一步，问 AI：“我现在是猫还是狗？”
如果 AI 说“还是猫”，他们就继续往那个方向走；如果 AI 说“变成狗了”，他们就退回来。
问题：在刚开始的时候，离目标（变成狗）还很远，这种“乱撞”非常浪费次数。他们花了大量次数在空旷的地方徘徊，还没走到迷宫的狭窄通道（决策边界）就耗尽次数了。

3. 新方法 TEA 的绝招：看“轮廓”走路

TEA 的核心思想非常聪明：不要盲目乱撞，要看图片的“骨架”和“轮廓”。

核心比喻：剪影与填色

想象你要把一张“猫”的剪影（轮廓）变成“狗”的剪影，但必须保持原来的毛色和纹理不变，否则 AI 就认不出来了。

抓住重点（边缘信息）：
TEA 发现，AI 识别物体主要靠边缘（比如猫的耳朵尖、狗的鼻子轮廓）。这些边缘就像图片的“骨架”。
- 旧方法：不管哪里都乱改，容易把骨架改歪，导致 AI 立刻识破。
- TEA 方法：它先给图片画一个“保护罩”（软边缘掩码）。这个保护罩只保护那些重要的线条（边缘），只允许修改线条之间的空白区域（平滑区域）。
两步走策略：
- 第一步：全局大挪移（Global Search）
  就像把一张纸上的图案整体往目标方向推。TEA 只推那些“非边缘”的平滑区域。因为边缘没动，AI 觉得“这还是个猫”；但因为平滑区域变了，图片整体开始往“狗”的样子靠拢。这步走得很快，省下了大量次数。
- 第二步：局部精修（Patch-based Search）
  当图片大概有点像“狗”了，但细节还不对时，TEA 会把图片切成很多小块（像拼图一样），一块一块地微调。同样，它依然小心翼翼地避开那些关键的线条，只修改小块里的背景色。

4. 为什么 TEA 这么强？

省次数（低查询）：
以前的方法像是在黑暗中摸索，每走一步都要问路。TEA 像是拿着手电筒（边缘信息），直接知道哪里能走，哪里不能走。
- 数据说话：要达到同样的效果，旧方法平均需要 845 次尝试，而 TEA 只需要 251 次。这意味着它节省了 70% 的尝试机会！在现实世界中，这意味着攻击者可以用更少的钱、更短的时间攻破系统。
先快后稳：
TEA 就像是一个先锋部队。它负责在开阔地带快速推进，把敌人（源图片）拉近。一旦拉近到狭窄的通道（决策边界附近），它就把接力棒交给那些擅长精细操作的旧方法（如 CGBA-H）来完成最后的冲刺。

5. 总结与启示

简单来说：
这篇论文发明了一种新的“黑客”技巧。以前的黑客在修改图片骗过 AI 时，像是在大雾里乱跑，浪费了很多时间。新的 TEA 方法则像是一个聪明的画家，它知道哪些线条（边缘）绝对不能动，只修改线条之间的颜色。这样，它既能把猫变成狗（骗过 AI），又能保持猫的特征（不被发现），而且速度极快，用的“试错次数”极少。

这对我们意味着什么？

风险：这提醒我们，现有的 AI 防御系统可能太依赖“随机测试”了，对于这种“看轮廓”的聪明攻击，它们可能防不住。
防御：未来的防御系统不能只盯着像素点的微小变化，还得学会识别这种“保留了边缘结构但改变了内容”的伪装。

这就好比，以前保安只检查你有没有带违禁品（像素变化），现在小偷学会了只换衣服不换脸（保留边缘），保安就得升级检查手段了。

以下是基于论文《Accelerating Targeted Hard-Label Adversarial Attacks in Low-Query Black-Box Settings》（在低查询黑盒设置中加速定向硬标签对抗攻击）的详细技术总结：

1. 研究背景与问题定义 (Problem)

背景：深度神经网络在图像分类任务中表现卓越，但极易受到对抗样本（Adversarial Examples）的威胁。在黑盒设置（Black-box Setting）下，攻击者无法获取模型的梯度或内部参数，仅能观察到最终的预测标签（Hard-label/Decision-based）。
核心挑战：
- 定向攻击（Targeted Attack）难度高：攻击者试图将样本从源类别（Source Class）误导到特定的目标类别（Target Class）。由于目标类别的决策区域通常较窄且孤立，定向攻击比非定向攻击更难。
- 低查询预算（Low-Query Budget）限制：在现实世界的商业 API 中，查询次数受到严格限制（通常几百到几千次）。现有的最先进（SOTA）方法主要依赖决策边界的几何属性（如边界追踪或梯度估计），这些方法在攻击初期（源图像与目标图像距离较远、决策空间较宽时）效率低下，容易耗尽查询预算而无法进入局部精细优化的阶段。
目标：在极低的查询次数限制下，高效地生成一个对抗样本，使其在保持目标分类的同时，尽可能接近源图像（最小化 $\ell_2$ 距离）。

2. 方法论 (Methodology)

作者提出了目标边缘感知攻击（Targeted Edge-informed Attack, TEA）。该方法的核心思想是：不依赖决策边界的局部几何信息，而是利用目标图像本身的内在特征（边缘信息）来指导扰动。

TEA 采用两阶段策略，旨在快速缩小与源图像的距离，随后切换至几何方法：

A. 全局边缘感知搜索 (Global Edge-Informed Search)

原理：利用 Sobel 滤波器检测目标图像中的边缘，生成软边缘掩码（Soft Edge Mask）。
策略：在迭代更新过程中，仅对非边缘区域（平滑区域）进行插值更新，而保留边缘结构不变。
- 公式： $x_{k+1} \leftarrow x_k + \alpha (x_s - x_k) \odot (I - M_{edge})$
- 其中 $x_s$ 是源图像， $M_{edge}$ 是边缘掩码， $\odot$ 表示逐元素乘法。
目的：通过保持对分类至关重要的边缘结构，确保图像仍被分类为目标类别，同时快速将图像整体向源图像移动。

B. 基于补丁的边缘感知搜索 (Patch-Based Edge-Informed Search)

原理：当全局搜索进展停滞时，进入局部细化阶段。将图像划分为随机大小的补丁（Patches）。
策略：在每个补丁内，再次应用边缘掩码和高斯加权函数，对非边缘区域进行局部插值。
- 高斯加权用于平滑补丁边界，避免引入人工边缘。
- 搜索最大的步长 $\beta$ ，使得分类器仍预测为目标标签。
终止条件：连续多次迭代无改进时停止。

C. 混合策略 (Hybrid Strategy)

当 TEA 将对抗样本推进到决策空间较窄的区域（即距离源图像较近）后，将其作为初始化点，切换至现有的 SOTA 几何攻击方法（如 CGBA-H）进行最终的精细优化。这种组合被称为 TEA*。

3. 主要贡献 (Key Contributions)

提出 TEA 算法：一种新颖的定向硬标签黑盒攻击方法，利用目标图像的边缘信息而非决策边界几何信息，显著提高了低查询预算下的攻击效率。
性能突破：在 ImageNet 验证集上，针对 ResNet-50/101, VGG16, ViT 等多种架构，TEA 在低查询设置下（<1000 次查询）表现优于所有现有 SOTA 方法（包括 HSJA, AHA, CGBA, CGBA-H）。
- 关键数据：要达到 60% 的距离缩减，TEA 平均仅需 251 次查询，而次优方法 AHA 需要 845 次查询（减少了约 70% 的查询量）。
通用性与鲁棒性：
- 在对抗训练模型（Adversarially Trained Model）上依然有效。
- 在零样本 CLIP 模型（ViT-B/32）上表现优异。
- 在 CIFAR-100 和 Intel 图像分类数据集上验证了跨数据集的泛化能力。
消融实验验证：证明了“保护边缘、扰动非边缘”策略的有效性。如果反转掩码（仅扰动边缘）或均匀扰动，攻击成功率显著下降。

4. 实验结果 (Results)

查询效率：在低查询区间（0-500 次），TEA 生成的对抗样本与源图像的 $\ell_2$ 距离缩减速度最快。
攻击成功率 (ASR)：在固定 500 次查询预算下，TEA 达到 50% 和 75% 距离缩减的成功率（ASR）在所有模型上均最高。
曲线下面积 (AUC)：TEA 的 $\ell_2$ 距离随查询次数变化的曲线 AUC 值最低，表明其整体效率最高。
感知质量：虽然 TEA 引入了结构化扰动，但在 SSIM 和 FSIM（感知相似性指标）上表现良好，且 FSIM 甚至略优于部分基线方法，说明其扰动对人类视觉系统的干扰相对可控。
边缘密度分析：无论源图像和目标图像是“密集边缘”还是“稀疏边缘”，TEA 均保持优势，证明其策略不依赖于特定的纹理复杂度。

5. 意义与局限性 (Significance & Limitations)

意义：
- 现实应用价值：针对商业 API 查询受限的痛点，提供了一种高效的攻击方案，揭示了现有黑盒防御在低查询场景下的脆弱性。
- 方法论创新：打破了传统黑盒攻击过度依赖决策边界几何估计的范式，证明了利用图像内容先验（如边缘）可以大幅提升攻击效率。
- 防御启示：提示防御者不能仅关注频率域扰动，还需关注基于结构（边缘）保持的扰动防御。
局限性：
- 适用场景：TEA 主要优势在于低查询和攻击初期。当查询预算充足时，其最终性能与 SOTA 几何方法相当，并未超越。
- 视觉伪影：基于补丁（Patch-based）的更新方式可能会在局部引入肉眼可见的伪影（Artifacts），尽管整体边缘结构被保留。

总结：该论文提出了一种利用目标图像边缘信息来加速黑盒定向攻击的新方法 TEA。它通过“保护边缘、扰动平滑区域”的策略，在极少的查询次数下实现了比现有方法快得多的距离缩减，为低资源环境下的对抗攻击研究提供了新的思路，同时也对构建更鲁棒的防御系统提出了挑战。