💻 computer science

A Survey of Adversarial Efficiency Degradation for Vision Transformer by Exploiting Input-adaptive Optimization

本文综述了针对视觉 Transformer 的对抗性效率退化攻击，这类攻击利用了诸如 Token 修剪和早期停止等输入自适应机制，旨在不显著损害准确性的情况下增加计算成本，同时分析了特定的攻击方法、易受攻击的框架以及潜在的轻量级防御措施。

原作者： Anadi Goyal, Nandish Chattopadhyay, Anupam Chattopadhyay, Chandan Karfa

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Anadi Goyal, Nandish Chattopadhyay, Anupam Chattopadhyay, Chandan Karfa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：你智能手机的大脑——那个帮助你识别面部或导航地图的人工智能——是一位动作极快但胃口巨大的厨师。这位厨师并不总是用完全相同的方式烹饪每一道菜；它足够聪明，会先观察食材。如果你递给它一个简单的、普通的三明治，它可能会跳过繁琐的切剁步骤，直接快速上菜以节省能量。但如果你递给它一份复杂的、多层叠放的千层肉酱面，它就知道要拿出所有的刀具并投入更多时间去烹饪。这个“聪明厨师”就是一个视觉 Transformer（ViT），一种通过观察图像来工作的 AI 类型。为了让这些厨师更快、更不那么“耗电”，工程师们发明了一种叫做“Token 修剪”（token pruning）的小技巧。把图像想象成由成千上万块微小瓷砖（token）组成的马赛克。修剪系统会决定哪些瓷砖是无聊且不重要的，然后把它们扔掉，只用那些有趣的瓷砖来烹饪。这就像一位图书管理员，通过阅读书的第一页来决定剩下的内容是否值得读下去。

然而，就像任何智能系统一样，这种效率技巧也有一个秘密弱点。如果有人能欺骗图书管理员，让它把一本无聊的书误认为是一部扣人心弦的悬疑小说呢？或者，如果有人能在平淡的三明治上贴上一张微小的、肉眼看不见的贴纸，让厨师误以为它是一顿复杂的盛宴呢？这就是“对抗性攻击”（adversarial attacks）的游乐场。通常，黑客试图误导 AI 把猫看成狗。但在这一特定的科学领域，出现了一种新型的捣蛋鬼。他们并不试图改变 AI “看到什么”，而是试图破坏 AI 的“工作方式”，迫使它在简单的任务上浪费所有的精力和时间。这就像一个恶作剧者，他没有改变菜单，却说服厨师为了区区一片吐司就动用整个厨房。

论文使命：寻找“能量恶作剧者”

这篇题为《通过利用输入自适应优化实现视觉 Transformer 的对抗性效率退化》（Adversarial Efficiency Degradation for Vision Transformer by Exploiting Input-adaptive Optimization）的论文是一篇综述——一份有组织的、大型的报告——它调查了这些新型“能量恶作剧者”。作者们是一群来自印度和新加坡的研究人员，他们想要了解黑客是如何利用“聪明厨师”的技巧（如 Token 修剪）来让 AI 模型比实际需要的工作量做得更多，从而在不改变最终答案的情况下，耗尽电池并减慢速度。

两种主要的恶作剧者

论文重点研究了两种特定的攻击方式，并将它们进行对比，就像两种不同类型的恶作剧：

“通用贴纸”（SlowFormer）： 想象一张微小的、特定的贴纸，你可以把它贴在世界上任何一张照片上。无论照片里是猫、汽车还是日落，只要你在角落贴上这个补丁，AI 的“智能修剪”系统就会感到困惑。它会突然想：“噢不，这看起来超级复杂！我最好保留所有的瓷砖，进行完整的、沉重的计算！”论文解释说，这种贴纸是一种“通用对抗性补丁”。它只需训练一次，就可以应用于所有图像。它就像一把万能钥匙，卡住了建筑里每一个门的智能开关。
“个性化噪声”（DeSparsify）： 这是另一种不同类型的诡计。它不是通过贴纸，而是为每张特定的图像添加一点点肉眼看不见的静态噪声。这就像是为每一份订单向厨师低声诉说一个秘密：“嘿，这个三明治其实需要额外的切剁！”论文指出，这种方法非常精准，是针对每张图像量身定制的，目的是迫使 AI 保留比它应该保留的更多的 Token。

结果：破坏有多严重？

研究人员在三个流行的“智能修剪”系统（称为 A-ViT、ATS 和 AdaViT）上使用标准图像数据集进行了测试。以下是他们发现的结果，数值完全按照论文报告：

“贴纸”攻击 (SlowFormer)： 当他们把这种通用补丁贴在图像上时，AI 的效率受到了巨大打击。例如，在 A-ViT 系统上，所需的计算能力（以 GFLOPs 衡量）从低至 3.70（当没有攻击发生时）一路飙升到了 4.60。这正是 AI 在完全不进行“智能处理”时所使用的能量水平！这种攻击非常成功，在 A-ViT 上实现了 100% 的“攻击成功率”，这意味着它完全击败了效率技巧。然而，有一个代价：AI 的准确率大幅下降（下降了 76.5%），这意味着 AI 对它正在观察的东西感到非常困惑。
“噪声”攻击 (DeSparsify)： 这种方法更加隐蔽。它同样将 A-ViT 上的功率推高到了 4.60 GFLOPs，但它隐藏得更好。准确率仅下降了 0.1%。AI 仍然知道它在看一只猫，但它在识别的同时正消耗着大量的电池。在 ATS 系统上，这种攻击将功率提升到了 4.20 GFLOPs，攻击成功率为 73.3%。

论文指出，虽然“贴纸”攻击威力强大，但“噪声”攻击在现实生活中往往更危险，因为它不会破坏 AI 的识别能力，从而使其更难被察觉。

反击手段：我们能阻止它们吗？

作者还研究了如何防御这些恶作剧。他们发现目前还没有完美的盾牌，但有一些很有前景的想法：

教导 AI 预料麻烦（对抗性训练）： 对于“贴纸”攻击，论文建议使用包含这些坏贴纸的集合来训练 AI。这就像是在安全房间里模拟风暴来练习应对风暴。当我们这样做时，贴纸对 A-ViT 的攻击成功率从 100% 下降到了 34%。AI 变得更加强韧，尽管它并未变得无懈可击。
“置信度检查”（基于置信度的防御）： 对于“噪声”攻击，研究人员提出了一个规则，即让 AI 检查自身的置信度。如果它认为某个决策很犹豫，它会强制自己保留更多 Token，但如果它非常有信心，它就会按原计划执行。这效果出奇地好。在 ATS 系统上，这种防御将攻击成功率从 73.5% 降低到了仅为 5.3%。

局限性与未来

论文谨慎地指出，这些防御措施并非万能灵药。作者指出，虽然这些方法减少了损失，但并不能完全恢复原始的速度和电池寿命。作者还强调了当前攻击中的几个重大弱点：

它们需要内部知识： 大多数此类恶作剧只有在黑客确切了解“智能修剪”系统是如何构建的情况下才能奏效。如果系统是一个“黑盒”（隐藏视图），攻击可能会失败。
它们缺乏迁移性： 为一种类型的修剪系统（如 ATS）设计的恶作剧通常无法作用于另一种（如 A-ViT）。
它们只针对“智能”系统有效： 这些攻击对于那些无论图像是什么都执行相同工作量的旧式“笨拙” AI 系统是无效的。

总之，这篇论文描绘了一个新的安全风险前沿。它表明，当我们通过允许 AI 跳过步骤来使其变得更聪明、更高效时，我们也无意中给了黑客一种新的方法，让他们可以诱使 AI 徒劳地原地打转。作者建议，虽然我们可以建立更好的围栏（防御措施），但我们需要持续研究这些“能量恶作剧者”，以确保我们未来的 AI 既聪明又安全。

技术摘要：通过利用输入自适应优化实现视觉 Transformer 的对抗性效率退化

1. 问题陈述

视觉 Transformer (ViT) 在计算机视觉领域取得了显著成功，但在资源受限的环境（如移动端和嵌入式设备）中面临着严峻的效率挑战。为了缓解自注意力机制带来的二次方计算成本，研究人员开发了输入自适应推理技术，例如标记剪枝（动态移除无信息标记）和早期停止（一旦达到置信度阈值即停止特定标记的推理）。主流框架包括 Adaptive Token Sampling (ATS)、AdaViT 和 A-ViT。

虽然这些方法降低了平均情况下的计算量（FLOPs）、能耗和延迟，但也引入了一种全新的安全漏洞：对抗性效率退化 (Adversarial Efficiency Degradation)。与旨在导致误分类的传统对抗攻击不同，这类攻击针对的是计算过程本身。通过利用控制自适应决策的可微且由内容驱动的信号（例如注意力图、停止得分），攻击者可以构建特定的输入，迫使模型保留更多标记或执行更深的层数。这会导致推理时的成本（延迟、能耗、内存）大幅增加，而未必会降低模型的预测准确率，从而可能导致医疗监控或无人机自主飞行等实时应用中的系统故障。

2. 方法论与攻击机制

本文统一分析并探讨了两类针对标记剪枝框架（ATS、AdaViT、A-ViT）的代表性攻击：

A. DeSparsify（逐图像扰动）

DeSparsify 采用针对特定图像定制的像素级 $\ell_\infty$ 扰动。它通过优化扰动 $\delta$ 来最大化计算成本，同时保持原始分类标签不变。

机制： 它使用一个结合了面向计算的项 ( $L_{atk}$ ) 和保持分类项 ( $L_{cls}$ ) 的复合损失函数。
针对特定框架：
- A-ViT： 最小化跨层的累积停止得分，阻止标记达到停止阈值，从而强制执行全深度推理。
- AdaViT： 推动决策网络（Gumbel-Softmax 松弛化）激活所有的块 (blocks)、头 (heads) 和补丁 (patches)，从而有效地禁用稀疏化掩码。
- ATS： 平滑标记显著性得分的分布（最大化熵），使采样机制难以区分和剪枝标记。
优化： 使用投影梯度下降 (PGD) 来更新扰动。

B. SlowFormer（通用对抗补丁）

SlowFormer 引入了一种通用对抗补丁 (universal adversarial patch)——这是一个在数据集上训练一次、适用于任何输入图像且大小固定的图像补丁。

机制： 该补丁通过针对目标剪枝方法的计算最大化损失进行梯度上升进行优化，而骨干网络权重保持冻结。
针对特定框架：
- A-ViT： 抵消训练目标（例如最小化思考损失/pondering loss）以延迟停止。
- AdaViT： 抵消使用损失 (usage loss) 以增加保持补丁、头和块处于激活状态的概率。
- ATS： 将类标记 (class token) 的注意力分布均匀化到各个补丁上，以最大化生存下来的唯一标记数量。
实用性： 与逐样本优化的逐图像扰动相比，这种输入无关的方法被认为在现实世界的物理攻击中更具实用性。

3. 主要贡献

本文对 ViT 安全领域做出了以下贡献：

效率攻击的系统化： 它定义并归类了一类新的对抗攻击，这类攻击针对系统效率（计算/能量）而非准确率，特别关注输入自适应推理。
统一分析： 它通过标准化指标，对两种截然不同的攻击向量（SlowFormer 和 DeSarsify）在三种主要标记剪枝框架（A-ViT、ATS、AdaViT）下的表现进行了对比分析。
标准化评估指标： 作者引入了攻击成功率 (Attack Success, AS) 指标来量化攻击的有效性。AS 衡量了攻击抵消了多少模型的潜在计算节省，计算公式为：
$AS = \frac{F_{attack} - F_{min}}{F_{max} - F_{min}} \times 100\%$
其中 $F_{attack}$ 是受攻击下的 GFLOPs， $F_{min}$ 是干净（已剪枝）的 GFLOPs， $F_{max}$ 是稠密（未剪枝）的 GFLOPs。
防御评估： 本文评估了现有的防御策略，包括基于置信度的标记保留上限以及针对通用补丁的对抗训练，并量化了它们恢复效率的能力。

4. 实验结果

实验在 ImageNet 和 CIFAR-10 上使用 ViT-Small 和 DeiT-Small 骨干网络进行。

效率退化： 两种攻击都成功迫使自适应模型运行在接近其稠密基准的状态。
- A-ViT： DeSparsify 将 GFLOPs 从 3.70 提高到 4.60 (100% AS)，而 SlowFormer 也达到了 100% AS。
- ATS： DeSparsify 实现了 73.3% AS (4.20 GFLOPs)，而 SlowFormer 实现了 60.0% AS (4.00 GFLOPs)。
- AdaViT： DeSparsify 实现了 43.4% AS (3.27 GFLOPs)，而 SlowFormer 实现了 40.4% AS (3.20 GFLOPs)。
准确率影响： 攻击经过优化以保持准确率。DeSparsify 通常将准确率损失维持在 1.2% 以下。相比之下，SlowFormer 在某些配置下会导致显著的准确率下降，例如在 A-ViT 上出现了 76.5% 的损失，尽管这被视为副作用而非攻击的主要目标。
硬件影响： 文中指出，相对于干净输入，DeSparsify 可使内存使用量增加约 37%，能耗增加约 72%。
防御有效性：
- 基于置信度的防御 (DeSparsify)： 显著降低了攻击成功率（例如，A-ViT 的 AS 从 100% 降至 36.9%；ATS 从 73.5% 降至 5.3%）。
- 对抗训练 (SlowFormer)： 将 A-ViT 的 AS 从 100% 降低到 34%，并将 GFLOPs 降低到接近干净运行点的水平。

5. 重要性与主张

本文声称，理解这些攻击对于设计保持轻量级的防御措施至关重要，因为 ViT 常部署在低功耗设置中。其重要性在于：

揭示了新的攻击面： 证明了旨在节省资源的输入自适应优化本质上创建了一个可由像素空间操纵的“可控”计算路径，从而最大化资源消耗。
强调了权衡： 表明虽然存在防御措施（如限制标记数量、对抗训练），但这些措施往往只能部分恢复效率，并且可能会引入自身的开销或准确率权衡。
识别局限性： 作者谦虚地指出，目前的攻击在不同剪枝框架之间的迁移性有限，依赖于对内部机制的白盒知识，且仅适用于特定的自适应方法（对静态剪枝无效）。
未来方向： 本文最后呼吁开发能够提供“效率鲁棒性”认证边界的防御措施，以及能够跨越不同推理优化和物理场景的攻击。

总之，本文确立了视觉 Transformer 的效率增益在能够操纵动态推理逻辑的攻击者面前是脆弱的，这使得在传统准确率鲁棒性的基础上，对“效率鲁棒性”进行研究变得必不可少。