💻 computer science

STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs

本文提出了一种名为 STRAP-ViT 的即插即用防御机制，通过利用 Jensen-Shannon 散度识别并隔离异常 Token，随后对其应用随机复合变换，从而在不增加训练成本的前提下有效抵御针对 Vision Transformer 的物理对抗补丁攻击，使其在多种攻击下仍能保持接近原始基线的鲁棒准确率。

原作者： Nandish Chattopadhyay, Anadi Goyal, Chandan Karfa, Anupam Chattopadhyay

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nandish Chattopadhyay, Anadi Goyal, Chandan Karfa, Anupam Chattopadhyay

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 STRAP-ViT 的新技术，它的任务是给现在的“超级大脑”（视觉 Transformer，简称 ViT）穿上一件隐形的防弹衣，防止被一种叫“对抗补丁”的恶作剧骗过。

为了让你轻松理解，我们可以把整个过程想象成一个高智商的保安（ViT）在检查一个巨大的拼图（图片）。

1. 什么是“对抗补丁”？（恶作剧贴纸）

想象一下，你正在看一张猴子的照片，保安（AI）一眼就能认出：“这是一只猴子！”

但是，坏人可以在照片上贴一张小小的、看起来像乱码的贴纸（这就是“对抗补丁”）。

普通人的反应：这贴纸很小，不影响我看猴子。
AI 的反应：这个贴纸非常狡猾。它利用了 AI 的弱点，像磁铁一样把 AI 的注意力全部吸走了。AI 突然变得非常自信地大喊：“这不是猴子！这是一个散热器！”

这种攻击在现实生活中很可怕，比如贴在汽车上的贴纸能让自动驾驶汽车把“停车标志”看成“限速 45"，或者让监控摄像头把“持枪的人”识别成“拿着玩具”。

2. STRAP-ViT 是怎么工作的？（两个步骤）

STRAP-ViT 不需要重新训练 AI，它就像是一个即插即用的智能插件，在 AI 做决定的最后一刻介入。它的工作分为两步：

第一步：侦探模式（检测异常）

比喻：闻气味

当 AI 把图片切成很多小块（称为“令牌”或 Tokens）来分析时，正常的图片块闻起来是“自然”的。但是，那个恶作剧贴纸覆盖的块，闻起来味道很怪（统计学上叫“分布不同”）。

STRAP-ViT 的做法：它拿着一个精密的“气味检测仪”（数学上叫Jensen-Shannon 散度），去闻每一个图片块。
发现：它发现有几个块的味道和正常的背景格格不入，就像在一群穿西装的人里混进了一个穿荧光绿小丑服的人。
行动：它立刻标记出这几个“可疑分子”（也就是被贴纸覆盖的区域）。

第二步：魔法模式（消除威胁）

比喻：给可疑分子“换装”或“打乱”

一旦找到了那几个被贴纸污染的块，STRAP-ViT 不会直接把它们删掉（删了图片就缺角了），而是给它们施一点“魔法”。

随机变换：它会对这些可疑的块进行随机的“整容手术”。比如：
- 把它们的内容稍微压扁一点（仿射变换）。
- 把它们的光谱能量限制住（Lp 投影）。
- 或者给它们加一点“模糊滤镜”（温度缩放）。
关键点：这个手术是随机的。就像坏人不知道保安今天会用什么方式打乱他的伪装，所以坏人很难提前准备好一种能同时抵抗所有打乱方式的贴纸。
结果：贴纸的“魔力”被打破了，AI 的注意力重新回到了真正的猴子身上，而不是那个贴纸。

3. 为什么这个方法很厉害？

不伤及无辜：它只处理那几个被污染的“坏块”，图片里 99% 的正常部分完全不受影响。所以，如果没有贴纸，AI 的准确率几乎不会下降。
通用性强：不管 AI 是哪种型号（ViT 的各种版本），也不管贴纸是什么图案，这套方法都能用。
不需要重新上学：它不需要让 AI 重新学习（训练），直接装在现有的 AI 系统里就能用，就像给手机装个杀毒软件一样简单。
速度快：计算量很小，不会让 AI 变慢。

4. 实验结果：真的有效吗？

作者拿这个系统去测试了很多种恶作剧贴纸（有的大，有的小，有的甚至一张图贴好几个）。

没有防御时：AI 看到贴纸就彻底晕了，准确率跌到接近 0%（比如从 80% 跌到 3%）。
用了 STRAP-ViT 后：AI 的准确率瞬间回升到 78%-79%，几乎和没贴纸时一样！这比目前市面上其他最好的防御方法都要强。

总结

STRAP-ViT 就像是一个拥有火眼金睛的保安。
当坏人试图用一张“魔法贴纸”迷惑 AI 时，保安能立刻闻出哪块拼图味道不对，然后随机给那块拼图“换个发型”或“换个衣服”，让贴纸的魔法失效。这样，AI 就能继续正确地认出那是“猴子”，而不是“散热器”了。

这项技术让未来的 AI 系统（比如自动驾驶、人脸识别）在面对这种物理世界的恶作剧攻击时，变得更加安全和可靠。

STRAP-ViT 技术总结

1. 研究背景与问题定义 (Problem)

背景：
视觉 Transformer (ViT) 已成为下一代 AI 的核心架构，广泛应用于视频、3D 感知、医疗成像等领域。然而，ViT 对对抗性补丁 (Adversarial Patches) 极其脆弱。

核心问题：

物理可实现性： 对抗性补丁是物理上可实现的局部噪声（如打印的贴纸），只需覆盖图像的一小部分即可劫持 ViT 的自注意力机制 (Self-Attention)。
攻击机制： 高对比度的补丁会吸引模型注意力，污染类别 Token (Class Token)，导致模型以高置信度进行错误分类。
现有防御的局限性： 现有的防御方法（如对抗训练、平滑认证、像素级检测）要么计算成本高昂，要么需要额外的训练，要么在物理世界部署中表现脆弱。此外，许多方法在像素空间操作，未能充分利用 ViT 在语义特征空间（Token 级别）的推理特性。

2. 方法论 (Methodology: STRAP-ViT)

本文提出了一种名为 STRAP-ViT (Segregated Tokens with Randomized Transformations) 的防御机制。该方法是一个非训练 (Non-trainable)、即插即用 (Plug-and-play) 的模块，仅在推理阶段介入，无需额外的训练成本。

其核心思想基于一个关键洞察：包含对抗性噪声的 Token 与未受影响的 Token 在统计特性上存在显著差异。 具体流程分为两个阶段：

A. 检测阶段：基于 Jensen-Shannon 散度的 Token 隔离 (Detection)

统计差异分析： 研究发现，当对抗补丁覆盖某个 Token 的感受野时，该 Token 的通道分布会发生系统性偏移，且香农熵 (Shannon Entropy) 升高。
JSD 度量： 为了量化这种差异，算法计算每个 Token 的概率分布 $p_{\ell,t}$ $p_{ℓ, t}$ 与干净参考分布 $q_{\ell,t}$ $q_{ℓ, t}$ 之间的 Jensen-Shannon 散度 (JSD)。
- 公式： $s_{\ell,t} = \sqrt{JSD(p_{\ell,t} | q_{\ell,t})}$
- JSD 是一个对称且有界的度量，其平方根是真正的距离度量。高 JSD 分数意味着该 Token 极有可能是异常（即被补丁污染）。
Token 选择： 根据计算出的 JSD 分数，选择得分最高的前 $K$ 个 Token 作为异常 Token 进行后续处理。 $K$ 是一个超参数，设计原则是覆盖至少 50% 的对抗补丁区域。

B. 缓解阶段：基于随机复合变换的 Token 转换 (Mitigation)

一旦检测到异常 Token，算法会对这些 Token 应用随机复合变换 (Randomized Composite Transformations)，以破坏对抗性特征，同时保留干净信息。

随机性策略： 为了防止自适应攻击，系统不是应用单一变换，而是从以下三种变换中随机选择一个子集并按随机顺序组合应用：
- $L_p$ 范数投影 ( $T^{(1)}$ )： 限制极端通道能量，抑制高幅值的对抗扰动。
- 仿射收缩/重定中心 ( $T^{(2)}$ )： 使用有界算子范数的仿射变换 ($Az+b$)，压缩特征空间。
- 单纯形变换/温度缩放 ( $T^{(3)}$ )： 通过 Softmax 和温度参数 $T$ 平滑概率分布，消除尖峰。
执行： 只有被选中的 $K$ 个 Token 被转换，其余 Token 保持不变，然后继续通过 ViT 的剩余层进行推理。

3. 主要贡献 (Key Contributions)

无需训练的鲁棒性提升： 提出了一种在 ViT 推理流中直接修改选定 Token 的新方法，无需重新训练模型，即可有效抵御对抗性补丁。
基于统计特性的检测机制： 利用 JSD 作为度量标准，在语义特征空间（Token 级别）而非像素空间识别异常，使检测与模型的内部推理逻辑更加对齐。
随机化防御策略： 通过随机组合多种变换，增加了攻击者生成能够同时抵抗所有变换的自适应补丁的难度。
广泛的适用性与高性能： 该方法具有模型无关性（Model-agnostic）和补丁无关性（Patch-agnostic），在多种预训练架构（ViT-base-16, DinoV2）和数据集（ImageNet, CalTech-101）上均取得了优异效果。

4. 实验结果 (Results)

实验在 ImageNet 和 CalTech-101 数据集上，针对多种攻击（Adversarial Patch, LAVAN, GDPA, RP2）进行了评估。

鲁棒准确率 (Robust Accuracy)：
- 在 ViT-base-16 上，面对 40x40 的 Adversarial Patch 攻击，无防御时准确率仅为 3.6%，而 STRAP-ViT 将其提升至 78.8%。
- 面对 LAVAN 和 GDPA 攻击，准确率分别恢复至 79.2% 和 77.2%。
- 在更复杂的 RP2 攻击（单图多补丁）下，STRAP-ViT 也能保持 70%+ 的准确率。
干净样本性能 (Clean Accuracy)：
- 引入防御机制后，干净样本的准确率下降极小（通常在 2-3% 以内，甚至在某些设置下略有提升），证明了该方法对正常推理的干扰极小。
对比 SOTA：
- 与现有的最先进防御技术（如 Smoothed ViT, JEDI, PatchCleanser, ODDR 等）相比，STRAP-ViT 在相同设置下取得了最高的鲁棒准确率（例如在 40x40 补丁攻击下达到 78.8%，优于 JEDI 的 70.6% 和 ODDR 的 74.3%）。
计算成本：
- 由于仅对少量 Token（约 1%-4%）进行计算，且 JSD 计算和变换操作复杂度低，STRAP-ViT 的计算开销远低于 ViT 本身的 Transformer 块，适合实时部署。

5. 意义与展望 (Significance)

安全性保障： 为 ViT 在自动驾驶、监控等安全关键领域的物理部署提供了强有力的保障，解决了“小补丁导致大灾难”的痛点。
架构友好性： 充分利用了 ViT 的 Token 机制，提供了一种比像素级防御更自然、更高效的防御范式。
未来方向： 作者指出，该方法不仅适用于视觉模型，未来还可扩展至大型视觉语言模型 (LVLMs) 和大型语言模型 (LLMs)，因为这些模型同样基于 Token 机制，可能面临类似的对抗性干扰。

总结： STRAP-ViT 通过“检测 - 隔离 - 随机变换”的三步走策略，以极低的计算成本实现了 ViT 对抗补丁防御的 SOTA 性能，且无需重新训练，具有极高的实用价值和推广潜力。