MOAT: Model-Agnostic Randomized Transformations for preventing Efficiency Degradation Attacks on ViTs

想象一个计算机已经学会了像我们一样“看”的世界，能够识别照片中的猫或阅读路标。长期以来，实现这一目标最好的方法是一种被称为卷积神经网络（CNN）的“大脑”。但最近，一种更强大、更智能的“大脑”——视觉 Transformer（ViT）已经接管了局面。它极其聪明，但有一个秘密弱点：它有点“贪婪”。它试图同时观察图像中每一个微小的碎片，这会消耗大量的电池和计算资源。为了解决这个问题，工程师们发明了一个聪明的技巧，叫做令牌修剪（Token Pruning）。你可以把它想象成一个俱乐部的保镖：保镖不会让每一个像素（即“令牌”）都进入 VIP 区，而是会检查它们的身份，只让最重要的部分进来，把无聊的部分踢出去，以节省能量。

然而，就像任何安保系统一样，这个保镖也会被欺骗。一个狡猾的黑客可以在图片中添加肉眼看不见的“噪声”——就像几粒数字沙子——这些噪声在人类眼中看起来完全正常，却能迷惑保镖。保镖不再踢走那些无聊的令牌，而是误以为所有内容都很重要，从而让所有人进入。突然之间，计算机又回到了耗电量巨大的状态，即使图片本身几乎没有变化。这被称为效率退化攻击（Efficiency Degradation Attack）。它的目的不是让计算机把猫看成狗，而是试图让计算机尽可能多地工作，从而耗尽手机、无人机或监控摄像机的电池。

“MOAT”解决方案：对抗低效保镖的数字护城河

在这篇论文中，研究人员引入了一种名为 MOAT（模型无关的随机变换）的新型防御手段。你可以将 MOAT 想象成一个环绕在计算机视觉系统周围的、神奇且不断变化的护城河。MOAT 并不试图去修复保镖，也不试图教计算机变得更强壮（这既困难又昂贵），它只是在图片到达保镖之前，先将其“清洗”一遍。

以下是其运作方式，使用一个有趣的类比进行分步说明：

1. 随机缩放与拉伸（The Random Shrink-and-Stretch）： 想象黑客在图片上画了一张完美的、隐形的地图来迷惑保镖。MOAT 首先抓取这张图片，随机对其进行缩小或拉伸，然后将其裁剪回原始大小。这就像拿着一张地图，把它揉皱，然后再把它铺平。黑客那张完美的地图现在变得皱巴巴且毫无用处了。由于每次缩放的大小都是随机变化的，黑客无法预测该如何精准地绘制他们的诡计。
2. 中值滤波器（The Median Filter，即“平滑海绵”）： 接下来，MOAT 让图片通过一个“平滑海绵”。如果黑客试图将诡计隐藏在微小、尖锐的噪声点中，这个海绵就会将其抹去，并用周围颜色的平均值来替换它。这就像抚平崎岖不平的路面，让汽车可以顺利驶过而不被卡住，但同时保留了大的起伏（即图像的重要部分）。
3. JPEG 压缩（The Digital Shrink Ray，即“数字缩减射线”）： 最后，MOAT 将图片压缩成一种格式（如 JPEG）。这个过程会丢弃那些通常隐藏着黑客噪声的微小、高频细节。这就像把一张精细的画稿多次复印；那些细微、棘手的线条会变得模糊并消失，而主体图像依然清晰。

研究发现

研究人员在两种流行的视觉 Transformer 模型（DeiT-Tiny 和 DeiT-Small）上测试了这种“MOAT”流程，并使用了名为 DeSparsify 的特定黑客攻击。

• 问题所在： 在没有任何防御的情况下，黑客的攻击非常成功。在 DeiT-Small 模型上，攻击迫使计算机保留了几乎所有的令牌，使能量消耗（以 GFLOPs 衡量）从精简的 3.12 上升到了 3.98。这意味着计算机损失了约 31% 的效率收益，使其“节省”的比例降至仅 12.4%。这种攻击非常高效，其攻击成功率（ASR）达到了 60.6%。
• 修复效果： 当加入 MOAT 防御后，黑客的魔法失效了。计算机恢复了高效运行。能量消耗降回了 3.26，效率收益也恢复到了 28.2%。攻击成功率骤降至仅 7.5%。
• 最棒的部分： 最令人兴奋的发现是，MOAT 完全不需要改变计算机的“大脑”。它不需要重新训练模型，也不需要修改保镖的规则。它只是静静地守在前面，执行这三个简单的步骤。更棒的是，它非常轻量。虽然其他防御手段（如复杂的扩散模型）会给计算机增加数百倍的工作量，但 MOAT 只增加了约 0.15% 到 0.57% 的额外工作量。为了阻止巨大的电池损耗，付出的代价微乎其微。

为什么这很重要

论文指出，这种方法之所以是一个游戏规则的改变者，是因为它是“模型无关”的，这意味着它可以应用于任何视觉 Transformer，而无需为每个模型进行定制。研究人员发现，同时使用这三个步骤（缩放、滤波和压缩）的效果远好于仅使用其中之一。他们还测试了不同的设置，并找到了一个“平衡”版本，既能保持计算机的聪明程度（高准确度），又能有效阻挡黑客。

然而，作者也谨慎地指出，这并不是一个能永远阻止一切的万能盾牌。他们承认，如果黑客完全了解这项防御机制是如何运作的，他们可能会尝试构建更聪明的攻击。但由于 MOAT 使用了随机变化和难以计算（不可微）的步骤，这使得黑客很难且成本极高地去破解它。

简而言之，MOAT 是一个聪明的、轻量级的护盾，它能洗掉黑客用来让我们的智能摄像头和手机过度工作的隐形诡计，在无需对现有技术进行彻底改造的前提下，让设备保持快速且省电。