💻 computer science

ReACT-CLIP: Response-Aware Test-Time Defense for Vision--Language Models

ReACT-CLIP 是一种无需训练的、针对 CLIP 类模型的测试时防御机制，它通过利用相对跨噪声特征漂移和预测不稳定性，动态地调整修正强度并确定每次干预的必要性，从而在保持洁净样本准确率的同时，显著提高对多种攻击的对抗鲁棒性。

原作者： Hashmat Shadab Malik, Toluwani Aremu, Samuele Poppi, Muzammal Naseer, Salman Khan

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Hashmat Shadab Malik, Toluwani Aremu, Samuele Poppi, Muzammal Naseer, Salman Khan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机不仅能看到图片，还能通过描述来理解它们的场景。这就是视觉-语言模型（如著名的“CLIP”）的魔力。把 CLIP 想象成一位超级聪明的图书管理员，他读过宇宙中每一本书，也见过每一张照片。如果你给他看一张金毛寻回犬的照片，他不仅仅是识别出那只狗，而是能瞬间将图像与他庞大精神图书馆中的“金毛寻回犬”这个词汇匹配起来。这种无需为每项新工作重新训练就能连接图像与文本的能力，使这些模型成为了现代人工智能的支柱，驱动着从搜索引擎到自动驾驶汽车的一切事物。

然而，这里有一个陷阱。这些超级图书管理员其实非常脆弱。一个狡猾的攻击者可以在图片上添加一层微小的、几乎看不见的“噪声”——就像电视屏幕上几像素的静电一样——这会彻底迷惑图书管理员。突然间，图书管理员看着一张狗的照片，却自信满满地说：“那是一个烤面包机！”这就是所谓的“对抗性攻击”。这是一个巨大的问题，因为如果人工智能如此容易被欺骗，我们就无法信任它做出重要的决策。科学家们一直试图构建“盾牌”来保护这些模型，但他们目前的大多数解决方案就像穿着一套沉重的、一成不变的全身盔甲。面对豆豆枪时，这套盔甲效果很好；但如果攻击者使用的是大炮，这套盔甲就太弱了。如果攻击者只使用豆豆枪，这套盔甲又太重，导致图书管理员动作迟缓，从而错过简单的任务。

这就是一种名为 ReACT-CLIP 的新方法发挥作用的地方，它提供了一个聪明且轻量级的解决方案。ReACT-CLIP 不再是穿着固定的盔甲，而是像一个高度敏锐的保镖，在决定如何反应之前先检查威胁程度。研究人员发现，现有的防御手段之所以失败，是因为它们使用了“固定的修正强度”。它们试图用同样程度的力量去解决所有问题，这会导致两种糟糕的结果：要么对强力攻击修复不足，要么对弱攻击过度修正，从而破坏了清晰图片的答案。

ReACT-CLIP 通过实现“响应感知”改变了游戏规则。它并不去猜测攻击的强度，而是询问模型本身。它是这样运作的：当一张图片到达时，系统会用不同程度的数字噪声对其进行两次轻微的“试探”。它观察模型对图片的理解在这些试探下产生了多少“漂移”或“摇晃”。

如果图片是干净的（真实的狗），即使受到试探，它也会保持稳定。
如果是弱攻击，它会稍微摇晃一点。
如果是强攻击，它会剧烈摇晃。

通过测量轻微试探和重度试探之间图片摇晃程度的差异，ReACT-CLIP 可以获得关于该图片需要多少帮助的精确、逐样本的读数。随后，它会构建一个定制的“锚点”（图片的稳定版本），并以恰到好处的力量将困惑的图像拉回真相。如果图片本身表现良好，系统就会不去理会它。如果它正遭受猛烈攻击，系统就会用力拉回。

论文显示，这种方法非常有效。在 12 个不同的数据集以及各种类型的攻击（从微小的推搡到大规模的扭曲）下，ReACT-CLIP 都能保持 AI 的高准确率，即使在攻击非常强烈时，通常也能维持约 60% 的成功率。相比之下，其他使用固定策略的防御手段，其准确率会随着攻击增强而骤降。研究人员还发现，仅仅检查模型是否“困惑”是不够的；他们必须将“摇晃”测量值与对图像轻微变化下的模型预测稳定性检查相结合。这种结合使得系统能够避免修复不需要修复的图片，从而保留模型的自然智能。

简而言之，ReACT-CLIP 证明了你不需要训练一个新模型，也不需要确切知道攻击者计划如何打击，就能进行防御。通过仅仅倾听模型对微量噪声的反应，系统可以自动调整其防御措施，就像一个智能、自适应的盾牌，既强大到足以阻挡大炮，又温柔到不会伤害豆豆枪。这使得人工智能在不牺牲速度或准确性的情况下，变得更加安全和可靠。

技术摘要：ReACT-CLIP

问题陈述

像 CLIP 这样的视觉-语言模型（VLMs）依赖于冻结的视觉编码器来处理多样化的下游任务，这在对抗性攻击面前造成了一个集中的故障点。虽然对抗训练和提示微调（prompt tuning）可以提供鲁棒性，但它们通常需要重新训练，且存在过拟放特定攻击分布的风险，并可能以牺牲干净样本的准确率来换取鲁棒性。因此，无需训练的测试时防御（test-time defenses）已成为一种实用的替代方案。

然而，现有的测试时防御方法存在一个根本性的局限：它们采用的是固定干预策略（fixed-intervention strategies）。无论是通过固定的提示更新、固定的反击预算，还是固定的特征修正比例（例如，用于构建锚点的全局高斯噪声比例），这些方法都无法适应推理时变化的攻击强度。在部署期间，攻击预算 ( $\epsilon$ ) 是未知的，且不同样本所需的修正强度也存在显著差异，即使是在相同的标称预算下也是如此。正如论文中所展示的，针对弱攻击调优的固定配置往往会对强攻击“力度不足”（undershoot），而针对强攻击调优的配置则会“用力过度”（overshoot），从而降低在干净或弱扰动输入上的性能。这种不匹配导致现有防御在攻击强度增加时性能急剧下降。

方法论：ReACT-CLIP

ReACT-CLIP（用于 CLIP 的响应感知测试时修正）通过将测试时防御重新定义为一个针对样本的具体决策过程来解决这一问题。ReACT-CLIP 不再应用全局固定的修正，而是为每个输入确定两个不同的属性：

是否需要防御性干预。
输入应该进行多强程度的修正。

该方法在不修改预训练模型且不需要提示训练的情况下运行。它依赖于两个核心机制：

1. 响应调节的锚点构建（确定修正强度）

为了估计所需的修正强度，ReACT-CLIP 使用两个层级的高斯噪声 ( $\sigma_{low}$ 和 $\sigma_{high}$ ) 对输入进行探测，并测量视觉特征空间中产生的漂移。

观察： 虽然在单一噪声水平下的绝对漂移具有歧义性（对抗性特征在弱噪声下可能表现得异常稳定），但跨噪声相对漂移 ( $r(x)$ ) 提供了一个清晰且分级的信号。它被定义为从低噪声到高噪声的相对漂移增量：
$r(x) = \frac{d_{high}(x) - d_{low}(x)}{d_{low}(x)}$
机制： 这种相对漂移作为样本特定的修正需求代理。ReACT-CLIP 使用通过在单个数据集（Caltech256）上校准的一次性线性映射，将 $r(x)$ 映射为样本特定的修正比例 $\sigma_{corr}(x)$ 。
应用： 该比例用于从高斯加噪视图中构建一个噪声平均特征锚点 ( $f_{anc}$ )。随后，原始视觉特征会被向该锚点及其外侧进行外推。较小的 $r(x)$ 会产生较小的噪声比例和轻微的修正；较大的 $r(x)$ 则会产生较大的比例和更强的修正能力。

2. 选择性防御干预（确定必要性）

无条件地应用修正会损害那些已经被正确分类的干净输入。为了决定是否进行干预，ReACT-CLIP 将相对漂移与预测不稳定性得分相结合。

观察： 干净的输入在弱空间增强下能保持稳定的类别概率分布，而对抗性输入则表现出更大的变化。
机制： 使用 Jensen–Shannon 散度计算预测不稳定性得分 $J(x)$ ，该得分基于原始预测与在弱随机增强 $T(x)$ 下的预测之间的差异。
决策： 最终的防御干预得分为 $s_{int}(x) = r(x) + J(x)$ 。如果 $s_{int}(x)$ 超过阈值 $\tau$ ，则应用修正；否则，保留原始特征。这使得系统能够区分干净输入和弱受攻击输入，因为在仅靠漂移检测器的情形下，后者往往具有歧义性。

核心贡献

响应调节的锚点构建： 论文指出全局固定的修正强度并非最优。它引入了一种将相对跨噪声漂移转化为样本特定修正比例的方法，使防御范围能够适应攻击预算和单个样本的特性，而无需重新训练。
选择性防御干预： 作者提出了一种结合了相对漂移和预测不稳定性得分的融合干预得分。这提高了在弱攻击阶段对对抗性输入的检测能力，同时保护了干净样本的准确率，解决了仅靠漂移检测器存在的歧义问题。
广泛的鲁棒性评估： 该方法在 12 个下游数据集、ImageNet 及其分布偏移版本下，针对 PGD-10、PGD-100、C&W-10 和 AutoAttack 进行了评估。

结果

鲁棒性提升： 在 12 个下游数据集下的 PGD-10 攻击中，ReACT-CLIP 在攻击预算从 $\epsilon=1/255$ 到 $\epsilon=16/255$ 的过程中，始终保持约 60% 的鲁棒准确率。
基准对比： 在 $\epsilon=16/255$ 时，它比最强的现有基准（Defend-CLIP）高出多达 46.50 个百分点。当攻击增强时，现有防御性能急剧下降，而 ReACT-CLIP 保持了稳定的性能。
干净准确率： 该方法保留了干净准确率，与最强防御相比，其差距保持在 0.76% 以内。
泛化能力： 用于修正强度的线性映射是在单个数据集上校准的，但能有效地泛化到 ImageNet 及其分布外变体（ImageNet-A, V2, R, Sketch），并且能外推到校准范围之外的攻击预算（ $\epsilon=24, 32$ ），而在这些情况下其他防御方法都会失效。
消融实验： 结果证实，响应调节的锚点构建驱动了中等至强攻击下的鲁棒性，而选择性干预得分则主要保护了干净准确率并提升了弱攻击阶段的表现。

意义与主张

论文声称，ReACT-CLIP 通过从全局固定干预转向逐输入、响应调节的决策，为无需训练的测试时防御建立了新范式。通过利用噪声诱导的特征漂移动态和预测稳定性，该方法能够在不知道推理时攻击参数的情况下，适应未知的攻击预算和变化的样本严重程度。

作者强调，这种方法使得单一的固定配置能够在从极弱到极强的广泛频谱内保持有效，同时在很大程度上保留了预训练 CLIP 模型的零样本能力。这项工作强调了“固定防御配置”与“可变攻击强度”之间的“不匹配”是当前测试时防御失败的主要原因，而响应感知调节是实现鲁棒、可部署的视觉-语言模型（VLMs）的必要步骤。