💻 computer science

Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting

本文提出了一种置信度感知加权（Confidence-Aware Weighting, CAW）方法，这是一种通过置信度感知损失优先处理不确定样本，并利用特征对齐保持语义一致性，从而在鲁棒性和内存效率方面均优于现有最先进方法的、旨在增强零样本 CLIP 模型对抗鲁棒性的新颖方法。

原作者： Nikoo Naghavian, Mostafa Tavassolipour

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nikoo Naghavian, Mostafa Tavassolipour

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机能同时“看见”并“阅读”的世界，它们从整个互联网中学习，从而理解一张金毛寻回犬的照片与“一只快乐的狗”这些文字相匹配。这就是视觉-语言模型（如著名的 CLIP）的魔力。它们就像超级聪明的学生，读过网上所有的书，看过所有的照片，这使得它们即使从未见过某种特定类型的动物，也能猜出图片中的内容。然而，就像人类可能会被巧妙的错觉所欺骗一样，这些 AI 模型也有一个隐秘的弱点。如果你在图像中添加微量且肉眼不可见的“噪声”——就像撒入几粒数字沙子，人类眼睛无法察觉——计算机可能会突然完全陷入混乱，把一只猫误认为是一个烤面包机。这被称为“对抗性攻击”（adversarial attack），这是一个重大问题，因为这意味着这些强大的工具在现实世界中很容易被愚弄。

科学家们正在提出的核心问题是：我们如何在让模型变得更强大的同时，又不让它忘记已经掌握的所有知识？通常，为了教计算机具备鲁棒性（稳健性），你必须在训练期间向它展示成千上j个这种棘手的、带有噪声的图像。但问题在于：如果你对每一张图像都一视同仁，计算机就会浪费时间去研究那些它已经掌握的简单题目，而可能仍然错过那些真正需要帮助的难题。这就像一位老师在整堂课中都在复习学生已经完美解决过的数学题，却忽略了那个真正导致学生考试不及格的问题。

本论文介绍了一种名为**置信度感知加权（Confidence-Aware Weighting, CAW）**的聪明策略来解决这个问题。研究人员意识到，并非所有的棘手图像都是平等的。有些图像非常令人困惑，以至于模型几乎无法正确判断；而有些图像则只是略显摇摆不定。CAW 不再给每张困惑的图像分配相同的关注度，而是像一位聪明的导师，会对那些挣扎得最厉害的学生给予额外的关注。

以下是该方法的工作原理，我们使用一个简单的类比：想象 AI 模型是一个正在参加考试的学生。

“置信度感知”部分： 当学生答错题或感到不确定时，老师（CAW 系统）会说：“好吧，这道题很难！让我们重点关注一下这个。”它会对模型最不确定的图像给予额外的权重。如果模型对某张图像已经很有把握，老师就会说：“你已经掌握了，我们继续下一个。”这确保了模型将精力花在修复其最大的弱点上，而不是重新学习已知的内容。
“特征对齐”部分： 这一部分的技巧是确保学生不会忘记之前学过的知识。当模型观察一张棘手的、带有噪声的图像时，CAW 会检查它看到的“内部图像”是否与它之前看到的“清晰图像”相匹配。这就像是在告诉学生：“即使这张照片很模糊，也要记住它仍然是一只狗，而不是一个烤面包机。”这防止了模型产生混乱并丢失其原始知识。

研究人员在包括 TinyImageNet 在内的庞大图像数据集集合上测试了这个想法，这些数据集涵盖了从宠物、花卉到医学扫描图像的 14 个不同领域。他们让这种新方法与现有的顶尖技术进行对决，使用了最强大的“攻击”手段，包括一种被称为 AutoAttack 的强大自动化测试。结果令人振奋：CAW 方法不仅在攻击中幸存了下来，而且表现得比之前的最佳方法更好。例如，在 15 个不同数据集的平均表现上，它在受到攻击时保持正确的能力比排名第二的方法提高了约 2%，同时还使用了更少的计算内存。

真正酷的一点是，该模型不仅变得更擅长抵御攻击，还变得更擅长观察正常的、清晰的图片。研究人员发现，通过专注于这些“困难”的样本，模型学会了一种更稳定的观察世界的方式。当他们观察模型如何“关注”图像的不同部分时，他们看到在训练之前，模型很容易被噪声分散注意力，去关注背景或随机像素。在使用 CAW 之后，即使图像受到攻击，模型也学会了专注于实际的物体。

简而言之，这篇论文表明，通过对哪些困惑的样本进行更有选择性的学习，我们可以构建出既更聪明又更强韧的 AI。这是朝着让视觉-语言模型在现实世界中足够可靠迈出的重要一步，因为在现实世界中，情况并不总是完美的，有时甚至会试图欺骗我们。虽然该方法目前主要集中在图像部分，并且主要针对白盒攻击（即攻击者了解模型的秘密）进行了测试，但它为在不牺牲学习新知识能力的前提下，增强 AI 的韧性开启了一扇新的大门。

技术摘要：通过置信度感知加权提升零样本 CLIP 的对抗鲁棒性

问题陈述
视觉-语言模型（VLMs），特别是 CLIP，在多种任务中展现出了令人印象深刻的零样本泛化能力。然而，它们在对抗攻击面前表现得极其脆弱，微小的扰动即可导致预测发生显著偏移。虽然对抗训练是提高鲁棒性的标准方法，但现有方法在应用于大规模视觉-语言模型时面临两个主要局限：

优化效率低下： 当前的方法在训练期间对所有对抗样本一视同仁，而不考虑其难度或稳定性。这忽略了这样一个事实：具有低鲁棒置信度（预测不稳定）的样本比高置信度样本对脆弱性的贡献更大。
资源与性能的权衡： 最先进的方法（如 PMG-AFT 和 TGA-ZSR）通常需要较高的内存占用，或者在面对强攻击（如 AutoAttack）时难以在不损害干净准确率或泛化能力的情况下维持鲁棒准确率。

方法论：置信度感知加权 (CAW)
作者提出了 置信度感知加权 (CAW)，这是一种对抗性微调框架，旨在增强预训练 CLIP 模型的零样本鲁棒性，同时保留其泛化能力。该方法引入了一个包含三个项的复合损失函数 ( $L_{total}$ ):

标准对比损失 ( $L_{CE}$ ): 用于对齐图像和文本嵌入的基准交叉熵损失。
置信度感知损失 ( $L_{CA}$ ): 该组件解决了对所有样本一视同仁导致的效率低下问题。它对微调模型在对抗输入上的预测分布 ( $P_{adv}$ $P_{a d v}$ ) 与冻结的预训练模型在干净输入上的预测分布 ( $P_{clean}$ $P_{c l e an}$ ) 之间的 Kullback-Leibler (KL) 散度进行缩放。
- 机制： KL 散度由 $(1 - P_{adv, i, y_i})$ 进行加权，其中 $P_{adv, i, y_i}$ 是对抗样本真实类别的预测概率。
- 效果： 这种加权方式为那些模型不确定性较高（低置信度）的“困难”对抗样本分配了更高的重要性，从而迫使模型专注于稳定这些脆弱的情况。作者专门使用 $KL(P_{adv} \parallel P_{clean})$ 而非反向形式，理由是这样能更好地惩罚对抗分布中错误的预测高概率值。
特征对齐正则化 ( $L_{Reg}$ ): 为了防止过拟合以及对预训练知识的遗忘，该项最小化了由微调后的编码器处理的对抗输入图像特征与由冻结的预训练编码器处理的相同输入特征之间的 $\ell_2$ $ℓ_{2}$ 距离。
- 区别： 不同于 FARE 等将干净的冻结表示与对抗的微调表示进行对齐的方法，CAW 将来自两个编码器的对抗表示进行对齐，以在微调过程中稳定特征表示。

总目标函数公式为：
$L_{total} = L_{CE} + \alpha \cdot L_{CA} + \beta \cdot L_{Reg}$

核心贡献

新颖的加权机制： 本文引入了一种专为零样本视觉-语言模型定制的置信度感知加权策略，将重点转向不稳定的、低置信度的对抗样本，从而在不牺牲干净准确率的情况下提高鲁棒性。
双损失架构： 置信度缩放的 KL 散度与特征级正则化项的结合，在学习鲁棒特征与保留预训练语义知识之间建立了平衡。
高效性： 所提方法在实现最先进性能的同时，比竞争基准方法（PMG-AFT 和 TGA-ZSR）占用的内存更少。

实验结果
作者在 TinyImageNet 数据集上进行了 CAW 的微调评估，并在涵盖通用物体识别、细粒度分类、场景识别、特定领域任务及医学成像的 15 个额外数据集上测试了其零样本性能。

AutoAttack ( $\epsilon = 1/255$ ): CAW 在 15 个数据集上实现了最高的平均鲁棒准确率 (33.51%)，超过了 PMG-AFT (31.55%) 和 TGA-ZSR (31.63%)。它在 CIFAR-10 和 Caltech-101 等数据集上表现尤为出色。
PGD-100 和 CW 攻击： 在这些攻击下，CAW 在鲁棒准确率和干净准确率方面均超越了 PMG-AFT。例如，在 PGD-100 攻击下，CAW 的平均鲁棒准确率为 34.91%，而 PMG-AFT 为 33.20%；同时，CAW 也提升了干净准确率（53.75% 对比 47.28%）。
内存效率： CAW 约需 15,986 MB 内存，低于 PMG-AFT (18,449 MB)，且显著低于 TGA-ZSR (21,227 MB)。
分析：
- 置信度分析： 散点图显示，微调后，干净置信度与鲁棒置信度之间的相关性有所增加，并向对角线移动，表明稳定性得到增强。该方法有效地减少了“仅干净正确”（在干净样本上正确，但在对抗样本上错误）的样本，且没有产生过度自信的误分类。
- 注意力图： 可视化结果显示，CAW 有助于模型在处理干净和对抗样本时，都能在物体相关区域保持一致且具有语义意义的注意力；相比之下，微调前的模型在受到攻击时往往会关注无关的背景噪声。

意义与主张
本文声称 CAW 代表了保障零样本视觉-语言模型免受对抗威胁的重要一步。通过明确针对模型的确定性，该方法学习到了更具迁移性和鲁棒性的特征。作者强调，其方法在提高强攻击（AutoAttack, PGD, CW）下的鲁棒性的同时，保持了较低的内存占用，使其成为大规模模型的实用解决方案。

局限性
作者承认存在以下局限性：

该方法目前是针对 CLIP 架构特定的，尚未在其他视觉-语言模型上进行测试。
它仅针对图像编码器中的扰动，尽管文本编码器在视觉-语言模型中同样重要，但并未对其进行处理。
评估仅限于标准的白盒攻击，尚未探索黑盒攻击、自适应攻击以及更大的扰动半径。

技术摘要：通过置信度感知加权提升零样本 CLIP 的对抗鲁棒性

类似论文