🤖 AI

Calibrating Uncertainty for Zero-Shot Adversarial CLIP

本文提出了一种针对 CLIP 的新型对抗性微调方法，该方法将输出重新参数化为狄利克雷浓度参数，旨在同时恢复校准后的不确定性并保持鲁棒的零样本准确率，从而解决对抗性扰动通常会抑制不确定性并导致过度自信这一关键问题。

原作者： Wenjing Lu, Zerui Tao, Yuning Qiu, Dongping Zhang, Yang Yang, Qibin Zhao

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenjing Lu, Zerui Tao, Yuning Qiu, Dongping Zhang, Yang Yang, Qibin Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Calibrating Uncertainty for Zero-Shot Adversarial CLIP》的解释，使用了简单的语言和日常类比。

问题所在：过度自信的骗子

想象你有一位非常聪明、博学多才的图书管理员（这就是 CLIP，即 AI 模型）。这位管理员读过数百万本书，即使从未被明确教导过这些特定的图片，也能通过看图猜出图片的内容。这被称为“零样本”（zero-shot）学习。

然而，这位管理员有一个弱点：对抗性攻击（Adversarial Attacks）。
把对抗性攻击想象成图片上一个微小的、几乎看不见的污点。对于人类来说，图片看起来完全一样。但对于这位管理员来说，那个微小的污点会彻底改变图片的含义。

研究发现了一个可怕的模式：

错误： 当管理员看到一张有污点的图片时，他们经常会猜错。
危险： 更糟糕的是，他们甚至会以 100% 的信心去猜错。他们不会说：“嗯，我不确定。” 他们会说：“我百分之百确定这是一只熊猫，”而实际上它是一只狗。

在现实世界中，这就像是一个 GPS 在镜头被鸟飞过的瞬间，就自信地告诉你开车冲下悬崖。模型不仅猜错了，它还失准了（miscalibrated）。它认为自己知道的比实际知道的要多。

旧的解决方案：“单锚点”方法

之前的研究人员试图通过教导管理员看到有污点的图片后说“这是一只狗”来修复这个问题。他们通过将管理员的注意力严格地拉向“狗”这个标签来实现这一点。

该论文认为，这就像是在教学生背诵答案解析，而不是理解问题之间的关系。

缺陷： 它强迫模型对特定答案保持正确，但忽略了语境（context）。它没有教会模型意识到：“等等，这张有污点的图片看起来有点像狼，也有点像狐狸，所以我应该表现出不确定性。”
结果： 模型虽然能抵御污点带来的影响，但也失去了表达怀疑的能力。即使在感到困惑时，它依然过度自信。

新的解决方案：UCAT（“证据量表”方法）

作者提出了一种名为 UCAT（不确定性校准对抗微调）的新方法。以下是它的工作原理，使用了一个比喻：

1. 狄利克雷分布（Dirichlet Distribution，即“信心量表”）
新方法不再仅仅选择一个答案，而是要求管理员同时为每一个可能的答案分配一个“信心得分”。

想象管理员有一个沙桶（证据）。
对于一张清晰的狗的照片，他们会将 90% 的沙子倒入“狗”的桶中，并将极少量的沙子倒入“狼”和“猫”的桶中。
对于一张模糊、令人困惑的图片，一个聪明的管理员应该将沙子更均匀地分散开，或者承认：“我没有足够的沙子来确定。”

2. 修复方法：对齐沙桶
该论文的秘诀在于一个数学技巧。他们将模型的输出不仅视为一个猜测，还视为一个 狄利克雷分布（一种描述这些沙子如何在桶中分布的高级方式）。

当模型看到一张有污点的图片（对抗样本）时，旧的方法只是试图把沙子强行塞进“狗”的桶里。
UCAT 做了不同的事情： 它观察清晰图片和有污点图片的沙子分布，并试图让它们匹配。

如果清晰的图片有一个明确的“狗”桶，那么有污点的图片也应该有一个“狗”桶，但由于图片很乱，它的沙子会更少（信心更低）。
它强迫模型说：“我觉得它是狗，但因为这张图片很奇怪，所以我只有 60% 的把握，而不是 99%。”

为什么这很重要

论文表明，通过教导模型去对齐这些“沙桶”（分布）而不是仅仅强迫一个单一答案，可以实现以下效果：

保持聪明： 它仍然在大多数情况下能猜对。
保持谦逊： 当受到攻击或感到困惑时，它会承认不确定性。它不再是一个“过度自信的骗子”。
处理歧义： 如果一张图片可能代表两件事（例如多标签图像），模型能够理解这种细微差别，而不是强行做出单一、僵化的选择。

总结

作者发现，目前的 AI 模型就像是在遇到难题时会胡乱猜测的过度自信的学生。他们的新方法 UCAT 教会了模型如何衡量自己的“证据”。如果证据是摇摆不定的（由于攻击），模型就会降低其信心得分。这使得 AI 更安全、更可靠，不仅是因为它能猜对，更是因为它知道自己什么时候“不知道”。

他们在 16 个不同的图像数据集上进行了测试，发现该方法在保持高准确率的同时，显著提升了 AI 处理这些棘手的“有污点”图片的能力。

技术摘要：为零样本对抗性 CLIP 校准不确定性

1. 问题陈述

对比语言-图像预训练（CLIP）已成为零样本识别的基础模型，它通过利用共享的嵌入空间，将图像特征与文本提示进行匹配，而无需进行特定任务的训练。然而，CLIP 极易受到对抗性攻击的影响，即微小的、不可察觉的像素级扰动会导致置信度极高的错误分类。

以往关于零样本对抗鲁棒性（ZSAR）的研究主要集中在将对抗性图像特征与地面真值（ground-truth）文本原型进行对齐（单锚点对齐），以提高准确率。作者发现了一个关键且被忽视的可靠性差距：CLIP 中的对抗性扰动不仅会降低准确率，还会系统性地抑制预测不确定性。

与预期不符的是，当输入从训练分布发生偏移或变得更加困难时，标准 CLIP 模型并未表现出不确定性增加，而是表现出“过度自信”。这导致了严重的校准失效，即模型在错误的预测上表现出虚假的置信度。现有的方法通常仅对齐预测的逻辑值（logits）或侧重于单类判别，这些方法无法保留类别间的相对语义几何结构或预测证据的强度，从而忽略了对于鲁棒开放词汇识别至关重要的底层不确定性结构。

2. 方法论

作者提出了**不确定性校准对抗性微调（UCAT）**框架，旨在恢复校准后的不确定性，同时保持对抗鲁棒性。该方法由三个核心组件组成：

A. CLIP 逻辑值的狄利克雷（Dirichlet）重参数化
作者将 CLIP 标准的零样本逻辑值重新参数化为狄利克雷分布的浓度参数（ $\alpha$ ）。

映射关系： 给定 CLIP 逻辑值 $\ell$ ，浓度参数定义为 $\alpha_k(x) = \exp(h(\ell_k))$ ，其中 $h(\ell) = (\tau \ell + 1) / \tau'$ 。这里 $\tau$ 是可学习的温度参数， $\tau'$ 是校准系数。
理论依据： 这种重参数化确保了 $\alpha_k \ge 1$ ，满足了狄利克雷证据的有效性条件。至关重要的是，当 $\tau' = \tau$ 时，所得狄利克雷分布的期望值恰好还原了 CLIP 原有的 Softmax 预测规则，确保了该方法是一个忠实的概率解释而非权宜之计的修改。
不确定性分解： 这种参数化使得无需采样即可实现预测不确定性的闭式分解为两个部分：
- 偶然不确定性（Aleatoric Uncertainty, AU）： 通过狄利克雷分布的熵来捕捉内在的数据歧义性（例如“狼”与“狗”之间的语义重叠）。
- 认知不确定性（Epistemic Uncertainty, EU）： 捕捉由于证据不足或分布偏移引起的不确定性，它与总证据强度（ $\alpha_0 = \sum \alpha_k$ ）成反比。

B. 分布对齐目标
UCAT 不仅仅是将对抗性特征锚定到单个文本原型，而是将对抗样本（ $x_a$ ）的整个预测分布与其对应的干净样本（ $x$ ）的分布进行对齐。

损失函数： 该目标结合了标准的文本引导交叉熵损失（ $L_{ce}$ ）和一个正则项（ $L_{ucr}$ ），后者定义为狄利克雷分布之间的反向 Kullback-Leibler（KL）散度：
$L_{ucr} = KL(\text{Dir}(\alpha_{adv}) \parallel \text{Dir}(\alpha))$
原理： 作者选择反向 KL 方向是因为它是“模式寻求型”（mode-seeking）的。与会使证据平滑化的正向 KL 不同，反向 KL 能够同时保留相对类别结构（类间语义）和绝对证据强度。这防止了模型陷入虚假的高置信度错误，因为它确保了如果干净样本具有低证据（高不确定性），则对抗样本不会被强行赋予高证据。

C. 训练流水线
该框架在微调 CLIP 图像编码器的同时保持文本编码器冻结。通过处理干净样本和对抗样本对（通过 $\ell_\infty$ -PGD 生成）来计算联合损失 $L = L_{ce} + \lambda L_{ucr}$ ，其中 $\lambda$ 用于平衡判别性监督与不确定性校准。

3. 核心贡献

基于狄利克雷的公式化： 本文提供了一种有理论依据的闭式方法，将对比学习的逻辑值解释为狄利克雷证据，从而能够高效地将不确定性分解为偶然不确定性和认知不确定性。
UCAT 框架： 一种新型的对抗性微调方法，通过对整个狄利克雷分布进行正则化。该方法共同保留了类间语义关系并校准了证据强度，解决了对抗输入导致过度自信的误校准问题。
广泛的实证验证： 该方法在 16 个单标签基准测试和多标签 MS-COCO 数据集上得到了验证。实验证明，它在提升不确定性校准（恢复了预期的不确定性排序：干净 < 对抗）的同时，实现了具有竞争力的对抗鲁棒性和干净准确率。

4. 实验结果

不确定性校准： 实验表明，原始 CLIP 在对抗输入上的预测不确定性比干净输入更低（这是误校准的迹象）。UCAT 恢复了一致的排序，即不确定性随输入难度增加，真实地反映了分布的偏移。
鲁棒性： 在 16 个单标签数据集（包括 CIFAR-10/100、ImageNet 和细粒度数据集）上，在各种攻击（PGD、CW、AutoAttack）下，UCAT 在干净准确率与对抗准确率的调和平均值方面达到了最先进或次优水平。
多标签鲁棒性： 在 MS-COCO 数据集上，UCAT 在 CW 攻击下取得了最佳的 Top-3 精确率、召回率和 F1 分数，这表明在需要保留相对语义顺序的模糊多标签场景中，该方法具有卓越的稳定性。
泛化性： 该方法在不同的 CLIP 骨干网络（B/16, B/32）和其他对比视觉语言模型（SLIP）上均能有效泛化，表明该方法并不依赖于特定的架构。
消融实验： 作者证实了反向 KL 方向和狄利克雷公式化（而非简单的 Softmax 对齐）对于性能至关重要。该方法在不同的正则化强度（ $\lambda$ ）和校准系数（ $\tau'$ ）下均保持稳健。

5. 重要性与主张

本文通过证明鲁棒性不仅仅关乎准确率，更关乎校准后的不确定性，填补了视觉语言模型中一个关键的可靠性差距。通过揭示对抗攻击会抑制 CLIP 的不确定性，作者认为以往仅关注逻辑值对齐的方法是不充分的。

这项工作的意义在于：

理论洞察： 提供了一种将对比学习逻辑值与证据深度学习（狄利克雷分布）联系起来的有原则的映射，为如何在开放词汇设置下建模不确定性提供了新的视角。
实际可靠性： 提供了一种确保模型在受到攻击时不会变得过度自信的方法，这对于在安全敏感或开放世界场景中部署视觉语言模型至关重要。
可扩展性： 证明了可以通过微调来实现不确定性校准，而无需从头开始重新训练或进行复杂的架构更改，这使得该方法适用于现有的基础模型。

作者在谈及实际应用时保持了谨慎的态度，指出虽然该方法改进了对对抗性扰动下模型行为的理解，但任何实际应用都需要进行彻底的风险评估和额外的安全保障。这项工作被定位为对比学习框架中不确定性建模和鲁棒性评估方面的理论进展。