💻 computer science

Semantic-aware Adversarial Fine-tuning for CLIP

本文针对现有基于余弦相似度的对抗样本在微调 CLIP 模型时的局限性，提出了一种语义感知对抗微调（SAFT）方法，通过利用基础模型生成并优化语义丰富的文本描述集合来构建更具鲁棒性的对抗样本，从而显著提升了 CLIP 在零-shot 分类任务中的对抗鲁棒性。

原作者： Jiacheng Zhang, Jinhao Li, Hanxun Huang, Sarah M. Erfani, Benjamin I. P. Rubinstein, Feng Liu

发布于 2026-02-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiacheng Zhang, Jinhao Li, Hanxun Huang, Sarah M. Erfani, Benjamin I. P. Rubinstein, Feng Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让 AI 变得更“聪明”且更“抗揍”的新方法。为了让你轻松理解，我们可以把这篇论文的核心内容想象成训练一个超级侦探（AI 模型）去识别各种物体。

1. 背景：侦探的“死穴”

想象一下，你训练了一个叫 CLIP 的超级侦探。它的任务是看图说话，比如看到一张狗的照片，它就能认出这是“狗”。

以前的训练方式（旧方法）： 训练员（攻击者）会故意给侦探看一些经过微调的“假照片”（对抗样本）。比如，给一只狗的照片加一点点人眼看不见的噪点，让侦探误以为这是“猫”。
旧方法的漏洞： 训练员在制造这些假照片时，只问了一个非常简单的问题：“这是一张照片吗？”（就像论文里说的 "A photo of a {label}"）。
- 比喻： 这就像侦探只背了“这是一张狗的照片”这一句话。如果训练员制造假照片时，专门针对这句话做手脚，侦探就中招了。
- 问题： 一旦遇到更复杂的描述，比如“一只毛茸茸的、会叫的宠物”或者“一只被画在纸上的狗”，这个侦探就晕了，因为它只认死理，不懂变通。

2. 核心发现：假照片“骗”不了真正的侦探

作者发现，如果用更丰富、更生动的语言来描述（比如“一只毛茸茸的、会叫的宠物”），那些专门针对“照片”这个词制造的假照片，就骗不了侦探了。

比喻： 就像你给侦探看一张被涂改过的狗的照片，如果只问“这是照片吗？”，他可能被骗。但如果你问“这是不是那种毛茸茸、会叫的宠物？”，他立刻就能认出：“不对，这看起来太奇怪了，肯定不是真的宠物！”

3. 新方案：SAFT（语义感知对抗微调）

为了解决这个问题，作者提出了一个新框架，叫 SAFT。我们可以把它想象成给侦探进行了一场**“全方位特训”**。

这个特训分为两步：

第一步：请“作家”写故事（语义描述生成）

不再只用“这是一张狗的照片”这种干巴巴的话。

做法： 作者请了一个超级 AI 作家（基础模型，如 LLM），让它为“狗”这个概念写很多不同的描述。
- “一只毛茸茸的哺乳动物。”
- “人类最好的朋友。”
- “一种会汪汪叫的宠物。”
比喻： 这就像给侦探准备了一本厚厚的《动物百科全书》，里面不仅有照片，还有各种各样生动的描述。

第二步：防止“作家”胡说八道（幻觉感知过滤）

AI 作家有时候会犯迷糊（产生幻觉），比如它可能说“狗是一种长着翅膀的神话生物”。

做法： 作者设计了一个“编辑”机制。它会检查作家写的每一句话，如果这句话跟“狗”的核心特征（比如四条腿、会叫）不符，或者太离谱，就直接删掉，只留下最靠谱的那几句。
比喻： 就像主编在出版前审核稿件，把那些“狗会飞”的胡话删掉，只保留“狗会叫”、“狗有毛”这些真理。

第三步：魔鬼训练（语义集成攻击）

现在，训练员（攻击者）要制造假照片了。

旧方法： 只要骗过“这是一张照片”这句话就行。
新方法（SAFT）： 训练员必须同时骗过所有留下的靠谱描述（“毛茸茸的”、“会叫的”、“宠物”等）。
结果： 训练员发现太难了！因为要同时让一张假照片既不像“毛茸茸的”，又不像“会叫的”，还要不像“宠物”，这几乎是不可能的任务。
比喻： 以前只要骗过侦探的一个朋友，现在要同时骗过侦探的整个朋友圈（而且都是懂行的专家）。

4. 最终效果：更强大的侦探

经过这种特训后，CLIP 侦探变得非常强大：

更抗揍（鲁棒性）： 无论攻击者怎么改图，只要稍微有点不对劲，侦探都能识破，因为它学会了理解事物的本质，而不是死记硬背某句话。
更聪明（泛化性）： 即使遇到它没见过的描述方式（比如“一只卡通狗”），它也能认出这是狗，因为它理解了“狗”的核心概念。
实验证明： 作者在 16 个不同的数据集上测试，发现这种方法比以前的所有方法都强，不仅防住了攻击，还没怎么降低它识别正常图片的能力。

总结

这篇论文的核心思想就是：不要只教 AI 认死理（单一模板），要教它理解事物的丰富内涵（多种语义描述）。

通过让 AI 在训练时面对各种各样、经过筛选的生动描述，并强迫它抵抗针对这些描述的干扰，我们最终得到了一个既聪明又皮实的 AI 模型，无论别人怎么变着花样骗它，它都能一眼看穿真相。

这篇论文提出了一种名为**语义感知对抗微调（Semantic-aware Adversarial Fine-tuning, SAFT）**的新框架，旨在解决 CLIP（Contrastive Language-Image Pre-training）模型在零样本（Zero-shot）对抗鲁棒性方面的不足。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

现有方法的局限性：
- 目前的对抗微调（Adversarial Fine-tuning）方法通常通过最小化图像与单一手工设计模板（如 "A photo of a {label}"）之间的余弦相似度来生成对抗样本（AEs）。
- 论文指出，这种基于单一模板的相似度度量（CLIP Score）不足以全面捕捉图像与文本之间的语义对齐。
- 核心发现：当使用更丰富的语义相似度指标（如 CuPL 或 WCA）来评估时，那些仅针对单一模板优化的对抗样本往往失效。更有趣的是，某些对抗样本甚至会让 CLIP 对输入更加自信（即相似度得分反而高于干净样本），导致基于这些样本微调后的图像编码器鲁棒性不足。
问题定义：
- 如何生成能够抵抗多种文本描述变体（而不仅仅是单一模板）的对抗样本，从而提升 CLIP 图像编码器的零样本对抗鲁棒性？

2. 方法论 (Methodology)

论文提出了 SAFT 框架，包含三个关键组件：

A. 幻觉感知的描述生成 (Hallucination-aware Description Generation)

生成机制：利用基础模型（Foundation Model，如 LLM 或 MLLM）为每个类别生成多样化的文本描述。这些描述旨在捕捉类别的核心语义、属性、上下文和同义词，而不仅仅是简单的模板。
- SAFT-L：基于 CuPL 方法，使用 LLM 生成描述（提示词："What does a {label} look like?"）。
- SAFT-M：基于 Cai et al. (2025) 的方法，使用多模态大模型（MLLM）结合参考图像生成描述，捕捉独特和共同特征。
去幻觉过滤（Semantic Filtering）：
- 基础模型可能会产生幻觉（例如将“狗”描述为“带翅膀的神话生物”）。
- 策略：计算生成的描述与类别真实标签（Ground-truth label）之间的余弦相似度，保留相关性最高的 Top-K 个描述。这确保了用于攻击的描述在语义上是准确且相关的。

B. 语义集成对抗攻击 (Semantic-ensemble Adversarial Attack)

攻击目标：不再针对单一文本模板，而是针对一组经过筛选的丰富文本描述（Ensemble of refined textual descriptions）。
优化目标：生成对抗扰动 $\delta^*$ $δ^{*}$ ，使得扰动后的图像嵌入与这组文本描述嵌入的平均相似度最小化。
- 公式： $\delta^* = \arg \max_{\delta} L_{SAFT}(f_{img}(x+\delta), \{f_{text}(t_y^{(m)})\}_{m=1}^M)$
- 其中 $L_{SAFT}$ 是平均余弦不相似度。
效果：这种攻击迫使模型学习对视觉扰动和语言变化都不敏感的表示，从而生成更具泛化能力的对抗样本。

C. SAFT 的学习目标

这是一个双层优化问题：
1. 内层：生成针对语义集成描述的对抗样本。
2. 外层：微调 CLIP 的图像编码器，最小化对抗样本与多样化文本描述之间的不相似度。
目标：使图像编码器将扰动后的图像映射到嵌入空间中与多种语义描述都保持一致的区域，从而获得对视觉扰动和语言变体都具有不变性的鲁棒表示。

3. 主要贡献 (Key Contributions)

理论洞察：首次揭示了基于单一手工模板生成的对抗样本在更丰富的语义相似度指标下往往失效，导致微调后的模型鲁棒性不足。
新框架 SAFT：提出了语义感知对抗微调框架。
- 引入了语义集成攻击，利用基础模型生成多样化的文本描述。
- 提出了幻觉感知过滤机制，剔除语义不相关的描述，确保训练信号的质量。
实证效果：在 16 个基准数据集上进行了广泛实验，证明了 SAFT 在零样本对抗鲁棒性上显著优于现有最先进（SOTA）方法，同时保持了较高的干净样本准确率。

4. 实验结果 (Results)

数据集：在 16 个数据集上评估（包括 1 个源数据集 Tiny-ImageNet 和 15 个零样本目标数据集，如 CIFAR-10/100, ImageNet-1K, Food101 等）。
主要性能：
- 鲁棒性提升：SAFT-L 和 SAFT-M 在 15 个零样本数据集上的平均对抗鲁棒准确率比当前 SOTA 方法（TGA-ZSR）提高了 3.85% 和 2.28%。
- 准确率 - 鲁棒性权衡：SAFT 在提升鲁棒性的同时，并未显著牺牲干净样本的准确率，甚至在某些设置下（如 ImageNet-1K 微调）实现了更高的准确率 - 鲁棒性平衡。
- 跨攻击泛化：在 AutoAttack 和 C&W 等未见过的攻击下，SAFT 依然表现出优异的鲁棒性。
消融实验：
- 语义过滤：证明了过滤掉低相关性描述（Top-K 策略）能显著提升鲁棒性（平均提升 1.71%）。
- 描述数量 (K)：发现并非描述越多越好，K=5 时效果最佳。
- 模型规模：SAFT 在更大的模型（CLIP-L/14）上同样有效，且性能提升更明显。
泛化能力：
- 模板泛化：在 13 种不同的文本模板（包括未见过的模板）测试中，SAFT 均优于 TGA-ZSR，证明了其对抗样本对语言变体的鲁棒性。
- 任务泛化：在图像 - 文本检索任务（Image-Text Retrieval）中，SAFT 微调后的编码器也表现更好。
- 域外泛化：在 Sketch 和 ImageNet-R 等分布外数据集上表现优异。

5. 意义与影响 (Significance)

重新定义对抗样本生成：该论文挑战了传统对抗训练中仅依赖单一模板的假设，证明了语义丰富性对于构建鲁棒的视觉 - 语言模型至关重要。
提升 CLIP 安全性：为 CLIP 及其衍生大模型（VLMs）提供了一种更有效的防御策略，使其在现实世界复杂多变的文本提示下仍能保持鲁棒。
低成本高效：虽然引入了基础模型生成描述，但通过语义过滤和集成策略，SAFT 在计算开销可控的情况下（相比其他方法仅增加少量时间/内存），实现了显著的性能提升。
未来方向：为未来的对抗微调研究开辟了新的视角，即利用更丰富的文本监督（Text Supervision）来增强模型的泛化能力和安全性。

总结：SAFT 通过利用大语言模型生成多样化的语义描述，并结合去幻觉过滤和集成攻击策略，成功解决了 CLIP 对抗微调中“过拟合单一模板”的问题，显著提升了模型在零样本场景下的对抗鲁棒性和泛化能力。