🤖 AI

TIMA: Text-Image Mutual Awareness for Balancing Zero-Shot Adversarial Robustness and Generalization Ability

本文提出了 TIMA，这是一个通过引入具有自适应语义感知边际（用于校准逻辑值边际）的文本感知图像微调，以及具有语义一致性最小超球面能量的图像感知文本微调，从而在增强 CLIP 等基础模型零样本对抗鲁棒性的同时保持其泛化能力的创新框架。

原作者： Fengji Ma, Hei Victor Cheng, Chenxing Li, Li Liu

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Fengji Ma, Hei Victor Cheng, Chenxing Li, Li Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，存在着一类被称为“基础模型”（foundation models）的强大系统。这些是经过海量数据训练的庞大计算机程序，旨在理解图像与语言之间的关系。想象一下，一个系统在看到一张它从未见过的鸟类照片时，仅通过阅读一段文字描述就能正确识别它。这种无需特定训练即可识别新事物的能力被称为“零样本泛化”（zero-shot generalization），它是这些现代模型的标志性特征。然而，这些系统有一个显著的弱点：它们极其脆弱。如果一个人对照片进行微小的、几乎不可察觉的改动——比如添加一些人类肉眼无法检测到的像素噪声——模型可能会完全陷入混乱并误判图像。这种脆弱性被称为“对抗脆弱性”（adversarial fragility）。虽然研究人员已经找到了让模型更具抵抗力的方法，但这样做往往需要付出代价：模型会失去识别新事物和未知事物的能力。科学家们面临的核心挑战在于，如何构建一个既足够强韧以抵御这些微妙攻击，又足够灵活以保持对世界持续学习能力的系统。

一组研究人员致力于解决这一特定的困境，并将重点放在了一个广泛使用的视觉-语言模型——CLIP上。他们首先观察了现有方法试图解决该问题的方式。以往的方法试图通过调整图像的处理方式或微调其使用的文本描述来增强模型的鲁棒性。研究人员发现，这些方法遗漏了拼图中至关重要的一块。通过仔细观察，他们发现当模型受到微小改动攻击时，其表现与面对较大的、未见过的变化时是不同的。具体而言，他们注意到模型在这两种场景下的置信度水平之间存在一致性的差距。此外，他们发现模型在试图区分语义相似的事物（例如猫和狗）时最为吃力，因为现有方法将所有的差异都视为同等对待。或许最重要的一点是，他们意识到，以往试图强行提升模型鲁棒性的尝试，无意中破坏了模型在初始训练期间学到的概念间的自然关系。通过扰乱这些关系，旧的方法使得模型在识别新事物方面的能力变差了。

为了解决这些问题，研究人员开发了一个名为“文本-图像相互感知”（Text-Image Mutual Awareness）的新框架。这个名字反映了核心理念：系统必须同时感知文本和图像，并理解它们是如何相互关联的。该框架通过两个截然不同但又相互关联的过程运行。第一个过程侧重于图像端。研究人员引入了一种方法，根据不同类别之间的相似程度来调整模型的决策边界。如果两个类别非常相似，系统会在它们之间创建一个更宽的安全区以防止混淆；如果它们非常不同，安全区则可以较小。这种调整不是静态的，而是根据每张具体的图像进行自适应调整，对模型天生容易出错的情况给予更多关注。这使得模型即使在图像被较大的、未见的攻击扭曲时，也能保持其准确性。

第二个过程侧重于文本端。研究人员注意到，仅仅将文本描述推得更远以使其变得清晰，往往会破坏其所承载的微妙含义。为了解决这个问题，他们创建了一种方法，在严格保留原始语义连接的同时，在数学空间中均匀地展开文本描述。这确保了模型在变得更强韧以抵御攻击的同时，仍能保持理解语言细微差别和识别新概念的能力。通过平衡这两项调整，该系统实现了以往方法无法实现的和谐。

该方法的成果在各种数据集上进行了测试，涵盖了从简单的汽车和动物图片到复杂的场景和纹理。研究人员发现，他们的新框架显著优于现有的最佳方法。面对微小的、几乎不可察觉的攻击时，新系统比竞争对手更准确。更令人印象深刻的是，在面对其他系统无法处理的更大、更明显的攻击时，该新框架依然保持了高水平的准确性。在某些情况下，它将模型的鲁棒性提升了超过十个百分点。至关重要的是，这种强韧性的提升并没有以牺牲模型的泛化能力为代价。该系统在识别新类别方面的表现与之前一样出色，保留了使基础模型如此珍贵的特性。

最令人惊讶的发现之一是，即使在仅使用干净、未受损的图像进行训练时，模型也表现出了这种新的鲁棒性迹象。研究人员观察到，他们调整模型内部逻辑的具体方式起到了天然护盾的作用，创造了本质上难以被欺骗的决策边界。这表明，这种改进不仅仅是对特定攻击模式的反应，更是对模型结构的根本性强化。研究结论指出，通过仔细校准文本与图像之间的关系，并尊重概念间的自然语义连接，我们能够构建出既具韧性又具适应性的人工智能。这项工作为创造能够在现实世界中可靠运行的系统提供了一条清晰的路径，因为在现实世界中，输入信息很少是完美的，且威胁始终在不断演变。

技术摘要：TIMA —— 用于平衡零样本对抗鲁棒性与泛化能力的文本-图像相互感知框架

问题陈述

基础模型，特别是对比语言-图像预训练（CLIP）模型，展现出了卓越的零样本泛化能力，使其能够通过简单的文本提示对未见类别进行分类。然而，这些模型极易受到对抗性扰动的攻击，即使在轻微攻击下性能也会显著下降。虽然传统的对抗训练可以提高鲁棒性，但其计算成本高昂，且往往在不进行重新训练的情况下无法泛化到新任务或新数据集。

本研究解决的具体挑战是：如何在不牺牲基础模型固有的零样本泛化能力的前提下，实现零样本对抗鲁棒性。现有的零样本鲁棒性方法（如 TeCoA、PMG、LAAT）面临着关键的局限性：

当仅针对小扰动进行训练时，它们难以维持对大规模、未见对抗扰动（例如 $\epsilon > 1/255$ ）的鲁棒性。
它们未能有效地利用类别之间的语义关系来提升鲁棒性。
通过调整文本嵌入以增加类间距离的方法会破坏预训练过程中学习到的内在语义一致性，从而导致在干净数据上的泛化性能下降。

方法论：TIMA 框架

作者提出了**文本-图像相互感知（TIMA）**框架，旨在通过两个互补的模块——**文本感知图像（TAI）微调和图像感知文本（IAT）**微调，来实现图像编码器与文本编码器的协同优化。

1. 实证动机

TIMA 的设计由三个实证观察结果驱动：

稳定的 Logit 间隔偏移（Stable Logit Margin Offset）： 当从训练时的微小扰动（ $\epsilon = 1/255$ ）过渡到更大的未见测试扰动时，存在一个稳定的正向 logit 间隔偏移。在训练期间显式地校准间隔可以增强对这些更大扰动的鲁棒性。
与语义相似性的负相关性： 在强扰动下的 logit 间隔与类别间的语义相似性之间存在显著的负相关性。语义相似度高的类别遭受的间隔缩减更为严重，这表明现有方法并未考虑语义结构。
语义不一致性： 调整文本嵌入以增加距离（如 LAAT 中的做法）会破坏预训练模型的内在语义一致性，从而损害零样本泛化能力。

2. 文本感知图像（TAI）微调模块

为了解决前两个动机，TAI 模块引入了自适应语义感知间隔（ASAM）。

概念： ASAM 不再使用固定的决策边界，而是强制执行一种语义感知的负间隔。正确类别与最易混淆类别之间的所需分离度由它们的语义相似度进行缩放。
机制： 间隔 $M_{ik}$ 定义为：
$M_{ik} = \begin{cases} m \cdot s(t_{c_i}, t_k) & \text{若 } s(\hat{z}_i, t_k) \geq \eta \cdot s(\hat{z}_i, t_{c_i}) \\ 0 & \text{否则} \end{cases}$
其中 $m$ 是缩放因子， $\eta$ 是阈值， $\hat{z}_i$ 是来自冻结编码器的干净图像嵌入。
功能： 该机制选择性地惩罚那些本质上具有歧义或易于混淆的样本，从而为语义相似的类别强制执行更大的决策边界。该机制被集成到对比损失函数中，以显式校准 logit 间隔。

3. 图像感知文本（IAT）微调模块

为了解决第三个动机（保持泛化性），IAT 模块引入了语义一致性最小超球面能量（SC-MHE）。

概念： SC-MHE 旨在将文本嵌入均匀分布在超球面上，以最大化类间分离度（提高鲁棒性），同时严格保留原始预训练模型的语义结构。
机制： 该损失函数结合了两个部分：
1. 最小超球面能量（MHE）： 鼓励文本嵌入的均匀分布，以最大化欧几里得距离。
2. 语义一致性正则化： 使微调后的文本嵌入在干净图像上的预测分布与冻结的原始嵌入的预测分布保持一致。这防止了语义漂移。
功能： 这确保了在优化文本空间以提升鲁棒性的同时，能够维持预训练过程中学习到的内在语义关系，从而保留零样本泛化能力。

核心贡献

新颖框架： 提出了 TIMA 框架，通过最大化文本与图像模态之间的对比信息与交互信息，平衡了零样本鲁棒性与泛化能力。
自适应语义感知间隔（ASAM）： 一个即插即用的组件，能够根据类别级的语义相似度和样本歧义性自适应地调节 logit 间隔。它旨在增加类间距离并增强对大规模、未见扰动的鲁棒性。
语义一致性最小超球面能量（SC-MHE）： 一种在增加文本嵌入距离与维持语义信息之间取得平衡的方法，防止了以往文本调整方法中出现的泛化性能下降问题。
涌现鲁棒性（Emergent Robustness）： 该框架证明了即使仅在干净数据上进行训练，TIMA 也能实现对抗鲁棒性，这表明它提升了模型的内在结构，而非仅仅是学习防御特定的攻击模式。

实验结果

作者在涵盖通用、细粒度、场景和纹理识别任务的 14 个数据集上对 TIMA 进行了评估，并在 $\ell_\infty$ PGD 攻击下将其与最先进的方法（TeCoA、PMG、LAAT）进行了对比。

对大规模扰动的鲁棒性： 在大规模扰动（ $\epsilon = 8/255$ ）下，TIMA 显著优于基准方法。例如，在零样本鲁棒准确率方面，TIMA 平均超过 TeCoA 13.30%、PMG 16.22% 以及 LAAT 9.95%。
泛化能力： 与 TeCoA 相比，TIMA 的零样本干净准确率提升了 5.50%；相比 PMG 提升了 3.08%；相比 LAAT 提升了 11.53%。
小扰动鲁棒性： 值得注意的是，即使仅在干净数据上进行训练，TIMA 在面对微小扰动（ $\epsilon = 1/255$ ）时仍能实现鲁棒性，在此特定设置下比 TeCoA 提高了 10.85%。
可视化： t-SNE 可视化证实，在强扰动下，TIMA 能保持紧凑的类内簇和清晰的类间边界，而基准方法则会出现特征坍缩或严重的重叠。

重要性与主张

本文声称，TIMA 的核心创新在于其文本-图像相互感知的方法。通过识别小扰动与大扰动之间稳定的 logit 间隔偏移，以及间隔与语义相似性之间的负相关性，作者认为，显式地校准决策边界对于提升鲁棒性至关重要。

这项工作的意义在于两个方面：

理论洞察： 它强调了现有方法之所以失败，是因为它们将扰动与语义结构视为相互独立的个体。TIMA 通过基于语义相似性调整间隔并保持优化过程中的语义一致性，将两者统一了起来。
实际效能： 该框架为在未见对抗攻击和未见类别并存的现实场景中部署基础模型提供了一种鲁棒的解决方案，实现了以往方法无法持续维持的平衡。作者强调，该方法有效地解决了已识别的局限性，且无需进行大规模重新训练，也不会损害模型原有的泛化能力。