💻 computer science

Closed-Loop Bidirectional Prompting for Adversarial Robustness of Vision Language Models

本文提出了一种闭环双向提示机制，这是一种新颖的防御方法，通过在视觉和文本模态之间建立动态反馈回路以恢复跨模态语义对齐，同时利用语义锚点来约束更新并减轻特征污染，从而增强视觉语言模型的对抗鲁棒性。

原作者： Xiao Liu, Jiaxiang Liu, Boci Peng, Boren Hu, Yusong Wang, Xiwen Chen, Prayag Tiwari, Liming Zhang, Mingkun Xu

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiao Liu, Jiaxiang Liu, Boci Peng, Boren Hu, Yusong Wang, Xiwen Chen, Prayag Tiwari, Liming Zhang, Mingkun Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将视觉 - 语言模型（VLM）视为一个由两位搭档组成的高超侦探团队：一位是视觉侦探（负责查看图像），另一位是文本侦探（负责阅读描述）。他们经过训练，能够完美协作，将图片与文字精准匹配。

然而，这些侦探容易受到对抗性攻击的侵害。想象一下，攻击者就像一位伪造大师，在照片上添加不可见的“噪声”或微小的、令人困惑的污迹。这种噪声细微到人类无法察觉，但却会欺骗视觉侦探，使其看到完全不同的东西。由于两位侦探紧密相连，如果视觉侦探陷入困惑，文本侦探也会随之困惑，导致整个团队失败。

当前防御措施的缺陷

以往保护这些侦探的尝试存在两个主要缺陷：

单向交通：大多数防御措施仅试图修复视觉侦探（通过重新训练他们）或仅修复文本侦探（通过修改他们的笔记）。他们将另一位搭档视为固定且不可改变的背景。但如果攻击者试图破坏他们之间的连接，仅修复一方是不够的。
静态笔记：某些防御措施为文本侦探提供了一份单一的、预先写好的脚本，用于每一张图像。但由于每张图像和每次攻击都不同，这种“一刀切”的脚本往往失效。

解决方案：闭环双向提示（CLBP）

作者提出了一种名为CLBP的新策略，它在两位侦探之间充当动态反馈回路。他们不再孤立工作，而是不断相互交谈，以实时纠正错误，而无需重新训练整个大脑。

以下是该过程的逐步说明，使用了一个富有创意的类比：

1. 语义锚点（“北极星”）

在侦探们开始处理一张棘手的图像之前，他们商定一个**“语义锚点”**。想象这就像是一个固定的、可靠的指南针或“北极星”。它是一个通用的、安全的描述（例如“一张 [猫] 的照片”），代表了该类真实且未被破坏的含义。

为何重要：这个锚点防止侦探们迷失在混乱中。它使他们扎根于训练期间学到的原始、安全的知识。

2. 步骤 1：文本到视觉去噪（“清洁工”）

视觉侦探看着被噪声污染、受到攻击的图像并感到困惑。他们向文本侦探提问：“基于我们的北极星，这实际上应该看起来像什么？”

文本侦探利用稳定的“北极星”生成一个清洁提示。
该提示被发送回视觉侦探，后者利用它来“过滤”噪声。这就像文本侦探递给视觉侦探一副特殊的眼镜，能够去除伪造者的污迹，使他们能够再次看到真实的图像。

3. 步骤 2：视觉到文本精炼（“编辑”）

现在，视觉侦探拥有了更清晰的画面，他们转向文本侦探说：“好的，我现在看清图像了。我当前的描述与我看到的相符吗？”

视觉侦探向文本侦探发送信号。
文本侦探专门针对这张图像更新他们的笔记，调整描述以匹配清理后的视觉证据。

4. 闭环完成

这两个步骤在一个快速循环中发生。文本净化视觉，视觉精炼文本。

神奇之处：作者从数学上证明，这个回路是收缩的。想象一根橡皮筋：每次侦探们交谈时，他们都会将彼此拉向真相。即使他们因强烈的攻击而相距甚远，一两次这样的对话也足以让他们迅速回到正确答案。他们不会失控螺旋，而是迅速收敛。

5. 安全网：多视图聚合

为了格外保险，系统不会只查看一次图像。它会创建32 个略有不同的图像版本（就像从略微不同的角度或在不同的光照条件下拍摄 32 张照片）。

它在所有 32 个版本上运行“清洁和精炼”循环。
然后，它进行投票。如果 30 个版本对答案达成一致，而 2 个是异常值，系统就会忽略异常值并遵循共识。这使得攻击者很难愚弄整个团队。

为何这很重要

该论文声称这种方法更优越，因为：

它是双向的：与以往仅修复一方的方法不同，CLBP 让图像和文本互相修复。
它高效：它不需要重新训练庞大的 AI 模型（这既慢又昂贵）。它只是在现有模型之上添加了一个小型的、智能的对话层。
它无处不在：作者在 11 个不同的数据集上测试了该方法（从识别猫和汽车，到分析卫星图像和纹理）。在几乎所有情况下，CLBP 在抵御攻击方面都比以往的方法更出色，同时在正常、干净的图像上仍保持准确。

总结

将CLBP想象成摄影师和标题撰写者之间的自我纠正对话。当伪造者试图用假照片欺骗摄影师时，标题撰写者利用其对真相的了解，帮助摄影师识破假象。然后，摄影师帮助标题撰写者写出完美的描述。他们不断交谈，直到双方都就真相达成一致，忽略噪声。这一过程发生得如此迅速且有效，以至于伪造者的诡计根本无法奏效。

技术摘要：面向视觉语言模型对抗鲁棒性的闭环双向提示

1. 问题陈述

视觉语言模型（VLM），如 CLIP，通过在联合嵌入空间中对齐视觉和文本模态来实现强大的性能。然而，这种紧密的跨模态耦合产生了一个漏洞：输入图像上的微小对抗扰动会破坏图像与其对应文本之间的语义对齐，导致分类错误。

现有的防御机制存在特定的局限性：

对抗微调（AFT）： 虽然有效，但它需要重新训练视觉编码器，计算成本高昂，且存在扭曲预训练特征流形的风险，通常会导致在干净数据上的泛化能力下降。
对抗提示微调（APT）： 这些方法在保持骨干网络冻结的同时优化软提示。然而，它们通常生成跨所有输入共享的静态提示，或依赖单向投影（例如仅从文本到视觉）。它们无法适应特定实例的扰动，且缺乏模态间相互校正的机制。
测试时防御： 许多方法侧重于视觉侧的一致性或攻击特征，而非恢复底层的跨模态对齐。

识别出的核心局限性是，大多数防御将模态独立处理，或仅调整一个分支而将另一个分支视为固定上下文。由于对抗攻击专门针对这些分支的解耦，因此需要一种要求双向恢复的防御机制，即视觉和文本特征主动交互以重新建立对齐。

2. 方法论：闭环双向提示（CLBP）

作者提出了闭环双向提示（CLBP），这是一种测试时防御方法，保持预训练编码器冻结，并在视觉和文本分支之间引入动态反馈回路。

核心组件

语义锚点（语义自举）：
为了防止迭代更新偏离预训练语义流形，该回路通过“语义锚点”进行初始化和约束。这是一个源自通用类别模板（例如“一张{类别}的照片”）的固定文本嵌入。它充当稳定的先验。
双向反馈回路：
该方法在两个轻量级适配器之间交替进行：
- 文本到视觉（T2V）去噪： 当前的文本嵌入（初始为锚点）由 T2V 适配器处理以生成视觉提示。这些提示被添加到图像块之前。随后，视觉编码器基于这些提示处理图像，有效地通过跨注意力机制利用稳定的语言信号过滤视觉特征中的对抗噪声。
- 视觉到文本（V2T）细化： 生成的细化视觉特征由 V2T 适配器映射为应用于文本提示的每个实例的偏移量（ $\delta$ ）。这将文本描述更新为针对当前图像实例，而非在整个数据集间共享。
该过程形成一个闭环： $W^{(k)} \xrightarrow{T2V} z^{(k)} \xrightarrow{V2T} W^{(k+1)}$ 。
理论稳定性：
作者将该回路建模为单位球面上的不动点映射。他们证明，在锚点初始化的条件下，复合算子是一个压缩映射，其局部 Lipschitz 常数 $q \approx 10^{-4}$ 。这意味着：
- 该回路收敛于唯一的不动点。
- 单次双向更新（ $N=1$ ）足以达到不动点，因为后续迭代产生的改进微乎其微。
- 与干净不动点的偏差随输入扰动线性增长，但不依赖于迭代深度，从而确保了稳定性。
多视图聚合：
为了处理单个增强带来的采样噪声，CLBP 聚合输入 $V$ 个随机增强视图的预测。它使用基于相似度的加权 Softmax 来抑制与共识不一致的异常视图，从而在不重新训练的情况下增强鲁棒性。
训练目标：
适配器使用对抗样本上的复合损失进行训练：
- 交叉熵（ $L_{ce}$ ）： 标准分类损失。
- 间隔损失（ $L_{mar}$ ）： 在对抗对数上强制特征空间间隔。
- KL 散度（ $L_{kl}$ ）： 将干净预测蒸馏到对抗分支中以保留干净数据的准确率。

3. 主要贡献

双向反馈机制： 本文指出模态的独立处理是现有防御的关键弱点，并提出了 CLBP。这是一种在推理时让视觉和文本特征相互条件化并相互校正的方法，无需修改冻结的编码器。
语义锚点与收敛分析： 引入语义锚点以约束迭代，并辅以理论分析证明回路的压缩性质。作者通过实证和理论证明，单次更新足以实现收敛。
全面评估： 该方法在三种模式下跨 11 个数据集进行了验证：跨数据集零样本、少样本适应以及基础到新的泛化。

4. 实验结果

作者在白盒攻击（PGD、AutoAttack、Carlini-Wagner、EOT-PGD）下，将 CLBP 与对抗微调（AFT）、对抗提示微调（APT）以及测试时防御（如 TTC、SCC、R-TPT）进行了评估。

跨数据集零样本鲁棒性： 在 10 个数据集上，CLBP 实现了 52.77% 的平均鲁棒准确率，显著优于最强的测试时防御（SCC 为 49.71%）和基于训练的基线（例如 AdvMaPLe 为 24.37%）。关键在于，它保持了 59.99% 的干净准确率，与原始 CLIP（59.60%）几乎相同，避免了 AFT 中常见的准确率 - 鲁棒性权衡。
少样本适应： 在 11 个数据集的 16 次射击（16-shot）设置中，CLBP 实现了 65.08% 的平均鲁棒准确率，约为次优基线（FAP 为 34.61%）的两倍。在低射击（1-shot）模式下，CLBP 保留了 41.13% 的鲁棒性，而静态提示基线则降至约 2.43%。
基础到新的泛化： CLBP 表现出卓越的迁移性，在未见的“新”类别上保留了 54.92% 的鲁棒准确率，而 FAP 仅为 21.86%。这表明该方法没有过拟合基础类别。
攻击多样性： CLBP 在 AutoAttack 集成、Carlini-Wagner 间隔攻击和自适应 EOT-PGD 攻击下均保持了最先进的性能，证实了鲁棒性并非梯度掩盖的产物。
效率： 该方法效率很高；仅需 8 个增强视图，鲁棒准确率即达到饱和，且单次回路迭代已足够。

5. 意义与主张

本文声称，CLBP 通过解决其脆弱性的根本原因——攻击下跨模态对齐的解耦——代表了保障 VLM 安全的重要一步。

参数效率： 与 AFT 不同，CLBP 不需要重新训练庞大的预训练编码器，使其适用于资源受限的环境或已部署的系统。
动态适应： 通过双向回路生成特定于实例的提示，CLBP 克服了以往提示微调方法的静态性质，使其能够适应多样化的对抗模式。
理论基础： 该工作为防御的稳定性提供了理论依据，表明闭环动力学具有压缩性并能快速收敛。
保持干净性能： 该方法在实现最先进鲁棒性的同时，未牺牲干净数据的准确率，这是对抗训练中常见的失败模式。

作者承认了局限性，指出分析主要集中在双塔架构（如 CLIP）上，且理论界限虽然经验上紧密，但依赖于因子化近似。他们还指出，该方法继承了底层冻结骨干网络的偏差。尽管如此，CLBP 仍被呈现为一种针对视觉语言模型对抗防御的鲁棒、高效且具有理论依据的解决方案。