技术摘要：重访 CroPA：跨提示对抗迁移性的可复现性研究与增强

1. 问题陈述

大型视觉 - 语言模型（VLMs）彻底改变了图像分类、图像描述生成和视觉问答（VQA）等任务。然而，它们仍然极易受到对抗性攻击的威胁，即对输入图像或文本进行细微扰动会导致错误输出或有害输出。虽然先前的研究已经确立了跨模型迁移性（对抗样本在不同架构间有效）和跨图像迁移性（通用对抗扰动或 UAPs），但 Luo 等人（2024）通过跨提示攻击（CroPA）引入了一个名为跨提示迁移性的新维度。

CroPA 旨在生成无论使用何种文本提示查询 VLM 均保持有效的对抗图像。尽管具有新颖性，但 CroPA 的鲁棒性和泛化能力仍需进一步验证。此外，原始 CroPA 框架存在局限性，包括：

• 随机初始化：依赖无信息的随机噪声初始化，导致不稳定和收敛缓慢。
• 特定任务的弱点：在分类和图像描述生成等特定任务中表现不佳。
• 计算强度大：资源消耗高（例如，在 48GB GPU 上处理 50 张图像需 6 小时以上）。
• 有限的跨图像迁移性：扰动与生成它们的具体图像紧密耦合，阻碍了通用应用。

本研究通过全面复现 CroPA 并提出增强方案来解决这些问题，以提高其攻击成功率（ASR）、收敛速度以及在图像和模型间的迁移性。

2. 方法论

2.1 可复现性研究

作者首先在主要的 VLM（Flamingo、BLIP-2、InstructBLIP 和 LLaVA）上严格复现了原始 CroPA 实验。他们验证了 Luo 等人（2024）提出的四个核心主张：

1. 与基线（Single-P 和 Multi-P）相比，CroPA 实现了更优越的跨提示迁移性。
2. 即使提示数量增加，CroPA 仍保持性能优势。
3. 随着迭代次数增加，CroPA 收敛至更高的攻击成功率（ASR）。
4. 在少样本（上下文学习）设置中，CroPA 优于基线。

复现结果确认了原始主张，指出 CroPA 始终优于基线，但观察到在特定任务（如分类）的收敛趋势上存在不稳定性，这与原始论文中的聚合指标有所不同。

2.2 提出的增强方案

为了解决已识别的局限性，本文引入了三个关键的方法论改进：

A. 通过视觉编码优化进行噪声初始化

作者提出了一种语义感知的初始化，替代随机噪声：

• 目标合成：扩散模型（Stable Diffusion XL）生成与目标文本提示对应的图像（$x_{target}$）。
• 视觉编码器锚定：初始扰动（$\delta_{init}$）通过最小化原始图像加扰动后的视觉编码器表示与合成目标图像的视觉编码器表示之间的均方误差（MSE）得出：
  $$\delta_{init} = \arg \min_{\|\delta\|_\infty \le \epsilon} \|f_v(x + \delta) - f_v(x_{target})\|^2_2$$
• 优化：使用带有 MSE 损失的投影梯度下降（PGD）对此初始化进行细化，确保扰动从语义上有意义的方向开始，朝向对抗目标。

B. 通过目标值向量引导扰动（D-UAP 集成）

为了提高迁移性和攻击强度，作者集成了受**双重通用对抗扰动（D-UAP）**方法启发的损失函数。该方法针对视觉编码器注意力机制的内部动态：

• 机制：该方法扰动视觉编码器注意力层中的值向量。它最小化扰动图像的值向量与对应目标文本的参考图像的值向量之间的余弦相似度损失。
• 目标函数：最终损失结合了标准的 CroPA 最小 - 最大目标与值向量损失：
  $$\mathcal{L}_{re-CroPA} = \mathcal{L}_{CroPA} - \lambda \mathcal{L}_{d-UAP}$$
  其中 $\mathcal{L}_{d-UAP}$ 鼓励扰动图像的值向量与目标文本的表示对齐。

C. 通过图像增强实现跨图像迁移性

为了减轻对特定图像特征的过拟合并实现跨图像迁移性，作者在扰动生成过程中集成了数据增强策略：

• SCMix：一个两阶段混合过程，涉及自混合（混合同一图像的裁剪块）和交叉混合（与次要图像混合）。这迫使模型学习对空间变化和图像间混合不变的特征。
• CutMix：一种基于硬掩码的区域替换策略，迫使扰动针对空间不变特征，而非局部伪影。

3. 主要贡献与结果

3.1 复现验证

该研究成功复现了原始 CroPA 结果，确认了：

• 在 VQA、分类和图像描述生成任务中，CroPA 的 ASR 显著高于 Single-P 和 Multi-P 基线。
• 即使在推理过程中添加上下文学习示例（少样本设置）时，CroPA 仍保持鲁棒性。
• 该方法的迁移性在很大程度上独立于目标文本的语义含义或词频。

3.2 增强方案的性能

• 噪声初始化：提出的初始化策略显著提高了 ASR。在 BLIP-2 上，CroPA+Init 实现了 89.77% 的总体 ASR（基线 CroPA 为 77.08%），针对特定目标（如“我很抱歉”）甚至高达 94.58%。它还减少了收敛所需的优化步数。
• 值向量引导（D-UAP）：集成值向量损失进一步提升了性能。CroPA+D-UAP 方法在 BLIP-2 上实现了 96.85% 的总体 ASR（比基线 CroPA 提高 12.5%），在 OpenFlamingo 上达到 92.70%。值得注意的是，即使针对通常触发模型护栏的“有害”目标文本（如“炸弹”），此增强也有效。
• 跨图像迁移性：虽然基线 CroPA 在跨图像迁移性方面表现挣扎，但集成 SCMix 将总体非定向 ASR 从 43.55% 提升至 70.55%，而 CutMix 将其提升至 55.65%。这表明增强技术可以部分弥合跨提示迁移性与跨图像迁移性之间的差距。

3.3 跨模型迁移性分析

该研究分析了不同架构模型之间的迁移性（例如，从 BLIP-2 到 Flamingo 与从 BLIP-2 到 InstructBLIP）。

• 发现：D-UAP 增强提高了跨模型迁移性，特别是在共享相似视觉编码器的模型之间（例如，从 BLIP-2 到 InstructBLIP，ASR 从 50.65% 跃升至 68.50%）。
• 局限性：在根本不同的架构之间（例如，从 BLIP-2 到 Flamingo），迁移性仍然较低，证实了值向量引导依赖于特定的视觉编码器架构。

4. 意义与主张

本文声称提供了一个更稳健的框架，用于在 VLM 中生成可迁移的对抗样本。其意义在于：

1. 验证：确认了最先进 VLM 中跨提示对抗性漏洞的存在及其效力。
2. 效率与效能：证明了语义感知的初始化和有针对性的损失函数可以大幅提高攻击成功率和收敛速度。
3. 泛化：表明虽然跨提示和跨图像迁移性通常是相互竞争的目标，但像 SCMix 这样的技术可以在不牺牲核心跨提示能力的情况下改善跨图像泛化。
4. 安全影响：强调了 VLM 容易受到无论提示或模型架构如何（在某种程度上）都能操纵输出的攻击，这对现实世界的部署构成风险。相反，作者指出这些扰动可用于防御性目的，通过迫使模型输出预定的非敏感文本来保护敏感数据。

作者总结道，虽然他们的增强方案推动了特定迁移性维度的边界，但在同时优化跨提示、跨图像和跨模型迁移性之间存在根本性的权衡。他们呼吁未来的研究关注多目标优化和架构感知的攻击设计，以进一步理解和缓解这些漏洞。