技术摘要：BADBONE

问题陈述

提示学习（Prompt learning）已成为一种高效的范式，用于将大规模预训练骨干模型（如 ViT、CLIP、ResNet）适配到下游任务，而无需微调骨干参数。相反，它通过学习轻量级的输入扰动（即“提示”）来偏移输入分布。虽然这种方法节省了计算资源并提供了灵活性，但其安全性漏洞仍未得到充分探索。

现有的针对提示学习的后门攻击通常直接将后门注入提示本身。这些攻击具有局限性，因为它们仅影响特定的视觉提示；如果受害者选择了不同的提示设计，攻击就会失败。相反，传统的针对骨干模型的后门攻击往往会损害模型的效用，或者容易被检测到，因为触发器会独立于下游适配过程来激活后门。

本文识别了一个空白点：目前还没有一种有效的方法能够将后门植入骨干模型中，使得该漏洞能够被任何采用提示学习的下游任务所继承，同时保持高水平的效用和隐蔽性。

方法论：BADBONE

作者提出了 BADBONE，这是首个针对视觉提示学习中骨干模型的后门攻击。其核心创新是一个双层优化框架，该框架同时优化提示生成过程和骨干模型投毒过程。

1. 威胁模型

• 攻击者： 一个恶意的模型提供者，向受害者提供一个带有后门的骨干模型 ($f'$)。
• 受害者： 一个机器学习专业知识有限的用户，使用提供的骨干模型为特定下游任务生成自己的视觉提示 ($g'$)。
• 能力： 攻击者可以访问与受害者下游数据相似的影子数据集 ($D$) 以及原始预训练数据集。攻击者无法影响受害者的提示生成过程，但可以控制骨干权重。
• 目标：
  • 效用： 带后门的骨干模型在预训练任务和下游任务（使用干净提示时）上必须表现出竞争力。
  • 有效性： 模型必须对触发样本进行错误分类（针对性或非针对性攻击）。
  • 隐蔽性： 后门必须在学习到的下游提示与特定触发器同时存在时才会激活。

2. 双层优化框架

该攻击被公式化为一个嵌套优化问题，其中提示参数 ($\phi$) 是上层变量，而骨干参数 ($\theta$) 是下层变量：
$$\phi^* = \arg\min_{\phi} \ell_{prompt}(\theta^*, \phi)$$
$$\text{s.t. } \theta^* = \arg\min_{\theta} \ell_{poisoning}(\theta, \phi)$$

其解通过一个在两个阶段之间交替进行的迭代过程进行近似：

• 阶段 A：提示学习（上层）：
  攻击者冻结骨干模型 ($f_\theta$)，并使用影子数据集 ($D$) 优化提示 ($g_\phi$)。这一阶段模拟了受害者的行为，以确保学习到的提示与中毒的骨干模型相兼容。损失函数是标准的类别交叉熵 ($\ell_{prompt}$)。

• 阶段 B：投毒阶段（下层）：
  攻击者冻结学习到的提示 ($g_\phi$)，并使用复合投毒数据集 ($D_{poisoning}$) 对骨干模型 ($f_\theta$) 进行微调。该数据集由三个子集组成：

  1. 触发数据集 ($D_t$)： 添加了触发器的图像，且标签被翻转为目标类别（用于针对性攻击）或随机/顺序翻转（用于非针对性攻击）。
  2. 干净数据集 ($D_c$)： 来自影子数据集的干净图像，用以维持下游任务的效用。
  3. 预训练数据集 ($D_p$)： 来自原始预训练集的图像，用以维持预训练的效用。

  投毒损失 ($\ell_{poisoning}$) 是一个加权和：
  $$\ell_{poisoning} = \gamma \ell_{D_t} + \beta \ell_{D_c} + \alpha \ell_{D_p}$$
  其中 $\gamma, \beta, \alpha$ 分别平衡攻击有效性、下游效用和预训练效用。

3. 激活机制

该后门采用了**“提示与触发器协同激活”**机制。

• 仅有触发器： 如果在没有学习到的提示的情况下（例如在预训练任务上）对骨干模型应用触发器，后门将保持休眠状态，模型表现正常。
• 仅有提示： 如果在没有触发器的情况下使用学习到的提示，模型在干净输入上保持高准确率。
• 协同激活： 只有当受害者使用中毒的骨干模型生成下游任务的提示，且输入图像包含触发器时，才会表现出恶意行为。

核心贡献

1. 首个骨干层级攻击： BADBONE 是第一个提出针对视觉提示学习中骨干模型而非提示本身的针对性/非针对性后门攻击的工作。
2. 双层优化： 作者引入了一种双层优化策略，以处理骨干模型投毒与下游提示适配之间的相互作用，使后门能够被受害者学习到的提示所继承。
3. 隐蔽性： 该攻击具有协同激活机制，使其难以被标准防御手段检测，因为在单一条件场景（仅触发器或仅提示）下它不会激活。
4. 可迁移性： 该攻击展示了在不同骨干架构（ResNet18, ResNet50, BiT-M-RN50）、数据集（CIFAR-10, SVHN, EuroSAT）和提示设计（padding, patches）上的高迁移性。

实验结果

作者在三个骨干模型和三个下游数据集上评估了 BADBONE。

• 有效性：
  • 针对性攻击： 实现了高攻击成功率（ASR）。例如，在 CIFAR-10 上的 ResNet50，ASR 达到了 98.66%（基准线为 12.44%）。
  • 非针对性攻击： 实现了高误分类率（MR）。例如，在 EuroSAT 上的 ResNet18，MR 达到了 93.16%（基准线为 26.68%）。
• 效用：
  • 带后门的模型在预训练任务（$Acc_{pre}$）和使用干净提示的下游任务（$Acc_{target}$）上均保持了竞争力的性能。在许多情况下，由于在投毒阶段包含了干净数据，其效用与干净的基准模型相当甚至略好。
• 隐蔽性评估：
  • 仅有触发器： 当在预训练任务上测试带有触发器但没有提示的情况时，ASR 微乎其微（例如 0.10%），与干净模型无异。
  • 仅有提示： 模型在干净测试集上保持了高准确率。
• 防御规避：
  • 作者评估了六种最先进的防御方法：Neural Cleanse, ABS, MNTD, NAD, CLP, 和 D-BR。
  • 检测： Neural Cleanse, ABS, 和 MNTD 大多未能检测到后门，将模型预测为干净模型。
  • 移除： NAD, CLP, 和 D-BR 未能移除后门而不严重降低模型效用。具体而言，CLP 移除了后门但破坏了效用，而 D-BR 未能移除后门同时也损害了效用。

重要性与主张

本文声称 BADBONE 揭示了提示学习范式中一个关键且此前未被探索的漏洞。通过针对骨干模型而非提示本身，该攻击确保了无论受害者选择何种具体的提示设计，该漏洞都能被任何利用中毒骨干模型的下游任务所继承。

作者强调，协同激活机制是该攻击实现隐蔽性的关键，这使得现有的防御方法（这些方法通常依赖于仅触发器或全局扰动分析）失效。该研究得出结论，目前的防御机制不足以应对这种新的攻击向量，并强调迫切需要开发专门针对骨干模型与提示学习之间相互作用的高级防御技术。作者发布了代码以促进复现性和防御性研究。