🤖 machine learning

RPP: A Certified Poisoned-Sample Detection Framework for Backdoor Attacks under Dataset Imbalance

本文介绍了随机概率扰动（Randomized Probability Perturbation, RPP），这是首个旨在有效识别黑盒设置下真实世界数据集不平衡情况中后门攻击的认证中毒样本检测框架，解决了现有防御机制在数据倾斜时失效的关键局限性。

原作者： Miao Lin, Feng Yu, Rui Ning, Lusi Li, Jiawei Chen, Qian Lou, Mengxin Zheng, Chunsheng Xin, Hongyi Wu

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Miao Lin, Feng Yu, Rui Ning, Lusi Li, Jiawei Chen, Qian Lou, Mengxin Zheng, Chunsheng Xin, Hongyi Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：“不均衡果园”中的“坏苹果”问题

想象一下，你正在训练一个机器人来识别不同种类的水果。你给了它一大篮苹果、橙子和香蕉。

问题所在：
在现实世界中，果篮并不总是公平的。有时，你会有 1,000 个苹果、10 个橙子，而只有 1 根香蕉。这被称为数据集不平衡（dataset imbalance）。

现在，想象有一个破坏者想要欺骗这个机器人。他并不想破坏机器人，他只是想在一些稀有水果（比如那唯一的香蕉）上贴一个微小的、几乎看不见的贴纸（触发器/trigger）。他告诉机器人：“只要你看到带有这个贴纸的香蕉，就忽略它原本是什么，而是大喊‘苹果’。”

研究发现，在这种情况下有两个可怕的情况：

不平衡让问题更严重： 因为机器人看到的苹果很多而香蕉很少，它会变得“懒惰”并产生偏见，倾向于苹果。破坏者发现，当数据不平衡时，更容易欺骗机器人。机器人已经向多数类倾斜了，所以破坏者只需要轻轻推动一下即可。
旧的防御手段失效了： 目前用于寻找这些“坏贴纸”的大多数安全卫士（防御方法）依赖于观察“整个果篮”。他们说：“如果有很多香蕉表现异常，那么肯定出了问题。”但如果整个果篮里只有一根香蕉，卫士就看不出模式。旧的卫士会被不平衡现象搞糊涂，从而漏掉坏的水果。

解决方案：RPP（针对单个水果的“压力测试”）

作者提出了一种新的安全卫士，叫做 RPP（随机概率扰动）。RPP 不看整个果篮，而是一次只看一个水果，并给它一点“摇晃”。

RPP 是如何工作的（类比）：
想象你手里拿着一个水果。你想知道它是一个真实、健康的水果，还是一个由破坏者栽种的假货。

健康的果实（洁净样本）： 如果你摇晃一个真正的苹果，它会晃动一下。它的“身份”在你脑海中可能会发生轻微的变化（也许在某一瞬间看起来有点像梨）。它对摇晃是敏感的。
被投毒的果实（后门样本）： 破坏者在这个水果上粘了一个触发器。这个触发器就像一个超强的磁铁。无论你如何摇晃这个水果，磁铁都会把它牢牢吸住。这个水果拒绝摇晃；它固执地坚持说：“我是苹果！”因为那个触发器的存在。

RPP 的任务：
RPP 获取一个样本，加入一点“数字噪声”（即摇晃），然后检查：“你的预测改变了多少？”

变化很大？ 你很可能是一个洁净、健康的样本。
变化极小？ 你很可能是一个带有固定触发器的投毒样本。

为什么这很特别：“认证”保证

大多数安全卫士只是在猜测。他们可能会说，“我觉得这很坏，”但他们可能会出错。

RPP 不同，因为它附带了一个数学保证（一个“认证”的承诺）。

它使用一种特殊的数学工具（符合预测/Conformal Prediction）来设定一条“危险线”。
它承诺：“如果我标记这个水果为投毒，我可以从数学上证明我出错（误报）的概率极低，具体低于你选择的一个数值（比如 5%）。”
即使果篮里 99% 是苹果，只有 1% 是香蕉，它依然有效。它不在乎人群，它只关心那个特定的水果在受到摇晃时如何反应。

结果：“压力测试”

作者在五个不同的“水果篮子”（如 MNIST、CIFAR-10 和 ImageNet 等数据集）上测试了 RPP，这些数据集具有不同的不平衡程度（从平衡到极端倾斜）。

旧的卫士： 当果篮变得不平衡时，旧的卫士开始表现得很糟糕。它们要么漏掉了坏的水果，要么把太多的好水果误判为坏的。
RPP： RPP 保持了冷静。即使在样本稀有的情况下，它也能成功找到投毒样本，并且保持了极低的误报率。它证明了即使在数据不公平（不平衡）的世界里，如果你观察单个物品足够仔细，你仍然可以抓住破坏者。

总结

威胁： 坏人可以通过在稀有数据类别中隐藏触发器来欺骗 AI，而当数据不平衡时，这种行为更难阻止。
旧防御的缺陷： 它们关注“大局”，容易被不平衡的数据搞糊涂。
解决方法 (RPP)： 一种通过“摇晃”单个数据点来观察其是僵硬（投毒）还是灵活（洁净）的新方法。
承诺： 它提供了一个经过数学证明的保证，确保不会过度“虚报”，使其在数据并不完美的现实世界中使用起来非常安全。

技术摘要：RPP —— 一种针对数据集不平衡下后门攻击的认证中毒样本检测框架

1. 问题陈述

深度神经网络（DNN）正越来越多地部署在安全关键型应用中，但它们仍然极易受到后门攻击的影响。在这些攻击中，攻击者将独特的触发器模式嵌入训练数据中，导致模型在包含该触发器的输入上将其误分类为目标类别，而在处理正常输入时表现正常。

尽管存在许多防御机制，但本文指出存在一个关键差距：大多数现有防御假设训练数据集是平衡的，而这在现实场景中很少见。在实践中，数据集往往表现出严重的类别不平衡（例如，在医疗诊断中，健康样本的数量远多于癌症病例；或者在自动驾驶中，罕见的交通异常情况代表性不足）。作者认为，这种不平衡不仅是一个统计学上的干扰，更是一种安全漏洞。他们提出：

由于多数类偏差，不平衡的数据集本质上更容易受到后门攻击。
随着数据不平衡程度的加剧，传统的防御方法性能会显著下降，因为它们依赖于分布层面的信号（如聚类、类别统计），而这些信号在少数类代表性不足时会变得偏颇或不稳定。
现有的防御缺乏正式的理论保证，使得安全关键型系统容易受到自适应攻击者的攻击。

2. 方法论：随机概率扰动 (RPP)

为了解决这些挑战，作者提出了随机概率扰动 (Randomized Probability Perturbation, RPP)，这是一个旨在仅使用模型输出概率在黑盒设置下运行的认证中毒样本检测框架。

核心直觉

RPP 从样本级视角而非依赖全局分布线索进行操作。该方法基于以下观察：

中毒输入（包含触发器）经过设计具有鲁棒性；即使受到随机输入扰动（噪声）的影响，其预测概率向量也保持相对稳定。
良性输入依赖于自然相关性；当受到扰动时，其概率向量会表现出显著更大的波动。

RPP 指标

该框架定义了随机概率扰动 (RPP) 为注入各向同性高斯噪声后，样本预测概率向量的预期变化。

令 $f(\cdot|w)$ 为预训练分类器。
对于输入 $x$ ，样本概率向量 (Samplewise Probability Vector, SPV) 为 $p(x|w)$ 。
RPP，记作 $\Delta P(x|w, \sigma)$ ，定义为原始概率向量与添加噪声 $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$ 后的向量之间 $L_\infty$ 范数的期望值：
$\Delta P(x|w, \sigma) = \mathbb{E}_{\epsilon} [\| p(x|w) - p(x + \epsilon|w) \|_\infty]$
在实践中，通过对 $J$ 个噪声样本进行平均来经验性地估计 $\tilde{\Delta}P$ 。

检测流程

检测过程包含三个步骤：

初步模型训练： 在可能中毒的数据集上训练一个模型。如果存在后门，则假设模型已经学习到了触发器。
阈值计算（符合性校准）： 使用一个小型、干净且平衡的校准集 $V$ 。计算这些干净样本的经验 RPP ( $\tilde{\Delta}P$ )。使用符合性预测 (conformal prediction) 技术确定检测阈值 $\hat{q}$ 。具体而言， $\hat{q}$ 被设置为对应于用户指定显著性水平 $\alpha$ 的校准得分的分位数。这确保了分布无关的校准，即使在类别不平衡的情况下依然有效。
中毒样本检测： 对于待检查数据集中的每个样本，计算其经验 RPP。如果 $\tilde{\Delta}P \leq \hat{q}$ ，则将其标记为中毒样本；否则将其归类为干净样本。

理论保证

论文为后门的可检测性提供了理论认证：

可检测性条件： 作者推导出了保证检测所需的触发器大小 ( $\|\delta\|_2$ ) 的下界。如果触发器大小超过了由噪声水平 $\sigma$ 、目标类概率 $p(x)$ 以及干净概率分布的上界所确定的特定阈值，则中毒样本保证会被检测到。
假阳性率 (FPR) 控制： 利用符合性预测理论，该框架提供了假阳性率的概率上界。定理 5.4 确立了将干净样本错误地标记为中毒样本的概率受限于 $\alpha + \frac{1}{n+1}$ ，其中 $n$ 是校准集的大小。

3. 主要贡献

作者将其贡献总结如下：

威胁调查： 他们通过实验证明了数据集不平衡与后门攻击成功率之间存在强相关性，表明不平衡的数据集本质上更脆弱。他们还展示了现有防御在不平衡情况下性能显著下降。
RPP 框架： 他们引入了 RPP，这是一种先验训练的中毒样本检测技术，通过利用样本级稳定性信号而非分布级统计量，能够有效地适应严重的类别不平衡。
认证保证： 与许多经验性防御不同，RPP 提供了可证明的性能保证，包括可检测性的认证条件和假阳性率的严格界限，为在安全关键环境中部署提供了理论基础。

4. 实验结果

作者在五个基准测试（MNIST, SVHN, CIFAR-10, TinyImageNet, 和 ImageNet10）上评估了 RPP，涵盖了 10 种不同的后门攻击类型（包括 BadNets, Blend, Trojan, SIG, ISSBA 等），并将其与 12 种基准防御方法进行了对比。

不平衡下的性能： 实验在不平衡比例 ( $\rho$ $ρ$ ) 从 1（平衡）到 200 的范围内进行。
- 检测准确率： 在所有不平衡水平下，RPP 始终比最先进的防御方法（如 AC, ASSET, SCALE-UP, STRIP）获得显著更高的真阳性率 (TPR)。例如，在 $\rho=100$ 的 CIFAR-10 上，针对 BadNets 攻击，RPP 在 FPR 为 9.2% 的情况下实现了 100% 的 TPR，而其他方法通常看到 TPR 降至 50% 以下或 FPR 急剧上升。
- 鲁棒性： 即使不平衡比例增加到 200（在此阶段大多数现有防御完全失效或产生不可接受的高假阳性率），RPP 仍保持了高检测准确率。
认证性能： 该框架成功认证了具有高覆盖率的中毒样本检测（在 SVHN 和 CIFAR-10 上通常 >98%），同时将 FPR 控制在由参数 $\alpha$ （测试值为 0.05 和 0.1）定义的理论界限内。
自适应攻击： 该方法展示了对自适应攻击（包括小范数触发器和混合标签攻击）的抵御能力，前提是触发器大小保持在理论可检测性范围内。

5. 意义与主张

论文声称建立了一个针对特征不平衡环境下后门攻击进行防御的理论与实践基础。

首创性： 作者断言 RPP 是第一个专门设计用于处理数据集不平衡挑战的认证中毒样本检测框架。
范式转变： 通过从分布级信号转向样本级鲁棒性指标，RPP 绕过了对均匀类别表示的依赖，使其天然适用于偏斜分布。
安全关键型适用性： 提供正式保证（可检测性条件和 FPR 界限）解决了经验性防御中“猫鼠游戏”的动态问题，提供了在自动驾驶和医疗诊断等安全关键应用中所需的保障水平，因为在这些领域，假阴性或不受控制的假阳性是不可接受的。

作者总结道，虽然其方法需要一个初步模型和一个干净的校准集，但它提供了一个稳健且经过认证的解决方案，在当前最先进方法失效的情况下依然有效。