🤖 AI

Detecting Backdoors in Object Detection via Pre-NMS Prediction Distribution Shift

该论文介绍了 DistScan，这是一个针对目标检测模型的后门检测框架，它通过测量干净输入在非 NMS（非极大值抑制）预测中的类别分布偏差来识别场景级攻击，在不需要触发器知识或模型访问权限的情况下，实现了比现有方法显著更高的准确率。

原作者： Longtian Wang, Zhengyu Zhao, Chenhao Lin, Le Yang, Shiwei Wang, Yuhan Zhi, Xiaofei Xie, Chao Shen

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Longtian Wang, Zhengyu Zhao, Chenhao Lin, Le Yang, Shiwei Wang, Yuhan Zhi, Xiaofei Xie, Chao Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代世界中，摄像头与计算机协同工作以观察物理世界。它们实时识别汽车、行人及标志，这项技术正引导着自动驾驶车辆并监控公共安全。这些系统依赖于经过训练以识别特定目标的人工智能模型。然而，这些模型在投入使用之前就可能被秘密破坏。恶意行为者可以污染训练过程，隐藏一个触发器，使得模型在看到特定模式（如一个小贴纸或某种特定颜色）时表现异常。在正常日子里，系统运行完美，但一旦隐藏的触发器出现，它可能会无法识别行人，或者在不存在物体的地方凭空创造出一个虚假物体。这就是后门攻击。其危险之处在于，直到触发器出现之前，模型看起来和表现得都完全正常，这使得通过标准测试几乎无法发现它。

研究人员长期以来一直致力于寻找这些隐藏缺陷，尤其是在同时检测多个目标的复杂系统中。现有的方法通常试图逆向工程隐藏的触发器，或者寻找软件构建过程中的特定异常，但当攻击影响的是整个场景而非仅仅是一个物体时，这些方法往往会失效。一项新研究引入了一种不同的观察视角。研究人员不再去搜寻隐藏的触发器本身，而是检查模型的内部习惯。他们发现，当一个模型被秘密投毒时，即使在观察完全干净且没有触发器的图像时，其内部预测也会发生背离其训练特征的偏移。

由王龙天（Longtian Wang）和赵振宇（Zhengyu Zhao）领导的团队开发了一种名为 DistScan 的方法来捕捉这些受损的模型。他们的方法基于对这些计算机视觉系统学习方式的一个简单观察。当一个模型在大量图像上进行训练时，它不仅学习物体长什么样，还学习每个物体出现的频率有多高。如果一个数据集中有很多汽车的照片而自行车很少，模型自然会预期看到更多的汽车。这种预期成为了模型内部逻辑的一部分。研究人员发现，当攻击者注入后门时，这种内部平衡会被打破。即使在观察正常的、安全的图像时，模型也会开始预测某些物体出现的频率高于或低于应有的水平。

为了测试这一点，研究人员不需要知道隐藏触发器的样子，也不需要看到原始训练数据或访问模型的内部代码。他们只需将少量的干净图像输入模型，并观察模型在做出最终决策前的预测情况。他们统计了模型猜测每种物体类型的次数。在健康的模型中，这些猜测与现实世界中发现物体的自然频率相匹配。而在被投毒的模型中，猜测会发生偏差，显示出一种不属于原有的明显失衡。通过将模型的预测与已知训练数据的统计数据进行对比，该系统如果发现数字对不上，就能将该模型标记为危险。

研究人员在两种主要的检测系统类型以及科学家们广泛使用的两个大型标准数据集上测试了这种方法。他们创建了数百个模型，其中一些是干净的，另一些则被三种不同类型的攻击进行了秘密投毒。这些攻击包括让物体消失的诡计、让模型看到不存在之物的诡计，以及改变物体名称的诡计。新的方法 DistScan 成功识别了这些被投毒的模型，平均准确率接近 97%。相比之下，现有的最佳方法在许多此类场景下完全失效，表现往往并不比随机猜测好多少。研究表明，DistScan 在不同类型的模型架构上同样有效，证明了预测模式的偏移是后门攻击的一种普遍特征。

其中一个最重要的发现是，即使攻击旨在避开传统的检测工具，该方法依然有效。一些现代攻击是“场景级”的，这意味着单个隐藏触发器会导致模型在整个图像范围内表现异常，从而影响它看到的每一个物体。之前的工具在此类场景下会失败，因为它们是为寻找影响单个物体的局部触发器而设计的。DistScan 之所以成功，是因为它观察的是大局：即模型认为它所见之物的整体分布。研究人员将这些差异可视化，发现被投毒模型的预测形成了一个远离健康模型预测的独特簇，产生了一个易于测量的清晰分离。

研究还探讨了如何通过调整图像呈现方式来使测试最有效。他们发现，对于某些类型的系统，输入完整的图像效果最好；而对于另一些系统，展示单个物体的裁剪图像则更可靠。这确保了测试方式与模型最初学习观察世界的方式相匹配。他们还确定了过滤掉微弱猜测的合适置信度水平，以确保只统计有意义的预测。通过这些精细的调整，该方法在所有测试场景中都保持了稳健性和准确性。

这项工作为任何需要在投入使用前验证目标检测系统安全性的人员提供了一个实用的工具。它不需要特殊的专业知识，不需要访问模型的内部权重，也不需要额外的训练时间。通过简单地检查模型的内部预期是否与它所接受训练的数据现实相符，DistScan 提供了一种可靠的方法来发现隐藏的危险。研究人员希望这种方法能将安全研究的重心转向这些分布信号，为应对日益增长的后门攻击威胁（特别是在安全至上的应用领域）提供一种更广泛且更具原则性的防御手段。

技术摘要：DistScan —— 通过 Pre-NMS 预测分布偏移检测目标检测中的后门

1. 问题陈述

部署在安全关键领域（如自动驾驶、监控）的目标检测模型极易受到后门攻击。在这些攻击中，攻击者通过污染训练数据来植入隐藏的触发器，从而导致有针对性的异常行为（例如：误分类、目标消失或伪造插入），而当触发器不存在时，模型在良性输入上仍能保持接近正常的性能。

现有的目标检测检测方法面临显著局限性：

触发器重构方法（如 ODSCAN）： 依赖于对触发器局部性和特定受害者-目标类别转换的假设。它们无法应对“场景级”攻击（如检测器崩溃/Detector Collapse），这类攻击会在没有特定类别对应关系的情况下，导致所有目标产生异常。
基于不一致性的方法（如 MIA）： 利用不同架构模块（例如两阶段模型中的区域提议网络 RPN 与分类头）之间的行为差异。这些方法在攻击同时破坏多个分支，或者应用于单阶段架构时会失效。
泛化差距： 大多数方法无法可靠地泛化到场景级攻击，也无法跨不同的检测器架构（单阶段 vs 两阶段）进行泛化。

核心挑战在于：如何识别一种无需预知触发器信息、能跨架构泛化、且仅使用干净输入即可有效检测场景级攻击的检测信号。

2. 方法论：DistScan

作者提出了 DistScan，这是一个基于以下观察的框架：后门注入会系统性地导致模型的 Pre-NMS（非极大值抑制前）预测类别分布 偏离其训练时的类别频率，即使是在处理干净输入时也是如此。

核心直觉

良性模型： 良性模型的中间预测组件是在训练数据上优化的，因此隐式地编码了训练集的类别频率先验。因此，它们的 Pre-NMS 预测与训练数据分布高度一致。
后门模型： 投毒过程会使模型的中间预测向某些类别偏移或远离某些类别。这会导致 Pre-NMS 类别分布发生偏移，使其偏离真实的训练统计数据，无论输入中是否存在触发器。

框架概述

DistScan 在不需要访问模型权重、无需触发器知识、也无需额外训练的情况下运行，分为三个阶段：

验证集构建：
- 为了确保信号反映的是模型学习到的先验而非数据集的混淆因素，验证集的构建需与模型分类头的输入分布相匹配。
- 单阶段模型（如 YOLO）： 使用全图，因为其分类头是在来自完整场景的密集锚框预测上进行训练的。
- 两阶段模型（如 Faster R-CNN）： 使用裁剪的单目标图像。由于第二阶段的头部运行在感兴趣区域（RoI）特征上，因此单目标裁剪比全图更能准确地作为训练分布的代理。
Pre-NMS 预测分布提取：
- 受怀疑的模型处理验证集。
- 收集 Pre-NMS 预测（包含类别、边界框和置信度的元组）。
- 使用置信度阈值 ( $\delta$ ) 过滤掉低置信度输出以消除噪声。
- 将剩余的预测聚合为类别计数向量，并进行归一化以形成经验分布 $\hat{B}(f_\theta)$ 。
基于偏移的检测：
- 将经验分布 $\hat{B}(f_\theta)$ 与源自训练数据类别实例计数的参考分布 $\hat{R}$ 进行比较。
- 使用 Jensen-Shannon (JS) 散度 量化差异： $D(f_\theta) = JS(\hat{B}(f_\theta) \parallel \hat{R})$ 。
- 如果 $D(f_\theta)$ 超过预设阈值 $\tau$ ，则将该模型标记为存在后门。

3. 主要贡献

新颖的检测视角： 本文首次识别并表征了 Pre-NMS 预测中的类别分布偏移，将其作为目标检测后门检测的一种判别信号。
架构无关的框架： DistScan 对触发器的形式、大小或位置没有任何假设，并且可同时应用于单阶段和两阶段检测器。
对场景级攻击的鲁棒性： 与以往方法不同，DistScan 能有效检测导致整个场景同时产生异常的攻击（如检测器崩溃），因为它捕捉的是全局类别层面的扭曲，而非特定的受害者-目标类别转换。
实际部署能力： 该方法仅需少量干净样本和训练类别统计数据，无需访问完整数据集或进行模型重训练。

4. 实验结果

作者在 MS-COCO 和 PASCAL VOC 数据集上，针对 YOLOv5（单阶段）和 Faster R-CNN（两阶段）进行了评估，涵盖三种场景级攻击场景：

目标误分类 (GMA)： 触发器导致目标被误分类为目标类别。
目标消失 (BLINDING)： 触发器导致目标消失。
目标插入 (SPONGE)： 触发器导致伪造的目标检测。

性能指标：

评估模型总数： 288 个模型（每种配置 18 个）。
总体准确率： DistScan 实现了 96.99% 的平均检测准确率。
对比分析： DistScan 平均比表现最好的适用基准方法高出 27.32 个百分点。
- ODSCAN： 在场景级设置下完全失效，准确率约为 50%（随机猜测水平），因为其关于触发器局部性和特定类别转换的假设被违反了。
- MIA： 表现出有限且不一致的效果，尤其是在单阶段模型以及破坏了回归和分类两个分支的场景级攻击面前表现乏力。
鲁棒性： DistScan 在大多数配置下保持了近乎完美的检测效果（AUROC $\approx$ 1.0），仅在由于视觉相似类别对导致的复杂 COCO 场景中出现了轻微的性能下降。

5. 意义与主张

本文声称 DistScan 通过提供一种基于分布的原则性防御原语，解决了目标检测安全领域的一个关键空白。其重要性在于：

泛化性： 它能够在无需了解触发器或特定攻击机制的情况下成功检测后门，使其能够应对足以击败现有方法的复杂场景级攻击。
简洁高效： 通过利用模型推理过程固有的统计特性（Pre-NMS 分布），它避免了复杂的优化或架构修改。
未来方向： 作者希望这项工作能引起人们对尚未得到充分研究的场景级后门攻击威胁的关注，并鼓励进一步研究基于分布的检测信号作为一种广泛适用的防御策略。

作者明确指出，其方法依赖于模型学习到的类别先验与训练数据统计数据之间的一致性，而这种一致性会被后门注入所破坏。这种偏移在仅使用干净输入时即可被观察到，使得 DistScan 成为检查来自不可信第三方的模型的实用工具。