CLEAR: Cross-Layer Extreme Activation Representation for Backdoor Sample Detection
本文提出了 CLEAR，这是一个跨层框架，它利用批归一化对齐的极端激活表示和粒子群优化驱动的层权重，来检测具有高准确率和低误报率的后门样本，即使在低中毒率且没有干净验证数据的情况下也是如此。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
深度学习已成为许多我们日常依赖的技术背后不可见的引擎，从识别面孔的照相机到引导自动驾驶汽车的系统。这些系统通过研究海量数据进行学习，寻找能够让其做出决策的模式。然而，这种对数据的依赖也产生了一个漏洞：如果攻击者秘密篡改了少量的训练图像，他们就能教会系统一条隐藏的规则。该系统在处理正常图片时仍能完美运行，但如果它看到一个特定的、细微的标记——即“触发器”——它会立即转向攻击者预设的错误答案。这被称为后门攻击。危险之处在于这些攻击极难被发现；触发器可能非常微弱，且中毒图像的数量如此之少，以至于它们能天衣无缝地融入背景之中，使得模型的行为在直到攻击者想要其失效的特定时刻之前，看起来都表现正常。
一组研究人员开发出一种全新的方法，旨在这些模型投入使用之前就搜寻到这些隐藏的威胁。他们的方法被称为 CLEAR，其原理是：虽然后门触发器对肉眼而言可能是不可见的，但它会在计算机内部的处理层中留下一个独特且虽微弱但清晰的指纹。当深度学习模型分析图像时，它会将数据通过一系列数学步骤（或称之为“层”）进行处理，每一层都会提取不同的特征。研究人员发现，当一张中毒图像经过这些层时，它会在特定的信息通道中引起一种独特的、极端的反应，而正常图像则不会产生这种反应。这些反应通常过于微弱，如果仅观察单层或对数据取平均值则无法察觉，但它们在整个中毒样本组中具有一致性。
为了捕捉这些细微的信号，研究人员构建了一个能够同时观察模型多个不同层内部反应的系统。首先，他们对这些层的数据进行了标准化处理，以便进行公平的比较，就像在将所有测量值相加之前确保它们的单位一致一样。然后，他们并没有关注数据的平均行为，而是专注于最极端的数值——即每个通道内最高或最低的活动峰值。这种技术放大了后门触发器的微弱低语，使其在正常数据的噪声中变得更加响亮。
然而，挑战在于并非模型的所有层对于发现触发器都同等重要。某些层可能比其他层对毒素更敏感，但研究人员无法提前预知哪些层是关键。为了解决这个问题，他们使用了一种受鸟群觅食方式启发的计算策略。他们创建了一个虚拟搜索，其中许多“粒子”尝试不同的权重组合，以决定应该关注哪些层。其目标是找到能让中毒样本结合得最紧密的特定层组合，从而形成一个与正常数据区分开来的独特簇。通过使用一种可以发现任何形状且不需要预设组数的聚类方法，该系统能够自动识别出这个微小且紧密的毒害图像组，而无需事先了解攻击的具体特征，也不需要另一组干净的图像进行对比。
该方法的测试结果令人瞩目。在包含数千张图片的标准图像数据集上进行测试时，该方法成功识别了几乎所有的中毒样本：在一个数据集上抓住了约 97.5% 的样本，在另一个数据集上抓住了 99.5% 的样本，同时误将正常图像标记为异常的情况每千张不到两张。即使攻击者使用了复杂的、隐蔽的触发器，或者中毒图像的数量极少，这种高水平的精确度依然保持不变。此外，当研究人员移除识别出的不良图像并从头开始重新训练模型时，生成的系统性能与使用完全纯净数据训练的模型一样出色，且完全免疫于后门攻击。这项研究表明，通过倾听模型内部跨层的极端反应，可以揭示并消除其他方法无法发现的隐藏威胁，为在无需预知攻击细节的情况下保障深度学习系统的安全性提供了一种稳健的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。