🤖 machine learning

Channel-Level Semantic Perturbations: Unlearnable Examples for Diverse Training Paradigms

本文指出，在预训练 - 微调范式下，现有不可学习样本因冻结层的语义过滤而存在局限性，并提出了一种新颖的浅层语义伪装策略，以在不同训练设置中有效保持数据的不可学习性。

原作者： Bo Wang, Jia Ni, Mengnan Zhao, Zhan Qin, Kui Ren

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Bo Wang, Jia Ni, Mengnan Zhao, Zhan Qin, Kui Ren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对该论文的解读。

核心难题：被“投毒”的数据困境

想象你有一批个人照片。你担心某家公司会在未经你许可的情况下窃取这些照片来训练人工智能。为了阻止这一点，你决定给照片“投毒”。你在图像中添加了肉眼看不见的微小尘埃（扰动）。对人类来说，照片看起来完美无缺。但对人工智能而言，这些尘埃就像一本充满故障的指令手册，会让计算机感到困惑，使其无法从你的照片中学习到任何有用的东西。这被称为创建“不可学习样本”（Unlearnable Examples, UEs）。

很长一段时间里，当人工智能从零开始学习（就像婴儿第一次学习识别猫）时，这个把戏非常有效。“尘埃”成功地让那个“婴儿”感到困惑。

新威胁：“聪明”的人工智能（预训练）

然而，世界已经变了。大多数现代人工智能不再是“婴儿”了；它们是已经研读了数百万张其他照片的“成年人”（这一过程称为“预训练”）。当恶意行为者想要使用你的照片时，他们不会从零开始。他们会利用这个“聪明的成年人”人工智能，冻结其基础知识（例如如何识别边缘和形状），然后仅尝试微调顶层以学习你的特定数据。

该论文发现了一个令人震惊的事实：旧的“尘埃”把戏对这类聪明的人工智能失效了。

类比：降噪耳机
想象你添加到照片中的“尘埃”是一种奇怪的高频尖啸声。

旧人工智能（从零开始）： 就像一个没戴耳机的人。尖啸声如此响亮和怪异，以至于他们听不清音乐（实际图像），从而感到困惑。
聪明人工智能（预训练）： 就像一个戴着高科技降噪耳机的人。这些耳机经过调校，能够忽略奇怪的高频尖啸声，因为它们知道这些不属于真正的音乐。人工智能的“冻结”早期层就像这些耳机。它们将你的“尘埃”过滤掉，仿佛那只是背景噪音，人工智能依然能完美地学习你的照片。

为什么会失败？（“语义不匹配”）

作者深入探究了为什么会发生这种情况。他们发现，旧方法生成的“尘埃”在语义上是不一致的。

自然图像： 具有看起来像真实生活的模式（低频信号，例如猫耳的平滑曲线）。
旧“尘埃”： 主要是随机噪声（高频信号，例如电视上的雪花噪点）。

“聪明”人工智能的冻结层被训练为喜爱真实生活的平滑曲线，并忽略电视雪花噪点。因此，当人工智能查看你被“投毒”的照片时，它的第一层会说：“那个雪花噪点不属于这里”，并在大脑的其他部分看到它之前将其过滤掉。

解决方案：“浅层语义伪装”（SSC）

作者提出了一种新的数据投毒方法，称为浅层语义伪装（Shallow Semantic Camouflage, SSC）。

类比：完美的伪装
新方法不再向人工智能投掷随机噪点，而是生成看起来完全像自然噪声的“尘埃”。

想象你正试图将一名间谍混入一个 VIP 俱乐部。
旧方法： 间谍穿着鲜艳的红色小丑服，尖叫着走进去。保安（冻结的人工智能层）立即发现这种不匹配并将他们踢出去。
新方法（SSC）： 间谍穿上了一套与 VIP 风格完美匹配的燕尾服。他们安静地走进去。保安看着他们心想：“啊，是的，这符合着装要求。让他们进来。”

新方法迫使“尘埃”与“自然图像”的模式保持一致。它欺骗了人工智能的“降噪耳机”，使其认为毒药实际上是音乐的一部分。由于人工智能无法将其过滤掉，毒药便深入人工智能的大脑，混淆了更深层的层级，并成功阻止了学习过程。

他们证明了什么？

作者在许多不同场景下测试了这种新方法，将其与“聪明”的人工智能进行对比：

不同的数据集： 它在简单数据集（如 CIFAR-10）和复杂数据集（如 Tiny-ImageNet）上都有效。
不同的人工智能架构： 即使恶意行为者使用不同类型的人工智能模型（ResNet、VGG、DenseNet），它依然有效。
超严格过滤器： 他们甚至创建了一种场景，其中人工智能在过滤噪声方面表现得格外出色（称为 SF-Pretrain）。即便如此，他们这种“伪装”过的毒药依然有效，而旧方法则完全失败。

核心结论

这篇论文揭示，旧的数据保护方式（添加随机不可见噪声）在面对现代预训练人工智能时已经失效，因为人工智能的早期层充当了过滤器，会移除这些噪声。

作者通过发明一种模仿图像自然结构的新型噪声解决了这一问题。这使得“毒药”能够绕过人工智能的过滤器，成功保护你的数据，即使攻击者使用的是高度复杂、经过预训练的人工智能。

技术摘要：面向不可学习样本的通道级语义扰动

1. 问题陈述

个人数据在模型训练中的未经授权使用构成了重大的隐私威胁，因为模型可能会记忆敏感信息，或允许攻击者重建私有内容。**不可学习样本（Unlearnable Examples, UEs）**作为一种防御机制应运而生，通过在良性数据中嵌入不可感知的扰动来阻碍特征学习，从而防止模型在受保护数据上进行泛化。

然而，现有的 UEs 研究主要在**从头训练（from-scratch training）设置下评估其有效性。本文指出了一个关键缺口：在广泛采用的预训练 - 微调（Pretraining–Finetuning, PF）**范式下，UEs 的行为尚未得到充分探索。作者假设，PF 在现实场景中的普遍性（即攻击者利用预训练权重）可能导致当前的 UEs 失效。具体而言，本文研究了加载并冻结预训练权重（特别是在浅层）是否会削弱 UEs 阻止未经授权学习的能力。

2. 方法论

2.1 脆弱性分析

作者首先在各种 PF 配置下系统地评估了现有的 UEs 方法（例如误差最小化噪声、鲁棒不可学习样本）。他们将模型分解为冻结的浅层参数（ $\theta_f$ ）和可学习的深层参数（ $\theta_l$ ）。

观察结果：冻结浅层显著削弱了现有 UEs 的保护效果。在某些情况下，受保护数据上的干净测试准确率从从头训练时的约 18% 上升至 PF 设置下冻结浅层时的 79% 以上。
机制发现：通过特征一致性分析和扰动传输率（PTR）指标，作者发现，虽然扰动在从头训练的模型中成功解耦了特征，但在 PF 模型中，它们无法通过冻结的浅层进行传播。
语义过滤假设：本文提出，预训练的浅层充当语义过滤器。现有的 UEs 扰动与自然图像在语义上不一致（通常位于中高频段），而预训练的浅层核则针对低频自然图像语义进行了调整。因此，冻结的层抑制了这些“不匹配”的扰动，使得模型能够忽略噪声，从潜在的语义内容中学习。
验证：作者引入了语义聚焦预训练（Semantic-Focused Pretraining, SF-Pretrain），强制浅层提取更强的语义表示。结果表明，SF-Pretrain 进一步降低了标准 UEs 的性能，证实了语义过滤是失效的主要原因。

2.2 proposed 解决方案：浅层语义伪装（SSC）

为了绕过语义过滤效应，作者提出了浅层语义伪装（Shallow Semantic Camouflage, SSC），这是一种分层欺骗策略。

核心概念：SSC 不生成语义不一致（从而被过滤）的噪声，而是生成与自然图像语义流形一致的通道级语义扰动。
架构：该方法采用**双层优化（Bilevel Optimization）**框架：
1. 内循环（语义锚定）：在扰动数据上训练一个代理模型。关键在于引入了语义对齐损失（ $R_{sem}$ ）。该损失约束扰动输入的浅层特征，使其与冻结的参考模型（作为语义锚）的浅层特征相匹配。这确保了扰动保持在自然图像特征子空间内。
2. 外循环（投毒）：更新扰动 $\delta$ 以最小化代理模型的分类损失，确保数据保持不可学习性。
机制：通过在浅层强制语义对齐，扰动绕过了语义过滤器。这种“欺骗”随后被传递到更深层的可学习层，模型试图学习被破坏的特征，从而导致泛化失败。

3. 主要贡献

系统性脆弱性识别：本文提供了首次全面的分析，揭示了现有的 UEs 在 PF 范式下（特别是当浅层被冻结时）具有高度脆弱性。
机制解释：研究确定了语义不匹配是失效的根本原因。作者证明了冻结的浅层充当语义过滤器，抑制与自然图像统计不一致的扰动（通过频域分析和 SF-Pretrain 实验得到验证）。
新颖的防御策略（SSC）：作者提出了一种分层欺骗策略，生成通道级语义扰动。通过将扰动与预训练权重的语义先验对齐，SSC 绕过了过滤机制。
实证验证：在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 上的大量实验表明，SSC 在多种训练范式（从头训练、标准 PF 和 SF-Pretrain）以及不同架构（ResNet、DenseNet、VGG）下均保持了鲁棒性。

4. 实验结果

标准 PF 范式：在标准 PF 设置（冻结浅层）下，现有方法（如 EMN、NTGA、AR）遭受严重的保护崩溃，干净测试准确率通常超过 50-60%。相比之下，SSC 保持了低准确率（例如在 Tiny-ImageNet 上为 31.56%，而 AR 为 60.77%）。
SF-Pretrain 范式：即使在语义过滤加剧的更严格 SF-Pretrain 设置下，SSC 的表现仍优于所有基线。虽然基线方法的保护能力几乎崩溃（准确率上升至 80% 以上），但 SSC 仍保留了显著的不可学习性（准确率约 55%）。
跨架构与跨数据集：SSC 表现出强大的可迁移性。在一个架构或数据集上生成的扰动，对由不同权重或架构初始化的模型仍然有效，其表现优于那些过拟合特定参数的权重感知生成方法。
可扩展性：该方法随数据集复杂度扩展有效，在 Tiny-ImageNet 等高分辨率、语义多样化的数据集上保持了低准确率，而其他方法在此类数据集上失效。

5. 意义与主张

本文声称填补了数据隐私保护领域的一个关键空白。它指出，随着机器学习社区向迁移学习和预训练模型转变，现有的不可学习技术因其依赖于预训练过滤器容易丢弃的语义不匹配而变得过时。

通过引入SSC，作者提供了一种实用解决方案，使不可学习范式适应现代训练流程的现实。这项工作强调，在大规模预训练时代，有效的数据保护需要扰动不仅不可感知，而且必须与目标模型初始化的特定过滤器语义对齐。这将范式从“噪声注入”转变为“分层欺骗”，确保即使攻击者利用强大的预训练权重，隐私保护依然保持鲁棒。