🤖 machine learning

Lossless Anti-Distillation Sampling

本文提出了一种无损抗蒸馏采样（LADS）方案，该方案利用查询相关的私有种子生成响应，在为良性用户保持完美质量的同时，通过在多个账户间有意引入相关性随机性，以削弱经蒸馏训练模型的效能。

原作者： Zibo Diao, Jingchu Gai, Xinyue Ai, Zhang Zhang, Zhenyu He, Di He

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Zibo Diao, Jingchu Gai, Xinyue Ai, Zhang Zhang, Zhenyu He, Di He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和日常类比对论文《无损反蒸馏采样（LADS）》的解释。

核心问题：“模仿者”窃贼

想象一位名厨（教师模型）经营着一家高端餐厅。这位厨师基于秘密食谱，制作出令人惊叹的独特菜肴。

一位竞争对手（蒸馏器）想要窃取这位厨师的成功，却不愿付出发明新食谱的艰辛努力。竞争对手没有雇佣一支厨师团队从头学习，而是雇佣了 50 个不同的人（多账户），让他们从名厨的餐厅订购完全相同的菜肴。他们记录下每一种食材和步骤，然后利用这份清单训练自己的“学生”厨师，使其能烹饪出同样的食物。

由于竞争对手使用了 50 个不同的账户，名厨的安全系统并未将其标记为可疑；每个人看起来都只是普通顾客。窃贼因此免费获得了海量数据，而原厨师则失去了竞争优势。

旧方案（以及为何失败）

此前，厨师们尝试过两种方法来阻止这种窃取：

“难吃食物”策略：厨师故意给所有人的菜肴多加一点盐，或稍微修改食谱。这使得窃贼难以复制确切的味道，但同时也破坏了诚实顾客的用餐体验。
“保安”策略：厨师密切监视顾客。如果有人订购了 100 次，就会被踢出。但窃贼只是让 50 个不同的人每人订购 2 次，从而骗过了保安。

新方案：LADS（“秘密抛硬币”）

作者提出了一种名为**无损反蒸馏采样（LADS）**的新方法。

他们不是改变食物（输出），而是改变烹饪过程背后的随机性。

类比：魔法抛硬币
想象每当顾客点一道菜时，厨师都会抛一枚魔法硬币，来决定菜肴中一个微小且不可见的细节（例如烤箱的确切温度或装饰点缀的精确时机）。

对于普通顾客：每次造访，厨师都会抛一枚全新的、独立的硬币。顾客每次都能获得独特且高品质的餐点。他们从未察觉任何不同。
对于拥有 50 个账户的窃贼：厨师有一条秘密规则。如果窃贼的 50 个不同账户订购了同一种菜肴（例如“辣味拉面”），且他们都处于首次造访，厨师就会秘密地为这 50 个人使用同一枚硬币的抛掷结果。

结果：

诚实顾客：每次都能获得完美且独特的餐点。他们感到满意。
窃贼：他们以为自己收集了 50 种不同的食谱。但由于厨师对所有 50 个账户使用了相同的“硬币抛掷结果”，窃贼实际上只拥有一种独特的食谱，只是重复了 50 次。

为何这能阻止窃贼

在机器学习中，学生要想学得好，需要看到许多不同的示例（多样性）。

如果窃贼收集了 50 种不同的“辣味拉面”变体，他们的学生厨师就能学会制作出色的拉面。
如果窃贼收集了 50 种完全相同的变体（因为厨师强制使用了相同的随机性），学生厨师就学不到任何新东西。他们只是死记硬背了这道菜的某一个特定版本。

论文从数学上证明，通过在不同账户间强制这种“共享随机性”，窃贼的学生模型在泛化能力上会变得差得多。这就像试图通过观察同一个人以完全相同的泳姿游泳 50 次来学习游泳，而不是观察 50 个不同的人游泳。

“无损”部分

这篇论文最重要的部分是诚实用户不会失去任何东西。

因为窃贼的账户只是在伪装成普通人，所以“共享硬币抛掷”仅发生在窃贼试图操纵系统时。
一个每周造访餐厅一次的真实用户，每次都会获得全新的、随机的硬币抛掷结果。他们的体验是 100% 完美且未受影响的。

实验总结

作者在两个真实场景中测试了这一想法：

图像生成：他们使用了一个能画图的 AI。当“窃贼”试图利用 50 个虚假账户窃取绘画风格时，窃贼的学生 AI 生成的图像变得模糊且质量低下。与此同时，真实用户仍然获得了精美、清晰的图片。
语言模型（数学与代码）：他们使用了一个能解决数学问题并编写代码的 AI。当窃贼试图利用多个账户窃取该 AI 的“大脑”时，窃贼的学生 AI 在解决数学问题和编写代码方面的能力大幅下降。然而，真实用户仍然获得了完美的答案。

结论

LADS 是一个巧妙的技巧，它通过秘密地将 AI 对相似请求的回答随机性关联起来，从而保护 AI 模型不被使用多个虚假账户的“模仿者”窃贼窃取。这使得被窃取的数据对于训练新模型毫无用处，同时确保普通、诚实的用户继续获得最佳体验。

技术摘要：无损抗蒸馏采样（LADS）

问题定义

前沿商业生成模型面临来自蒸馏的重大威胁，即攻击者通过 API 查询收集生成的响应，以原训练成本的一小部分训练竞争模型。虽然针对单账户攻击的防御措施（例如监控使用量）已经存在，但它们对多账户蒸馏无效，攻击者会将查询分散到数百个账户中，每个账户都模仿良性用户的行为。

现有的反制措施存在关键局限性：

输出扰动：通过改变模型输出以污染梯度的方法（例如预测投毒、恶劣教师）本质上会降低良性用户的响应质量。
水印：事后检测方法（例如 GINSEW、抗蒸馏指纹）无法阻止蒸馏过程本身，且通常会改变输出分布。
行为检测：仅在检测到异常时触发的自适应防御，可以通过将查询分散到多个单独看来良性的账户中来规避。

核心挑战在于设计一种对良性用户无损（保持精确的统计保真度）的防御，同时有效降低多账户蒸馏器的性能。

方法论：无损抗蒸馏采样（LADS）

作者提出了LADS，这是一种服务器端机制，通过控制生成中使用的底层噪声变量 $\epsilon$ 的实现，而不是修改模型的输出分布 $G$ 。

核心机制

LADS 从私有单射种子生成器 $SG$ 派生每次生成的随机种子，该生成器接收两个输入：

语义桶（ $i$ ）：一个私有聚类函数 $h(q)$ 将查询 $q$ 映射到语义桶。在实践中，这可以通过语义嵌入上的局部敏感哈希（LSH）来实现。
桶内局部访问计数器（ $a[i]$ ）：特定用户在该语义桶内查询的次数。

种子计算为 $s = SG(i, a[i])$。该种子初始化伪随机数生成器（PRNG）以生成噪声 $\epsilon$ ，随后用于生成输出 $x = G(q, \epsilon)$ 。

运行特性

对良性用户的无损性：对于任何单账户，不同请求之间的种子序列是唯一的（由于计数器递增）。因此，用户接收到的样本在统计上独立且同分布（i.i.d.），符合原始模型的分布。未引入任何失真。
对蒸馏器的相关性：控制 $K$ 个账户的多账户蒸馏器将在不同账户间提交语义相似的查询（落入同一桶 $i$ ）。如果这些查询发生在相同的相对访问计数时（例如，所有账户中该桶的第 $t$ 个查询），它们将被分配相同的种子。这强制跨账户生成相关输出。
对蒸馏的影响：蒸馏器接收到的不再是 $KT $个独立样本，而是实际上仅收到$ T $个独立样本（每个重复$ K$ 次）。这减少了有效样本量，并引入了统计相关性，阻碍了学生模型的泛化能力。

理论框架

该论文将威胁形式化为蒸馏器在 $K$ 个账户上最小化经验风险，每个账户有 $T$ 个查询。

无条件生成（LADS-SIMPLE）：在没有查询条件的情况下，标准 i.i.d. 采样下的泛化间隙规模为 $O(1/\sqrt{KT})$ 。在 LADS-SIMPLE 下，它退化为 $O(1/\sqrt{T})$ ，实际上消除了增加更多账户带来的好处。
条件生成（LADS）：对于特定任务的蒸馏，泛化间隙取决于激活的语义桶数量 $N$ ，而不是账户数量 $K$ 。其界限规模为 $O(1/\sqrt{NT})$ 。由于 $N \ll K$ （语义桶数量远少于账户数量），收敛速度明显慢于标准 i.i.d. 采样。该分析利用一致收敛理论和Rademacher 复杂度证明，跨账户噪声耦合降低了蒸馏过程的统计效率。

实验结果

作者在两个范式上评估了 LADS：基于扩散的图像生成和自回归语言模型。

1. 图像生成（EDM2 模型）

设置：教师模型（EDM2-Large, EDM2-XS）与学生模型（EDM2-XXS）。多账户模拟，50 个账户查询 ImageNet 类别。
指标：Fréchet 初始距离（FID）和验证损失。
发现：随着噪声耦合强度 $\alpha$ $α$ 从 0（标准 i.i.d.）增加到 1（完整 LADS），学生模型的性能显著下降。
- EDM2-Large 的 FID（相对于真实图像）从 8.50（ $\alpha=0$ ）增加到 29.8（ $\alpha=1$ ）。
- 验证损失随 $\alpha$ 单调增加。
- 良性用户（由单账户模拟）保持了与原始模型相当的高质量 FID 分数，证实了无损特性。

2. 语言模型（数学与代码）

设置：教师模型（Qwen3.5-397B）与学生模型（Llama-3.1-8B, DeepSeek-Math-7B, Qwen2.5-7B）。基准测试包括 MATH、GSM8K 和 HumanEval。
方法：教师模型为提示及其改写版本生成响应。在 LADS 设置中，语义等价的提示共享相同的随机种子。
发现：
- 标准 i.i.d. 采样：微调带来了显著提升（例如，Llama-3.1-8B 在 GSM8K 上提升了 29.8 分）。
- LADS 采样：提升幅度大幅减少（例如，同一模型在 GSM8K 上仅提升 11.2 分）。
- 结果证实，LADS 限制了多账户蒸馏的统计收益，同时保持了单个响应的质量。

主要贡献

新颖的防御机制：引入 LADS，这是首个通过操纵底层噪声实现而非输出分布来实现对多账户蒸馏无损保护的防御。
理论保证：利用一致收敛理论进行了严格证明，表明 LADS 将有效样本量从 $KT $压缩至$ T $（或在条件设置下至$ NT$），可证明地降低了蒸馏器的泛化间隙。
实证验证：在图像和语言领域进行了全面实验，表明 LADS 显著降低了学生模型的性能，同时为良性用户保持了精确的统计保真度。

意义与主张

该论文声称，LADS 解决了 AI 安全中的一个关键缺口：在不损害用户体验的情况下防御复杂的多账户蒸馏攻击的能力。通过将防御从输出空间转移到随机性空间，作者认为可以使蒸馏对攻击者而言“统计上低效”，同时对合法用户保持不可见。

作者将 LADS 定位为输出扰动和水印的原则性替代方案，提供了一种主动防御，旨在防止获取高质量训练数据，而不仅仅是在事后检测未经授权使用。他们指出，未来的工作可能涉及更自适应的语义分组策略以及与系统级保护的集成，但当前工作侧重于确立噪声耦合作为防御机制的理论和实证可行性。