Dual Randomized Smoothing: Beyond Global Noise Variance

该论文提出了一种名为“双重随机平滑”的新框架，通过引入输入依赖的噪声方差估计器并证明其有效性，成功突破了传统全局噪声方差在兼顾小半径和大半径鲁棒性认证时的性能瓶颈，显著提升了模型在不同扰动半径下的准确率。

要点

这篇论文提出了一种名为**“双重随机平滑”（Dual Randomized Smoothing）**的新方法，旨在解决人工智能（AI）模型在面对“恶意攻击”时的一个核心矛盾。

为了让你轻松理解，我们可以把 AI 模型想象成一个**“正在考试的学生”，而把那些试图欺骗 AI 的微小干扰（对抗样本）想象成“试图混淆视听的噪音”**。

1. 核心难题：噪音太大还是太小？

在传统的 AI 防御方法（随机平滑）中，为了让学生（AI）在噪音中也能答对题，我们会给试卷（输入数据）加上一些“白噪音”。

• 如果噪音太小（方差小）： 学生能看清题目，平时成绩（小半径下的准确率）很好。但是，一旦有人稍微加大一点干扰（大半径），学生就晕了，完全答不对。
• 如果噪音太大（方差大）： 学生习惯了嘈杂环境，哪怕干扰很大也能答对（大半径下的鲁棒性好）。但是，平时稍微有点小干扰，学生就看不清题目了，平时成绩一塌糊涂。

以前的困境： 就像给全班同学发同一副耳塞。有的同学需要耳塞很薄才能听清，有的需要耳塞很厚才能抗噪。以前我们只能**“一刀切”**，给所有人发同样厚度的耳塞（全局固定的噪音方差）。结果就是：要么保护不了大干扰，要么平时表现太差。

2. 这篇论文的突破：给每个人定制“智能耳塞”

作者提出了**“双重随机平滑”**，它的核心思想是：不要给所有人发一样的耳塞，而是根据每个人的情况，动态调整耳塞的厚度（噪音方差）。

这就好比：

• 第一步（智能评估）： 派一个**“观察员”**（方差估计器）先看看这道题难不难，或者这个学生现在的状态适合什么样的噪音环境。
• 第二步（动态调整）： 观察员告诉主考官：“这道题给这个学生加 0.2 分贝的噪音最合适”，或者“那道题需要加 1.0 分贝的噪音”。
• 第三步（最终考试）： 主考官根据这个建议，给该学生加上刚刚好的噪音，然后让他答题。

3. 为什么以前没人这么做？（理论突破）

你可能会问：“给每个人加不一样的噪音，听起来很灵活，但怎么保证安全呢？万一观察员看走眼了怎么办？”

以前的理论认为，噪音必须是全局固定的，否则无法证明模型是安全的。

这篇论文最大的贡献就是证明了：
只要这个“观察员”在局部范围内是稳定的（比如它判断这道题需要 0.5 分贝，那么这道题周围相似题目的判断也必须是 0.5 分贝），那么这种“因人而异”的噪音方案在数学上就是完全安全且有效的。

这就好比：虽然每个人戴的耳塞厚度不同，但只要观察员在判断“谁该戴多厚”这件事上逻辑一致、不反复无常，整个系统就是安全的。

4. 这个系统是怎么工作的？（双重机制）

这就构成了论文的“双重”架构：

1. 第一重（观察员/路由器）： 这是一个专门的小模型，它的任务不是做题，而是**“看题”**。它预测这道题最适合用多大的噪音（方差）来防御。它自己也会经过“平滑处理”，确保它的判断是稳定可靠的。
2. 第二重（主考官/分类器）： 这是一个强大的做题模型。它接收第一重传来的“噪音建议”，然后在这个特定的噪音环境下进行预测。

比喻：
想象一个**“智能安检门”**。

• 以前的安检门：不管你是带了一根针还是带了一把刀，都只用一种强度的金属探测器扫描。
• 现在的“双重”安检门：
  • 第一关（智能预判）： 一个 AI 快速扫描你的行李，判断“这看起来像软包，用低灵敏度扫描就行”或者“这看起来像硬物，必须用高灵敏度扫描”。
  • 第二关（精准安检）： 根据第一关的判断，调整扫描仪的强度，进行最终检查。
  • 结果： 既不会漏掉真正的危险（大半径鲁棒性），也不会因为过度敏感而把软包当成炸弹（小半径准确率）。

5. 效果如何？

论文在 CIFAR-10 和 ImageNet（两个著名的 AI 图像数据集）上做了大量实验，结果非常惊人：

• 全面胜利： 它打破了“要么平时分高，要么抗干扰强”的死循环。在小干扰和大干扰的情况下，它的表现都比以前的方法好得多。
• 数据说话： 在 CIFAR-10 数据集上，相比之前的最佳方法，它在关键测试点上的准确率提升了 15% 到 20%。
• 成本可控： 虽然多了一个“观察员”，但计算开销只增加了 60%，这在 AI 领域算是非常划算的投入。
• 灵活路由： 它甚至可以把不同的“专家模型”组合起来。比如，有一个专家擅长处理小干扰，另一个擅长处理大干扰。这个系统就像一个**“智能调度员”**，遇到小干扰就派小干扰专家，遇到大干扰就派大干扰专家，谁擅长谁上。

总结

这篇论文就像给 AI 防御系统装上了**“自适应眼镜”**。

以前的眼镜度数固定，看近处清楚就看不清远处，看远处清楚就看不清近处。
现在的“双重随机平滑”眼镜，能根据你看的物体远近（输入数据的不同），自动调节度数（噪音方差）。

这不仅让 AI 在面对恶意攻击时更聪明、更灵活，还从数学上证明了这种“因人而异”的防御策略是绝对安全的。这是 AI 安全领域的一大步，让模型在保持高准确率的同时，拥有了更强的抗打击能力。

技术摘要

这是一篇关于**双重随机平滑（Dual Randomized Smoothing, Dual RS）**的论文，发表于 ICLR 2026。该论文旨在解决随机平滑（Randomized Smoothing, RS）技术中认证准确率与认证半径之间固有的权衡问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 随机平滑的局限性：RS 是一种通过向输入添加高斯噪声并取预测多数投票来提供对抗鲁棒性认证的主流技术。然而，标准 RS 使用全局固定的噪声方差（Global Noise Variance）。
  • 在小半径下，需要较小的噪声方差以获得高准确率。
  • 在大半径下，需要较大的噪声方差以获得更大的认证半径。
• 核心矛盾：不存在一个单一的全局噪声方差能同时在很小和很大的半径下都取得优异性能。现有的输入依赖型（Input-dependent）方法要么依赖测试时的记忆（Test-time memorization），要么适应性受限，要么系统性地高估最优方差，导致性能次优。
• 目标：打破全局方差的限制，实现输入依赖的噪声方差，从而在保持理论认证保证的同时，优化不同半径下的准确率 - 鲁棒性权衡。

2. 核心方法论 (Methodology)

2.1 理论基础：局部常数方差认证

论文首先从理论上证明了 RS 认证在输入依赖的噪声方差下依然有效，前提是方差在认证区域内是**局部常数（Locally Constant）**的。

• 定理 4.1 & 4.2：证明了如果噪声方差 $\sigma(x)$ 在输入 $x_0$ 的某个邻域内保持常数，那么基于该方差的平滑分类器在该邻域内依然具有鲁棒性保证。
• 概率保证：考虑到实际 RS 使用蒙特卡洛采样，论文给出了带有置信度调整的概率保证（Theorem 4.2），即只要方差估计模型和分类器都满足局部常数性，最终的认证半径是两者认证半径的最小值。

2.2 双重随机平滑框架 (Dual RS Framework)

基于上述理论，作者提出了由两个组件组成的框架（如图 2 所示）：

1. 方差估计器 (Variance Estimator, $g_e$)：
   • 这是一个独立的 RS 模型，用于预测每个输入 $x$ 的最优噪声方差 $\sigma_c(x)$。
   • 它本身也经过随机平滑处理（使用全局方差 $\sigma_e$），以认证其预测的方差在局部是常数的。
   • 输出：预测的方差 $\sigma_c$ 以及该预测的认证半径 $R_\sigma$。
2. 标准 RS 分类器 (RS Classifier, $g_c$)：
   • 使用方差估计器预测的 $\sigma_c(x)$ 作为噪声方差，对输入进行平滑和分类。
   • 输出：预测类别 $\hat{y}$ 以及分类的认证半径 $R_c$。
3. 最终结果：
   • 预测类别为 $g_c$ 的输出。
   • 最终认证半径 $R_{final} = \min(R_\sigma, R_c)$。
   • 总的不确定性由两个阶段的置信度之和控制（$\alpha$）。

2.3 训练策略

• 构建训练数据：对于每个输入，通过穷举候选方差集 $\Sigma$ 并计算其认证半径，将具有最大认证半径的方差作为“软标签”（Soft Label）。
• 软标签损失 (Soft Labels)：使用基于认证半径的指数加权 Softmax 作为软标签，而非硬标签。这使得即使预测的方差不是绝对最优，只要接近最优（能产生较大的认证半径），模型也能获得奖励。
• 一致性正则化 (Consistency Regularization)：在训练方差估计器时引入一致性损失，以提高其鲁棒性。
• 交替训练：先训练方差估计器，然后基于估计的方差微调分类器。
• 路由视角 (Routing Perspective)：该框架可被视为一个路由机制，从一组预训练的专家模型（每个专家擅长不同的噪声水平）中选择最适合当前输入的模型。

3. 主要贡献 (Key Contributions)

1. 理论突破：将 RS 认证推广到局部常数噪声方差，证明了输入依赖方差的合法性，打破了全局方差的理论限制。
2. Dual RS 框架：提出了一种包含方差估计器和分类器的双阶段框架，实现了灵活的输入依赖噪声，且无需测试时记忆。
3. 高效训练策略：设计了基于软标签和一致性正则化的训练方法，以及交替优化流程，有效解决了输入依赖方差的训练难题。
4. 路由新视角：将 Dual RS 解释为一种认证路由机制，能够利用现有的专家模型组合提升性能。

4. 实验结果 (Results)

4.1 CIFAR-10 数据集

• 性能提升：Dual RS 在小半径和大半径下均表现出强劲性能，这是全局方差方法无法实现的。
  • 在半径 0.5, 0.75, 1.0 处，相比之前的输入依赖方法（Multiscale），相对准确率提升分别为 15.6%, 20.0%, 15.7%。
  • 相比标准 RS，Dual RS 在保持小半径高准确率的同时，显著扩展了大半径的认证能力。
• 计算开销：推理时的计算开销仅比标准 RS 增加约 60%（Dual RS 约 22.58 秒/样本 vs 标准 RS 14.07 秒/样本），且相比 Multiscale 具有更稳定的最坏情况时间。

4.2 ImageNet 数据集

• Dual RS 在大规模数据集上同样有效。
• 在半径 0.5, 1.0, 1.5 处，相比 Multiscale 分别取得了 8.6%, 17.1%, 9.1% 的性能提升。

4.3 消融实验

• 证明了使用较小的采样预算（$N=100$）来构建训练数据可以大幅降低训练成本（减少 99%），而对最终性能影响极小。
• 证明了方差估计器的架构选择对最终性能影响不大，具有鲁棒性。

5. 意义与影响 (Significance)

• 解决根本权衡：Dual RS 成功解决了 RS 中长期存在的“小半径高准确率”与“大半径大认证范围”之间的矛盾，无需牺牲一方来换取另一方。
• 理论严谨性：通过严格的数学证明，确立了输入依赖方差在认证鲁棒性中的合法性，为未来自适应认证方法提供了理论基石。
• 实用性与扩展性：
  • 该方法不仅适用于从头训练，还可以作为路由机制，灵活集成现有的预训练专家模型（Off-the-shelf experts），无需重新训练庞大的基础分类器。
  • 计算开销可控，适合实际部署。
• 未来方向：该框架提出的“认证路由”概念可以扩展到确定性认证方法，为结合不同认证技术的优势提供了新的思路。

总结：这篇论文通过引入“局部常数方差”的理论和“双重随机平滑”的架构，成功实现了输入自适应的噪声方差，显著提升了随机平滑在不同对抗半径下的认证准确率，是目前该领域的重要进展。