🤖 AI

SHIELD: Secure Hypernetworks for Incremental Expansion Learning Defense

本文介绍了 SHIELD，这是一个结合了基于超网络架构、区间边界传播（Interval Bound Propagation）以及一种全新的区间混合（Interval MixUp）策略的新型框架，旨在实现面对强对抗攻击时具有可验证鲁棒性、可扩展性且无需重放的持续学习。

原作者： Patryk Krukowski, Łukasz Gorczyca, Piotr Helm, Kamil KsiąĊek, Przemysław Spurek

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Patryk Krukowski, Łukasz Gorczyca, Piotr Helm, Kamil KsiąĊek, Przemysław Spurek

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个机器人成为一名终身学习者。你希望它能够一个接一个地学习新技能——比如先学习在城市中驾驶，然后学习在雪地中驾驶，接着学习在建筑工地中导航。

这里存在着双重问题：

“遗忘”问题： 当机器人学习如何在雪地中驾驶时，它往往会忘记如何在城市中驾驶。
“骗子”问题： 一个聪明的黑客可以在停止标志上贴一个极小的、几乎看不见的贴纸，让机器人误以为那是限速标志。这被称为“对抗性攻击”（adversarial attack）。

目前大多数方法要么试图解决其中一个问题，要么在解决其中一个时失败于另一个。它们要么为了学习新技能而遗忘旧技能，要么为了抵御黑客而变得过于僵化，从而无法学习任何新东西。

SHIELD 是论文中提出的一种新系统，它同时解决了这两个问题。以下是它运作的方式，我们使用简单的类比来解释：

1. 大厨与食谱书（超网络）

与其为每一个新任务都构建一个全新的大脑（这会占用大量内存并导致遗忘），SHIELD 使用了一位大厨（称为“超网络”，Hypernetwork）。

运作方式： 你给大厨一张精简的便签（“任务嵌入”，task embedding），上面写着：“现在是时候进行雪地驾驶了。”
神奇之处： 根据这张便签，大厨会立即写出一份定制食谱（生成特定的权重），用于打造一个“雪地驾驶大脑”。当你切换到“城市驾驶”时，大厨会再写一份新的食谱。
优势： 大厨不需要保存一个巨大的旧大脑库（不需要“回放缓冲区”，replay buffers）。它只需要保留那本食谱书。这意味着机器人永远不会忘记旧的食谱，因为它们随时可以被再次写出来。

2. “安全气泡”（区间界限传播）

为了保护机器人免受“骗子”（对抗性攻击）的侵害，SHIELD 不仅仅观察图像本身；它还会观察图像周围的一个安全气泡。

概念： 想象机器人看到一个停止标志。它不仅仅检查那一个特定的像素排列，它还会检查该标志周围的一个小的 3D 立方体（超立方体）的可能性。它会问：“如果有人在任何方向上轻微挪动这个标志，使其处于这个气泡范围内，我是否仍然能将其识别为停止标志？”
保证： 这被称为区间界限传播（Interval Bound Propagation, IBP）。它在数学上证明了，只要黑客的诡计保持在这个气泡之内，机器人就绝不会被欺骗。这就像一名保安，他不仅检查门口的人，还检查那个人可能占据的整个空间。

3. “有弹性的橡皮筋”（区间 MixUp）

在这里，论文引入了它最具有创造性的想法：区间 MixUp（Interval MixUp）。

问题： 如果你尝试仅使用“安全气泡”方法来教机器人，数学计算会变得非常混乱，机器人可能会感到困惑，尤其是在学习新事物时。这就像试图把橡皮筋拉得太长，结果它断了。
解决方案： 作者发明了一种创建虚拟样本的方法。
- 假设你有一张猫的照片和一张狗的照片。
- 标准的训练可能会向机器人展示两者的模糊混合体。
- 区间 MixUp 会提取猫和狗周围的“安全气泡”，将它们向彼此拉伸，并在中间创建一个新的虚拟气泡。
- 至关重要的是，这个新的虚拟气泡距离真实的猫或狗越远，它的安全气泡就会变得越小。
为什么这有帮助： 这迫使机器人学习不同类别之间平滑、温和的过渡。它将“决策线”（机器人决定是“猫”还是“狗”的分界线）推向远离实际数据的地方，从而创造出一个宽阔且安全的缓冲地带。这使得机器人更难被欺骗。

结果：他们发现了什么？

研究人员在几个标准的“学习挑战”（如识别旋转数字或拆分复杂图像数据集）上测试了 SHIELD。

击败黑客： 当受到强大的、复杂的黑客攻击（使用 PGD 和 AutoAttack 等方法）时，SHIELD 依然保持冷静。与之前尝试实现鲁棒性的方法相比，它的准确率明显更高。
没有遗忘： 由于使用了“大厨”方法，它在学习新任务的同时不会忘记旧任务。
“MixUp”带来的提升： 加入“区间 MixUp”技术使系统表现得更好，提高了它在处理干净图像和受攻击图像时的准确率。

总结

SHIELD 就像是一个拥有大厨的机器人，可以瞬间召回旧技能而不占用过多记忆；同时它还有一个安全气泡系统，在数学上保证它不会被微小的变化所欺骗。其核心秘诀是 区间 MixUp，它像一根橡皮筋，通过拉伸机器人的理解力，在不同的概念之间创造出宽阔、安全的间隙，使其极其难以被迷惑。

论文声称，这是第一个成功将认证安全性（数学证明的安全性）与终身学习（在学习新事物的过程中不遗忘旧事物）结合在一起，并且在扩展性和有效性方面都表现出色的方法。

技术摘要：SHIELD —— 用于增量扩展学习防御的安全超网络

1. 问题陈述

深度神经网络在静态训练环境中表现出色，但在需要持续学习（Continual Learning, CL）——即在保留先前知识的同时适应连续任务的能力——的现实世界场景中却面临挑战。同时，这些模型极易受到**对抗性扰动（Adversarial Perturbations）**的影响，即经过精心设计的微小输入变化会导致模型产生置信度高但错误的预测。

现有的研究将这些挑战孤立对待。试图弥合两者的方法面临显著局限性：

可扩展性与隐私： 诸如双梯度投影（Double Gradient Projection, DGP）等方法需要存储大量的每任务梯度信息或完整的模型快照，这对于大规模数据集来说并不实际，且引发了隐私担忧。
鲁棒性与性能的权衡： 一些方法（如无监督数据增强 AIR）仅限于短任务序列。其他方法（如梯度投影记忆 GPM）虽然提高了 CL 性能，但却在无意中增加了对对抗攻击的易感性。
差距： 目前缺乏能够同时提供认证对抗鲁棒性（针对最坏情况扰动的形式化保证）和可扩展持续学习（无需依赖回放缓冲区或大量存储）的框架。

2. 方法论：SHIELD 框架

作者提出了 SHIELD，这是一个全新的框架，它将 区间传播（Interval Bound Propagation, IBP） 与 基于超网络（Hypernetwork）的架构 相结合，以实现可认证鲁棒的持续学习。

2.1. 核心架构

超网络 ( $H$ )： SHIELD 并没有为每个任务训练一个单独的模型或存储完整的模型副本，而是采用了一个由 $\Phi$ $Φ$ 参数化的共享超网络。该超网络接收一个紧凑的、可训练的任务嵌入（Task Embedding） $e_t$ $e_{t}$ 作为输入，并生成针对目标任务 $t$ $t$ 的特定权重 $\theta_t$ $θ_{t}$ 。
- 优势： 这消除了对回放缓冲区或梯度日志的需求，确保了可扩展性和隐私性。
带有 IBP 的目标网络： 目标网络处理的不是单个实值输入，而是代表输入扰动的 $\ell_\infty$ -有界超立方体（Intervals）。
- 利用区间算术（Interval Arithmetic），网络计算每一层激活值的下界 ( $\underline{z}_k$ ) 和上界 ( $\bar{z}_k$ )。
- 这使得模型能够考虑到半径 $\epsilon$ 内的最坏情况输入扰动，从而提供形式化的鲁棒性保证。

2.2. 训练策略：区间 MixUp (Interval MixUp)

为了解决标准 MixUp（仅插值单点）以及区间算术中的“包裹效应”（Wrapping Effect，即在高维空间中边界变得过于松散）的局限性，作者引入了 Interval MixUp。

机制： Interval MixUp 不仅仅是插值单个数据点，而是插值两个 $\ell_\infty$ -有界超立方体的中点。
自适应半径： 一个关键创新是虚拟样本扰动半径的动态缩放。如果 $\lambda$ $λ$ 是混合系数，则新的半径 $\epsilon'$ $ϵ^{'}$ 定义为：
$\epsilon' = |2\lambda - 1| \cdot \epsilon$
- 这确保了靠近原始数据流形（当 $\lambda \approx 0$ 或 $1 $时）的虚拟样本保留较大的半径，而处于中间位置（$ \lambda = 0.5$）的样本半径为零。
效果： 该策略通过在传播过程中保持较小的区间半径，减轻了包裹效应，从而获得了更紧凑、信息量更丰富的边界以及更平滑的决策边界。

2.3. 损失函数

总损失函数由三个部分组成：

Interval MixUp 损失 ( $\mathcal{L}_{\text{IMixUp}}$ )： 标准交叉熵（针对名义输入）与最坏情况区间损失的加权组合。最坏情况损失考虑了区间内真实类别的下界以及所有其他类别的上界。
超网络正则化 ( $\mathcal{L}_{\text{out}}$ )： 该项惩罚超网络对先前任务输出的变化。这确保了更新新任务的权重不会降低先前已学习任务的性能或鲁棒性，从而有效地防止了灾难性遗忘。
调度退火（Scheduled Annealing）： 在训练过程中动态调整标准损失与区间损失之间的平衡，以稳定优化过程。

3. 核心贡献

SHIELD 架构： 一个统一的鲁棒持续学习框架，通过共享超网络生成任务特定参数，消除了对回放缓冲区的需求并确保了可扩展性。
Interval MixUp： 一种结合了虚拟插值与区间算术的全新训练策略。它引入了半径缩放机制来收紧边界并减轻包裹效应，从而提升了鲁棒性和准确性。
理论保证： 本文提供了一个持续学习中认证鲁棒性的形式化定义，证明了在充分正则化的条件下，该方法能在学习新任务的同时保留先前任务的认证鲁棒性。
最先进的性能（SOTA）： 该方法在多个基准测试中取得了卓越的结果，提供了针对强白盒攻击（PGD, AutoAttack）的认证鲁棒性，同时保持了对干净数据的准确率。

4. 实验结果

作者在四个基准测试上评估了 SHIELD：Permuted MNIST、Rotated MNIST、Split CIFAR-100 以及 Split miniImageNet。

性能： SHIELD 一致地优于现有的鲁棒持续学习方法（包括 GEM, GPM, DGP 和 AIR）。
- 在 Split miniImageNet 上，SHIELD 在 AutoAttack 下实现了 56.22% 的平均准确率（AA），显著超过了表现次优的基准方法（DGP 为 32.1%）。
- 使用 Interval MixUp (SHIELDIM)，模型性能进一步提升，在 Split miniImageNet 上达到了 57.9% 的 AA，并在干净样本上达到了 62.67%。
鲁棒性与准确率的权衡： 该方法成功缓解了增加鲁棒性 ( $\epsilon$ ) 会导致干净数据准确率下降的典型权衡问题。Interval MixUp 使 SHIELD 能够在不牺牲原始样本性能的情况下获得更高的对抗准确率。
遗忘： 该方法展示了较低的后向迁移（Backward Transfer, BWT）值（例如 Split miniImageNet 为 -0.16），表明其能有效保留先前的知识。
验证： 使用 Interval MixUp 训练的模型所展示的“验证准确率”（对 $\epsilon$ -球内所有扰动的鲁棒性）与其经典准确率非常接近，这相比标准的 IBP 基准有了显著改进。

5. 重要性与主张

本文将 SHIELD 定位为迈向对抗环境下实用且具有理论依据的持续学习的重要一步。

首创性： 作者声称 SHIELD 是第一个将超网络与区间算术相结合，以确保跨顺序任务鲁棒性的认证鲁棒持续学习方法。
统一性： 它证明了持续适应与形式化保证是可以统一的，超越了以往将鲁棒性研究与遗忘研究孤立看待的现状。
可扩展性： 通过避免使用回放缓冲区和存储完整模型，该方法被呈现为在必须在存在对抗威胁的情况下进行持续学习的隐私敏感型及大规模应用中的可行方案。

作者也承认了局限性，指出虽然 IBP 效率很高，但在高维设置下仍可能产生过于保守（宽泛）的输出边界，这可能会影响计算效率和鲁棒性保证的紧凑性。