🤖 machine learning

Theory of Continual Learning Against Data Poisoning Attacks

本文通过证明在无界攻击下的基本性能极限，并针对低频或有界噪声场景提出确保学习收敛的可证明防御机制，为对抗数据投毒的持续学习建立了一个理论框架。

原作者： Yiting Hu, Lingjie Duan

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiting Hu, Lingjie Duan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一位名叫持续学习者 (Continual Learner) 的学生，他在生命中接连参加一系列考试。他的目标是在学习第 100 场考试的同时，能够掌握从第 1 场到第 100 场的所有知识，且不会忘记第 1 场考试的答案。这就是持续学习 (Continual Learning, CL) 的世界。

然而，有一个淘气的破坏者 (Saboteur)（即对手）想要毁掉这个学生的学业。破坏者并不只是在某一次考试中作弊；他们试图混入有毒的学习资料（数据投毒），这些资料看起来很正常，但隐藏着隐形的诡计，旨在让学生忘掉所有已学知识或学到错误的答案。

这篇论文就像一本数学规则手册，试图回答两个大问题：

是否存在任何方法，能让破坏者无论学生多么聪明都注定失败？
如果破坏者的力量不是“无敌”的，学生可以使用哪些特定的学习策略来保持安全？

以下是利用简单类比对研究结果进行的拆解：

1. “无敌”的破坏者（坏消息）

研究人员首先观察了最坏的情况。他们发现，如果破坏者被允许：

污染几乎每一场考试（频繁攻击），并且
使用巨大的、荒诞的谎言（无界噪声）或完全改变学科内容（偏移模式），

那么，没有任何学习方法能拯救这个学生。 这就像如果有人把你教科书上的每一页都换成了乱码，或者在学期中途把整个“数学”学科换成了“烹饪”。任何 amount 的“正则化”（一个用于帮助记住旧课程的专业术语）都无法解决这个问题。学生注定会失败。

规则： 如果攻击过于频繁且过于疯狂，则不存在理论上的防御手段。

2. “识破冒充者”策略（针对罕见、剧烈的攻击）

接下来，研究人员问道：“如果破坏者很懒，只在少数几场考试中投毒，但一旦出手，就会使用巨大的、荒诞的谎言，情况会怎样？”

他们提出了一种新的学习技术，称为任务间验证 (Task-to-Task Verification, T2T)。

类比： 想象学生参加了第 99 场考试，然后参加第 100 场考试。通常情况下，两场考试之间的知识跨度是平滑且符合逻辑的。
诡计： 破坏者试图让第 99 场考试看起来很奇怪，从而在学生学习第 100 场考试时使其感到困惑。
防御： T2T 方法就像是一个观察最后两步的侦探。它对比了学生从第 98 场到 99 场的进步，以及从 99 场到 100 场的进步。如果 99 到 100 场的跳跃与 98 到 99 场的跳跃异常不同，系统就会发出警报：“等等！第 99 场或第 100 场考试有问题！”
结果： 无论谎言有多大（即使是巨大的、无界的谎言），只要破坏者只进行几次攻击，这种侦探方法就能识别出“冒充”的考试并将其丢弃，让学生能够安全地继续学习。

3. “抵御微调的铠甲”（针对频繁、细微的攻击）

最后，他们观察了另一种类型的破坏者：一个非常持久的破坏者。这个破坏者在每一场考试中都会投毒，但他们很谨慎。他们只使用微小的、微妙的引导（有界噪声），并且不会改变学科内容（非偏移）。

类比： 想象破坏者在学生每一次学习过程中，都在耳边不断低声进行微小且令人困惑的纠正。他们并没有改变书本的内容，只是在耳边低语“不，那不是完全正确的”，以此慢慢扭曲学生的理解。
问题： 上述的“侦探”方法在这里不起作用，因为每一场考试都受到了轻微的污染。你不能把每一场考试都丢弃！
防御： 研究人员设计了一种新型的精神铠甲（鲁棒特征防御）。他们不是尝试去识别坏的考试，而是改变了学生的学习方式。他们教导学生去忽略破坏者擅长使用的那些特定“低语”。
结果： 通过在数学上调整学生的注意力，他们分散了风险。尽管破坏者每天都在攻击，但学生学会了对这些特定的低语变得“迟钝”。这使得学生即使在持续的噪声环境下，也能比以前学得更快、更准确。

论文主张总结

极限： 如果敌人持续且疯狂地攻击，你无法取胜。
罕见攻击修复方案： 如果敌人很少攻击但攻击很猛烈，使用“回溯检查”（T2T）来识别并删除错误数据。
持续攻击修复方案： 如果敌人持续攻击但手段隐蔽，改变你的学习风格（鲁棒防御）以对他们的特定诡计免疫。

论文通过复杂的数学证明了这些想法，并在真实的计算机视觉任务（如识别照片中的猫和狗）上进行了测试，结果表明他们的新策略比现有方法表现更好。

技术摘要：对抗数据投毒攻击的持续学习理论

问题陈述

持续学习（Continual Learning, CL）使模型能够从流式数据任务中进行顺序学习，以解决稳定性-塑性权衡（stability-plasticity trade-off）并防止灾难性遗忘。虽然最近的理论进展已经为基于正则化的持续学习建立了严谨的泛化界限，但这些框架很大程度上忽略了安全威胁。具体而言，持续学习模型容易受到数据投毒攻击的影响，即攻击者向训练数据中注入恶意扰动，以触发学习发散、诱发灾难性遗忘或降低泛化性能。

与标准的批处理学习不同，持续学习呈现出一种独特的脆弱性：攻击者可以跨多个任务在时间维度上持续操纵模型，通过序列化地偏置模型的轨迹，使其趋向于对抗性的目标。现有的实证研究已经展示了这些脆弱性，但目前仍缺乏一个用于刻画防御极限以及持续学习中对抗交互动态的原则性理论基础。

方法论

本文将基于正则化的持续学习中对抗者与防御者之间的交互建模为一个在线零和博弈（online zero-sum game）。对抗者的目标是最大化累积超额风险（cumulative excess risk），而防御者的目标是设计正则化项以在受到攻击时最小化该风险。

1. 攻击特征化

作者从三个维度定义了对抗者的能力：

频率（Frequency）： 攻击是频繁发生的（随任务数量 $T$ 线性缩放），还是不频繁发生的（有限次数的攻击）。
幅度（Magnitude）： 每次攻击的投毒预算是受限的（相对于 $T$ 为亚线性），还是不受限的（线性或超线性于 $T$ ）。
模式（Pattern）： 攻击是诱发分布偏移（shifted），还是仅仅添加噪声而不改变均值（non-shifted）。

2. 理论框架

该防御框架基于基于正则化的持续学习，具体使用了广义 $\ell_2$ 正则化更新规则。作者通过使用泰勒展开和海森矩阵（Hessian matrices）来近似超额风险，从而推导出一个可处理的对抗目标代理。这使得分析针对最坏情况扰动的最优防御策略成为可能。

本文根据攻击特征分析了两种不同的防御机制：

机制 A：不频繁、无界、偏移型攻击

对于攻击罕见但可能规模巨大且会导致数据分布偏移的情景，作者提出了任务间验证防御（Task-to-Task (T2T) Verification Defense）。

机制： 系统根据连续参数更新（ $w_t - w_{t-1}$ 与 $w_{t-1} - w_{t-2}$ ）计算动态检测分数 $d_t$ 。
归因困境解决： 通过将更新投影到当前任务特征与前一任务特征的公共子空间上，并移除历史状态（ $w_{t-2}$ ）的影响，该机制隔离了专门由最后两个任务引起的偏差。
行动： 如果检测分数超过理论推导的阈值，系统将丢弃当前的及前一个模型的更新，从而有效地回滚到干净的状态。

机制 B：频繁、有界、非偏移型攻击

对于攻击普遍存在但规模受限且不改变分布（策略性噪声注入）的情景，T2T 拒绝策略会失效，因为拒绝每一个任务会导致学习停止。因此，作者提出了鲁棒特征防御（Robust Feature Defense）。

机制： 防御者优化正则化矩阵 $H_t$ ，以最小化模型对投毒特征的敏感度。这涉及求解零和博弈的内部极大化问题，以找到针对海森矩阵每个特征方向的最优正则化强度。
策略： 防御机制识别出一个“受保护集（Protected Set）”，即对抗者集中预算的敏感特征方向，并定制正则化参数以抑制这些特定方向的敏感性，从而分散最坏情况的影响。

核心贡献

基本性能极限： 本文确立了如果对抗者使用无界噪声或分布偏移来投毒线性比例的任务，基于正则化的持续学习不存在可证明的收敛保证。这定义了不可防御机制的边界。
任务间（T2T）验证： 一种针对不频繁、无界攻击的新型防御机制，它通过解耦历史更新与当前状态来检测并丢弃被投毒的任务，即使在存在无界偏移的情况下也能提供可证明的收敛保证（超额风险为 $O(K^2/T)$ ）。
鲁棒特征防御： 一种针对频繁、有界、非偏移攻击的最优正则化策略。通过求解极小极大问题（minimax problem），作者推导出了闭式正则化参数，其收敛速度比标准方法更快，有效地减轻了策略性噪声的影响。
统一的理论框架： 本研究提供了对持续学习中对抗韧性的首次正式分析，弥合了启发式防御与严谨理论保证之间的鸿沟。

实验结果

作者在现实数据集（CIFAR-10 和 CIFAR-100）上，利用线性模型（预训练 ViT 加线性头）和非线性模型（从头训练的 CNN）验证了其理论发现。

不频繁偏移攻击： T2T 防御成功检测到了攻击（通过检测分数 $d_t$ 的峰值体现），并在丢弃被投毒任务后保持了与无攻击基准相当的测试准确率。相比之下，传统的基准方法如 EWC 和 iCaRL 遭受了显著的准确率下降。
频繁非偏移攻击： 鲁棒特征防御加速了超额风险的收敛，并保持了比标准 EWC 和基于记忆的 iCaRL 更高的测试准确率。值得注意的是，虽然 i-CaRL 由于其重放缓冲区在应对不频繁攻击时表现良好，但在面对频繁的策略性攻击时表现不佳，因为它缺乏应对针对性噪声注入的特定正则化结构。
合成验证： 在合成线性回归任务上的实验证实了理论收敛速率，表明在存在策略性噪声时，所提出的鲁棒防御优于标准的 EWC 正则化器。

意义与主张

本文声称建立了理解并防御持续学习中数据投毒攻击的第一个理论基础。通过将交互建模为在线零和博弈，作者证明了：

存在防御能力的根本限制；具体而言，带有无界噪声或偏移的频繁攻击在证明上是不可防御的。
在可行机制内，特定机制（T2T 验证和鲁棒特征优化）可以提供可证明的性能保证并加速收敛。
所提出的防御措施为启发式方法提供了一个严谨的替代方案，提供了一个连接理论极限与对抗数据投毒实践韧性的统一分析框架。

作者指出，其工作侧重于基于正则化的范式，因为基于记忆的方法通常具有启发性且难以在单一理论框架下进行统一分析，尽管它们在实验中作为经验基准。未来的工作建议将这些理论扩展到大规模神经网络和其他持续学习框架（如基于重放的方法）。