💻 computer science

Amnesia: A Stealthy Replay Attack on Continual Learning Dreams

本文介绍了 Amnesia，一种针对持续学习系统的隐蔽重放攻击，其中低权限内部人员仅通过操纵重放样本的选择，在保持在可审计统计约束范围内的同时实现性能退化的最大化，从而揭示了索引控制学习流水线中存在的实际威胁面。

原作者： Ahmed Sharshar, Naveen Kumar Kummari, Mohsen Guizani

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Ahmed Sharshar, Naveen Kumar Kummari, Mohsen Guizani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心概念：一个会遗忘的机器人

想象一个正在学习一项接一项新工作的机器人。首先，它学习如何分类红色的积木；然后，它学习如何分类蓝色的积木；最后，它学习如何分类绿色的积木。

问题在于持续学习（Continual Learning）：当机器人学习分类绿色积木时，它往往会不小心“覆盖”掉关于如何分类红色和蓝色积木的记忆。这被称为灾难性遗忘（Catastrophic Forgetting）。

为了解决这个问题，工程师们使用了一个技巧，叫做经验回放（Experience Replay）。机器人会保留一个记录过去工作的“笔记本”（缓冲区）。每当它学习新知识时，它也会翻阅几页旧笔记本，以此提醒自己过去的知识。这让旧记忆得以保持。

攻击手段：名为“梦境”的破坏者

这篇论文介绍了一种新型攻击，称为 Amnesia（失忆症）。

设定：
想象机器人的笔记本是由一位图书管理员管理的。管理员的任务是决定在“复习”期间向机器人展示哪些页面（示例）。

攻击者： 一个“灰盒内部人员”（拥有有限访问权限的人），他控制着这位图书管理员。
限制条件： 攻击者不能修改笔记本里的图片，不能修改机器人的大脑（权重），也不能改变机器人当前的课程。他只能决定图书管理员从哪些页面中提取内容并展示给机器人。

目标：
攻击者希望机器人尽可能多地忘记旧的工作（红色和蓝色积木），同时还要让一切看起来都很正常。

它是如何运作的：“倾斜与投影”策略

攻击者使用两步走的过程来操纵机器人的记忆，同时避免被老板（审计员）发现。

1. “倾斜”（选择毒素）

攻击者观察笔记本，并计算出哪些过去的示例对机器人的记忆最具威胁。

类比： 想象机器人正在学习开车。攻击者注意到，如果机器人练习“停车”太多，它就会忘记如何“在高速公路上行驶”。因此，攻击者决定将选择过程“倾斜”向“停车”示例。
数学原理： 他们为每一类数据分配一个“伤害分”。他们希望向机器人展示更多“有害”的类别，并减少展示“安全”的类别。

2. “投影”（隐身面具）

这里是棘手的部分。如果攻击者只给机器人看“停车”示例，老板（审计员）会立刻察觉：“嘿，笔记本通常包含驾驶、停车和转弯的混合内容。为什么今天全是停车？”

为了躲避检测，攻击者必须留在严格的**可审计预算（Auditable Budgets）**之内：

总量预算： 展示的页面总数必须保持不变。
可见性预算： 页面的“混合比例”必须在统计上看起来与正常混合比例相似。如果正常的比例是 50% 驾驶和 50% 停车，那么攻击不能将其改为 90% 停车。它只能进行微小的调整，比如 55% 停车和 45% 驾驶。

解决方案：
攻击者使用一个数学“投影器”，将他们的有害计划压缩回“安全区域”。

他们计算出一个完美的、带有轻微危险性的混合比例，这个比例恰好足够接近正常混合比例，从而能够瞒过审计员的日志。
他们使用了两种方法：
- KL（Kullback-Leibler）： 一种平滑且温和的微调。它很难被检测到，但造成的破坏力稍小。
- TV（Total Variation）： 一种更剧烈、更激进的微调。它造成的破坏更大，但也更容易被仔细观察的审计员发现。

结果：“失忆症”

当机器人在这种被操纵的选择下进行训练时：

它通过复习“有害”示例，足以干扰它对旧任务的记忆。
它通过复习“安全”示例，足以通过审计员的检查。
结果： 机器人最终产生了失忆症。它比平时更快地忘记了旧任务（如分类红色积木），尽管审计员的日志显示“页面的混合比例”看起来完全正常。

为什么这很重要

这篇论文证明了，你不需要黑入机器人的大脑或破坏数据文件就能破坏学习系统。你只需要控制哪些旧记忆被拿出来进行复习。

现实世界类比： 想象一名正在为历史考试复习的学生。老师（系统）给了他一份需要复习的主题清单。如果一个破坏者（攻击者）微妙地改变了清单，使得学生复习“第二次世界大战”的次数增加了 10%，而复习“文艺复兴”的次数减少了 10%，那么学生稍后可能会在“文艺复兴”部分不及格。如果破坏者保持复习主题的总数不变，且清单看起来基本正常，老师在学生考试不及格之前是不会察觉到破坏行为的。

实验中的关键结论

有效性： 该攻击在许多不同的数据集（如 CIFAR-10, CORe50 和 Tiny-ImageNet）上都成功实现了让机器人忘记旧任务。
隐蔽性： “KL”版本的攻击非常微妙，标准的检查（查看复习内容的日志）无法将其抓获。
高效性： 这种攻击几乎不会增加训练过程的额外时间。
权衡关系： 攻击者想要造成的破坏越大，就越难隐藏自己。“TV”方法造成的破坏更多，但也更容易触发警报。

总结

Amnesia 是一种“狡猾的图书管理员”攻击。通过精心挑选哪些过去的记忆需要被复习——程度刚好足以破坏机器人的大脑，但又不足以引起怀疑——攻击者可以使学习系统忘记它的过去，同时还能完美符合审计日志的规则。

技术摘要：Amnesia——针对持续学习的一种隐蔽重放攻击

问题陈述

持续学习（CL）系统依赖经验重放（experience replay）来缓解灾难性遗忘，通常通过将过去样本的小规模记忆与当前数据交织在一起来实现。虽然现有的持续学习安全研究主要集中在投毒（修改输入以降低性能）和后门（嵌入触发器以实现针对性失败）上，但这些方法往往缺乏在受监控的生产环境中常见的显式、可审计约束。

在部署的持续学习流水线中，重放采样器通常会被用于合规性监测，记录遥测数据，如重放索引集、每批次标签计数以及重放率。这些日志使得“可审计预算”成为可能，即监控程序可以验证实现的重放类别直方图是否仍接近名义基准，且重放率保持不变。本文识别出了一个关键的鲁棒性缺口：持续学习系统易受到有限权限内部人员的攻击，该攻击者仅控制重放索引的选择（即“做梦”阶段），而无需访问模型参数、像素数据或标签。该攻击者的目标是在严格遵守这些可审计的可视性与质量约束的前提下，最大化对过去任务的遗忘。这是一个在如此严格约束下此前从未被探索过的威胁面。

方法论：Amnesia 攻击

作者引入了 Amnesia，一种采样器层级的重放组合攻击，通过偏置从重放缓冲区中提取索引的方式进行操作。该攻击在两个显式约束下运行：

可视性预算 ( $\delta$ )： 受攻击的重放直方图与名义基准 ( $p_0$ ) 之间的散度（全变分或 KL 散度）不得超过阈值。
质量预算 ( $f$ )： 总重放率（保留比例）保持固定。

攻击遵循“先倾斜后投影”的两步法：

1. 偏好（倾斜）

攻击者利用轻量级的、采样器可读的效用信号（例如，作为元数据记录的交叉熵损失的指数移动平均 EMA 或置信度分数）来识别“有害”类别——即那些其过度代表能最大化遗忘程度的类别。这些效用值 ( $u$ ) 用于将名义类别直方图 $p_0$ 向目标分布 $\tilde{p}$ 进行倾斜，从而使 $\tilde{p}$ 倾向于高效用（有害）的类别。

2. 投影（隐匿）

倾斜后的分布 $\tilde{p}$ 被投影回由散度约束 $\delta$ 定义的审计“隐匿球”内。论文为两种散度类型提供了精确且高效的优化器：

KL 散度： 使用单参数指数倾斜（ $p^*(c) \propto p_0(c) \exp(\alpha u_c)$ ），通过单调一维根搜索找到使预算饱和的乘数 $\alpha$ 。这种方式保留了所有类别的正质量，从而产生更平滑的离散化结果。
全变分 (TV) 散度： 使用贪婪的双侧注水算法（water-filling algorithm），将概率质量从低效用类别转移到高效用类别，直到耗尽 $\ell_1$ 预算。这可能会将低效用类别推向零，从而产生更稀疏的分布。

3. 实现与调度

连续的最优分布 $p^*$ 被转换为批次大小 $m$ 的整数配额 ( $q$ )。系统采用使用环形缓冲区的窗口调度器来执行更紧缩的每步预算 ( $\delta_t$ )，确保在任何滚动窗口 $W$ 内的平均散度仍保持在全局限制 $\delta$ 之内。这处理了由于将配额取整为整数而引入的离散化噪声。

核心贡献

Amnesia 攻击： 首个采样器层级的重放组合攻击，通过操纵索引选择来最大化遗忘，同时保持对基于日志审计（速率和直方图检查）的合规性。它不触动像素、损失计算或模型参数。
原则性公式化： 一个形式化的优化框架，在最大化危害 ( $\langle u, p \rangle$ ) 的同时，受限于可审计约束 ( $Div(p \| p_0) \le \delta$ 且固定质量 $m$ )。作者证明了其投影步骤是最佳响应的类别组合，在等效约束下弱支配任何其他可行的采样器层级攻击。
审计实现： 一个将理论分布转换为整数配额的实用流水线，包含“审计并修正”机制和窗口调度器，以保证符合每批次和滚动窗口的审计检查。
全面评估： 在多个数据集（Split CIFAR-10/100, CORe50, Tiny-ImageNet）和强力重放基准（ER, ER-ACE, SCR, DER++）上对 Amnesia 进行了系统的权衡分析。

实验结果

作者在四个持续学习基准测试中评估了 Amnesia 对抗强力重放基准的表现：

影响： Amnesia 一致地降低了最终准确率 (ACC)，并显著恶化了后向迁移（增加了 $-BWT$）。例如，在带有 ER 的 Split CIFAR-10 上，该攻击将 ACC 从 50.4% 降至 29.3%，同时将遗忘程度（$-BWT$）从 55.1 增加到 82.7。
隐匿性与影响的权衡：
- KL 变体在保持高度审计隐匿性的同时实现了高影响，具有较低的尾部散度 ( $r_{batch@95}$ ) 且零窗口违规。其指数倾斜使质量分布更平滑，避免了触发审计标志的“块状”现象。
- TV 变体通常更具破坏性（更高的遗忘），但更容易被检测到，特别是在严格的每类约束下，因为它倾向于产生难以在整数配额下实现的稀疏且极端的分配。
与投毒对比： 尽管在严格的审计感知约束下运行，且无法访问模型内部或数据像素，Amnesia 仍能达到与 BrainWash 和 PACOL 等数据投毒基准相当或更优的遗忘水平，凸显了仅靠索引控制是一个强大的威胁面。
鲁棒性： 该攻击在不同骨干网络架构（ResNet-18, Vi ViT-Tiny, ConvNeXt-Base）和重放方法中均保持有效，尽管像 ER-ACE 这样的方法表现出略高的鲁棒性。
开销： 相对于基准训练时间，该攻击引入的计算开销极小（KL 约为 3.5%，TV 约为 7.1%）。

意义与主张

本文声称揭示了仅限索引控制的重放控制是持续学习系统中一个实际且危险的威胁面。通过将影响与可视性在审计预算下的权衡进行形式化，作者证明了在严格的散度约束下最大化危害是一个精确的优化问题，而非启发式方法。作者认为，目前的持续学习防御措施不足以应对此类“隐蔽”的组合攻击，因为它们通常假设威胁涉及数据损坏或参数操纵，而忽略了对重放分布的微妙操纵。结果表明，仅监测重放统计数据可能不足以检测复杂的、受散度约束的攻击，因此需要新的防御机制来应对战略性操纵重放索引的情况。