🤖 machine learning

Forgettable Federated Linear Learning with Certified Data Unlearning

本文提出了可遗忘联邦线性学习框架，该框架通过线性模型近似深度神经网络，从而在无需额外客户端通信或历史模型存储的情况下，实现经过认证、高效且安全的联邦遗忘。

原作者： Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruinan Jin, Minghui Chen, Qiong Zhang, Xiaoxiao Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你和一群朋友正在共同拼凑一个巨大的拼图，以解开一个谜团。这就是联邦学习（Federated Learning, FL）。大家并不是把各自的拼图碎片都送到一张中央桌子上（那将是一场隐私灾难），而是每个人都把碎片留在家中。他们只需将关于如何拼接自己碎片的指令发送给一位中央领导者。领导者将这些指令合并，以构建更完整的画面，然后将更新后的指令发回。大家在从未展示各自私密碎片的情况下共同学习。

但如果其中一位朋友带来了一块被投毒的碎片呢？也许他们偷偷在碎片上画了一个隐藏符号，一旦该符号出现，整个拼图就会看起来面目全非。或者，也许这位朋友只想离开群体，并要求其碎片从最终画面中被彻底抹去（即“被遗忘权”）。

这正是**联邦遗忘（Federated Unlearning, FU）**发挥作用的地方。它是一种在不推翻整个拼图、从头重来的情况下，移除某位朋友贡献的过程。

当前方法的问题

目前，尝试移除某位朋友的碎片简直是一场噩梦：

“重头再来”法：你可以要求所有人抛开那位朋友，从零开始重新拼凑拼图。这耗时极长，且消耗大量能量（计算能力）。
“询问朋友”法：某些方法要求想离开的朋友在自己的计算机上做一些额外计算，然后将结果发回。但如果那位朋友正是投毒者呢？他们可能会撒谎或拒绝合作。
“囤积”法：某些方法要求领导者保存拼图在构建过程中每一步的每一个版本的副本。这会瞬间填满存储空间。

新解决方案：F2L2

本文作者提出了一种巧妙的名为**可遗忘联邦线性学习（Forgettable Federated Linear Learning, F2L2）**的新方法。他们利用两个主要技巧，使遗忘过程变得简单、快速且安全。

技巧一：“线性草图”（联邦线性训练）

深度神经网络（当今使用的复杂 AI 模型）就像极其纠缠的绳结。要解开其中一根特定的线（即移除一个人的数据），几乎不可能在不解开整个绳结的情况下实现。

作者的首要技巧是停止尝试解开绳结。相反，他们使用一个预训练模型（一个已在公共数据上训练好的模型）作为起点。然后，他们将复杂模型视为该起点周围的直线（即“线性近似”）。

类比：想象你在绘制一座复杂的山脉。要擦除其中一座山丘非常困难。但如果你将镜头极度拉近到山顶附近，山脉看起来就像一条简单的直坡。如果你想移除该斜坡的某一部分，只需计算一个简单的数学调整即可。你无需重绘整座山脉；只需调整斜坡的角度。

这条“线性斜坡”在数学上易于处理。它将一个混乱复杂的问题转化为一个简单的计算问题，只需快速计算即可移除某人的数据。

技巧二：“魔法橡皮擦”（FedRemoval）

一旦模型被视为简单的“斜坡”，服务器（即领导者）就可以执行牛顿步（Newton Step）。

类比：将模型想象成坐落在山谷中的一颗球。球的位置代表最终模型。如果你想移除某位朋友的数据，你无需要求他们推动球，也无需查看该球过去的照片。你只需要知道他们最初推动它的力度（即他们在训练期间已经发送的最终梯度）。
服务器利用这些“推动”信息，精确计算出如何将球移回该朋友从未推动过它时的位置。这就像一种魔法橡皮擦，能在服务器端瞬间生效。

为何这至关重要

本文声称，这种新方法F2L2解决了当前遗忘技术中最大的三个痛点：

无需“询问朋友”：服务器完成所有工作。它无需联系离开者，即使对方具有恶意或处于离线状态。
无需“囤积”：服务器无需保存模型的每一个版本。它仅需训练过程中的最终数学信息。这节省了海量内存。
经过认证：作者并非凭空猜测其有效性，而是通过数学证明了这一点。他们表明，其“魔法橡皮擦”的结果几乎与扔掉整个拼图、在不包含该朋友的情况下从头重拼的结果完全一致。

实验结果

团队在从简单数字识别（MNIST）到复杂图像识别（如识别花朵或汽车）的各种任务上测试了该方法。他们甚至将其应用于“基础模型”（即当前备受瞩目的庞大、强大的 AI 模型）。

结果：在每一项测试中，F2L2 都成功移除了“被投毒”的数据（即后门攻击），使模型停止异常行为。
权衡：关键在于，移除不良数据并未破坏模型执行任务的能力。模型保持了与之前同等的智能，但消除了不良影响。

总结

简而言之，本文提出了一种在群体 AI 环境中进行遗忘的方法，其特点如下：

快速：无需重新训练整个模型。
安全：不依赖离开者的配合。
高效：无需保存数 TB 的旧数据。
经证实：数学上保证效果几乎与从头开始一样好。

它将“从复杂 AI 中擦除特定记忆”这一看似不可能的任务，转化为服务器端的一个简单、单步计算。

技术摘要：可遗忘联邦线性学习与认证数据遗忘（F2L2）

问题陈述
联邦学习（FL）在保护数据隐私的同时实现了协作模型训练，但在“被遗忘权”和恶意贡献（例如来自后门攻击的投毒数据）的移除方面面临重大挑战。现有的联邦遗忘（FU）方法存在关键局限性，阻碍了其在现实世界中的采用：

客户端依赖：许多方法需要保留客户端（用于重新训练或微调）或目标客户端（用于梯度上升或定制优化）的配合，如果客户端具有恶意或不可用，这将引入通信开销和安全风险。
存储低效：像 FedEraser 这样的方法需要存储所有历史全局模型，对于大规模深度神经网络（DNN）而言，这会带来难以承受的记忆成本。
缺乏认证：由于 DNN 的非线性，大多数现有的 FU 方法缺乏理论保证，无法确保遗忘后的模型与从头开始重新训练的模型不可区分。

所解决的核心研究问题是：我们如何设计一个实用的 FU 框架，在无需保留客户端配合、目标客户端参与或历史模型存储的情况下，确保认证遗忘？

方法论：F2L2 框架
作者提出了可遗忘联邦线性学习（F2L2），这是一个将新颖的训练流程与服务器端遗忘机制相结合的框架。

联邦线性训练（FLT）：
- 线性化：受神经切线核（NTK）及其对预训练模型的扩展启发，FLT 在预训练权重向量 $w_p^*$ 附近对 DNN 进行线性近似。模型函数被近似为 $f(x; w) \approx f(x; w_p^*) + \langle \nabla_w f(x; w_p^*), w - w_p^* \rangle$ 。
- 二次损失：这种线性化将损失函数转换为二次形式（均方误差），确保凸性。
- 训练过程：服务器使用预训练基础模型（FM）或在小型可信公共数据集（ $D_p$ ）上训练的模型初始化模型。然后，客户端在此线性化模型上执行标准的联邦平均（FedAvg）更新。关键在于，预训练编码器参数保持固定（在 FM 的情况下），仅更新线性层权重。
FedRemoval（认证遗忘）：
- 牛顿步：由于损失是二次的，移除目标客户端数据（ $D_c$ ）后的最优权重可以通过闭式牛顿步计算： $w^- = w^* - [\nabla^2 L(w^*; D_-)]^{-1} \nabla L(w^*; D_-)$ 。
- 服务器端执行：为了避免在分布式剩余数据集（ $D_-$ ）上求逆海森矩阵的计算成本，FedRemoval 使用服务器端可用的预训练数据集 $D_p$ 来近似海森矩阵。
- 效率：遗忘过程仅需目标客户端的最终梯度（在训练期间已共享）和服务器端的本地数据。它涉及零与客户端的额外通信和零历史模型存储。更新完全在服务器端计算。

主要贡献

新颖框架：F2L2 是首个将分布式混合线性训练（FLT）与纯服务器端遗忘机制（FedRemoval）相结合的联邦遗忘解决方案。它消除了遗忘过程中对客户端配合和历史模型存储的需求。
认证保证：作者推导了通过 FedRemoval 获得的权重与通过完整重新训练获得的权重之间 $L_2$ 范数差异的理论上界。这提供了遗忘过程有效的严格认证。
综合评估：在六个数据集（MNIST、FashionMNIST、CIFAR10、ImageNet、DomainNet、Flowers）和四种模型架构上进行了广泛的实验，包括使用线性探测的基础模型（CLIP、BLIP2）。

实验结果

遗忘效力：F2L2 成功移除了后门攻击，将后门成功率（BSR）降低到与随机猜测相当的水平（例如，在各种数据集上约为 5-10%），同时保持测试准确率（TA）接近重新训练的基准真值。
与基线比较：F2L2 通过实现 TA 和 BSR 之间更好的权衡，优于现有基线（FedEraser、EWSGA、SGA、Flipping、CF 等）。与通常需要额外通信或存储的基线不同，F2L2 在零额外开销的情况下实现了接近基准真值的性能。
基础模型：该方法在应用于大规模基础模型（例如 ImageNet/DomainNet 上的 CLIP）时是有效的，在有效遗忘投毒客户端的同时保持了高 TA（约 90-95%）。
可扩展性与稳定性：该方法在不同数量的客户端（5 到 20）和不同的数据异构设置（非独立同分布分布）下保持稳定，尽管 BSR 随异构性增加略有上升，但仍保持在接近随机猜测的水平。
效率：海森矩阵近似显著降低了计算成本（FLOPs），并消除了遗忘阶段的通信开销。

意义与主张
本文主张 F2L2 代表了一条高效且可信的联邦遗忘流程。通过利用预训练权重周围线性化模型的数学特性，作者证明了在不牺牲通信开销、客户端配合或巨大存储需求的传统权衡下，实现认证遗忘是可能的。这项工作表明，DNN 的线性近似，特别是在基础模型的背景下，为可扩展且安全的联邦系统提供了一条可行路径，这些系统能够尊重用户隐私权并缓解后门攻击等安全威胁。

作者指出，虽然线性近似是有效的，但将框架扩展到分类、生成任务或高度非线性区域之外的更广泛 FL 设置，仍然是未来研究的方向。