🤖 AI

EASE: Federated Multimodal Unlearning via Entanglement-Aware Anchor Closure

本文介绍了 EASE，一种联邦多模态遗忘框架，它通过一种涉及锚点闭合、子空间分解和方向选择性遗忘锁的纠缠感知设计，切断跨模态重建通道并隔离特定于客户端的更新方向，从而有效移除被遗忘的数据。

原作者： Zihao Ding, Beining Wu, Jun Huang

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Zihao Ding, Beining Wu, Jun Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《EASE：基于纠缠感知锚点闭合的联邦多模态遗忘》的通俗解释，辅以生动的类比。

宏观图景：群聊中的“被遗忘权”

想象一群朋友（即客户端）希望共同构建一个能识别动物并描述它们的超级智能 AI。他们不想将私人照片分享给中央老板（即服务器），而只分享他们的“学习笔记”（数学更新）。这就是联邦多模态学习。

但如果其中一位朋友说：“我想退出群组，并让我的照片从 AI 的记忆中彻底消失”，该怎么办？这就是联邦遗忘。

问题在于，在多模态 AI（既能看图又能读文）中，知识是深度纠缠的。如果你只是删除关于“狗”的笔记，AI 可能仍然记得狗，因为文字描述依然存在，或者因为其他朋友的数学计算过于混杂，导致你无法分辨哪部分属于那位离开的人。

这篇论文的作者EASE发现，之前的方法之所以失败，是因为它们没有妥善解开这些结。它们留下了三个特定的“锚点”（隐藏的钩子），使得被遗忘的知识得以存活。EASE 是一个新框架，旨在切断这三个钩子。

三个“锚点”（为何之前的方法会失败）

作者发现，当你尝试删除某个客户端的数据时，有三件事会让记忆保持鲜活，就像锚点将船固定在原地一样：

1. 模态锚点（“单向橡皮擦”问题）

类比：想象一对夫妇共同创作一个故事。一个人负责画图，另一个人负责写文字。他们配合得天衣无缝，以至于如果你擦掉了图画，文字依然能完美地描述那些图画。如果你试图通过只修改画图者的笔记来“遗忘”图画，那么写文字者的笔记就会充当备份锚点，将画图者拉回原来的故事。
解决方案（双边知识切除）：EASE 不仅仅擦除图画，而是同时擦除图画和文字。它迫使双方同时放弃特定的配对，这样任何一方都无法将记忆拉回。

2. 独特子空间锚点（“共享笔记”问题）

类比：想象这群朋友正在为数学考试复习。一位学生（即将离开的那位）有一种解决特定问题的独特方法（一种“独特方向”）。然而，他的笔记与其他留下的学生的笔记混在一起。如果你试图通过扔掉整本教科书的一大部分来删除这位离开学生的笔记，你会意外地删除那些留下的学生所需的独特数学技巧。
解决方案（梯度子空间分解）：EASE 就像一位超级聪明的图书管理员。它查看数学笔记，并将它们分成两堆：
1. “独特”堆：只有离开的学生才知道的内容。（这些会被删除）。
2. “共享”堆：大家一起学习的内容。（这些会被安全保留）。
  它像手术一样精准地移除“独特”堆，而不触碰共享知识。

3. 时间重锚点（“滑坡”问题）

类比：想象你成功删除了离开学生的笔记。但第二天，群组又开始学习。由于剩余学生的笔记中仍隐藏着对离开学生风格的微小偏见，他们无意中开始将已删除的笔记重写进群组的新复习指南中。记忆会随着时间的推移悄然回归。
解决方案（遗忘锁）：EASE 在被删除知识曾经存在的特定方向上上了一把“锁”。随着群组继续学习，AI 在数学上被强制远离这些特定方向。这就像在被删除的记忆小径上立起一块“禁止入内”的牌子，防止群组意外地再次徘徊其中。

EASE 如何运作（解决方案）

作者构建了一个名为EASE（纠缠感知子空间切除）的系统，将上述三种解决方案整合到一个工作流中：

同步擦除：它同时切断图像和文字在双边的连接（闭合模态锚点）。
手术式分离：它使用一种数学技术（余弦 - 正弦分解）来精确找出哪些数学部分仅属于离开的人，哪些属于群组（闭合独特子空间锚点）。
锁定：它应用一个“遗忘锁”，防止 AI 在未来的训练过程中重新漂移回被删除的记忆小径（闭合时间重锚点）。

结果

该论文在真实世界数据集（如 Flickr30K 和 COCO）上测试了 EASE，在这些数据集中，AI 学习将图像与文字描述进行匹配。

目标：AI 的表现应完全如同离开客户端的数据从未存在过（就像从头“重新训练”一样），但无需付出重新训练所有内容的巨大成本。
结果：EASE 显著优于之前的方法。
- 遗忘侧：它成功擦除了特定数据（例如，如果一位客户端离开，AI 就不再识别他们特定的狗照片）。
- 保留侧：它让 AI 对其他人保持智能（它没有忘记如何识别猫或其他狗）。
- 效率：这比从头重新训练整个模型要快得多且成本更低。

总结

将 EASE 视为针对群组 AI 项目的精密橡皮擦。它不是擦拭整块白板从而可能导致混乱，而是识别出需要移除的确切便利贴，在不弄脏下方笔记的情况下将其剥离，并设置屏障，防止有人日后不小心将它们重新贴回去。这确保了在复杂的多感官 AI 系统中，“被遗忘权”真正得到尊重。

以下是论文《EASE：基于纠缠感知锚点闭合的联邦多模态遗忘》的详细技术总结。

1. 问题陈述

本文解决了大规模视觉 - 语言模型（如 CLIP）背景下**联邦多模态遗忘（FML）**的挑战。在 FML 中，多个客户端在不共享原始数据的情况下，利用私有图像 - 文本对协同训练模型。当客户端退出，或必须移除特定数据（样本/类别）（例如出于隐私权或有害内容原因）时，系统必须在无需从头重新训练的情况下“遗忘”这些数据。

作者指出，现有的联邦遗忘方法在多模态设置中失效，因为它们未考虑到三种特定的残留锚点，这些锚点使得被遗忘的知识得以存续：

模态锚点（Modality Anchor）： 由于对比损失（如 InfoNCE）中的双线性耦合，一种模态（例如文本）的梯度依赖于另一种模态（例如图像）的嵌入。如果仅修改其中一个分支，未受影响的分支就会充当锚点，重建被遗忘的对齐关系。
唯一子空间锚点（Unique-Subspace Anchor）： 客户端梯度子空间是纠缠的。特定于遗忘的方向与保留客户端共享的方向混合在一起。现有方法将遗忘子空间视为一个单一的整体块，导致一种权衡：要么无法移除数据（遗忘不足），要么损害保留的知识（遗忘过度）。
时间重锚定（Temporal Re-anchoring）： 即使在不遗忘时刻闭合了锚点，随后与保留客户端进行的联邦平均（FedAvg）轮次也会逐渐重写被移除的方向，导致模型随时间推移“记住”被遗忘的数据。

2. 方法论：EASE 框架

作者提出了EASE（纠缠感知子空间切除），这是一个旨在同时闭合所有三个锚点通道的框架。它在冻结的多模态骨干网络之上运行，使用轻量级的 LoRA 适配器。

A. 双边知识切除（BKE）—— 闭合模态锚点

机制： EASE 不是仅修改视觉或文本分支，而是同时位移这两个分支。
逻辑： 在双线性相似性模型中，对齐梯度取决于两个嵌入的乘积。通过将 $z_v$ 和 $z_t$ 同时位移远离其原始值，双线性相似性便无法再重建被遗忘的配对。
结果： 这防止了“未受触动”的模态充当记忆锚点，将修改后的分支拉回原始对齐状态。

B. 梯度子空间分解（GSD）—— 闭合唯一子空间锚点

机制： 服务器收集来自客户端的历史梯度更新，并执行奇异值分解（SVD）以提取遗忘子空间（ $S_f$ ）和保留子空间（ $S_r$ ）。
逻辑： 使用余弦 - 正弦分解，该方法计算 $S_f$ $S_{f}$ 和 $S_r$ $S_{r}$ 之间的主角度。
- 与 $S_r$ 几乎正交的方向被识别为唯一子空间锚点（可移除）。
- 与 $S_r$ 高度对齐的方向被识别为保留支持（必须保留）。
行动： 服务器将全局模型参数投影到唯一子空间的补集上，有效地仅切除特定于遗忘的方向，同时保留共享的支持。

C. 带遗忘锁的投影（PFL）—— 闭合时间重锚定

机制： 一种双管齐下的方法，以防止在持续训练期间发生漂移：
1. 服务器端投影： 在不遗忘后立即将全局模型投影，以移除唯一子空间分量。
2. 客户端端遗忘锁： 在随后的本地 SGD 轮次中，客户端优化一个组合目标： $L_{total} = L_{align} + \alpha \cdot L_f$ 。
逻辑： $L_f$ 是一个二次惩罚项，专门惩罚沿已识别的唯一子空间方向（ $U_\mu$ ）的漂移。
结果： 这创建了一个“锁”，限制了被遗忘知识重新漂移回模型的范围，同时让正交补集（保留的知识）不受约束地恢复。

3. 主要贡献

锚点原理： 本文正式识别并刻画了导致联邦多模态遗忘失败的三种不同机制（模态、唯一子空间和时间重锚定）。它证明了仅闭合这些机制的子集会留下可测量的重建路径。
EASE 框架： 一个结合 BKE、GSD 和 PFL 的统一解决方案。这是第一种在联邦设置中同时解决跨模态耦合和子空间纠缠的方法。
理论保证： 作者提供了几何证明，表明：
- BKE 消除了主导的模态锚点信号。
- GSD 基于阈值 $\delta$ 限制了保留知识的附带损害。
- PFL 限制了被遗忘知识的时间漂移，其限制程度与锁强度 $\alpha$ 成反比。
综合评估： 在 Flickr30K、MS COCO 和 TextCaps 数据集上，使用 CLIP-B/32、CLIP-L/14 和 SigLIP 骨干网络进行了广泛实验。

4. 实验结果

EASE 在三种遗忘场景（客户端、类别和样本）中与九个基线方法（包括 FedEraser、Ferrari、FedOSD 和 GradAscent）进行了比较。

遗忘完整性： EASE 在降低遗忘集上的检索性能（Forget R@1）方面显著优于所有基线。例如，在带有 CLIP-B/32 的 Flickr30K 上，EASE 实现了 0.3 的 Forget R@1（接近 0.1 的重训练参考值），而 Ferrari 和 FedOSD 等基线仍保持高位（>60-80%），表明它们未能实现遗忘。
保留完整性： 与破坏保留知识的激进方法（如 GradAscent）不同，EASE 在保留集上保持了高性能。在客户端遗忘方面，它在保留侧的表现与重训练参考值仅相差 4.2 个 R@1 点，而其他方法则遭受了显著下降。
隐私验证： EASE 显示出最低的成员推理攻击（MIA）分数和似然比攻击（LiRA）的 TPR，证实被遗忘的数据与未成员数据无法区分。
消融研究： 移除任何单个组件（BKE、GSD 或 Lock）都会导致不同的失效模式，验证了处理所有三个锚点的必要性。
效率： EASE 所需的通信成本显著降低（约为全量重训练的 20-25%），同时实现了与全量重训练相当的性能。

5. 意义

范式转变： 本文将联邦遗忘从“黑盒擦除”方法转变为“几何、纠缠感知”方法。它强调在多模态系统中，遗忘不能单方面地在一种模态上进行，也不能将梯度视为独立的块来处理。
实际适用性： 通过使用 LoRA 适配器和投影算子，EASE 计算高效且兼容现有的联邦学习基础设施，使其在“被遗忘权”至关重要的监管领域（如医疗、金融）的实际部署成为可能。
鲁棒性： 该框架确保遗忘能够抵御持续训练，解决了困扰许多现有遗忘算法的“漂移”问题。

总之，EASE 为从联邦多模态模型中移除数据提供了一个理论基础扎实且实证优越的解决方案，有效闭合了此前阻碍真正遗忘的重建通道。