⚡ electrical engineering

Fed-FBD: Federated Functional Block Diversification for Isolation, Privacy, and Surgical Unlearning

Fed-FBD 是一种模块化联邦学习架构，它将神经网络分解为独立追踪的功能块，旨在提供针对对抗性客户端的架构级保证隔离、针对成员推理攻击的固有隐私保护，以及针对退出参与者的亚秒级外科手术式遗忘，同时在医学和通用图像数据集上保持具有竞争力的准确率。

原作者： Weijie Chen, Alan B. McMillan

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Weijie Chen, Alan B. McMillan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在主持一场大规模的烹饪大赛，来自不同医院的厨师（即“客户端”）想要创造出世界上最好的疾病诊断“食谱”，但由于隐私法的限制，他们不能互相分享自己的秘密配料（患者数据）。

在目前的标准方法（称为 FedAvg）中，所有厨师都会将他们的笔记发送给一位中央裁判，由裁判将它们全部混合在一起，变成一个巨大的、单一的“大师级食谱”。

问题在于： 如果其中一位厨师是破坏者（“对抗性客户端”）或者只是犯了一个巨大的错误，他们就会毁掉整个“大师级食谱”。如果一位厨师想要退出并要求移除其贡献，你必须丢弃整个食谱并从头开始重新烹饪。

这篇论文介绍了一种名为 FED-FBD 的新系统。它不再制作一个巨大的大师级食谱，而是建立了一个拥有六种不同“颜色”食谱的仓库。

以下是该系统的运作方式，使用了简单的类比：

1. 模块化厨房（功能块多样化）

想象一下，ResNet（一种 AI 模型）并不是一块单一的粘土，而是一辆由六个不同部分组成的汽车：发动机、底盘、车轮、内饰、电子设备和车漆。

在 FED-FBD 中，系统会创建六个不同版本（或“颜色”）的最终汽车。

颜色 A 可能拥有来自厨师 1 的发动机、来自厨师 2 的车轮以及来自厨师 3 的车漆。
颜色 B 可能拥有来自厨师 2 的发动机、来自厨师 3 的车轮以及来自厨师 4 的车漆。

仓库会精确追踪哪位厨师为哪种颜色的哪一部分做出了贡献。

2. 对抗破坏者的“防火墙”（隔离）

这是该系统的杀手锏。

场景： 厨师 1 是一个破坏者。他们试图在颜色 A 的发动机里放一个炸弹。
结果： 因为厨师 1 只能接触到颜色 A 的发动机，他们无法触及颜色 B、C、D、E 或 F 的车轮、车漆或发动机。
结局： “洁净的颜色”（B 到 F）依然保持完美且功能完好。破坏者仅仅毁掉了他们被允许触碰的那部分特定车辆。在旧系统中，这个炸弹会在那一个“大师级食谱”中爆炸，从而毁掉所有人的成果。

3. “被遗忘权”（外科手术式卸载）

如果厨师 2 决定退出并要求删除其贡献怎么办？

旧方法： 你必须从头开始重新训练整个模型，这需要耗费数天时间。
FED-FBD 方法： 系统会查看仓库，找到厨师 2 构建的特定部件（模块），然后直接用其他厨师的部件平均值来替换它们。
速度： 这一过程在不到一秒钟内即可完成。这就像是在车停着的时候更换轮胎，而不是重建整个工厂。

4. 内置隐私保护（设计即隐私）

在旧系统中，“大师级食谱”会记住特定患者的细节，这些细节可能被黑客利用来揭示训练数据中的身份。

FED-FBD： 由于数据被拆分得非常细致（每个“部件”只能看到极小的一片数据），没有任何一个部件能学到足够的信息来记住特定的患者。
结果： 即使在添加任何额外的安全措施之前，该系统在本质上对个体身份是“盲目”的。这就像试图通过看一张照片中的单个像素来猜出某个人的脸一样，这是不可能实现的。

5. 权衡（代价）

这完美吗？几乎完美，但需要付出一点代价。

代价： 在非常庞大且平衡的数据集上，新系统的准确性略低于旧的“大师级食谱”方法（低了约 0.3% 到 3%）。
收益： 你是用极小的准确度损失，换取了针对破坏者的绝对安全性、即时移除不良行为者的能力以及内置的隐私保护。
难点： 如果数据非常杂乱或者厨师拥有的数据很少（小型数据集），系统可能会难以就一个好的食谱达成一致，导致准确度大幅下降。

总结

FED-FBD 将游戏规则从“把一切混合进一个锅里”转变为“构建一个模块化、可追踪组件的库”。

如果一个组件被投毒，只有那个特定的组件会被毁坏；库中的其余部分依然安全。
如果一位厨师离开，你只需即时更换他们的特定组件。
该系统具有天然的隐私性，因为没有任何单个组件能看到足够的数据来记住秘密。

论文证明了该系统在医学图像数据集（如 X 光片和皮肤扫描）上的有效性，在保证系统安全和私密的同时，只要有足够的数据支持，仍能保持高性能。

技术摘要：FED-FBD

问题陈述

联邦学习（FL）能够在不共享原始患者记录的情况下，实现去中心化医疗数据的协作模型训练。然而，主流方法如 FedAvg、FedProx 和 FedNova 将客户端视为“黑盒”，这在现实的医疗部署中导致了三个关键漏洞：

缺乏隔离性： 单个对抗性或标签错误（mislabeled）的客户端可能会破坏整个全局模型，因为每个客户端的梯度都会贡献给每一个参数。
隐私保证薄弱： 标准的联邦学习本身不提供内在隐私；其保护依赖于“附加”机制，如差分隐私或安全聚合。
高效遗忘能力缺失： 履行参与者的“被遗忘权”通常需要从头开始重新训练模型，或者使用昂贵的近似算法。

作者认为这些问题源于一个共同的根源：每一个权重都是一种共享资源。 如果参数改为由小型且已知的客户端集合所拥有，那么通过构造手段即可实现污染控制、结构化限制记忆并简化客户端移除过程。

方法论：FED-FBD

论文提出了 FED-FBD（联邦功能块多样化），这是一种模块化架构，它将 ResNet 主干网络分解为六个功能块：Stem 层、四个残差组（residual groups）以及分类头。

核心架构

仓库（The Warehouse）： 服务器维护一个包含 $N$ 个“颜色变体”（完整模型）的仓库。每种“颜色”都是通过在每个功能位置选取一个块（block）来组装而成的。
贡献者盖章（Contributor Stamping）： 每个块的权重张量都被分配一个唯一的哈希值，以及一条记录了更新该块的具体客户端 ID 的训练轨迹（training trace）。
运输计划（Shipping Plan）： 一个预定义的计划限制每个客户端只能访问特定的颜色子集。例如，在一个 6 客户端、6 颜色的设置中，客户端 0 可能仅被允许向颜色 $M_0, M_1, M_2$ 的块进行写入。因此，颜色 $M_3, M_4, M_5$ 在架构上与客户端 0 是隔离的。
训练目标： 客户端最小化一个结合了交叉熵准确率和 Kullback-Leibler (KL) 散度的损失函数。KL 项将客户端的预测结果拉向一个随机选择的、具有不同参数化的“兄弟”颜色，以鼓励功能多样性并防止模型坍缩。
服务器协议： 服务器执行块权重的直接替换，而非加权平均。当客户端返回更新后的块时，它会覆盖特定“块-颜色”交集处的现有张量。

核心机制

块级隔离： 由于块是被直接覆盖的，任何被排除在客户端运输计划之外的块，在数学上都保证绝不会包含源自该客户端的数据信息。
外科手术式遗忘（Surgical Unlearning）： 为了移除一个客户端，服务器识别所有该客户端作为贡献者的块，并将它们替换为这些位置上剩余“干净”颜色的平均值。这无需重新训练。
推理路由： 在推理阶段，系统可以根据样本将预测路由至最值得信赖的颜色，或者对集成模型进行平均，从而允许在事后排除受损的颜色。

核心贡献

架构隔离： FED-FBD 提供了完美的块级隔离。实验表明，即使在严重的对抗攻击（标签翻转、噪声注入）下，“干净”的颜色（即攻击者无法触及的颜色）偏差不超过 $\pm 0.01$ AUC，而受污染的颜色则表现出显著退化。
设计即隐私： 该框架在结构上抑制了记忆现象。在应用任何显式隐私机制之前，成员推理攻击（MIA）的优势与随机猜测无异（ $0.50 \pm 0.01$ ），因为没有任何单个块能看到足够多的数据来进行样本记忆。
亚秒级遗忘： 论文展示了通过聚合块替换实现的“外科手术式”机器学习遗忘。这实现了对客户端贡献的精确移除，且在亚秒级的墙钟时间内完成，同时效用损失（AUC）小于 $0.25\%$ ，避免了重新训练的需求。
相变特征表征： 作者识别了一个“单客户端数据量 $\times$ 异质性”的相变过程。当客户端拥有充足数据（例如 $\ge 15,000$ 个样本）时，即使在高异质性（ $\alpha=0.25$ ）下，FED-FBD 也能保持竞争力的表现（差距在 $\sim 4\%$ 以内）；但在数据量极小且存在高偏斜（skew）的情况下，性能会发生坍缩。

实验结果

实验在六个 MedMNIST-2D 数据集、分辨率为 $224\times224$ 的 PathMNIST 以及 CIFAR-10 上进行，设置了 6 个客户端和 100 个通信轮次。

准确率权衡： 在规模足够的数据集上，FED-FBD 为了获得安全性保障，相对于 FedAvg 仅牺牲了 $0.3\%$ – $3.1\%$ 的微小准确率差距。在 PathMNIST ( $224\times224$ ) 上，该差距缩小至 $1.2\%$ 。
非独立同分布（Non-IID）表现： 在轻度异质性（ $\alpha=1.0$ ）下，FED-FBD 在四个数据集中的三个上，与 FedAvg 的差距保持在 $0.8\%$ – $4.0\%$ 之内。在极高偏斜的小型数据集上性能会下降，但随着每客户端样本量的增加，该差距会缩小。
对抗鲁棒性： 在六种攻击配置下，干净的颜色保持了隔离状态。通过服务器端的验证损失 z-score 检测，可以以较低的误报率识别出 $39\%$ – $76\%$ 的攻击。
遗忘效率： 遗忘操作在 1 秒内完成，且 AUC 损失微乎其微（最差情况为 $-0.0022$）。

重要性与主张

论文声称 FED-FBD 将联邦学习的范式从“概率性”安全（依赖于鲁棒聚合或噪声）转向了结构性安全。通过使参数所有权变得细粒度且明确：

污染变得不可能，而不仅仅是极难发生。
遗忘变成了一个查找与聚合操作，而非一个优化问题。
隐私是架构固有的，而非附加组件。

作者将 FED-FBD 定位为专门针对医院网络严格数据治理需求的解决方案，提供了一种处理中毒客户端和删除请求的可行方法，而无需进行昂贵的重新训练。他们也承认了一些局限性，包括固定的运输计划以及只有在独占块（exclusively owned blocks）的情况下才能实现精确遗忘，但他们认为对于追求隔离性和可审计性的高风险医疗应用而言，这种准确率上的权衡是合理的。