🤖 machine learning

ERIS: Enhancing Privacy and Scalability in Federated Learning via Federated Shard Aggregation

ERIS 是一种新颖的联邦学习框架，通过引入联邦分片聚合将客户端更新分发至多个聚合器，从而消除中央瓶颈并限制信息泄露，同时在不依赖重型密码学的前提下保持收敛性和模型效用，以此提升十亿参数模型的隐私性与可扩展性。

原作者： Dario Fenoglio, Pasquale Polverino, Jacopo Quizi, Martin Gjoreski, Akash Dhasade, Marc Langheinrich

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Dario Fenoglio, Pasquale Polverino, Jacopo Quizi, Martin Gjoreski, Akash Dhasade, Marc Langheinrich

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你和一群朋友想要共同构建一个巨大且超级智能的机器人大脑。问题在于，每个人都拥有一本记录个人经历（数据）的私密日记，由于隐私法规或个人信任的原因，这些日记无法共享。

联邦学习的核心思想是：你可以在不交出任何人的日记的情况下训练这个机器人大脑。相反，每个人在自己的计算机上训练大脑的一小部分，然后仅将“学到的经验”（数学更新）发送给一位中央教师。这位教师将这些经验整合起来，以改进机器人。

然而，该论文指出了当前方法存在的两个重大问题：

瓶颈：如果你有数百万个朋友，中央教师会因试图收集和整理所有经验而不堪重负。这就像一个人试图在邮局整理一百万封信件；耗时极长。
隐私泄露：即使你没有发送日记，“学到的经验”有时也可能被狡猾的黑客逆向工程，从而推测出你日记中的内容。

作者引入了ERIS，这是一个旨在同时解决这两个问题且不会降低机器人大脑智能的新系统。以下是其工作原理，使用了简单的类比：

1. “拼图”策略（联邦分片聚合）

在旧系统中，每个人都将他们的“完整”经验发送给一位中央教师。而在 ERIS 中，系统使用了一种称为**联邦分片聚合（FSA）**的技术。

想象每份经验都是一幅巨大且复杂的拼图。

旧方式：每个人将整幅拼图发送给一个人。那个人能看到所有内容。
ERIS 方式：在发送之前，每个人将他们的拼图切割成 50 个互不重叠的碎片（分片）。
- 人员 A 将第 1 块碎片发送给教师 1，第 2 块发送给教师 2，第 3 块发送给教师 3，依此类推。
- 教师 1 只能看到所有人传来的第 1 块碎片。教师 2 只能看到第 2 块碎片。
- 神奇之处：由于碎片是按照特定且协调的方式切割的，教师们仍然可以将他们的碎片拼凑在一起，形成与旧系统完全相同的最终画面。机器人大脑的学习效果一样好。
- 隐私优势：没有任何一位教师能看到完整的拼图。如果黑客攻破了教师 1，他们只能获得一小块无用的信息碎片，而非整个秘密。

2. “压缩明信片”（分布式移位压缩）

即使有了拼图碎片，将 50 块碎片发送给 50 位不同的教师仍然可能产生大量的“邮件”。为了加快速度，ERIS 增加了第二层机制，称为分布式移位压缩（DSC）。

这就像将你的经验写在一张明信片上，而不是一本完整的书。

在切割拼图之前，系统会总结最重要的部分并丢弃冗余内容（压缩）。
它还使用了一种“移位”技巧（就像一种密码），确保即使丢弃了部分信息，当教师们将其重新组合时，数学计算依然能完美吻合。
这使得“邮件”（数据传输）变得极小，显著加快了整个过程。

3. 结果：更快、更安全、更智能的系统

该论文声称，通过结合这两个理念，ERIS 实现了通常相互冲突的三项目标：

隐私：由于没有任何单一观察者能看到完整画面，黑客窃取私人数据变得更加困难。该论文从数学上证明，你拥有的“教师”（聚合器）越多，安全性就越高。
可扩展性：由于工作被分摊给多位教师而非一人，系统不会发生拥堵。它可以处理巨大的模型（如大型语言模型所使用的模型）而不会减速。
效用（智能性）：这是最重要的部分。通常，当你试图使事物更隐私或更快时，机器人大脑会变得“更笨”（准确性降低）。ERIS 声称是首个在保持隐私和速度的同时，使大脑保持与原始未修改版本同样智能的系统。

总结

作者在从识别猫狗图像到理解人类语言的各种任务上测试了 ERIS。他们发现：

其准确性与标准方法相当。
黑客窃取数据或猜测人们训练内容要困难得多。
运行速度快得多，特别是在处理大规模模型时。

简而言之，ERIS 就像一种组织小组项目的新方式：每个人将工作分割成微小的秘密碎片，发送给不同的团队领导，并在最后完美地重新组装——确保没有人看到完整画面，但最终结果却是完美的。

技术摘要：ERIS——通过联邦分片聚合增强联邦学习中的隐私与可扩展性

问题陈述

将联邦学习（FL）扩展至十亿参数模型（例如大型语言模型），会在隐私、可扩展性和模型效用之间产生关键权衡。现有方案通常孤立地解决这些挑战，往往以牺牲某一方面为代价换取其他方面：

隐私与效用：基于扰动的方法（如差分隐私 DP 或梯度剪枝）虽能减少信息泄露，但常导致模型精度下降，特别是在大模型或低数据量场景下。加密协议（如安全聚合）虽能隐藏更新，但引入了显著的计算开销和硬件需求，阻碍了可扩展性。
可扩展性与效用：传统的集中式联邦学习存在单服务器瓶颈，随着客户端数量增长，会导致网络拥塞和通信效率低下。完全去中心化的架构虽分散了通信，但通常仅依赖邻域聚合，这可能会改变优化轨迹、减缓收敛速度，或相较于集中式 FedAvg 降低最终模型效用。
核心冲突：现有方法常引入近似、扰动或偏离集中式聚合的偏差，从而改变学习轨迹。业界亟需一种框架，能同时保留集中式协作的效用、确保信息论层面的隐私，并在不依赖重型加密或降低效用的噪声的情况下实现高效扩展。

方法论：ERIS 框架

作者提出了ERIS，这是一个以**联邦分片聚合（FSA）为核心、可选增强分布式移位压缩（DSC）**的新型联邦学习框架。

1. 联邦分片聚合（FSA）

FSA 是核心机制，旨在消除集中式聚合瓶颈，同时保留集中式联邦学习的精确更新轨迹。

分片：客户端不再将完整更新发送至中央服务器，而是利用二进制掩码将其更新向量划分为 $A$ 个互不相交、不重叠的分片。
分布式聚合：每个分片被发送至不同的客户端侧聚合器。各聚合器独立计算其接收到的来自所有客户端的分片平均值。
重组：聚合器将其部分模型更新广播回客户端。客户端通过累加接收到的分片来重组完整的全局模型。
关键特性：由于分片是互不相交且完整的（其掩码之和为全 1 向量），重组后的全局模型在数学上与集中式 FedAvg 产生的模型完全一致。聚合步骤中未丢弃任何坐标，也未引入近似误差。

2. 与分布式移位压缩（DSC）的集成

为进一步提升可扩展性和隐私性，ERIS 在分片前集成了 DSC 作为预处理层。

机制：客户端在划分前对其本地梯度应用移位压缩算子。这减少了传输的参数数量以及每个分片中暴露的坐标数量。
移位补偿：为保持收敛，客户端和聚合器均维护参考向量，以跟踪并补偿压缩移位，确保聚合更新保持无偏。
模块化：该设计允许 ERIS 在划分前整合其他变换（如差分隐私），前提是聚合端应用相应的校正。

主要贡献

联邦分片聚合（FSA）：一种分布式聚合机制，将客户端更新分片至多个聚合器。它消除了中央服务器瓶颈，限制了任何单一观察者可见的信息（增强隐私），并保留了精确的集中式联邦学习更新轨迹（确保效用）。
无缝的 DSC 集成：该框架天然支持 DSC，在不损害 FSA 提供的效用保证的前提下，减少了传输负载和暴露的坐标。
理论保证：
- 收敛性：作者证明，与集中式聚合相比，FSA 无信息损失。结合 DSC，他们建立了收敛界，表明效用取决于梯度估计器的方差，且与轮数 $T$ 无关（不同于某些先前的差分隐私压缩方法）。
- 隐私：他们推导了互信息泄露的信息论上界。泄露量被证明随 $1/A$ （其中 $A$ 为聚合器数量）和压缩保留概率 $p$ 缩放。这证明了通过分片和压缩实现的隐私增强。
实证验证：在图像（MNIST、CIFAR-10、ImageNet、LFW）和文本（IMDB、CNN/DailyMail）任务上进行了广泛实验，涵盖从小型模型到 13 亿参数大型语言模型的范围，并将该框架与六种最先进基线进行了对比验证。

实验结果

论文从三个维度评估了 ERIS：

效用：在所有数据集和模型规模（包括大型语言模型）上，ERIS 的性能与无隐私的 FedAvg 相当。相比之下，FedAvg-LDP、PriPrune 和 SoteriaFL 等基线常遭受显著的精度下降，特别是在大模型或低数据量场景下。
隐私：
- 成员推理攻击（MIA）：与 FedAvg 相比，ERIS 显著降低了 MIA 的准确率，接近“最小泄露”基线（即不共享任何梯度）。增加聚合器数量（ $A$ ）和压缩强度（ $\omega$ ）可进一步减少泄露。
- 数据重建攻击（DRA）：针对白盒攻击（DLG、iDLG、ROG、GGL），ERIS 使重建结果高度失真。即使在最小配置（ $A=2$ ）下，该系统也能有效混淆梯度，而单独使用压缩通常不足以抵御自适应攻击。
可扩展性：
- 通信效率：通过分布式聚合，ERIS 消除了中央瓶颈。对于 13 亿参数模型，ERIS 将分发时间从 FedAvg 的约 5200 秒减少至约 468 秒（无 DSC），并进一步降至约 236 秒（有 DSC）。
- 负载减少：配合 DSC，ERIS 可将上传大小减少至完整更新的约 1%（例如，13 亿参数模型为 46.8MB），同时保持效用。

意义与主张

论文主张，ERIS 通过证明隐私和可扩展性可在不牺牲模型效用的情况下得到加强，为下一代联邦学习系统奠定了基础性步骤。

打破权衡：与以往迫使在隐私/可扩展性与准确性之间做出选择的方法不同，ERIS 在分散负载和限制信息暴露的同时，保持了集中式联邦学习的精确优化轨迹。
不依赖重型加密：该框架通过架构设计（分片）和信息论界限实现强隐私保证，避免了安全多方计算或可信执行环境带来的计算开销。
鲁棒性：系统被证明对聚合器和链路故障具有鲁棒性（可优雅降级），并能有效抵御成员推理攻击和数据重建攻击。
通用性：FSA 的模块化特性使其能够支持各种集中式联邦学习算法（如 FedAdam、FedYogi），并与其他隐私机制集成，使其成为可扩展、隐私保护学习的通用层。