🤖 machine learning

DisAgg: Distributed Aggregators for Efficient Secure Aggregation in Federated Learning

本文提出了 DisAgg，一种分布式聚合协议，该协议利用小型客户端委员会执行基于秘密共享的本地聚合，从而消除了昂贵的密码学操作，并相较于 OPA 等现有安全聚合方法显著降低了通信和计算开销。

原作者： Haaris Mehmood, Giorgos Tatsis, Dimitrios Alexopoulos, Karthikeyan Saravanan, Jie Xu, Anastasios Drosou, Mete Ozay

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Haaris Mehmood, Giorgos Tatsis, Dimitrios Alexopoulos, Karthikeyan Saravanan, Jie Xu, Anastasios Drosou, Mete Ozay

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《DISAGG：联邦学习中用于高效安全聚合的分布式聚合器》的解释，采用通俗易懂的语言和日常类比。

宏观图景：共同学习而不泄露秘密

想象一群邻居都想学会如何烤出完美的蛋糕。与其把各自的家庭秘方带到中央厨房（这存在秘方被偷的风险），他们选择将秘方留在家中。他们只向服务器发送烘焙尝试的结果（例如“再加 2 克糖”），以便大家共同找出完美的配方。这就是联邦学习。

然而，这里有一个问题：即使他们只发送“糖量调整”信息，一个爱窥探的服务器（或黑客）有时也能通过这些微小的调整反向推导出原始配方。

为了解决这个问题，我们使用安全聚合。这就像把每位邻居的便条放入一个上锁的盒子，将它们混合在一起，然后只打开盒子查看所需的总糖量，而无需知道是谁发送了什么。

当前方法的问题

该论文指出，目前进行这种“上锁盒子”混合的方式过于缓慢且笨重。

旧方法（SECAGG）：想象每位邻居在发送便条之前，都必须与其他每位邻居握手以交换秘密密钥。如果有 100 位邻居，那将产生近 10,000 次握手！这会造成巨大的交通堵塞。
“一次性”方法（OPA）：这更快。每个人一次性发送便条。但要解开最终的混合结果，所需的计算量极其沉重，就像为了读一张购物清单而试图解一个巨大的数独谜题。这给每个人的计算机带来了巨大负担。

解决方案：DISAGG（“试吃员”）

作者提出了一种名为DISAGG的新方法。与其让中央服务器承担所有繁重工作，或让每个人与其他所有人握手，他们引入了一小组受信任的邻居，称为聚合器。

以下是 DISAGG 的工作原理，分步说明：

设置：服务器挑选一小群邻居（例如 10 人）作为聚合器。他们就像小组中的“试吃员”。
秘密拆分：每位普通邻居将自己的秘密便条切成 10 个微小的、打乱的碎片（就像将文件 shredding）。他们向 10 位聚合器中的每一位发送一个碎片。
- 关键点：没有任何一位聚合器能看到整张便条。他们只能看到一个微小的、无意义的片段。
本地混合：每位聚合器收集来自所有邻居的碎片。他们在本地将这 10 个碎片相加。现在，聚合器拥有的不再是 100 张便条，而是 10 个“部分和”。
最终揭示：聚合器将这 10 个部分和发送回服务器。服务器将它们组合起来以获得最终答案（所需的总糖量）。

为什么这更好（类比）

想象这是一场聚餐：

旧方法：每个人都带一道菜，但在开吃之前，所有人都必须站在一个大圆圈里，来回传递食材以验证每个人的身份。这需要数小时。
OPA 方法：每个人都带一道菜，但厨师必须使用一台超级复杂、重型的安全搅拌机来混合所有菜肴。搅拌机噪音太大且速度太慢，耗时极长。
DISAGG 方法：每个人都把菜带到一张由 10 位“试吃员”组成的小桌子旁。试吃员混合他们自己小碗里的食材。然后，他们只需将 10 个混合好的碗交给厨师。厨师混合这 10 个碗，然后端上菜肴。

结果：

普通邻居（客户端）：他们做的工作很少。只需剪碎便条并发送。无需繁重的数学计算。
厨师（服务器）：他们无需承担混合数千张便条的繁重工作。只需混合试吃员送来的 10 个碗。
试吃员（聚合器）：他们承担额外的工作，但由于只有 10 人，小组可以轻松处理。

结果

该论文使用海量数据（10 万名客户端和巨型模型）将这种方法与当前最佳方法（OPA）进行了测试。

速度：DISAGG 比之前的最佳方法快4.6 倍。
效率：它显著减少了普通用户和服务器的繁重计算工作。
隐私：它保持了同等的安全性。即使少数试吃员串通（试图作弊），他们也无法推断出任何一位邻居的原始配方。

总结

DISAGG 是一种在群体中混合秘密数据的更智能的方法。它不要求每个人进行繁重的数学计算，也不强迫服务器承担所有工作，而是将混合任务委托给一个小型、专业的团队。这使得整个过程更快、更轻量，让数百万人能够共同学习，而不会拖慢他们的手机速度或泄露他们的秘密。

技术摘要：DISAGG——用于高效安全聚合的分布式聚合器

1. 问题陈述

联邦学习（FL）能够在保持原始数据本地的同时实现协作模型训练，但标准 FL 会将客户端更新暴露给中央服务器，从而通过梯度反转攻击对“诚实但好奇”的服务器造成隐私风险。安全聚合（SA）协议通过确保服务器仅学习更新的聚合结果而非个体贡献来解决这一问题。

然而，现有的 SA 协议在生产环境中面临显著的扩展性和效率瓶颈，这些环境的特点是客户端数量庞大、连接间歇性中断以及客户端掉线：

多轮协议（例如 SECAGG、SECAGG+）： 依赖成对密钥交换和多阶段恢复机制。这些协议产生 $O(N^2)$ 或 $O(N \log N)$ 的通信开销，并引入同步障碍，使其对落后者和掉线者非常敏感。
单次协议（例如 OPA）： 将每轮交互的轮次复杂度降低为单次交互，但将负担转移至繁重的密码学操作（例如基于学习带误差（LWE）的掩码、打包的 Shamir 秘密共享）。这导致了巨大的计算和通信开销，且该开销随模型维度和委员会规模而增长，尤其对客户端和服务器而言。

核心挑战在于设计一种协议，既能保持单次方法低轮次复杂度和抗掉线能力，又能显著降低普通客户端和服务器的计算与密码学开销。

2. 方法论：DISAGG 协议

作者提出了 DISAGG（分布式聚合器），这是一种新颖的安全聚合协议，它将聚合工作负载分配给一小群随机选择的客户端，称为聚合器。

核心机制

与传统方案中服务器执行最终聚合或客户端使用成对密钥掩蔽其更新不同，DISAGG 利用拉格朗日编码计算（LCC）和秘密共享：

设置（第 0 轮）： 服务器选择一组参与客户端（ $U$ ）并分发系统参数。
秘密共享与上传（第 1 轮）：
- 服务器随机选择一组客户端（ $A$ ）作为聚合器。
- 普通客户端使用拉格朗日插值将其模型更新向量（ $x_i$ ）编码为秘密份额。
- 每个客户端使用聚合器的公钥加密其份额，并将其发送给服务器。
- 关键在于，客户端不执行本地掩码或与其他所有客户端进行成对密钥交换。
分布式聚合（第 2 轮）：
- 服务器将接收到的份额转发给聚合器。
- 聚合器解密份额，在本地计算其接收到的份额的部分和，并将这些聚合份额返回给服务器。
- 服务器通过组合来自足够数量存活聚合器的聚合份额，重构全局模型更新。

安全性与鲁棒性

威胁模型： 该协议假设服务器是诚实但好奇的，并能容忍 $\gamma$ 比例的共谋客户端和 $\delta$ 比例的掉线客户端。
隐私性： 它提供信息论安全性（T-隐私）。即使多达 $t_c$ 个聚合器共谋，除了总和之外，它们也无法获知任何单个客户端的更新信息，这是通过在秘密共享过程中添加随机掩码向量实现的。
正确性： 该协议对掉线具有鲁棒性。只要存活的聚合器数量超过重构阈值（ $t_r$ ），服务器就能成功重构总和。

3. 主要贡献

新颖的协议设计： DISAGG 是首个将基于委员会的分布式求和直接应用于模型聚合的协议，它利用秘密共享消除了 SECAGG/SECAGG+ 中所需的本地密码学掩码和复杂的掉线恢复机制。
理论分析： 作者扩展了秘密共享阈值选择的理论分析，以包含现实约束，将掉线和被破坏的客户端建模为随机变量，并纳入拜占庭容错限制，以推导聚合器委员会规模的最优参数。
性能框架： 开发了一个时序分析框架，用于将 DISAGG 与最先进协议（特别是 OPA）进行比较，无需进行全规模模拟，同时考虑了现实网络约束（例如 5G 速度）下的计算和通信复杂度。

4. 结果与性能

该论文在多种模型大小（ $M$ ）和客户端数量（ $N$ ）下评估了 DISAGG 与 SECAGG、SECAGG+、LIGHTSECAGG 和 OPA 的性能。

加速比： 在现实的跨设备设置中（例如 $N=100k$ 客户端， $M=100k$ 参数，5G 连接），DISAGG 相比之前的最佳协议 OPA 实现了 4.6 倍 的加速。理论分析表明，在特定配置下（ $M=1M, N=1M$ ），潜在加速比可达 25 倍。
复杂度降低：
- 客户端侧： DISAGG 将客户端计算从 $O(\lambda M)$ （OPA 中，其中 $\lambda$ 是安全参数）降低到 $O(M \log A)$ ，移除了繁重的密码学操作。
- 服务器侧： 服务器计算从 $O(NM + \lambda A)$ 降低到 $O(M \log A)$ ，因为服务器避免了解码繁重的密文。
- 权衡： 效率提升是以增加聚合器的通信和计算为代价的。然而，论文表明，通过调整打包因子（ $\rho$ ）和聚合器数量（ $A$ ），可以管理这种开销，同时保持显著的整体系统加速。
鲁棒性： 即使在组合掉线和共谋因素（ $k = \gamma + \delta$ ）高达 0.3 的情况下，DISAGG 相比 OPA 仍保持超过 4 倍 的加速。
模型效用： 在多样化数据集（MNIST、CIFAR、CelebA、SST2）上的实验证实，DISAGG 实现了与明文聚合和 OPA 相当的收敛性和准确率，量化带来的退化微乎其微。

5. 意义与主张

该论文声称，DISAGG 成功弥合了现代单次协议的低轮次复杂度与大规模跨设备联邦学习所需的计算效率之间的差距。

效率： 通过将聚合负担卸载到一小群专门的委员会，DISAGG 消除了阻碍单次协议在资源受限的边缘设备上采用的“繁重”密码学开销。
扩展性： 该协议能有效扩展到数百万客户端和参数，解决了困扰多轮协议的同步障碍和对落后者的敏感性。
实用性： 作者断言，DISAGG 为现实世界的 FL 部署提供了实用解决方案，在这些部署中网络异构性和客户端波动是常态，从而在隐私保证（信息论安全性）和系统性能之间提供了强有力的平衡。

该工作得出结论：通过秘密共享进行分布式聚合是联邦学习中高效安全聚合的一种可行且优越的替代方案，特别是在需要高吞吐量和低延迟的场景中。