🤖 machine learning

A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions

本文在数据分布同质与异质的条件下，对各种联邦学习聚合策略进行了全面的实验比较，分析了它们在模型准确率、损失以及训练和通信时间等系统效率指标方面的权衡。

原作者： Antonios Makris, Christos Dousis, Emmanouil Kritharakis, Stavros Bouras, Konstantinos Tserpes

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Antonios Makris, Christos Dousis, Emmanouil Kritharakis, Stavros Bouras, Konstantinos Tserpes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一群朋友试图共同拼凑一幅巨大的拼图，但他们无法共享实际的拼图碎片。相反，他们各自完成自己的部分，写下所学内容的简短摘要，并将这些笔记发送给一位中央“团队队长”。队长随后将所有笔记合并，为下一轮制定一份主指南。这就是联邦学习：一种让计算机在不共享私有数据的情况下共同学习的方法。

这篇论文提出的核心问题是：队长应如何合并这些笔记？

如果队长只是简单地对所有人的笔记取平均值，这是否效果最佳？或者，他们是否应该采用更复杂的方法，以应对某些朋友可能正在处理拼图截然不同部分的情况（有些人主要拥有天空碎片，另一些人则主要是草地碎片）？

以下是基于日常类比对该研究发现的分解说明：

参赛者：合并笔记的不同方式

研究人员测试了队长可用于合并朋友更新的几种“策略”：

FedAvg（简单平均者）： 队长取每份笔记并计算直接平均值。它快速且简单，就像一次快速投票。
FedAvgM（动量保持者）： 队长记住团队上次做出的决定，并利用这种“动量”来平滑新的笔记。这就像一名跑步者，即使地形变得崎岖不平，也能保持步伐。
FedAdam 与 FedAdagrad（自适应学习者）： 这些队长很聪明。他们根据每个人表现出的自信程度，调整听取每个人意见的权重。如果一份笔记令人困惑，他们会调整学习速度。这就像一位教练，根据每位运动员当天的状态调整训练计划。
FedMedian（过滤器）： 这位队长不取平均值，而是查看所有笔记并选取“中间”值，忽略极端的异常值。如果一位朋友发送了一条疯狂的笔记说“天空是绿色的”，队长会忽略它，因为它是异常值。这对于过滤噪声或恶意行为者非常有效。
FedProx（约束者）： 这位队长告诉朋友们：“不要偏离上一次的计划太远。”它添加了一条规则，使每个人的本地学习保持在团队主要目标附近，防止任何人偏离太远。
DP（隐私卫士）： 这位队长在合并笔记之前添加了一层“静态噪声”，以确保无人能猜出原始的拼图碎片。这就像通过风扇低语笔记，使得确切的话语更难被听清。

测试条件：简单与困难的拼图

研究人员在两种场景下测试了这些队长：

同构（IID）： 每个人都拥有相似的拼图碎片混合（例如，每个人都拥有一些天空、草地和树木碎片）。这就像一个教室里，每个人都学习同一本教科书。
异构（Non-IID）： 每个人都拥有非常不同的碎片（例如，一位朋友只有天空碎片，另一位只有树木碎片）。这就像一个教室里，一名学生只学习了历史，而另一名学生只学习了数学。

他们在三个“拼图”（数据集）上进行了测试：

MNIST 与 FMNIST： 简单的拼图（手写数字）。
CIFAR-10： 更困难、更复杂的拼图（动物和物体的彩色照片）。

他们的发现（结果）

1. 不存在“放之四海而皆准”的队长。
就像你不会用同一把工具去修手表和盖房子一样，没有一种策略能每次都获胜。

在简单拼图（MNIST）上： 自适应学习者（FedAdam） 是明星。即使数据杂乱无章，它们的学习速度最快，得分也最高。
在复杂拼图（CIFAR-10）上： 每个人都更加吃力，但简单平均者（FedAvg） 和约束者（FedProx） 表现尚可。自适应学习者实际上被复杂性搞糊涂了，表现反而更差。
当数据杂乱（Non-IID）时： 过滤器（FedMedian） 非常稳定。它不会被奇怪的数据打乱阵脚，尽管整理一切需要多花一点点时间。

2. “隐私卫士”（DP）代价沉重。
添加噪声以保护隐私的策略（DP）导致了非常差的得分。这就像戴着厚厚的雾蒙蒙的眼镜试图拼拼图；你无法清晰地看到碎片，以至于无法将它们拼合在一起。论文指出，虽然它保护了隐私，但损害了模型有效学习的能力。

3. 速度与准确性的权衡。

速度： 简单策略（FedAvg）合并笔记的速度最快。复杂策略（如过滤器或隐私卫士）处理时间稍长，但差异很小。
准确性： “聪明”的策略（自适应策略）非常适合简单任务，但在复杂任务上有时会失足。“稳健”的策略（FedProx）很可靠，但并不总能达到最高分。

结论

论文得出结论，你不能只选择一种“最佳”方式来合并学习更新。

如果你的数据简单且相似，请使用自适应学习者。
如果你的数据杂乱无章或存在奇怪的异常值，过滤器（Median） 或约束者（Prox） 更安全。
如果你需要保护隐私，请准备好接受性能的显著下降。

“最佳”选择完全取决于你的拼图有多复杂、朋友们的数据有多不同，以及你更看重速度还是准确性。没有任何一种灵丹妙药能在所有情况下都完美有效。

技术摘要：同质与异构数据分布下联邦学习聚合策略的比较研究

问题陈述

联邦学习（FL）已成为一种协作式机器学习范式，通过将原始数据保留在客户端设备上以保护数据隐私。然而，联邦学习系统的性能 critically 依赖于中央服务器用于合并本地模型更新的聚合策略。传统的集中式学习面临隐私问题和通信开销，而孤立的设备端学习缺乏泛化能力，联邦学习则面临关于数据异构性（非独立同分布分布）的具体挑战。

本研究解决的核心问题是：缺乏对不同聚合机制在不同程度数据异构性下的表现进行全面理解。现有策略从简单的平均法到鲁棒估计器和自适应优化器不等，但它们在跨不同数据集和分布设置下的学习精度、收敛稳定性以及系统效率（计算和通信时间）方面的权衡尚未得到充分刻画。

方法论

作者进行了全面的实验评估，比较了七种广泛使用且最先进的联邦学习聚合策略：

FedAvg：标准的数据大小加权平均。
FedAvgM：带有服务器端动量的 FedAvg。
FedAdam：在服务器端使用 Adam 进行自适应优化。
FedAdagrad：在服务器端使用 Adagrad 进行自适应优化。
FedMedian：使用元素级中位数的鲁棒聚合。
FedProx：带有近端正则化项的聚合，以约束本地漂移。
服务器端差分隐私（DP）：用于隐私保护的自适应裁剪与噪声注入。

实验设置：

数据集：MNIST、FMNIST 和 CIFAR-10。
分布：同质（IID）和异构（非 IID）数据划分，使用狄利克雷分布生成，集中参数 $\alpha = 0.5$ 。
配置：使用 Flower 框架在 10 个客户端上运行 25 轮通信模拟。另在 MNIST 上进行了包含 20 个客户端和 50 轮的大规模二次实验，以验证一致性。
模型：针对特定数据集定制的卷积神经网络（CNN）。
优化器：客户端训练使用 Adam（因其在收敛性上优于 SGD 而被选中）。
指标：
- 学习性能：集中式准确率和损失。
- 系统效率：每轮的聚合时间、训练时间和通信时间。

主要贡献与结果

1. 数据异构性的影响

研究证实，与 IID 设置相比，数据异构性（非 IID）一致地降低了所有策略的模型性能。这种退化在复杂的 CIFAR-10 数据集上最为显著。虽然所有策略在非 IID 环境中都经历了准确率下降和损失增加，但下降幅度因算法而异。

2. 策略特定性能

自适应方法（FedAdam, FedAdagrad）：
- FedAdam 在 IID 和非 IID 条件下均在 MNIST 上取得了最高准确率，证明了自适应学习率在中等异构性下稳定优化的有效性。然而，其在 CIFAR-10 上的性能显著下降，表明其对高数据集复杂度的敏感性。
- FedAdagrad 遵循类似趋势，但在 FMNIST 和 CIFAR-10 上的准确率通常低于其他策略，这可能是由于 Adagrad 固有的学习率衰减限制了其对复杂任务的适应能力。
鲁棒与正则化方法（FedMedian, FedProx）：
- FedMedian 在两种分布下均在 FMNIST 上表现出最高准确率。其基于中位数的聚合有效减轻了偏斜客户端更新的影响，提供了稳定的性能。权衡在于由于排序操作导致聚合时间略有增加。
- FedProx 在所有数据集上提供了稳定且一致的性能，充当了“中间路线”方法。近端项有效约束了客户端漂移，特别有利于 CIFAR-10 的性能。
标准与动量方法（FedAvg, FedAvgM）：
- FedAvg 作为计算高效的基线，在 MNIST 和 FMNIST 上表现良好，但在 CIFAR-10 上表现挣扎。
- FedAvgM 在 IID 条件下显示出高准确率，但在非 IID 设置下（特别是在 MNIST 上）经历了显著的退化。结果表明，当客户端更新偏斜时，服务器端动量可能会放大有偏的梯度方向，导致收敛不稳定。
隐私保护（DP）：
- DP 策略（自适应裁剪与噪声）在所有数据集和分布下均表现出显著较低的准确率。为确保隐私而引入的噪声严重削弱了学习信号，阻碍了有效收敛。此外，由于裁剪和噪声注入操作，其聚合时间最高。

3. 系统效率

聚合时间：大多数策略的聚合时间普遍保持较低。FedAvg 和 FedAvgM 的开销最低。FedMedian 和 DP 分别因排序和噪声注入而耗时较高，但在测试设置中这些并未构成系统瓶颈。
训练与通信时间：这些指标主要由数据集复杂度和模型特征驱动，而非聚合策略本身。策略之间的差异微乎其微。
可扩展性：增加客户端数量（从 10 到 20）和轮数（从 25 到 50）证实了较小设置中观察到的趋势。自适应方法继续优于其他方法，且自适应方法在 IID 与非 IID 设置之间的性能差距略有缩小，表明更多的通信轮次允许更好地补偿异构性。

意义与主张

论文结论指出，没有单一聚合策略能在所有场景中占据主导地位。策略的有效性高度依赖于：

数据集特征：复杂性（例如 CIFAR-10 与 MNIST）显著影响哪种算法表现最佳。
异构程度：FedAvgM 等策略在高度偏斜的环境中可能会失效，而 FedMedian 等鲁棒方法或基于正则化的 FedProx 则提供稳定性。
系统与隐私要求：隐私保证（DP）与模型效用之间存在明显的权衡。

作者强调，聚合策略的选择应基于具体的操作约束和数据属性，而非“一刀切”的方法。本研究提供了实证证据，表明虽然自适应方法在中等异构性下表现出色，但鲁棒估计器和正则化对于偏斜分布下的稳定性是必要的，且隐私机制目前对模型效用施加了显著成本。

正如作者所概述，未来的工作包括探索更先进的鲁棒机制（例如 Krum、Multi-Krum），并在更真实的联邦学习部署场景中评估这些策略。