🤖 machine learning

Class-Grouped Normalized Momentum and Faster Hyperparameter Exploration to Tackle Class Imbalance in Federated Learning

本文介绍了 FedCGNM，一种利用类分组归一化动量来解决联邦学习中梯度不平衡问题的创新客户端优化器，以及 FedHOO，一种用于优化重采样率的高效 X-臂老虎机算法，两者在长尾数据集上的表现均优于现有基准方法。

原作者： Haemin Park, Diego Klabjan, Martin W. Braun, Xiuqi Li, Balakrishnan Ananthanarayanan

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Haemin Park, Diego Klabjan, Martin W. Braun, Xiuqi Li, Balakrishnan Ananthanarayanan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一群学生（被称为“客户端”）识别不同类型的物体，但有一个大问题：有些物体非常常见（比如“狗”），而另一些则极其罕见（比如“三条腿的吉娃娃”）。在机器学习的世界里，这被称为类别不平衡（class imbalance）。

在普通的教室里，老师可以同时看到所有学生的工作，并据此调整教学计划。但在**联邦学习（Federated Learning）**中，学生们分布在不同的房间里，老师（“服务器”）无法看到他们的私有数据或具体的错误。老师只能得到每个学生学习情况的摘要。由于罕见物体在每个学生的房间里出现的频率极低，老师往往会忽略它们，导致学生在识别这些物体时表现得很差。

本文提出了两种新工具来解决这个问题：FedCGNM（一种更聪明的学习方式）和 FedHOO（一种更聪明的布置作业方式）。

1. 现有方法的问题

通常情况下，当学生看到一个罕见物体时，他们得到的关于如何修正错误的信号非常微弱且充满噪声。如果老师试图通过简单地大喊“注意那些罕见的！”（一种称为“重加权/reweighting”的技术）来修复这个问题，往往会适得其反。因为信号中噪声太大，学生会感到困惑，并开始进行盲目的猜测。

另一种方法试图让每种物体类型都得到平等的对待，即给每个物体的“教学计划”设定相同的音量。但如果你有100种类型的物体，而你用同样大的音量同时喊出100个不同的课程，噪声就会累积，学生仍然会被淹没。

2. 解决方案：FedCGNM（“组长”策略）

作者提出了一种让学生处理课程的新方法，称为 FedCGNM。

类别分组： 学生不再将每种物体类型视为独立的课程，而是将相似的物体归为一类。想象一下，将100种动物分为两个组：“常见动物”（狗、猫）和“罕见动物”（三条腿的吉娃娃、白虎）。
“动量”组长： 对于每个组，学生都会保留一个“动量（momentum）”组长。把动量想象成一个沉重的购物车。如果你推它一下，它会持续滚动。如果学生看到一只罕见动物，这个“罕见动物组长”不会只对那一次实例做出反应；它会记住到目前为止见到的所有罕见动物的趋势。这平滑了噪声。
音量均衡： 系统强制要求“常见组长”和“罕见组长”以完全相同的音量（单位长度）说话。这确保了罕见动物能获得与常见动物同等的关注度，同时不会让罕见动物的噪声淹没有效信号。
结果： 学生学会了更好地识别罕见物体，而不会被噪声搞混。

3. 解决方案：FedHOO（“智能作业”查找器）

即使有了更好的学习方法，老师也需要知道应该给学生提供多少额外的练习。学生应该在10%的时间里观察罕见动物，还是50%的时间？找到完美的数字就像在大海里捞针，尤其是在有很多学生有不同需求的情况下。

通常，老师必须尝试每一种可能的作业组合，这非常耗时。

FedHOO 是一个聪明的捷径：

并行技巧： 老师要求每个学生同时做两份不同的作业（一份练习率较低，一份练习率较高）。
神奇的混合： 因为学生是在并行工作，老师可以通过数学手段将这两份作业的结果进行“混合匹配”，从而推算出每种可能的作业练习率组合的效果。
益处： 与其进行100轮测试来寻找完美的作业率，老师只需几轮就能找到它。这在只有少数学生（“小规模”联邦，例如特定的工厂或小型公司）的情况下特别有用。

4. 它有效吗？

作者在四个公开数据集（如汽车和衣服的图像）和一个真实的工业数据集（检测计算机芯片缺陷）上测试了该方法。

芯片缺陷测试： 在一个真实的工厂里，只有1.7%的芯片存在缺陷。标准方法很难发现这些缺陷。而新方法（FedCGNM）能更好地发现这些缺陷。当加入智能作业查找器（FedHOO）后，结果变得更加出色。
基准测试： 在标准测试中，他们的方法始终优于其他顶尖方法，有时准确率提升了近30%。

总结

可以将这篇论文看作是关于如何在处理某些主题非常罕见的课堂中运行的一种新方法。

FedCGNM 告诉学生不要再纠结于每一个单独的罕见事实，而是将它们分为“罕见”和“常见”团队，并利用稳定的、平滑的记忆来从中学习。
FedHOO 帮助老师快速确定学生到底需要多少额外的练习来掌握这些罕见事实，而无需浪费时间去瞎猜。

两者结合，使学习过程变得更快、更稳定，并且能更好地识别那些通常会被忽略的罕见事物。

技术摘要：用于联邦学习中类别不平衡问题的 FedCGNM 与 FedHOO

问题陈述
类别不平衡仍然是联邦学习（FL）中的一个关键挑战，尤其是在全局标签分布呈长尾分布的情况下。在这些场景中，由于训练数据中代表性不足，少数类别的预测性能会受到严重影响。标准的中心化技术，如损失重加权、高级采样或生成式增强，很难在联邦学习中部署。隐私约束阻止了数据交换，且合成生成器在稀疏场景或特定领域任务（如半导体缺陷检测）中往往无法产生真实的样本。此外，现有的优化层方法，如每类归一化（Per-Class Normalization, PCN），在多类别设置中面临局限性：它们容易受到来自少数类别的方向噪声的影响，并且在对许多单位向量求和时会引入尺度失配，从而随着类别数量的增加而导致收敛不稳定。

方法论
本文提出了一个两管齐下的方法来解决这些问题：一个名为 FedCGNM（联邦类别分组归一化动量）的客户端优化器，以及一个辅助超参数调节器 FedHOO。

FedCGNM（优化器）：
- 类别分组： FedCGNM 不再为每个单独的类别（ $C$ ）进行归一化，而是将类别划分为少量的组（ $H \ll C$ ，通常为多数类与少数类）。分组规则是通过最小化组内类别比例的方差推导而出的，这一策略已被证明是穷举阈值搜索的一种可靠代理。
- 组级归一化动量： 对于每个组，算法都会维护一个动量向量。在本地训练期间，按组计算随机梯度并更新动量。至关重要的是，每个组的动量向量在求和之前会被归一化为单位长度（带有稳定常数 $\delta$ ）。
- 更新方向： 最终的更新方向是这些归一化组动量的总和。这种设计使多数类组和少数类组之间的梯度量级达到平衡，同时减轻了稀有类梯度固有的方向噪声。通过在少量组而非单个类别上进行操作，它避免了 PCN 所带来的尺度失配和不稳定性。
- 客户端对齐： 通过强制每个组的更新具有单位范数，不同异构客户端之间的聚合更新方向变得更加一致，解决了性能下降的主要原因。
FedHOO（超参数调节器）：
- 背景： 由于存在跨客户端的组合搜索空间以及因波动调度导致优化不稳定的风险，在联邦学习中选择合适的重采样率并非易事。
- 机制： FedHOO 是一种基于 X-臂老虎机（X-armed bandit, XAB）的算法，适用于小规模联邦（ $K$ 很小）。它利用了联邦学习的线性聚合特性。在每个通信轮次中，服务器指示每个客户端使用两个候选重采样率进行训练。
- 效率： 通过线性组合返回的客户端更新，服务器可以推断出所有 $2^K$ 种可能的本地速率组合的验证性能，而无需进行 $2^K$ 次独立的训练轮次。这使得在训练早期快速识别有效的采样率成为可能，同时保持了隐私性（客户端仅返回标量验证指标）。

理论分析
本文为 FedCGNM 提供了收敛性分析，该分析明确考虑了随时间变化的重采样率。在平滑性、梯度有界性和无偏性的标准假设下，作者证明了 FedCGNM 达到了标准的 $O(T^{-1/2})$ 平稳点收敛速率。分析强调，为了保证收敛性成立，各轮次间采样率的累积变化量（ $V_T$ ）必须满足特定条件，这意味着激进但极不稳定的重采样可能会阻碍收敛。

核心贡献

FedCGNM 优化器： 首个对类别进行分组并对每组应用单位范数动量的客户端优化器。它平衡了多数类/少数类的影响，减少了噪声，并缓解了尺度失配。
方差感知分组： 一种原则性的轻量级策略，将类别划分框架化为最小化组内方差，产生的拆分效果与穷举搜索相当。
收敛性分析： 一个结合了联邦学习、组归一化和动态采样率的新颖理论框架，展示了速率调度对收敛性的影响。
FedHOO： 首个利用 X-臂老虎机框架来确定联邦学习中组合局部采样率的优化算法，该算法利用了联邦并行性来实现高效探索。

实验结果
该方法在四个公开的长尾基准数据集（CIFAR-10-LT, CIFAR-100-LT, Adult Income, UNSW-NB15）和一个专有的半导体芯片缺陷数据集（CDD）上进行了评估。

性能： 在所有设置下，FedCGNM 始终优于基准方法（包括 FedAvg, FedProx, CLIMB, FedGraB 和 PCN 变体）。在小规模客户端场景（ $K=5$ ）下，将 FedCGNM 与 FedHOO 结合使用效果最佳，相比带重采样的 FedAvg，性能提升高达 29%。
工业应用： 在 CDD 数据集（缺陷率为 1.7%）上，所提方法比表现最好的基准方法提升了 16%，证明了其在现实世界、隐私敏感的工业环境中的有效性。
鲁棒性： 该方法在部分参与的大规模客户端场景以及不同程度的数据异构性（Non-IID）下均表现出韧性。
消融实验： 实验证实，两个组（ $H=2$ ）提供了最佳的偏差-方差权衡，且适中的动量因子（ $\beta \approx 0.5$ ）能产生最优性能。

意义与主张
本文声称，FedCGNM 和 FedHOO 构成了一个实用的框架，用于在不依赖数据交换或合成生成的情况下，解决隐私保护联邦学习中的全局类别不平衡问题。其意义在于从优化层面解决类别不平衡，这比受限于隐私或数据集特征的数据层面技巧更具普适性。作者强调，该方法特别适用于小规模联邦（工业部署中常见），在这种情况下，联合超参数调优是可行且至关重要的；同时，分组策略确保了在以往归一化技术失效的多类别场景中的稳定性和对齐性。这项工作通过提供一个鲁棒的优化器和一种在存在类别不平衡时进行高效调优的有理论依据的方法，推动了该领域的发展。

1. 现有方法的问题

2. 解决方案：FedCGNM（“组长”策略）

3. 解决方案：FedHOO（“智能作业”查找器）

4. 它有效吗？

总结

类似论文