🤖 machine learning

Multi-Level Analyzation of Imbalance to Resolve Non-IID-Ness in Federated Learning

本文提出了 FedBB，这是一个通过正负平衡损失函数（Positive Negative Balanced loss function）和客户端平衡重加权策略（Client Balanced Reweighting strategy）来解决案例间、类别间及客户端间数据不平衡问题的联邦学习框架，从而在保护隐私的同时，在准确性和效率方面超越了现有算法。

原作者： Haengbok Chung, Jae Sung Lee

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haengbok Chung, Jae Sung Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一群来自不同医院的医生正试图构建一个单一的、超级智能的 AI 来诊断疾病。他们希望在不共享实际患者文件（以保护隐私）的情况下进行操作，因此他们训练各自的本地 AI 模型，并将仅仅是“学到的教训”发送回中央服务器进行合并。这就是联邦学习（Federated Learning）。

然而，有一个大问题：数据是混乱的。

有些医院看到的主要是健康患者，有些则主要是病人，还有些则是某种罕见疾病的奇怪混合体。在论文中，作者称之为“Non-IID”（非独立同分布，即数据并非完全相同或均匀分布）。由于这种混乱，最终合并的 AI 往往会感到困惑并表现不佳。

这篇论文的作者 Haengbok Chung 和 Jae Sung Lee 表示：“我们需要从三个不同的角度来看待这种混乱。”他们将他们的解决方案称为 FedBB（具有正负平衡损失和客户端平衡重加权的联邦学习）。

以下是他们使用简单的类比来拆解这一方案的方式：

1. 三个层面的混乱

作者意识到，“不平衡”以三种不同的方式发生，就像通过显微镜、窗户和无人机观察一堆水果一样：

个体间（显微镜视角）：
- 问题： 想象一种特定的疾病，比如“肺炎”。对于每一个患有肺炎的患者，可能就有 100 个没有肺炎的人。AI 会变得很懒惰，因为它在 99% 的情况下猜“没有肺炎”都是对的，所以它干脆对所有人预测为“无肺炎”。
- 解决方法： 需要强迫 AI 特别关注那些稀有的“有”病例。
类别间（窗户视角）：
- 问题： 现在看看整个水果篮。也许你有 1,000 个苹果，100 个橙子，但只有 5 个香蕉。AI 会变成一个“苹果专家”，但却是一个糟糕的“香蕉专家”，因为它从未见过足够的香蕉。
- 解决方法： AI 需要被告知：“嘿，那 5 个香蕉超级重要！不要忽视它们。”
客户端间（无人机视角）：
- 问题： 想象医院 A 有 10,000 名患者，但他们全是“苹果”病例。医院 B 只有 100 名患者，但他们是苹果、橙子和香蕉的完美混合。
- 旧方法： 中央服务器通常会说：“医院 A 的数据更多，所以我们要多听他们的，听 100 倍。”
- 结果： 最终的 AI 变成了一个“苹果专家”，并忘记了其他一切。
- 解决方法： 服务器实际上应该多听医院 B 的，因为他们的规模虽小，但数据集更平衡，能教给 AI 更广泛的教训。

2. 解决方案：FedBB

作者构建了一个两部分的工具来解决这些问题：

A 部分：“公平的老师”（PNB Loss）

这是一种在本地训练期间为 AI 打分的新方法。

工作原理： 这不是简单地计算 AI 做对了多少次题，而是像一位严格的老师，对于答对罕见或困难的题目会给予额外加分。
类比： 如果一个学生做对了 100 道简单的题，但错了一道难题，老师不会只说“做得好”。老师会说：“你错过了那个罕见的题目！那道题的分数算作双倍。”这迫使 AI 不再忽视少数派病例（即罕见疾病或那仅有的几个香蕉）。
加成： 这对“多分类”（选择一个类别）和“多标签”（同时选择多个类别，例如一名患者同时患有肺炎和肋骨骨折）都有效。

B 部分：“聪明的搅拌器”（CBR）

这是中央服务器合并所有医院模型的一种新方法。

工作了： 服务器不再仅仅统计一家医院有多少患者，而是检查他们数据的平衡程度。
类比： 想象制作奶昔。如果你有一大桶纯草莓奶昔（医院 A）和一小杯完美的混合水果沙拉（医院 B），你不应该直接把整桶奶昔倒进去。你应该让那小杯水果沙拉在最终混合中拥有更大的发言权，因为它代表了更丰富的风味谱系。
结果： 最终的全局模型会成为一个“全才”，擅长诊断所有事物，而不仅仅是那些最常见的事物。

3. 为什么这很重要（根据论文）

作者在两类数据上进行了测试：

医学 X 光片： 来自不同医院的真实胸部 X 光片（NIH 和 CheXpert 数据集）。
自然图像： 标准计算机视觉数据集，如 CIFAR（猫、狗、汽车等）。

结果显示：

更好的性能： FedBB 在准确率上击败了所有其他流行的方法（如 FedAvg, FedProx, MOON）。在处理某些疾病或物体非常罕见的“混乱”数据时，它的表现尤为出色。
高效性： 它不需要超级计算机。它使用的计算能力与基础方法（FedAvg）相当，但获得了更好的结果。
隐私性： 它只需要知道一些统计数据（例如“你的数据有多平衡？”），而不需要看到实际的患者文件，从而保证了隐私安全。

总结

论文认为，要构建一个真正智能且具备隐私友好性的 AI，我们不能只是把所有数据堆在一起。我们必须：

教导本地 AI 去关注罕见病例（使用 PNB Loss）。
倾听那些拥有最多样化数据的本地 AI，即使它们的规模较小（使用 CBR）。

通过这样做，最终的“全球大脑”会变得更公平、更准确，并准备好应对现实世界中并不完美的数据。

技术摘要：通过多层级不平衡分析解决联邦学习中的非独立同分布（Non-IID）问题

1. 问题定义

联邦学习（FL）能够在保护数据隐私的同时，实现跨分布式客户端的协作模型训练。然而，其有效性的一个关键障碍是非独立同分布（non-IID）数据，这通常是由严重的**类别不平衡（class imbalance）**驱动的。现有的非 IID 数据解决方案往往忽视了类别不平衡的细微本质，特别是在多标签分类场景中。

作者指出，传统的处理类别不平衡的方法是不充分的，因为它们：

主要关注多分类任务，未能解决存在 $2^n$ 种标签组合的多标签任务的复杂性。
忽略了样本间不平衡（inter-case imbalance），即单个类别内正例与负例之间的差异会导致模型过拟合于多数类（通常是负例）。
依赖数据集大小进行聚合，即为拥有较大数据集的客户端分配更高的权重。在联邦学习中，大型数据集往往具有高度偏斜性，这会导致全局模型产生偏差，从而偏向于那些特定客户端频繁出现的多数类。

2. 方法论：FedBB

为了解决这些问题，作者提出了 FedBB（基于正负平衡损失和客户端平衡重加权的联邦学习）。其核心创新在于对不平衡进行了分为三个不同尺度的多层级分析：

样本间不平衡（Inter-case Imbalance）： 单个类别内正例与负例数量之间的差异。
类别间不平衡（Inter-class Imbalance）： 单个客户端内不同类别之间的数据分布差异。
客户端间不平衡（Inter-client Imbalance）： 不同客户端之间数据偏斜度的异质性。

FedBB 通过两个主要组件来解决这些层级问题：

A. 正负平衡（PNB）损失函数

旨在用于本地训练，PNB 损失函数缓解了类别间和样本间的双重不平衡。

机制： 与标准的交叉熵（Cross-Entropy）或类别平衡（CB）损失不同，PNB 通过显式计算每个类别中正例和负例的有效数量来计算权重。
多标签适配： 它承认在多标签任务中，具有多个共现罕见状况（例如，胸部 X 光片中的多种疾病）的样本在统计学上更为罕见。PNB 会为这些少数情况和类别分配更高的权重，以防止模型被负例或多数类样本所主导。
公式化： 该损失函数通过温度参数 ( $\tau$ ) 和超参数 ( $\beta$ ) 进行平滑处理，以计算有效样本数，从而防止在数据稀缺时出现极端的权重分配。同时使用缩放因子 ( $\mu$ ) 来调节整体损失的大小。

B. 客户端平衡重加权（CBR）

旨在用于模型聚合，CBR 调整了每个客户端对全局模型的贡献权重。

机制： CBR 不再仅仅根据数据集大小（如 FedAvg 中所做的那样）来对客户端进行加权，而是评估客户端本地数据分布的偏斜度（skewness）。
计算方式： 它通过计算每个客户端类别计数的标准差来确定数据的平衡程度。数据分布较不偏斜（即更平衡）的客户端会被分配更高的权重，因为它们的本地模型被认为具有更好的泛化能力。
混合加权： 最终的聚合权重 ( $W_k$ ) 是基于平衡度的权重 ( $\omega^a_k$ ) 与基于规模的权重 ( $\omega^b_k$ ) 的线性组合，并由超参数 $\gamma$ 控制。这确保了那些虽然规模大但高度偏斜的客户端不会主导全局模型，同时也保证了规模虽小但分布平衡的客户端不会被忽视。

3. 核心贡献

论文声称了以下贡献：

多层级不平衡分析： 提出了一种新颖的框架，将联邦学习中的类别不平衡分解为样本间、类别间和客户端间三个层级，并认为解决这三个层级对于获得稳健性能是必要的。
PNB 损失： 一种能够同时解决样本间和类别间不平衡的损失函数，适用于多标签和多分类任务，能为少数情况和类别分配更高权重。
CBR 聚合： 一种模型聚合策略，优先考虑数据分布较不偏斜的客户端，在无需访问原始本地数据的情况下增强了全局模型的泛化能力（同时保护了隐私）。
高效性与隐私性： 该方法以极低的计算开销实现了最先进（SOTA）的性能，且仅依赖于有限的统计信息（类别计数），避免了原始数据分布的泄露。

4. 实验结果

作者在医学 X 光数据集（NIH CXR14, CheXpert）和自然图像数据集（CIFAR-10/100, Tiny-ImageNet 以及人工创建的长尾变体）上对 FedBB 进行了评估。

性能表现： 在所有数据集和不平衡设置（由参数 $\delta$ $δ$ 控制）下，FedBB 始终优于现有算法（FedAvg, FedProx, MOON, FedNova, FedAlign, FedLC）。
- 在 NIH CXR14 上，FedBB 在 $\delta=0.1$ 时达到了 72.47 的 AUC，超过了 FedAvg (67.77) 和 FedProx (68.51)。
- 在 LT-CIFAR-100 上，FedBB 达到了 45.13% 的准确率，优于 FedLC (41.08%) 和 FedAlign (41.37%)。
效率： 尽管增加了计算不平衡因子的复杂度，FedBB 仍保持了与 FedAvg 相当的计算效率。
- 参数量： 0.61 百万（与 FedAvg 相同）。
- MFLOPs： 87.3 百万（显著低于 MOON 的 262.2 百万）。
消融实验： 实验证实了 PNB 损失和 CBR 均独立地对性能提升做出了贡献。该方法还展示了与其他 FL 算法（例如将 FedBB 与 FedProx 或 MOON 结合）协同工作的能力，从而进一步提升准确率。

5. 重要性与主张

论文将 FedBB 定位为通用型及个性化联邦学习的基准。其重要性在于：

解决根本原因： 通过将类别不平衡视为一个多层级问题而非单一指标，它解决了导致联邦学习性能下降的特定非 IID 问题。
隐私保护： 依赖于聚合统计数据（类别计数）而非原始数据分布，使其适用于医疗保健等隐私敏感领域。
通用性： 该方法对多标签（医学影像）和多分类（自然图像）任务均有效，这种通用性在以往专门针对不平衡问题的 FL 方法中并不常见。

作者总结道，尽管 FedBB 需要一个中心化服务器且是基于参数的方法（这在理论上容易受到某些攻击），但它代表了在创建能够准确分类所有类别（即使在高度偏斜的联邦环境中）的全局模型方面迈出的重要一步。未来的工作建议探索无服务器、非基于参数的方法，以进一步降低安全风险。