🤖 machine learning

FedCC: Towards Addressing Label Distribution Skews in Distillation-Based Federated Learning

该论文提出了 FedCC，一种基于蒸馏的联邦学习算法，通过允许客户端将模糊样本标记为“未知”并利用校准后的伪标签来缓解标签分布倾斜问题，从而在存在严重数据异构性的场景中显著优于现有方法。

原作者： Wenxuan Ye, Onur Ayan, Xueli An, Georg Carle

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenxuan Ye, Onur Ayan, Xueli An, Georg Carle

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代通信那广阔且互联的网络中，一场关于计算机如何学习的静默革命正在悄然发生。传统上，人工智能系统的训练是通过将海量数据汇集到单一的中心位置，由算法研究数百万个示例以寻找模式。然而，这种方法引发了对隐私和安全的严重担忧，因为它需要将敏感的个人信息从手机、医疗设备和私人服务器转移到中央枢纽。为了解决这个问题，研究人员开发了一种称为“联邦学习”（federated learning）的方法，它允许许多不同的设备在从不共享原始数据的情况下共同学习。设备发送的不是数据本身，而是它们学到的教训——即描述它们所见内容的数学更新。这在保持个人信息本地化的同时，仍能让一种全球性的智能从集体努力中涌现。

然而，这一协作过程面临着一个顽固的障碍：每个设备上的数据很少是平衡的。一个人的手机可能充满了猫的照片，而另一个人的手机则可能只包含汽车的图像。当这些设备试图教导一个共享模型时，那些拥有某些类别丰富数据的设备往往会主导对话，迫使模型成为这些特定领域的专家，同时忽略那些稀有或缺失的类别。这种不平衡造成了盲点，导致系统会对它从未见过的事物做出自信但错误的猜测。当设备尝试从一组共享的无标签图像（没有识别标签的图片）中学习时，情况会更加复杂，而这通常是保护隐私所必需的。由于不知道这些共享图像的真实答案，中央服务器难以纠正由个体设备引入的偏差，从而导致全球模型出现倾斜且不可靠。

一个研究团队提出了一种解决此问题的新方法，引入了一个他们称之为 FedCC 的系统。他们的工作专注于一种特定类型的协作学习，即设备分享它们的预测而非其内部设置。在这种设置下，每个设备观察一组公共的无标签图像，并返回一个概率列表，表明它认为每张图像是什么。问题在于，如果一个设备只见过几种类型的图像，却被迫对所有图像进行猜测，那么问题就产生了。如果一个设备只见过狗的照片，它会自信地将一只猫误认为是狗；如果许多设备都这样做，中央服务器就会将这些错误聚合为一个单一的、有缺陷的结论。研究人员意识到，解决方案不是强迫每个设备做出猜测，而是允许它们在不确定时承认自己的无知。

FedCC 的核心创新是引入了一个“未知”（unknown）类别。在传统系统中，即使面对从未遇到过的图像，设备也必须选择一个已知的类别，例如“狗”、“猫”或“车”。FedCC 改变了规则，允许设备将令人困惑或陌生的图像标记为“未知”。这个简单的添加起到了安全阀的作用。当设备遇到超出其有限经验范围的图像时，它可以将该图像归入这个新的、通用的类别中，而不是强行给出一个错误的答案。通过承认自己不知道什么，设备可以保护群体免受其狭隘视角误导。

为了实现这一目标，研究人员设计了一个流程：设备首先从自己的私有数据中学习，然后使用一组共享的无标签图像来完善理解。在此精炼过程中，系统会计算设备对其预测的信心程度。如果设备非常有信心，它就会分享其猜测；如果它不确定，系统则会大量依赖“未知”类别。这种不确定性并不被视为失败，而被视为一种宝贵的信号。中央服务器随后结合所有设备的预测，给予那些有信心的设备更多权重，而给予那些不确定的设备较少权重。至关重要的是，服务器在创建最终的全球教训时会过滤掉“未知”标签，确保共享的知识仅建立在可靠且达成共识的信息之上。这种方法使得系统即使在数据高度倾斜（即某些设备对某些类别的资料极少）的情况下也能有效地学习。

研究人员在几个标准的图像数据集（包括日常物品和动物的集合）上测试了这种方法，并在数据分布非常不均的情况下进行了测试。在最极端的测试中，他们模拟了一个场景：十个设备中的每一个都只持有十个可能类别中的一个类别。在这种严苛的环境下，现有方法崩溃了，其准确率降至接近随机猜测的水平，通常低于 12%。相比之下，FedCC 系统保持了 67.3% 的稳健准确率。这一结果表明，通过允许设备从强制性错误中退后一步，整个系统变得更加准确。随着数据变得更加不平衡，FedCC 与其他方法的差距变得越来越大，证明了该方法在挑战最大时尤其有效。

除了提高最终的全球模型外，研究还表明这种方法也有助于单个设备。通过学会识别自身的局限性并将不确定的样本标记为“未知”，设备能够更好地识别它们本应学习的稀有类别。该系统实际上起到了正则化器的作用，防止模型在熟悉的类别上过于自信，从而忽略了它们不熟悉的类别。数据的视觉分析显示，使用 FedCC 训练的模型能够保持不同类别清晰且分离，而其他方法则倾向于将它们模糊在一起。这种清晰度表明，“未知”类别作为一个缓冲器，吸收了通常会破坏协作学习的噪声和混乱。

研究结果表明，在一个数据多样且碎片化的世界中，承认无知是一种强大的学习工具。通过将目标从强制预测转向允许不确定性，FedCC 提供了一种简单且有效的方法，用于构建更可靠、更公平的人工智能系统。该方法不需要复杂的全新基础设施或共享私有数据；它仅仅改变了设备沟通其信心的方式。随着设备网络不断扩大，且其持有的数据变得日益多样化，能够处理这些不平衡且不牺牲隐私的技术将变得至关重要。FedCC 提供了一条清晰的前行之路，表明有时最好的学习方式就是知道何时说：“我不知道。”

技术摘要：FedCC —— 解决基于蒸馏的联邦学习中的标签分布偏斜问题

问题陈述
基于蒸馏的联邦学习（FL）通过交换公共数据集上的预测向量（logits）而非模型权重，提供了一种通信高效的替代方案。然而，这种方法面临着一个关键挑战：标签分布偏斜（label distribution skew）。在现实场景中，客户端的数据通常是异构的，这导致局部模型容易对多数类过拟合，而对少数类或完全缺失的类别表现出代表性不足。

在基于蒸馏的联邦学习中，客户端上传的是基于无标签公共数据集生成的预测向量。由于服务器缺乏该公共数据的真实标签（ground-truth labels），它无法校准聚合后的预测以纠正局部偏差。因此，现有方法（如 FedDF）仅仅是简单地平均这些带有偏差的局部预测，从而导致误差传播，使得全局模型继承了单个客户端的多数类偏差。这导致了全局性能的下降，特别是在极端偏斜场景下（即客户端仅拥有单一类别的样本时）。

方法论：FedCC
作者提出了 FedCC，这是一种简单且有效的算法，旨在通过将标签偏斜视为一个开放集识别（open-set recognition）问题来减轻客户端的误分类问题。其核心创新在于在标签空间中引入了一个辅助的**“未知”类**（ $u$ ），允许客户端承认不确定性，而不是强行进行可能错误的分类。

该方法通过以下机制运行：

增强型标签空间与伪标签生成：
- 标签空间从 $C$ 扩展到 $C \cup \{u\}$ 。
- 客户端在其局部有标签数据（ $D_l$ ）和全局无标签公共数据集（ $D_u$ ）上利用**半监督学习（SSL）**目标。
- 系统并非为 $D_u$ 中的每个样本分配硬类标签，而是生成校准后的伪标签。如果一个样本很可能属于客户端的“多数”类，它会被赋予标准的类别标签；如果它属于少数类或缺失类，则会被归入“未知”类。
- 伪标签被公式化为一个概率向量： $\hat{y}(x_u) = \alpha(x_u) \cdot e_{m(x_u)} + (1 - \alpha(x_u)) \cdot e_u$ ，其中 $e$ 代表 one-hot 向量。
基于熵的权重分配 ( $\alpha$ )：
- 权重因子 $\alpha(x_u)$ 决定了在特定类别与“未知”类之间的平衡。
- 至关重要的是， $\alpha$ $α$ 是根据**熵（entropy）**而非类别概率推导出来的，以避免隐私泄露。它结合了：
  - $w_l$ ：模型对已知多数类偏差的熵（通过无特征输入测量）。
  - $w_u$ ：分配给未知类的最大不确定性。
  - $w_{x_u}$ ：样本特定的置信度（预测的熵）。
- 最终权重 $\alpha(x_u) = \frac{w_l - w_{x_u}}{w_l + w_u}$ 确保不确定的样本被推向“未知”类，从而防止模型对多数类过拟合，或在少数类样本上做出过于自信的错误判断。
联邦训练流水线：
- 局部步骤： 客户端使用交叉熵损失处理有标签数据，并使用基于生成的伪标签处理无标签公共数据（带权重的损失）来优化其局部模型。
- 聚合步骤： 客户端上传其预测向量（包括“未知”类的概率）至服务器。
- 服务器步骤： 服务器根据客户端对已知类别的置信度（具体为 $1 - \hat{y}_u$ ）对这些向量进行加权聚合。其中“未知”部分被清零，剩余的 $C$ 个类别被重新归一化，以形成下一轮的全局软目标（global soft target）。
- 推理： 最终的全局预测是客户端模型的集成，通过选择原始 $C$ 个类别中最可能的标签来进行。

核心贡献

开放集建模： 本文将联邦学习中的标签分布偏斜重新定义为一个开放集识别问题，通过引入“未知”类来吸收少数类和缺失类，从而防止强制性的误分类。
校准伪标签生成： 提出了一种新颖的方法，用于在无标签公共数据上生成显式考虑不确定性的伪标签。这起到了一种隐式正则化的作用，在不需要有标签公共数据的情况下，减轻了对多数类的过拟合。
对极端偏斜的鲁棒性： 该方法旨在即使在客户端仅持有单一类别的情况下也能有效运行，而在这种场景下传统的蒸馏方法往往会失效。

实验结果
作者在 CIFAR-10、CIFAR-100 和 TinyImageNet 上评估了 FedCC 在各种偏斜场景下的表现，包括狄利克雷分布（ $\eta = 0.05$ ）和病态划分（客户端仅持有 1 或 2 个类别）。

性能差距： FedCC 一致优于最先进的基于参数的方法（如 FedAvg、FedProx）和基于蒸馏的方法（如 FedDF、FedMD）。随着标签偏斜变得更加严重，性能差距进一步扩大。
极端场景： 在最具挑战性的设置中（CIFAR-10，每个客户端仅持有一个类别），基准方法的表现崩溃至接近随机猜测（准确率 $\le 12.7\%$ ）。相比之下，FedCC 达到了 67.3% 的准确率。
局部与全局： FedCC 提升了全局泛化能力以及局部模型在少数类上的表现。
可视化分析： T-SNE 可视化和决策边界直方图表明，FedCC 有效地将学习到的类别与“未知”区域分离，并保持正向决策间隔，而基准方法则表现出特征空间塌陷和负向间隔。

意义与主张
本文声称，FedCC 为基于蒸馏的联邦学习中的一个根本性局限提供了一个简单且有效的解决方案：即在缺乏公共数据集真实标签的情况下无法纠正偏差。通过允许客户端通过“未知”类来表达其不确定性，FedCC 防止了在聚合过程中传播误导性的更新。作者断言，这种轻量级的方案仅依赖于 logits 交换，非常适合在具有异构设备的通信网络中进行实际部署，在现有方法失效的严重数据异构环境下提供了鲁棒的性能。

技术摘要：FedCC —— 解决基于蒸馏的联邦学习中的标签分布偏斜问题

类似论文