🤖 machine learning

FAIRVAR: Fair Federated Learning via Variance Regularization

本文介绍了 FairGrad 和 FairGrad*，这两种梯度方差正则化方法在保持具有竞争力的全局模型准确性的同时，有效地最小化了异构联邦学习设置中不同客户端之间的性能差异。

原作者： Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一群邻居正试图编写一本单一的、共享的食谱。每位邻居都带来了自己收集的食材和烹饪笔记（他们的本地数据）来为这本全球食谱做贡献。目标是创造出一份“大师级食谱”，让每个人都能从中受益。

这便是联邦学习 (Federated Learning, FL) 的基本概念。然而，这里存在一个问题：有些邻居拥有庞大且多样化的储藏室（大量数据），而另一些人则只有规模很小、非常特定的收藏（少量数据）。有些邻居只做辣味食物，而另一些人则只做甜点。

如果这群人只是盲目地平均化每个人的笔记，最终的“大师级食谱”可能对那些拥有大储藏室的邻居来说很棒，但对那些规模小或需求独特的邻居来说却很糟糕。那些“做辣菜”的邻居可能会发现成品尝起来像平淡的燕麦粥；而那些“做甜点”的邻居可能会得到一份会让烤箱烧焦的食谱。这就是不公平性 (Unfairness)：全局模型对某些人表现很好，但对另一些人却很糟糕。

论文的解决方案：“FairVar”

该论文的作者 Zahra Kharaghani、Ali Dadras 和 Tommy Löfstedt 提出了一种名为 FairVar 的新方法来混合这些食谱。他们的目标是实现性能均衡公平 (Performance Equitable Fairness)：确保最终的食谱对每一位邻居都同样有效，而不仅仅是在平均意义上有效。

为此，他们引入了方差正则化 (Variance Regularization) 的概念。你可以将“方差”理解为衡量邻居们彼此之间差异程度的指标。论文建议通过两种主要方式来修正这本食谱：

1. “得分方差”法 (FairLoss)

想象一下，邻居们在尝试过食谱后对其进行评分。

问题： 如果做辣菜的邻居给出了 2/10 分，而做甜点的邻居给了 9/10 分，平均分可能是还不错的 5.5/10。但做辣菜的邻居并不满意。
解决方法： FairLoss 方法在小组的目标中加入了一个“惩罚项”。如果分数过于分散（高方差），小组就会被告知：“嘿，你们需要调整食谱，让低分提高，即使这意味着高分会稍微下降一点。”这迫使食谱寻找一个能让所有人都能满意的中间地带。

2. “方向方差”法 (FairGrad) —— 新的明星方案

这是该论文的主要创新点。他们不仅看最终的得分，还观察邻居们试图推动食谱改变的“方向”。

比喻： 想象所有的邻居都在用力拉一根粗绳，试图移动一辆沉重的推车（即模型）。
- “做甜点”的人正用力向北拉。
- “做辣菜”的人正用力向东拉。
- “平均”的食谱只是向东北方向拉，这可能无法让推车为任何人移动得太远。
解决方法： FairGrad 方法观察邻居们在不同方向上的拉力强度。如果“向东”拉的人因为“向北”拉的人力量更大而被忽视了，FairGrad 就会在绳子上增加一种“张力”。它会说：“我们需要让我们的拉力方向更加一致。”它通过惩罚那些方向过于分散的情况，迫使邻居们在“如何改变食谱”这一点上达成更多共识。通过这种方式，最终的结果会对少数群体更加公平。

他们是如何测试的

研究人员在“数字厨房”中利用四个著名的数据库（MNIST, CIFAR-10, CIFAR-100, 和 Tiny ImageNet）测试了这些想法。他们模拟了不同程度的“混乱”：

低混乱度： 大家的食材都很相似（同质化数据）。
高混乱度： 大家的食材完全不同（异质化数据）。

他们将这些新方法（FairGrad 和 FairGrad*）与旧方法进行了对比，例如 FedAvg（标准的“平均一切”方法）和 q-FFL（之前的公平性尝试）。

他们的发现

当大家都很相似时： 如果所有邻居的储藏室都差不多，这些花哨的新方法并不会带来显著变化。标准的“平均”方法就能表现良好。新方法没有破坏任何东西，但也无需做太多额外的工作。
当大家各不相同时（真正的考验）： 这正是见证奇迹的时刻。
- 标准方法（FedAvg）产生的食谱虽然平均水平不错，但存在巨大的差距：有些邻居很喜欢，有些则很讨厌。
- FairGrad 方法显著缩小了这些差距。它们在不破坏其他邻居体验的前提下，让“表现最差”的那位邻居变得开心得多。
- 在许多测试中，FairGrad 不仅解决了公平性问题，甚至提升了整体食谱的质量。这就像是找到了一种秘密配料，让这道菜对每个人都美味可口，而不仅仅是对大多数人如此。

FairGrad 的两个版本

论文提供了两种运行“FairGrad”方法的方式：

FairGrad (近似版)： 这是“偷懒”但高效的版本。邻居们根据上次小组的做法来决定现在的行动。这节省了时间和通信成本（减少了邻居间的交流）。
FairGrad* (精确版)： 这是“精准”的版本。邻居们观察的是小组此时此刻正在做的事情。它需要更多的沟通，速度较慢，但更准确。论文建议在任务非常困难或邻居之间差异极大时使用此版本。

核心结论

论文得出结论：通过添加“方差惩罚”（特别是观察邻居们的方向差异有多大），我们可以构建出更公平的机器学习模型。与其让声音最大的家伙（拥有最大数据量的所有者）主导结果，不如通过这种方式引导模型去倾听那些较弱小的声音，从而确保最终结果能让房间里的每一个人都满意，无论他们带来了多少数据。

技术摘要：FAIRVAR - 通过方差正则化实现公平联邦学习

问题陈述

联邦学习（FL）能够在不共享原始数据的情况下，实现跨多个客户端的协作模型训练。然而，数据异构性往往会导致客户端之间的性能差异显著：全局模型在平均水平上表现良好，但对于具有独特数据分布或较小样本量的特定客户端而言，表现却很差。这种缺乏**性能公平性（performance equitable fairness）**的问题——即在保持高整体模型性能的同时，最小化各客户端之间的性能差异——是一个关键挑战。现有的解决办法，如损失-方差正则化和 $q$ -公平联邦学习（ $q$ -FFL），通常在处理异构性时的行为缺乏坚实的理论基础，且目前尚不清楚哪些方法在实际应用场景中最有效。

方法论

本文提出了一种基于**梯度-方差正则化（gradient-variance regularization）**的新方法，用于实现性能公平性。作者分析并比较了几种现有方法，并引入了源自两个主要目标函数的全新算法：

损失-方差正则化（Loss-Variance Regularization）： 基于前人的工作，该方法对客户端损失的方差进行惩罚：
$L_\lambda(x) = F(x) + \frac{\lambda}{2n} \sum_{i=1}^n (f_i(x) - F(x))^2$
其中 $F(x)$ 是全局平均损失， $f_i(x)$ 是客户端 $i$ 的局部损失。
梯度-方差正则化（Gradient-Variance Regularization，本文提出）： 作者引入了一种全新的目标函数，通过最小化客户端梯度的方差来促进公平性：
$J_\gamma(x) = F(x) + \frac{\gamma}{2n} \sum_{i=1}^n \|\nabla f_i(x) - \nabla F(x)\|^2$
这里 $\nabla F(x)$ 是所有客户端的平均梯度。

为了在联邦设置中解决这些非可分离的目标函数，作者提出了四种算法：

FairLoss & FairLoss*： 用于最小化损失-方差目标（ $L_\lambda$ ）的近似与精确变体。
FairGrad & FairGrad*： 用于最小化梯度-方差目标（ $J_\gamma$ $J_{γ}$ ）的近似与精确变体。
- 近似变体（FairLoss, FairGrad）： 利用前一次迭代的信息（例如前一次的平均损失或梯度）来降低通信开销。
- 精确变体（FairLoss*, FairGrad*）： 使用当前迭代的信息进行更准确的更新，但会增加通信成本。

这些算法与包括 FedAvg、Agnostic Federated Learning (AFL)、 $q$ -FFL 和 AAggFF 在内的基准方法进行了对比。

理论分析

本文对这些方法在同质化和异构化数据设置下的关系进行了理论表征：

同质数据（Homogeneous Data）： 在所有客户端共享相同数据分布的设置下，正则化项（损失或梯度方差）平均而言不会改变驻点的位置。因此，最优解仍与标准的 FedAvg 目标保持一致，正则化在理论上是不必要的。
异构数据（Heterogeneous Data）： 在异构情况下，正则化项会主动改变优化景观（optimization landscape）。作者证明，如果客户端损失或梯度在未正则化的目标函数最优解处不一致，则正则化后的目标函数（ $L_\lambda$ , $J_\gamma$ , 以及 $H_q$ ）将具有不同的驻点。具体而言，方差正则化可以将解从平均损失最优解移动到性能在客户端之间更加均衡的点。
联系： 该分析建立了 $q$ -FFL（当 $q=1$ 时）在特定条件下可以被损失-方差正则化目标函数所上界的联系，从而将这些此前不同的方法联系在了一起。

实验结果

研究人员在四个图像分类数据集（MNIST, CIFAR-10, CIFAR-100, Tiny ImageNet）上对这些方法进行了评估，并通过狄利克雷浓度参数（ $\alpha \in \{0.05, 0.1, 0.5\}$ ）控制不同程度的数据异构性。

性能： 提出的方差正则化方法，特别是 FairGrad 和 FairGrad*，在异构设置下始终优于基准方法。
公平性： 与 FedAvg、AFL 和 $q$ $q$ -FFL 相比，这些方法显著降低了客户端准确率的方差（即公平性指标）。
- 在 CIFAR-100 上，FairGrad* 在高异构度（ $\alpha=0.05, 0.1$ ）下实现了最佳准确率和最低方差。
- 在 CIFAR-10 上，FairGrad 在所有异构水平下均实现了最低的方差，并在 $\alpha \in \{0.1, 0.5\}$ 时实现了最高的准确率。
- 在 Tiny ImageNet 上，FairGrad* 在 $\alpha \in \{0.05, 0.5\}$ 时实现了最低的方差。
同质设置： 在 MNIST（数据相对同质）上，所有方法的表现相似，正则化变体仅在公平性方面提供了微小的改进，这符合正则化在同质设置下并非至关重要的理论预测。

重要性与主张

本文声称 FairGrad 和 FairGrad* 代表了一种提升联邦学习公平性的原则性且有效的方法。其核心贡献包括：

新颖性： 引入了专门针对性能公平性的梯度-方差正则化，这是一个此前在该背景下未被探索的方向。
理论清晰度： 提供了一个理论框架，解释了现有公平性方法（如 $q$ -FFL 和损失-方差正则化）之间的关系，并展示了方差正则化如何改变异构环境下的优化行为。
实证验证： 证明了减少梯度方差可以在不牺牲整体模型准确率的情况下，实现更公平的客户端性能表现，并且通常优于最先进的公平性感知基准方法。

作者得出结论，虽然方差正则化在同质设置中在理论上是冗余的，但它是实现现实世界联邦学习部署中典型的异构场景下公平性的关键机制。这项工作强调了梯度对齐正则化器是平衡客户端性能的一种稳健方法。