🤖 machine learning

Who Trains Matters: Federated Learning under Enrollment and Participation Selection Biases

本文通过形式化一个两阶段选择模型并提出\textsc{FedIPW}（一种逆概率加权聚合方案），解决了联邦学习中因注册偏差和参与选择偏差而导致的持续性能差距问题，该方案即使在客户端协变量有限的情况下也能有效恢复目标总体目标。

原作者： Gota Morishita

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Gota Morishita

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图为整座城市烘焙一款完美的蛋糕。为此，你邀请成千上万的居家烘焙师寄来一小块他们的面糊，以便你将它们混合在一起，从而找出理想的配方。这本质上就是**联邦学习（Federated Learning, FL）**的工作原理：中央服务器并非将所有数据汇集到一处，而是要求许多设备（如手机）在本地训练模型，仅将“更新”（即面糊块）回传。

正如本文所解释的，问题在于，你邀请谁寄来面糊，与你如何混合它们同样重要。

两阶段筛选：谁得以入门？

本文指出，在现实生活中，你最终能听到声音的烘焙师，很少是整座城市的完美缩影。这种情况发生在两个截然不同的阶段，就像音乐会上的两道安检：

“注册”偏差（谁收到了邀请？）：
首先，你必须具备加入项目的资格。也许你需要特定型号的手机、某个软件版本，或者只需在同意书上点击“我同意”。如果你的手机太旧，或者你居住在网络信号差的地区，你甚至从未收到过邀请。你在游戏开始前就被筛选掉了。本文将这种现象称为注册偏差（Enrollment Bias）。
- 类比： 想象你只邀请拥有红色汽车的人加入你的烘焙俱乐部。即使你邀请所有拥有红色汽车的人参与，你也已经遗漏了所有拥有蓝色汽车、自行车或根本没有车辆的人。你的“烘焙俱乐部”从一开始就发生了偏差。
“参与”偏差（谁实际到场了？）：
其次，即使在那些确实收到邀请的人中，也不是每个人都会参加每一次聚会。也许他们的电池没电了，网络不稳定，或者对他们所在的时区来说现在是凌晨 3 点。他们已注册，但在特定轮次中并未参与。本文将这种现象称为参与偏差（Participation Bias）。
- 类比： 即使你邀请了所有拥有红色汽车的人，也许只有那些清醒且油箱加满的人才会真正开车前往聚会。

问题所在：烘焙出了错误的蛋糕

大多数现有方法试图解决第二个问题（谁到场了）。它们会说：“好吧，今晚到场的人大多是夜班工人；让我们调整配方以应对这种情况。”

但本文指出了一个更大的问题：如果最初收到邀请的人（红色汽车车主）与城市其余部分并不相似，那么仅仅修正“谁到场了”这部分是无济于事的。 你可能完美地调整了针对夜班工人的方案，但你仍然完全基于红色汽车车主的数据在烘焙蛋糕。最终的结果对红色汽车车主来说可能美味可口，但对其他人来说却难以下咽。

本文将这种现象称为**“目标人群不匹配”（Target-Population Mismatch）。模型学会的是服务那些可触达的人，而非它本应服务**的人。

解决方案：加权秤（FedIPW）

为了解决这个问题，作者提出了一种新方法，称为FedIPW（联邦逆概率加权，Federated Inverse Probability Weighting）。

这就像使用加权秤，而不是简单的平均值。

旧方法（FedAvg）： 如果有 10 人发送更新，你给每个人 1/10 的权重。
新方法（FedIPW）： 你查看谁没有到场，并问：“为什么？”
- 如果某一群体（例如拥有安卓手机的人）因严格的软件规则而很少收到邀请，但他们在收到邀请时确实会到场，那么算法会给予他们的更新额外权重。
- 如果某一群体（例如拥有新款 iPhone 的人）经常收到邀请但很少到场，他们的更新也会被仔细加权，以代表那些确实到场的人。

通过根据“被邀请的概率”和“到场的概率”对更新进行数学上的“重新加权”，服务器可以重构出“平均城市烘焙师”本会贡献的内容，即使他们从未实际寄出面糊块。

如果我们没有所有细节怎么办？（“信息有限”的修正）

有时，服务器并不知道那些未收到邀请的人的详细信息（例如，它不知道城市中有多少人有旧手机）。它只知道宏观情况（例如，“城市中 20% 的人使用安卓手机”）。

在这种情况下，本文建议采用一种**校准（Calibration）**技巧。

类比： 想象你正用一小部分烘焙师的样本进行烘焙，但你不知道整个城市的确切人口统计特征。然而，你确实有一份人口普查报告，上面写着：“城市人口中 50% 是男性，50% 是女性。”
如果你的烘焙师样本中 80% 是男性，你不能直接忽略女性。相反，你应降低男性更新的权重，提高女性更新的权重，直到你的样本看起来像人口普查报告（50/50）。
这并不能完美解决所有问题，但比起什么都不做，它能让你更接近正确的配方。

“偏差下限”警告

本文还警告了“偏差下限（Bias Floor）”的存在。
想象你正试图射中靶心。如果你因为手抖而稍微偏离目标（随机误差），你可以通过练习变得更好。但如果你的枪是弯曲的（结构性误差），无论你练习多少，你永远无法击中中心。

本文证明，如果你忽略“注册”阶段（那把弯曲的枪），你就会撞上偏差下限。无论你进行多少轮训练，模型永远无法达到针对整个人群的最佳真实解。它将停滞在一个“足够好”的区域，而这个区域实际上对你所关心的人群来说是错误的。

总结

问题所在： 联邦学习经常失败，是因为参与训练的人（注册者）和实际参与者并不能代表整个人群。
解决方案： 使用两步修正法（FedIPW），通过数学加权来调整更新，以考虑最初被排除的人以及过程中中途退出的人。
核心启示： 仅仅修正谁参加了聚会是不够的；你必须修正最初被邀请参加聚会的人是谁。如果不这样做，无论算法多么智能，你的模型都会偏向特定群体。

以下是 Gota Morishita 所著论文《Who Trains Matters: Federated Learning under Enrollment and Participation Selection Biases》（谁参与训练至关重要：存在注册与参与选择偏差的联邦学习）的详细技术总结。

1. 问题陈述

联邦学习（FL）旨在无需集中原始数据的情况下，在分布式客户端的目标总体上训练全局模型。标准算法（如 FedAvg）隐含地假设每轮通信中参与的客户端是目标总体的代表性样本。然而，在实践中，由于选择偏差，这一假设往往失效，该论文指出这种偏差发生在两个不同的阶段：

注册偏差（Enrollment Bias）： 由资格规则（设备限制、软件要求、用户同意）决定，这些规则规定了哪些客户端有可能被纳入训练。这导致了注册池与目标总体之间的不匹配。
参与偏差（Participation Bias）： 由动态因素（电池电量、网络状况、本地时间）决定，这些因素规定了已注册的客户端中哪些实际上参与了特定的通信轮次。

核心问题： 现有文献主要解决轮次级参与偏差。然而，该论文指出，即使完美修正了参与偏差，注册偏差仍会导致训练目标（优化已注册子集）与目标总体目标之间持续存在不匹配。如果注册池不具备代表性，模型将收敛到针对目标总体的次优解。

2. 方法论

该论文在两阶段选择模型下形式化了联邦学习，并提出了一种基于**逆概率加权（IPW）**的去偏框架。

A. 两阶段选择框架

作者将客户端的纳入建模为一个因果过程：

阶段 1（注册）： 客户端 $i$ 被注册（ $E_i=1$ ）的概率为 $\pi^{enroll}_i = P(E_i=1 | Z_i)$ ，其中 $Z_i$ 是注册前协变量（例如设备类型、地区）。
阶段 2（参与）： 在已注册条件下，客户端 $i$ 在轮次 $r$ 参与（ $A_{i,r}=1$ ）的概率为 $\pi^{part}_{i,r} = P(A_{i,r}=1 | E_i=1, Z_i, X_{i,r})$ ，其中 $X_{i,r}$ 是轮次前协变量（例如电池电量、网络状况）。

总体纳入概率分解为：
$p_{i,r} = \pi^{enroll}_i \times \pi^{part}_{i,r}$

B. 提出的算法：FedIPW

为了恢复目标总体的平均更新，作者提出了FedIPW（联邦逆概率加权）。

机制： 服务器不再平等地平均更新，而是根据每个客户端的逆纳入概率对其更新 $\Delta_{i,r}$ 进行加权：
$\hat{\bar{\Delta}}_r = \frac{1}{N} \sum_{i: A_{i,r}=1} \frac{\Delta_{i,r}}{\hat{p}_{i,r}}$
估计： 由于真实概率未知，FedIPW 分别估计这两个分量：
1. $\hat{\pi}^{enroll}_i$ 使用注册前协变量和注册指示符进行估计（需要总体层面的数据）。
2. $\hat{\pi}^{part}_{i,r}$ 在已注册客户端中利用轮次级协变量进行估计。
理论保证： 在可忽略性和正性假设下，FedIPW 提供了目标总体平均更新的无偏估计量。

C. 有限信息扩展：聚合校准

在许多现实场景中，未注册客户端的个体级协变量不可用，使得完整的注册 IPW 无法实现。

解决方案： 作者引入了一种**聚合校准（Aggregate-Calibration）**扩展。
方法： 它重新加权已注册样本，使得注册前协变量（例如地区、操作系统版本）的加权分布与目标总体的已知聚合摘要（例如人口普查数据）相匹配。
作用： 当缺乏完整的个体级数据时，这作为对注册偏差的部分修正。

3. 主要贡献

两阶段选择的形式化： 该论文区分了注册偏差与参与偏差，将其形式化为一个连续的因果过程。它证明了忽略注册偏差会导致结构性不匹配，而仅针对参与的修正无法解决这一问题。
FedIPW 算法： 推导了一种逆概率加权聚合方案，在标准假设下可恢复目标总体目标。
带有偏差底限的优化分析： 作者提供了一种与算法无关的分析，表明残差加权误差（由于估计误差或结构性误设，例如省略注册阶段）会导致非消失的偏差底限。
- 误差界分解为瞬态项、方差项以及与 $\epsilon_w^2 G^2 / \mu$ 成正比的偏差底限，其中 $\epsilon_w$ 是加权误差， $G$ 是梯度异质性。
- 这证明了不完整的选择修正（例如仅修正参与）会导致持续的次优性。
聚合校准： 一种适用于有限信息环境的实用方法，利用总体摘要部分缓解注册偏差。

4. 实验结果

作者使用合成联邦逻辑回归验证了他们的理论，在该设置中可以准确计算真实的目标总体最优解。

目标不匹配： 朴素的 FedAvg 收敛于“已选客户端解”，其目标总体损失显著高于真实最优解。
FedIPW 性能： FedIPW 成功恢复了目标总体目标，即使随着注册偏差增加，也能紧密跟踪“Oracle"（理想）性能。
仅修正参与的失败： 仅修正轮次级参与的方法虽优于 FedAvg，但随着注册偏差增强，无法达到最优解，证实了偏差底限的存在。
聚合校准： 在缺乏未注册个体数据的情况下，聚合校准显著减少了仅修正参与方法留下的残差误差，尽管它对总体摘要中的噪声较为敏感。

5. 意义与启示

范式转变： 该论文认为，“谁能参与训练”（注册）与“谁参与轮次”（参与）同样关键。如果注册池不具备代表性，当前仅关注轮次级选择的联邦学习去偏努力是不够的。
结构性误差与统计误差： 分析区分了统计估计误差（可通过更好的模型减少）和结构性误设（例如省略注册阶段），后者会产生不可消除的偏差底限。
实践指导： 该工作为从业者提供了路线图：
1. 如果拥有未注册用户的个体数据，请使用带有两阶段加权的FedIPW。
2. 如果仅有总体聚合数据可用，请使用聚合校准来部分修正注册偏差。
3. 在异构环境中，仅依赖参与修正在理论上不足以实现与总体对齐的目标。

总之，该论文确立了在联邦学习中实现代表目标总体的模型，需要同时修正注册和参与两个阶段的选择偏差，并提供了一个严谨的数学框架和实用算法来实现这一目标。