🤖 machine learning

FLOSS: Federated Learning with Opt-Out and Straggler Support

本文提出了 FLOSS 系统，旨在解决联邦学习中因用户主动退出和数据发送延迟（stragglers）导致的数据缺失问题，从而减轻由此产生的偏差并提升模型性能。

原作者： David J Goetze, Dahlia J Felten, Jeannie R Albrecht, Rohit Bhattacharya

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

原作者： David J Goetze, Dahlia J Felten, Jeannie R Albrecht, Rohit Bhattacharya

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 FLOSS 的新系统，旨在解决“联邦学习”（一种保护隐私的机器学习技术）中遇到的两个大麻烦：有人掉队和有人不想分享。

为了让你轻松理解，我们可以把整个联邦学习过程想象成一场由成千上万个学生（用户设备）共同完成的“班级大作业”。

1. 背景：什么是联邦学习？

想象老师（中央服务器）想教全班同学解一道很难的数学题（训练模型）。

传统做法：老师把全班学生的作业本都收上来，在办公室统一批改、总结规律，再发回去。但这会泄露每个学生的隐私（作业本被老师看光了）。
联邦学习做法：老师不收作业本。老师只把“解题思路”（模型参数）发给大家。每个学生在自己家里（本地设备）用自家的作业本练习，算出“哪里做得好，哪里需要改”（梯度/权重），然后只把修改建议发给老师。老师汇总所有人的建议，更新解题思路，再发给大家。
优点：作业本（原始数据）永远留在学生手里，隐私得到了保护。

2. 问题：为什么现在的系统会“偏科”？

在这个“班级大作业”中，经常会出现两种情况，导致老师收不到足够的建议，从而学歪了：

掉队者（Stragglers）：
有些学生家里网速太慢、电脑太旧，或者正在打游戏，导致他们没能在截止时间前把“修改建议”发过来。这就好比老师只收到了 80% 的反馈，剩下的 20% 直接忽略了。
主动退出者（Opt-out）：
有些学生虽然设备很好，但突然觉得：“这道题涉及我的隐私，我不想参与这次讨论。”于是他们主动拒绝发送建议。
- 关键点：这种拒绝往往不是随机的。比如，那些数学特别差的学生，或者对老师之前的讲解特别不满意的学生，可能更倾向于退出。这就导致老师收到的建议里，“差生”的声音变少了，或者**“不满意”的声音变少了**。

后果：老师根据收到的这些“有偏差”的建议更新解题思路，结果教出来的方法虽然对那 80% 的人有效，但对全班整体来说却不准确、有偏见。这就叫“数据缺失带来的偏差”。

3. 解决方案：FLOSS 系统

FLOSS 就像是一位聪明的“统计学家助教”，它发明了一套新规则，专门用来修补这些缺失的反馈，让老师的决策重新变得公平准确。

它的核心策略叫做**“逆概率加权”（Inverse Probability Weighting），我们可以用“投票权重”**来比喻：

普通做法：每个发建议的学生，老师都算作"1 票”。
FLOSS 的做法：老师会先观察每个学生的特征（比如：他是农村的还是城市的？设备是旧手机还是新电脑？他对系统满不满意？）。
- 如果某个学生（比如农村网速慢的学生）本来很难把建议发过来，但他居然发过来了，说明他的建议非常珍贵！FLOSS 会给他的建议加权，比如算作"5 票”。
- 如果某个学生（比如网速极快、随时在线的学生）很容易发建议，他的建议就相对“普通”，可能只算"1 票”。

通过这种“加权”，FLOSS artificially（人为地）把那些“本来很难出现、但出现了”的声音放大，从而抵消了那些“本来该出现但没出现”的声音的缺失。

4. 它是怎么做到的？（不泄露隐私的前提下）

FLOSS 不需要偷看学生的作业本（原始数据），它只需要收集两类公开信息：

设备信息：比如手机型号、网络类型（这是注册时就知道的）。
满意度反馈：系统偶尔会弹窗问学生：“你对刚才的解题思路满意吗？”（就像论文图 1 里的那样）。

FLOSS 利用这些信息，通过复杂的数学公式（论文里的 m-DAG 和 IPW 理论），估算出“谁最可能掉队”或“谁最可能退出”。然后，它给那些幸存并参与的学生分配不同的权重，确保最终汇总出的“班级平均意见”能代表全班所有人，而不仅仅是那些“听话且网速快”的人。

5. 实验结果：真的有用吗？

作者做了一个模拟实验：

蓝色线：所有人都参与（理想情况）。
橙色线：有人掉队、有人退出，且不做任何处理（结果准确率大幅下降，因为偏差太大）。
红色线：有人掉队、有人退出，但使用了 FLOSS 系统。

结果：红色线几乎完美地追上了蓝色线！即使有人退出，FLOSS 也能通过“加权投票”把准确率拉回来。而且，随着学生人数增加，FLOSS 的效果越来越明显。

总结

FLOSS 就像是一个公平的调音师。在联邦学习这个“大合唱”中，它确保那些因为网速慢（掉队）或因为隐私顾虑（退出）而声音微弱甚至消失的“歌手”，他们的声音依然能被听见，并且被赋予合适的音量。

这样，最终训练出来的 AI 模型就不会只偏向于“网速快、不介意隐私”的那部分人，而是能真正代表所有用户，既保护了隐私，又保证了模型的准确性和公平性。

论文标题

FLOSS：支持用户退出（Opt-Out）与掉线（Straggler）的联邦学习系统

1. 研究背景与问题定义 (Problem)

背景：
联邦学习（FL）是一种隐私保护机器学习范式，数据保留在本地，仅上传模型梯度或权重。然而，现代 FL 系统面临两个导致数据缺失的主要挑战：

掉线用户（Stragglers）： 由于设备异构性（如网络差、计算能力弱）导致部分用户无法在规定时间内上传梯度。
用户退出（User Opt-Out）： 现代隐私协议赋予用户随时选择退出数据共享的权利。用户可能因对模型表现不满或出于隐私顾虑（如数据包含敏感信息）而拒绝参与训练。

核心问题：
现有的 FL 研究主要关注完全随机缺失（MCAR）或仅关注基础设施层面的掉线问题。然而，当用户主动选择退出时，数据缺失往往呈现为非随机缺失（MNAR, Missing Not At Random）或随机缺失（MAR）。

MNAR 风险： 如果特定群体（如某类人口统计学特征或拥有特定敏感数据的用户）更倾向于退出，直接聚合剩余用户的梯度会导致选择偏差（Selection Bias）。
后果： 这种偏差会导致模型参数估计偏离真实值，降低模型精度，甚至损害算法的公平性。简单地增加用户数量无法解决系统性缺失带来的偏差问题。

2. 方法论 (Methodology)

作者提出了 FLOSS 系统，旨在在不收集额外数据或违反隐私协议的前提下，通过**逆概率加权（Inverse Probability Weighting, IPW）**技术来纠正缺失数据带来的偏差。

2.1 形式化建模 (m-DAGs)

作者使用缺失数据有向无环图（m-DAGs）来形式化描述 FL 中的缺失机制：

变量定义：
- $X, Y$ ：用户的特征和标签（服务器不可见）。
- $D$ ：用户注册信息（如设备规格、年龄），服务器可见。
- $R$ ：响应指示器（ $R=1$ 表示参与， $R=0$ 表示掉线或退出）。
- $S$ ：用户满意度（通过提示框收集），可能缺失。
缺失机制分析：
- 在 FL 中， $R$ 不仅受设备属性 $D$ 影响（导致 MAR），还可能直接受数据 $X, Y$ 本身影响（例如用户因对特定敏感数据的预测结果不满意而退出），这构成了 MNAR。
- 传统的 IPW 假设缺失仅依赖于观测变量（ $D$ ），但在 MNAR 场景下，直接估计缺失概率 $P(R=1|D)$ 会导致有偏估计。

2.2 核心算法：基于阴影变量的重加权采样

为了解决 MNAR 问题，FLOSS 引入了**阴影变量（Shadow Variable）**的概念：

假设： 用户的退出行为（ $R$ ）受其满意度（ $S$ ）中介，而 $S$ 又受数据 $X, Y$ 影响。同时，存在一个变量 $Z$ （属于 $D$ 的子集，如设备处理能力），它影响数据分布但不直接驱动退出行为。
技术路径：
1. 利用阴影变量 $Z$ 和观测到的满意度 $S$ （若存在），构建方程组来估计缺失概率 $\pi = P(R=1 | D', S)$ 。
2. 通过求解方程组（基于矩估计方法），在无需知道 $X, Y$ 具体值的情况下，从观测数据中恢复出缺失概率。
3. 加权采样： 在每一轮联邦学习聚合前，服务器根据估计的逆概率 $1/\pi$ 对参与用户进行加权采样。
4. 梯度聚合： 聚合后的梯度更新公式变为 $\theta^{(t+1)} \leftarrow \theta^{(t)} - \eta \cdot \sum \frac{1}{\pi_i} g_i$ 。

2.3 系统流程 (Algorithm 1)

注册： 记录用户基本信息 $D$ 。
提示与反馈： 每轮训练前，提示用户参与（记录 $R$ ）并询问满意度（记录 $S$ ）。
概率估计： 利用方程 (1) 计算每个参与用户的权重 $\pi$ 。
加权采样： 根据 $1/\pi$ 对参与用户进行有放回采样。
本地训练与上传： 采样用户计算梯度，上传（含差分隐私噪声）。
超时处理： 忽略掉线用户（Stragglers）。
聚合与更新： 使用加权梯度更新全局模型。

3. 主要贡献 (Key Contributions)

理论形式化： 首次利用 m-DAGs 形式化分析了联邦学习中由“用户主动退出”和“设备掉线”共同导致的 MNAR 缺失问题，并证明了忽略此问题会导致模型风险最小化失效（Proposition 1）。
FLOSS 系统框架： 提出了一种无需额外数据收集、不违反隐私协议的 FL 系统，利用逆概率加权（IPW）和阴影变量技术，在 MNAR 场景下实现无偏估计。
理论保证： 证明了在特定假设下（图 2b），通过加权采样，模型更新能够收敛到真实的未观测风险最小化（Proposition 2）。
原型实现与验证： 提供了 Python 原型实现，并通过仿真实验验证了该方法的有效性。

4. 实验结果 (Results)

作者在模拟环境中进行了二元分类任务实验，对比了四种情况：

无缺失数据（基准）： 所有用户均参与。
MNAR 缺失（无修正）： 用户随机退出，未做任何处理。
MNAR 缺失（Oracle 修正）： 假设已知真实的退出概率（理想情况）。
MNAR 缺失（FLOSS 修正）： 使用 FLOSS 算法进行修正。

关键发现：

偏差显著： 未修正的 MNAR 数据（橙色线）导致模型准确率显著低于基准，即使增加用户数量也无法消除该差距。
FLOSS 的有效性： FLOSS 修正后的结果（红色线）紧密跟随无缺失数据的基准线（蓝色线），且随着用户数量增加，性能逐渐逼近理想状态。
结论： 仅仅增加数据量无法解决系统性偏差，必须采用像 FLOSS 这样的统计修正方法。FLOSS 能够显著减轻 MNAR 数据带来的性能退化。

5. 意义与展望 (Significance)

隐私与性能的平衡： FLOSS 证明了在严格尊重用户“退出权”（Opt-Out）和隐私协议的前提下，依然可以构建高性能的联邦学习系统。
现实适用性： 解决了现代 FL 部署中普遍存在的“用户疲劳”和“设备异构”导致的系统性偏差问题，提高了 FL 在真实世界应用中的鲁棒性。
公平性提升： 通过纠正选择偏差，间接提升了算法的公平性，防止模型对特定群体（如易掉线或易退出的群体）产生歧视。
未来工作： 作者计划基于 Flower 框架进行更大规模、更真实的实验，并量化算法的计算开销，以评估其在实际部署中的可行性。

总结：
FLOSS 是一项针对联邦学习中“数据缺失”问题的创新工作。它超越了传统的掉线处理，深入探讨了用户主动退出带来的统计偏差问题，并通过引入因果推断中的逆概率加权技术，提供了一种理论严谨且实证有效的解决方案，为构建更健壮、更公平的隐私保护机器学习系统奠定了基础。