🤖 machine learning

FedCF: Fair Federated Conformal Prediction

本文介绍了 FedCF，这是一个将符合性公平性（Conformal Fairness）扩展到联邦学习场景的框架，旨在利用可交换性假设，对不同人口统计群体之间公平的确定性量化进行审计与保障。

原作者： Anutam Srinivasan, Aditya T. Vadlamani, Amin Meghrazi, Srinivasan Parthasarathy

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Anutam Srinivasan, Aditya T. Vadlamani, Amin Meghrazi, Srinivasan Parthasarathy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在招聘一支来自不同社区的厨师团队，来共同创作一本完美的食谱。每位厨师都有自己当地的食材和烹饪风格，但由于隐私规则，他们不能分享彼此的秘密食谱或食材清单。这就是**联邦学习（Federated Learning）**的世界：许多人在共同训练一个模型，而无需分享各自的私密数据。

问题在于？有时，最终的食谱书对某些人群来说味道极佳，但对另一些人来说却糟糕透顶。也许它对喜爱辛辣食物的人完美无缺，但对于偏好清淡口味的人来说却失败得一塌糊矩。在机器学习术语中，这就是不公平性（Unfairness）。

这篇论文介绍了一个名为 FedCF（联邦符合性公平，Federated Conformal Fairness）的新工具来解决这个问题。以下是它的工作原理，通过简单的概念进行拆解：

1. “安全网”（符合性预测/Conformal Prediction）

在我们讨论公平性之前，我们需要了解什么是“安全网”。在机器学习中，模型通常只是给出一个答案（例如：“这是一只猫”）。但如果模型不确定呢？

标准预测： “这是一只猫。”（如果错了，你没有任何预警）。
符合性预测 (CP)： “我有 95% 的把握这是一只猫，但也可能是一只狗。” 它会给出一个可能性的列表。如果模型很自信，列表就很短（仅为“猫”）。如果它不确定，列表就会变长（“猫、狗、狐狸”）。
保证： 论文保证，如果你说“95% 置信度”，那么真实答案确实会在这个列表中出现的概率为 95%。这是一个关于可靠性的数学承诺。

2. 问题所在：安全网存在偏差

作者发现，虽然这个“安全网”在平均水平上表现良好，但它并不公平。

类比： 想象这个安全网是一个渔网。对于“富裕”的数据组，网眼很小，几乎能捕捉到所有东西。对于“贫困”的数据组，网眼却很大，让许多鱼逃脱了。
结果： 模型可能对 A 组具有 95% 的可靠性，但对 B 组只有 80% 的可靠性。这在医疗或金融等关键领域是不公平的。

3. 解决方案：FedCF（公平性审计员）

FedCF 是一种新的检查和修复这种偏差的方法，且无需厨师（客户端）向主厨（服务器）展示他们的秘密食材（数据）。

以下是具体步骤：

“局部审计”： 每个客户端（厨师）查看自己的本地数据。他们统计在不同群体下（例如，“我的网捕捉正确答案的次数对于 A 组与 B 组分别是多少？”），其“安全网”捕捉正确答案的次数。他们不发送数据；他们只发送一个代表该计数的一个简单数字（得分）。
“全局拼图”： 服务器收集来自所有人的这些简单数字。它并不知道谁拥有什么数据，但它可以从数学上组合这些数字，从而推算出整个系统的整体公平性。
“调节旋钮”： 如果服务器发现 B 组的网太松了（不公平），它会转动一个“旋钮”（阈值）。这会收紧 B 组的网，使预测列表稍微变长（效率降低），但更准确。
“下降搜索”： 为了避免一个一个尝试旋钮设置（这太慢了），FedCF 使用了一种智能的“下降”方法。这就像是沿着山坡下滑以找到最低点。它能快速找到那个让网对每个人都公平的完美设置，而不需要进行成千上万轮的通信。

4. 两种玩法（隐私 vs. 速度）

论文提供了两种发送这些数字的方式，取决于你更看重什么：

“快速型”方式： 客户端只发送几个数字。它很快，占用的互联网带宽也少，但狡猾的服务器可能会窥探到一点关于数据分布的信息。
“隐私型”方式： 客户端进行更多的本地计算，并发送一个“差值”数字（比如说“我比平均值多 5 个”而不是直接说“我有 5 个”）。这能更好地隐藏个人数据，但需要发送稍多的信息。
混合模式： 你可以混搭！有些客户端可以走快速路线，有些可以走隐私路线，系统依然可以正常工作。

5. 研究发现（结果）

作者在真实的跨区域数据（如收入记录、受教育程度和皮肤病图像）上测试了该方法。

好消息： FedCF 成功地让“安全网”变得公平。它确保了不同群体的预测可靠性大致相同（例如，如果 A 组是 95%，那么 B 组也是 95%）。
权衡： 为了实现公平，这些可能性的“列表”有时会变得稍微长一点（效率降低）。但论文表明，与公平带来的收益相比，这种成本是很小的。
“审计”功能： 他们还展示了该系统可以作为一个“成绩单”使用。监管机构可以使用它来检查模型是否公平，而无需看到涉及人员的私密数据。

总结

FedCF 就像是远程工作者团队的公平性检查员。它确保最终产品（AI 模型）平等对待每个人，即使这些工作者从未分享过他们的私密笔记。它利用智能数学来调整模型的置信水平，确保没有任何一个群体会得到一个“漏水的”安全网，同时兼顾了隐私保护并保持了通信的高效。

技术摘要：FedCF：公平联邦符合预测

问题陈述

机器学习模型往往在不同的人口统计子群中表现出差异化的性能，这可能导致偏见，并在医疗保健和金融等安全关键领域中被进一步放大。虽然符合预测（Conformal Prediction, CP）提供了具有有限样本覆盖保证的、模型无关的不确定性量化，但标准 CP 对敏感属性是不感知的，且无法确保公平性。现有的“公平符合预测”（Conformal Fairness, CF）方法通过确保各子群之间的条件覆盖保证来解决这一问题，但这些方法依赖于中心化的数据访问。

在联邦学习（Federated Learning, FL）中，数据保持去中心化以保护隐私，这使得应用标准 CF 变得不可能。此外，近期的研究表明，转向保护隐私的去中心化训练可能会由于数据异构性和客户端能力的差异，在无意中加剧不公平现象。核心挑战在于如何在不违反隐私约束或产生过高通信开销的情况下，将 CF 的理论保证扩展到联邦设置中，同时考虑到联邦数据的非独立同分布（non-IID）特性。

方法论

作者提出了 FedCF（联邦符合公平性），这是一个将符合公平性（CF）框架适配到联邦设置中的框架。该方法建立在三个支柱之上：

1. 基于下降法的优化重构

原始的 CF 算法采用在离散空间上的网格搜索来寻找满足公平性约束的最小阈值 $\lambda$ 。由于通信成本高昂，这在 FL 中效率极低。FedCF 将其重构为一个基于下降的优化问题。该算法不再使用网格搜索，而是利用基于动量的更新规则自适应地更新阈值 $\lambda$ 。这使得系统能够以显著更少的通信轮数收敛到满足约束的 $\lambda$ （实验证明实现了约 10 倍的加速），并通过随机重启来跳出局部最优。

2. 客户端混合覆盖间隙公式化

为了处理去中心化数据，FedCF 无法直接估计实现公平性指标所需的条件覆盖。作者引入了一种基于部分可交换性（partial exchangeability）假设的客户端混合公式化（mixture-of-clients formalization）。他们将全局公平性特定覆盖水平（ $\Pi_{cov}$ ）分解为四个项：

项 I & II： 由每个客户端根据其校准数据和特定的组-标签对（group-label pair）进行本地计算。
项 III： 测试点与特定客户端数据具有可交换性的概率（按客户端规模加权）。
项 IV： 公平性过滤器处于激活状态的全局概率。

通过推导这些项的区间界限（定理 3.1），服务器可以聚合本地统计数据，从而在从未接触客户端原始数据的情况下，界定全局覆盖间隙。该框架还提供了一个**极大似然估计（MLE）**变体，在部分 IID 假设下提供更紧凑（尽管较保守）的估计。

3. 灵活的聚合协议

FedCF 通过两种协议解决了通信效率与数据隐私之间的权衡：

通信高效型： 客户端发送每个组-标签对的汇总统计数据（ $\alpha$ 值）。服务器聚合这些数据以计算界限。其通信复杂度相对于组的数量呈线性关系。
增强隐私型： 客户端在发送给服务器之前，先在本地计算覆盖项的成对差异。这模糊了单个分布信息，防止了重构攻击，但代价是相对于组数量呈二次方关系的通信复杂度。
混合型： 客户端可以根据其资源约束在不同协议之间进行选择。

该框架还支持差分隐私（Differential Privacy, DP），通过向客户端更新中添加高斯噪声，确保针对恶意服务器的鲁棒性。

核心贡献

将 CF 扩展至 FL： 本文提出了第一个将符合公平性扩展到联邦设置的框架，从理论上证明了在部分可交换性条件下，可以在分布式环境中维持条件覆盖保证。
基于下降的算法： 一种新颖的优化方法，用自适应下降法取代了网格搜索，大幅减少了 FL 中所需的通信轮数。
理论界限： 推导了联邦设置下公平性特定覆盖水平的区间界限，为在不集中数据的情况下审计公平性间隙提供了一种严谨的方法。
隐私-通信权衡： 提出了不同的聚合协议（通信高效型、增强隐私型和混合型），允许客户端在带宽限制与隐私需求之间取得平衡。
实证验证： 在表格数据（ACSIncome, ACSEducation）、图数据（Pokec）和视觉数据（Fitzpatrick）数据集上的广泛实验表明，FedCF 成功控制了公平性差异（例如，人口统计学平价、机会均等），同时保持了原始 CP 的覆盖保证。

实验结果

作者在多个领域和公平性指标上评估了 FedCF：

公平性控制： FedCF 始终能达到用户指定的接近度准则（ $c$ ）的公平性差异，而没有公平性约束的基准联邦符合预测（FCP）则无法控制这些间隙。
效率与公平性的权衡： 存在内在的权衡；执行更严格的公平性（较小的 $c$ ）会增加预测集的规模（降低效率）。然而，与基准方法相比，FedCF 将这种成本降到了最低。
对异构性的鲁棒性： 该框架在不同数量的客户端（2 到 48 个）和不同数据划分方案（自然地理划分与 Dirichlet 分区）下均表现出色。
图数据： FedCF 成功集成了图特定的非符合性得分（DAPS），展示了其在标准表格数据之外的应用能力。
隐私协议： 实验表明，虽然增强隐私协议由于界限更紧凑而导致预测集更大，但它在保护客户端数据的同时，有效地控制了公平性差异。

重要性与主张

本文声称 FedCF 为审计和确保联邦机器学习模型的公平性提供了一个具有理论依据且具备实际可行性的解决方案。其重要性在于：

合规性： 为满足新兴法规（如《欧盟人工智能法案》、纽约市第 144 号地方法令）提供了机制，这些法规要求在不损害数据隐私的前提下，对去中心化系统进行公平性审计。
可信机器学习： 弥合了不确定性量化与公平性之间的鸿沟，确保模型不仅能以已知的误差界限进行预测，而且在不同敏感群体之间做到公平。
可审计性： 该框架可用于事后审计现有的联邦模型，在无需重新训练或访问原始数据的情况下，确定其是否符合公平性规范。

作者承认了局限性，特别是对部分可交换性假设的依赖，该假设在存在动态数据漂移的场景中可能会被违反。他们建议未来的工作涉及非可交换 CP 和鲁棒联邦学习技术，以应对这些场景。