想象一下，你是一位大型法庭上的首席法官，在这里，一个人工智能系统正在协助决定谁能获得贷款、工作或医疗救治。为了确保公正，你需要遵循两条非常重要但往往相互冲突的规则：
- “群体规则”（群体公平性）： 这条规则说：“我们必须确保每个人口统计群体的总成功率是相同的。”如果 A 组的获批率是 50%，那么 B 组的获批率也应该是 50%。这关乎大局和统计数据。
- “邻居规则”（个体公平性）： 这条规则说：“我们必须以同样的方式对待相似的人。”如果两个人的简历、信用评分和人生经历几乎完全相同，那么无论他们属于哪个群体，都应该得到完全相同的决定。这关乎每个人的具体细节。
核心问题：
这篇由西班牙研究团队撰写的论文指出了一个令人沮丧的现实：你通常无法同时完美地遵循这两条规则。
把这想象成切蛋糕：
- 如果你切蛋糕时要确保每张桌子分到的蛋糕总量相等（群体公平性），你可能不得不给一个非常饥饿的人一小块，而给一个并不饿的人一大块，以平衡总量。这违反了**“邻居规则”**，因为两个同样饥饿的邻居得到了不同的分量。
- 如果你切蛋糕时要确保每个饥饿的人都得到同样大小的一块（个体公平性），那么桌子之间的总蛋糕量可能会出现巨大差异。一张桌子可能会堆着一座蛋糕山，而另一张桌子几乎什么都没有。这违反了**“群体规则”**。
这篇论文做了什么：
这篇论文并没有仅仅停留在说“这是不可能的”这一层面，而是充当了一份综合地图，为其他研究人员提供参考。它回顾了人们为了试图平衡这两条规则而发明的所有不同工具和方法。
作者将这些方法归纳为三个“工作坊”，即公平性魔法发生的地方：
- 数据准备工作坊（预处理）： 在 AI 开始学习之前，研究人员会对数据进行微调。他们可能会改变数据集中的数字，或者添加虚构的“假设场景”（例如询问：“如果这个人来自不同的群体会怎样？”），从而从一开始就教导 AI 要更加公平。
- 训练健身房（处理中）： 在 AI 学习的过程中，研究人员会为其训练添加额外的“权重”或“规则”。这就像是给 AI 戴上一个“障碍”：“如果你开始以不同方式对待相似的人，你就会受到惩罚。”AI 必须学会同时兼顾准确性和公平性。
- 最终审查（后处理）： 在 AI 做出决策后，人类（或第二个算法）会介入并调整结果。如果 AI 对 A 组的批准率为 60%，而对 B 组的批准率为 40%，这一步可能会稍微降低 B 组的门槛以实现平衡，同时努力保持相似的人受到相似的对待。
论文的研究发现：
- 权衡是真实存在的： 论文证实，试图修复一种类型的公平性往往会使另一种类型变得更糟。天下没有免费的午餐。
- 大多数方法成本高昂： 许多这些精巧的平衡手段需要大量的计算能力和时间。这就像是在跑马拉松的同时还要解开魔方。
- 数据不足： 大多数这些方法都是在一些陈旧且简单的公开数据集（如“Adult”或“COMPAS”）上进行测试的。我们并不真正了解它们在复杂的现实世界场景中（如医学影像或创意类工作的招聘）表现如何。
- 代码缺失： 在所回顾的方法中，近一半的方法没有公开分享其计算机代码。这就像是在读一份美味蛋糕的食谱，却不被允许看到配料表。
底线结论：
论文得出结论，我们仍处于解决这个谜题的早期阶段。虽然我们有很多工具来尝试平衡“群体规则”和“邻居规则”，但我们需要更好的方法来衡量使用它们的成本，需要在不同的现实世界场景中进行更多测试，以及需要更清晰的准则，以便在规则发生冲突时知道该优先考虑哪一个。目标并不是寻找一个完美的解决方案（因为可能根本不存在完美方案），而是建立能够让我们理解其中的权衡，并能做出明智、符合伦理的选择的系统。
技术摘要：机器学习中个体公平与群体公平之间的权衡
问题陈述
算法公平性已成为高风险决策系统（如刑事司法、招聘、医疗保健）中一个至关重要的关注点。文献传统上将其划分为两种截然不同且往往相互冲突的公平概念：群体公平 (Group Fairness, GF) 与 个体公平 (Individual Fairness, IF)。
- 群体公平 关注由敏感属性定义的统计子群在结果或错误率上的对等性（如人口统计学平价、均等化赔率）。
- 个体公平 则强调无论群体成员身份如何，相似的个体应获得一致的处理，这通常通过 Lipschitz 连续性或相似性度量来形式化。
尽管两者都旨在实现公平对待，但它们在数学上往往是不兼容的。强制执行严格的群体对等通常需要根据群体成员身份对相似个体进行差异化处理，以纠正分布失衡，从而违反了个体公平。相反，强制执行严格的个体一致性可能会保留或复制群体层面的差异。现有的综述大多孤立地讨论这些概念，或者按其在机器学习流水线中的位置（预处理、中处理、后处理）进行分类，而没有明确分析两者之间的权衡。本文旨在填补系统性回顾那些旨在共同管理这两个竞争目标的算法方法的空白。
方法论
作者进行了系统性的文献综述，以识别那些在统一框架内显式整合了 GF 和 IF 的研究。
- 检索策略： 在 Web of Science、IEEE 和 arXiv 上执行了布尔查询，结合了与个体公平相关的术语（如“一致性”、“Lipschitz”）和与群体公平相关的术ular（如“人口统计学平价”、“均等化赔率”）。
- 筛选标准： 仅选择那些形式化了联合优化、约束集或同时考虑两种公平概念的评估框架的论文。仅在动机中提到这两个概念但在技术上未进行整合的论文被排除在外。
- 分类体系构建： 作者并未仅仅依赖于标准的流水线阶段分类（预/中/后处理），而是开发了一个基于公平机制的细粒度分类法。这种方法根据方法如何构建和管理 GF-IF 权衡来进行分组，而不论其处于具体的流水线阶段。
核心贡献与分类
本文对混合公平方法进行了全面的综述，将其组织为三大主要机制家族：
基于表示或数据修改的策略：
- 数据转换： 修改输入数据（例如标签修正、特征编辑），以平衡敏感群体与结果的联合分布，同时保留局部邻域结构。
- 重加权与重采样： 调整实例权重，以逼近一个敏感属性与结果相互独立的目标分布，通常使用 Shapley 值来评估个体对差异性的贡献。
- 表示与嵌入： 将个体映射到潜在空间，在该空间中相似的观测值被归为一类。这通过构造实现了个体公平（在簇内不可区分），同时通过对表示可恢复性或簇组成的约束来促进群体公平。
- 增强与对比： 生成合成的反事实或对比样本（改变敏感属性），以强制执行预测的不变性或平滑性，从而同时解决局部一致性和群体差异问题。
基于正则化或优化目标的策略：
- 正则化： 在损失函数中增加惩罚项，以惩罚在群体和个体层面的不公平行为（例如 λGFΦgroup+λIFΨindividual）。这使得在准确性、GF 和 IF 之间进行帕累托前沿（Pareto frontier）的导航成为可能。
- 基于度量的法： 将几何结构直接嵌入损失函数，惩罚被预定义度量视为相似的个体对之间的预测差异。这强制执行了 Lipschitz 连续性，在特定条件下可以间接满足群体公平。
- 对抗学习： 训练一个预测器以最小化预测损失，同时一个对手试图恢复敏感属性。扩展版本结合了成对相似性惩罚或反事实损失，以确保在实现群体不变性的同时保证局部一致性。
基于局部或事后调整的策略：
- 阈值化： 引入特定于群体的决策阈值，以符合均等化赔率等标准。扩展版本通过引入相似性度量来部分对齐个体公平。
- 拒绝选项 (Reject-option)： 在决策边界附近的“模糊区域”内运行，通过选择性地修改预测来同时减少差异并纠正局部不一致。
结果与实证观察
本综述分析了所选文献在实现和基准测试方面的表现：
- 流水线分布： 中处理方法最为普遍（60%），其次是预处理（25%）和后处理（19%）。
- 主导机制： 正则化是最常见的子分类，紧随其后的是基于度量的方法和表示学习。
- 基准测试： 对一组狭窄的数据集（Adult, COMPAS, German Credit）存在过度依赖，这些数据集出现在约 20% 的研究中。这引发了对在高维领域（如计算机视觉或自然语言处理）泛化能力的担忧。
- 计算成本： 计算效率很少作为主要关注点。虽然注意到某些方法计算需求较高（例如需要数小时的训练或迭代重训），但很少有研究对公平目标、准确性和计算成本之间的权衡进行系统分析。
- 可复现性： 仅 56% 的受评方法提供了公开可用的代码，这限制了独立验证和实际应用。
意义与主张
本文声称是第一篇明确分析跨定义、算法和评估设置管理 GF 与 IF 权衡方法的系统性综述。其意义在于：
- 综合混合方法： 它超越了孤立研究 GF 和 IF 的现状，阐明了如何将两者共同操作化。
- 澄清权衡： 它强调这些概念之间的冲突不仅是技术性的产物，也反映了更深层的规范性张力，并且现有方法为如何在两者之间的帕累托前沿进行导航提供了不同的途径。
- 识别差距： 作者谦虚地指出该领域仍处于早期成熟阶段。他们识别了关键差距，包括缺乏对计算成本的系统评估、多样化领域研究的匮乏、缺乏关于现实世界约束下参数选择的指导，以及在训练期间假设具有完全标记敏感属性的强假设。
- 未来方向： 本文建议未来的工作应专注于更灵活的框架（超越僵化的平价概念）、与因果和法律视角的集成，以及在现实约束（如审查数据、交叉性）下运行的方法。
作者总结道，尽管 GF 和 IF 通常在数学上是不兼容的，但显式管理这些权衡的方法代表了迈向更负责任和透明的算法决策的重要一步，为设计在个体和群体层面都能提供可靠性的算法奠定了基础。
每周获取最佳 machine learning 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。