🤖 machine learning

Fair Decisions from Calibrated Scores: Achieving Optimal Classification While Satisfying Sufficiency

本文提出了一种精确的几何特征刻画以及一种简单的后处理算法，用于在充分性（预测平价）约束下，利用组校准得分实现最优二分类，同时还解决了充分性与分离性之间固有的权衡问题。

原作者： Etam Benger, Katrina Ligett

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Etam Benger, Katrina Ligett

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位法官，正在决定谁能获得贷款、谁能被录用或谁可以保释。你为每一位申请人都有一个“分数”——这个数字估算了他们成功的可能性（或者在保释的情况下，不再犯罪的可能性）。

在一个完美的世界里，你只需在评分卡上画一条单线：“如果你的分数高于 50，你就获得贷款；如果低于 50，则不予获得。”这是做出决策最简单、最准确的方式。

问题所在：并非一刀切
然而，在现实世界中，我们关心公平。我们希望确保如果两个人的实际成功机会相同，无论他们的背景如何（如种族或性别），他们都能得到相同的决定。

文中指出一个棘手的悖论：

如果你对所有人使用相同的线（单一阈值），你往往会造成对群体的处理不公。例如，70 分对于 A 组可能意味着 90% 的成功率，但对于 B 组可能仅意味着 60%。如果你给所有得分为 70 的人发放贷款，A 组会获得优质贷款，但 B 组获得的贷款很可能会导致违约。这违反了充分性（也称为“预测平价”），即“正面”决策（如发放贷款）对于所有人而言都应具有相同的含义。
如果你试图通过为不同群体设定不同的线来修复这个问题，你可能会违反其他的公平规则（如机会平等）。

这就像是试图把方榫头塞进圆孔里。论文指出，即使你的评分是完全准确的，你也无法简单地用一把单一的刀将其切开来获得公平的结果。

解决方案：定制化的“混搭”方法
作者 Etam Benger 和 Katrina Ligett 提出了一种新的“切蛋糕”方式。与其使用一条直线，不如建议使用一种智能的、随机化的后处理算法。

可以这样理解：
想象你有一堆按大小（分数）排序的苹果（申请人）。

标准方式： 你说：“所有大于 5 英寸的苹果进入高级箱。”这很简单，但可能会导致 A 组大多是高级苹果，而 B 组大多是普通苹果，即便这两个组的高级苹果在质量上应该是相同的。
论文的方法： 你分别观察 A 组和 B 组的苹果。你意识到，为了让高级箱中的苹果具有相同的质量，你不能仅仅依靠尺寸切分。
- 对于 A 组，你可能取走所有大于 5 英寸的苹果。
- 对于 B 组，你可能取走所有大于 6 英寸的苹果，并且你可能会随机抽取 50% 的正好是 5.5 英寸的苹果。

这种“随机化”步骤是关键。有时，如果一名申请人拥有特定的分数，算法会通过“抛硬币”来决定其命运。这并不是因为算法感到困惑；这是一个数学技巧，用来平衡概率，从而确保最终获批的人群无论来自哪个组，其成功率都是完全相同的。

“可行映射图”
作者创建了一个几何地图（图表上的形状），展示了所有可能的“正向预测值”（即“是”的决策中有多少次是正确的）和“误判遗漏率”（即“否”的决策中有多少次实际上应该是“是”而错失了）的组合。

他们发现，对于任何特定的公平水平（充分性），在地图上都存在一个特定的“边界”。
他们的算法通过追踪这条边界来找到最佳决策规则。它在地图上寻找那个既能保持最高准确性，又能严格遵守公平规则的点。

现实世界测试
他们在三个现实场景中测试了该方法：

FICO 信用评分： 决定谁能获得贷款。他们展示了该方法如何修复标准信用评分中的不公平问题，同时保持极高的准确性。
COMPAS 再犯风险评分： 预测罪犯是否会再次犯罪。他们表明，法院中使用的标准“切分”分数往往无法通过公平性测试，但他们的方法可以找到一种更好的、更公平的二元决策方式。
收入预测： 预测某人年收入是否超过 5 万美元。他们训练了一个模型，然后使用其“后处理”工具来修复公平性问题，而无需从头开始重新训练模型。

核心结论
论文认为，你不需要丢弃现有的评分系统。如果你拥有的分数是大致校准过的（即 0.8 的分数确实意味着 80% 的成功概率），你可以使用他们的简单“后处理”工具，将这些分数转化为公平的二元决策（是/否）。

这个工具确保了如果你对某人说“是”，那么无论此人来自 A 组还是 B 组，其成功的可能性都是一样的。它通过在“边界线”上的申请人身上进行随机决策，有效地平滑了导致不公平的粗糙边缘。

简而言之： 你可以兼顾高准确性和严格的公平性，但前提是你必须停止使用单一、僵化的线条来进行决策。相反，你需要一种灵活的、带有轻微随机性的方法，而作者现在已经从数学上完善了这种方法。

技术摘要：基于校准分数的公平决策

问题陈述
在监督机器学习中，基于预测概率（分数）的二元分类是基础任务。虽然在无约束设置下，对分数应用单一的确定性阈值是贝叶斯最优的，但这通常会违反统计上的群体公平性约束。具体而言，本文探讨了实现二元分类中充分性（sufficiency，也称为预测平价或群体校准）的挑战。

充分性要求：在给定决策结果的条件下，正标签的流行率在不同受保护群体之间保持一致。论文强调了一个关键洞察：充分性在简单的后处理过程中并不能得到保持。即使一个分数是完美的群体校准的（即 $P(Y=1|S=s, A=a) = s$ ），将这些分数转换为二元决策时，应用单一阈值通常会导致充分性的违背。这与独立性（人口统计学平价）或分离性（等化赔率）等其他公平性标准形成对比，在这些标准中，如果分数本身满足该标准，则单一阈值便足以满足要求。

现有的强制执行充分性的方法通常依赖于强假设，例如具有全支撑的连续分数分布，或者涉及将目标放宽为近似目标。然而，许多实际系统使用的是离散的、有限值的分数，这使得上述假设失效。

方法论
作者提出了一种在假设存在有限集合的群体校准分数的情况下，实现最优二元（随机化）分类的精确解。该方法分为三个主要阶段：

可行区域的几何特征描述：
作者首先刻画了使用有限值群体校准分数时，单个群体所能实现的正预测值（PPV）和假阴性率（FOR）的所有可能对的集合。他们定义了 $(p, q)$ 平面（其中 $p$ 为 PPV， $q$ 为 FOR）中的“可行区域” $C$ 。
- 他们证明该区域对于点 $(\pi, \pi)$ 是星形凸的，其中 $\pi$ 是基准率。
- 该区域的边界 $\partial C$ 被证明是一条由分段双曲弧和直线段组成的连续且非递减的曲线。
- 边界由选择率 $\mu$ （预测为 1 的概率）进行参数化。最优边界点通过“软”阈值规则获得，即对高于某一分数的得分确定地预测为 1，对低于某一分数的得分预测为 0，并在边界分箱处进行随机化处理。
多群体的交集：
为了满足跨多个群体（例如 $A=0$ 和 $A=1$ ）的充分性，决策规则必须使所有群体产生相同的 $(p, q)$ 对。这对应于寻找各群体可行区域的交集 $C_0 \cap C_1$ 。
- 作者将该交集的边界 $\partial(C_0 \cap C_1)$ 刻画为各群体边界的点向最大值： $q(p) = \max\{q_0(p), q_1(p)\}$ 。
- 他们论证了该交集边界也是分段定义的，并且可以通过遍历每个群体离散分数分箱定义的区间来高效地追踪。
优化算法：
基于几何特征描述，作者推导出了算法 1，这是一个后处理程序。
- 该算法仅以群体校准后的分数和群体成员身份作为输入。
- 算法遍历交集边界 $\partial(C_0 \cap C_1)$ 的各个分段。
- 在每个分段内，评估任意目标函数（例如损失最小化或对分离性的偏差），以找到最优点。
- 算法通过将确定性阈值规则与独立的伯努利随机变量进行混合来构建最优分类器，从而确保输出精确满足充分性。

核心贡献

精确刻画： 论文提供了基于有限值群体校准分数的分类器在可行 $(PPV, FOR)$ 对方面的完整几何描述，并将边界识别为分段双曲弧曲线。
最优后处理： 它提出了一个简单的精确算法，用于构建广泛目标类别的最优充分分类器（包括损失最小化），而无需重新训练底层预测器或访问原始特征。
处理离散分数： 不同于需要连续分数分布的前人工作，该方法专门针对具有实际意义的有限离散分数场景进行了设计。
权衡分析： 该框架允许显式优化在满足充分性的同时最小化与分离性（等化赔率）的偏差，承认了这两个标准之间存在普遍的不兼容性。

结果
作者通过三个实证案例研究验证了其方法：

FICO 分数： 使用信用度数据，该算法生成的分类器在满足预测平价（共同的 PPV 和 FOR）的同时，准确率为 0.8676，而无约束的群体感知贝叶斯分类器准确率为 0.8819。对于其中一个群体，最优规则需要随机化（位于可行区域内部），而另一个群体则使用了确定性阈值。
COMPAS 分数： 使用犯罪复发风险数据，该方法在满足充分性的同时实现了 0.6563 的准确率。最优点位于“黑人”群体的断点处（确定性阈值），但位于“白人”群体的内部。
ACS 收入： 在收入预测的端到端实现中，经过后处理的分类器达到了 0.8167 的准确率（对比无约束下的 0.8190），同时将平均绝对 PPV 差距从 $3.6 \times 10^{-2}$ 降至 $4.8 \times 10^{-3}$ ，并将 FOR 差距从 $3.3 \times 10^{-2}$ 降至 $3.7 \times 10^{-3}$ 。

此外，鲁棒性分析表明，如果输入分数仅是近似校准的，则产生的预测平价违背量受限于最大校准误差的两倍线性约束。

意义与主张
本文声称为简单阈值法失效的问题提供了一个严谨且精确的解决方案。通过利用可行区域的几何结构，作者使决策者能够仅利用后处理分数，在准确性与充分性之间找到最优权衡。

作者强调，其方法不需要访问原始特征、额外的标签或重新训练预测器，使其成为在高风险领域部署公平决策的实用工具。作者也承认了一个局限性：随着受保护群体数量的增加，对可行区域非空交集的要求变得更加严格，可能导致精确的充分性难以实现。因此，他们建议未来的工作可以侧重于放宽严格的充分性，以最小化更多群体之间的差异。论文最后指出，其方法为平衡算法决策中的准确性与社会期望提供了一种新的工具。

类似论文