🤖 machine learning

Fair Supervised Learning Through Constraints on Smooth Nonconvex Unfairness-Measure Surrogates

本文提出了一种新的公平监督学习策略，该策略利用一种针对不公平性度量的新型光滑非凸代理函数的硬约束，从而能够在不产生与基于正则化方法相关的调优困难和优化挑战的情况下，实现对多个公平性容差的可行强制执行。

原作者： Zahra Khatti, Daniel P. Robinson, Frank E. Curtis

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Zahra Khatti, Daniel P. Robinson, Frank E. Curtis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个机器人来做决策，比如审批贷款或招聘员工。你希望这个机器人既聪明又公平。问题在于，机器人是从历史中学习的，而历史往往充满了不公平的模式。如果你只是告诉机器人，“嘿，试着公平一点，”它可能会忽略你的建议，或者感到困惑。

这篇论文提出了一种更精准的新方法来教机器人学会公平。作者认为，我们不应该只是低声提建议，而是应该设定硬性规则（hard rules），并使用一把超精确的测量尺来确保机器人确实遵守了这些规则。

旧方法：“软”建议

以前，研究人员试图通过在训练中添加“惩罚项”来让机器人变得公平。这就像是家长告诉青少年：“如果你在午夜后还不回家，你可能会失去手机。”这是一种软性的建议。青少年可能会觉得，比起失去手机的风险，熬夜玩的乐趣更值得。

在机器学习中，这被称为正则化（regularization）。如果机器人的行为不公平，你会给它的“得分”增加一个成本。但论文指出，这种做法有两个弊端：

这是一个猜谜游戏： 你必须不断调节一个“旋钮”（参数），以确定多少惩罚才足够。旋钮转得太低，机器人依然不公平；转得太高，机器人会因为害怕不公平而变得畏首畏尾，甚至为了保险起见而拒绝雇用任何人（比如为了不出错而干脆谁也不招）。
这是一个谎言： 论文表明，这些旧方法通常使用“代理函数（surrogates）”——即公平性的虚假、简化的版本。这就像是用一把尺子去测量西瓜的精确重量。你可能会得到一个数字，但它并不能告诉你真实的重量。论文明确指出，这些旧的、简化的（凸的）方法无法保证机器人真正实现了公平，即使数学计算显示惩罚项很低也是如此。

新方法：“硬”规则与“魔法”测量尺

作者提出了另一种策略。他们不再使用软性的惩罚，而是设定一个硬约束（hard constraint）。这就像是一个俱乐部的保镖，有着严格的规定：“如果没有票，你不能进入。”没有商量余地。

为了让这套方法奏效，他们发明了一种新型的测量尺。

问题所在： 真正的公平定义涉及“阶跃函数（step functions）”。想象一下灯开关：它要么是“关（0）”，要么是“开（1）”。不存在“半开”的状态。计算机讨厌开关，因为它们无法计算开关的斜率，因为开关太“陡峭”了。
旧的解决方法： 人们使用平滑的曲线（如 sigmoid 函数或直线）来近似这个开关。但论文证明，这些曲线具有误导性。它们看起来可能很接近开关状态，但在现实中却可能相差甚远。
新的解决方法： 作者创建了一个平滑、非凸、有界的代理函数（smooth, nonconvex, bounded surrogate）。这个词听起来很绕口，但你可以把它想象成一种“魔法测量尺”：它能弯曲成平滑的曲线以便于计算机计算，但在机器人接近极限时，它在数学上保证能精准地“弹回”到真实值（0 或 1）。

他们还发现，仅仅使用这种测量尺是不够的，你还必须对其进行**“拉伸”（scale）**。想象一下拉紧一根橡皮筋。当他们将这种新的“魔法测量尺”进行拉伸（在测试中按 50 倍比例拉伸）时，它变得极其精确。

研究发现（结果）

作者在三个包含数千人的真实世界数据集（荷兰数据集、法学院数据集和 ACSIncome 数据集）上测试了该方法。以下是他们的发现：

精准度： 当他们使用这种新的“拉伸版”测量尺配合硬性规则时，机器人几乎完美地遵守了公平规则。如果他们设定规则说“A 组的审批率必须在 B 组的 80% 以内”，机器人就能精准命中目标。
- 对比： 当他们使用旧有的“软”曲线（如 sigmoid 函数）且没有进行拉伸时，机器人经常大幅偏离目标。论文中的图表显示，预设的限制值与实际达到的结果之间存在巨大差异。
无精度损失： 一个普遍的担忧是，让机器人变得公平会使其变得愚蠢。论文表明，通过使用这种硬约束方法，机器人的准确率依然很高。即使在公平规则非常严格的情况下，机器人的预测能力也没有崩溃。
- 对比： 在使用旧有的“软”惩罚方法时，试图强行实现公平往往会导致机器人的准确率显著下降。
不再需要猜测： 由于使用了硬性规则，他们不再需要花费大量时间去调节那个用来寻找合适惩罚值的“旋钮”。他们只需设定规则，机器人就能解决问题。论文指出，虽然求解硬性规则的数学过程在每一步都会消耗更多的计算能力，但由于不需要进行无数次的实验来调试惩罚值，总体的效率反而更高。
同时处理多条规则： 论文还展示了你可以同时设定多条硬性规则（例如，既要性别公平，又要种族公平）。机器人处理得很好，而试图平衡多个“软”惩罚项则是一场噩梦，往往会导致训练失败。

核心结论

这篇论文并不声称已经永久解决了 AI 偏见的所有问题。相反，它建议，如果你想要强制执行特定的、严格的公平限制，就应该停止使用软性惩罚和简化的曲线。

相反，应该使用硬约束，并结合他们发明的这种拉伸后的、平滑的测量尺。这种方法确保了当你告诉机器人“要公平”时，它真的意味着“要公平”，同时不会牺牲它履行职责的能力。作者通过真实数据进行了衡量，并发现这种方法比旧方法更可靠、更精准、也更容易管理。

技术摘要：通过对平滑非凸不公平性度量代理函数的约束实现公平监督学习

问题陈述
监督机器学习模型虽然在金融、刑事司法、招聘和医疗保健等领域非常有效，但往往会继承或引入偏见，导致歧视性的结果。这些偏见表现为不同人口统计群体之间预测结果的不公平性。现有的缓解不公平性的策略通常分为预处理、处理中（in-processing）和后处理三类。本文关注的是处理中策略，特别是将不公平性度量纳入模型训练所使用的优化问题中。

当前的方法面临显著的计算和理论挑战：

非平滑性与非凸性： 直接构建不公平性度量（如人口统计学平价、差异性影响）涉及不连续的阶跃函数（Heaviside step functions），这会导致难以求解的非凸且非平滑的优化问题。
凸代理函数的局限性： 为了解决计算困难，研究人员通常采用凸代理函数（如基于协方差的近似）。然而，这些代理函数并不能保证原始的不公平性度量保持在可接受的范围内；较小的代理值并不一定意味着实际的不公平性度量也很小。
正则化的局限性： 广泛使用的正则化项（软约束）来强制执行公平性需要昂贵的超参数调优。此外，增加正则化强度以减少不公平性可能会严重降低预测准确性，且正则化参数与所得不公平性之间的关系通常是非单调且难以控制的。
处理多种度量： 通过正则化尝试平衡多个潜在冲突的不公平性度量的策略，往往会导致难以处理的训练问题并进一步增加调优成本。

方法论
作者提出了一种结合平滑非凸代理函数与硬约束来强制执行公平性的新处理中策略。

平滑非凸代理函数：
与其使用凸近似或不连续阶跃函数，作者引入了平滑、有界的非凸代理函数来近似阶跃函数。具体使用了两种特定的近似方法：
- Sigmoid 函数。
- 源自优化文献平滑技术（具体为通过平方根项进行平滑的分段仿射近似）的平滑阶跃函数。

至关重要的是，这些代理函数被限制在 $[0, 1]$ 范围内，并通过缩放（通过参数 $\alpha$ ）来确保它们能够紧密逼近阶跃函数。作者证明（通过基于前人工作的定理 2.1）如果代理值很小，那么实际的经验不公平性度量也会很小，前提是代理值足够接近 0 或 1。这种紧密的近似是无界的线性或凸代理函数无法保证的。

硬约束：
作者并未将不公平性度量作为目标函数中的正则化项添加，而是将训练问题构建为一个约束优化问题：
$\min_w \sum_{i \in [N]} \ell(N(x_i, s_i, w), y_i) + \frac{1}{\lambda}r(w) \quad \text{subject to} \quad l \leq c(w) \leq u$
这里， $c(w)$ 代表一个或多个不公平性度量（例如差异性影响、平等影响）的向量值代理。边界 $l$ 和 $u$ 直接对不公平性实施特定的容差限制。
- 可处理性： 作者利用最新的随机牛顿法/序列二次规划（SQP）技术来高效解决这些非凸约束问题。
- 随机梯度： 定理 3.1 表明，如果小批量样本保持各敏感组样本数量平衡，则可以获得约束函数的无偏随机梯度估计。

核心贡献

紧凑的代理近似： 本文引入了平滑、非凸、有界的代理函数，并提供了理论保证：如果满足代理约束，则实际的不公平性度量是有界的。这与凸代理函数形成对比，在后者中，较小的代理值并不保证低不公平性。
硬约束 vs. 正则化： 作者提出使用硬约束而非正则化。这消除了对昂贵的正则化参数调优的需求，并避免了正则化方法中常见的非单调行为。它允许显式地执行特定的不公平性容差。
对多种度量的可扩展性： 该框架能够自然地在单个优化问题中同时处理多个可能冲突的不公平性度量，而不会产生与调节多个正则化权重相关的计算爆炸。

实验结果
作者在三个基准数据集上评估了其方法：Dutch（收入预测，敏感属性：性别）、Law School（法学院通过率，敏感属性：种族）以及 ACSIncome（收入预测，敏感属性：性别）。

代理紧凑性： 实验表明，未缩放的代理函数会导致期望的公平水平与实际水平之间存在差距。然而，当代理函数经过缩放（例如 $\alpha=50$ ）时，平滑阶跃函数和 Sigmoid 函数实现的公平水平都能与设定的约束紧密匹配。相比之下，基于协方差的代理函数很难将特定的约束值映射到期望的公平水平。
约束 vs. 正则化： 将提出的“仅约束”方法与“仅正则化”方法进行比较显示，约束方法随着阈值的收紧实现了公平性的单调提升，而正则化方法则表现出不可预测的非单调行为。约束方法在公平性约束变得严格时仍能保持高预测准确性，而正则化方法在试图强制执行严格公平性时往往会出现显著的准确性下降。
多种度量： 该框架成功地同时执行了对差异性影响和平等影响的约束。虽然添加多个约束比单个约束略微降低了准确性，但该方法始终能同时满足这两个标准，展示了在处理复杂公平性需求时的鲁棒性。

意义与主张
本文声称其方法为公平监督学习提供了一个可处理的训练范式。通过求解单个约束优化问题，从业者可以获得满足预设不公平性限制的模型，而无需承担调节正则化参数的计算负担。作者强调，虽然求解约束非凸问题在每次迭代时的成本高于无约束问题，但通过消除大规模超参数搜索，整体计算成本反而降低了。该方法被呈现为一种鲁棒的解决方案，适用于需要在保持高预测准确性的同时，需要严格公平性保证的现实应用场景。

旧方法：“软”建议

新方法：“硬”规则与“魔法”测量尺

研究发现（结果）

核心结论

技术摘要：通过对平滑非凸不公平性度量代理函数的约束实现公平监督学习

类似论文