📊 statistics

Tuning Derivatives for Causal Fairness in Machine Learning

本文提出了一种针对连续受保护属性的新颖因果公平框架，该框架通过路径特定的偏导数形式化统计公平性与预测公平性，从而能够构建在消除歧视性路径影响与保留合法业务因素之间取得平衡的公平预测器。

原作者： Filip Edström, Guilherme W. F. Barros, Tetiana Gorbach, Xavier de Luna

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Filip Edström, Guilherme W. F. Barros, Tetiana Gorbach, Xavier de Luna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在聘请一位厨师为一大群人准备餐食。你希望食物美味可口（准确），但同时也必须确保厨师不会基于种族、性别或年龄，暗中偏袒某一群食客。这就是人工智能中公平性的核心问题。

本文解决的是该问题的一个具体且棘手的版本：我们如何阻止人工智能对特定人群产生偏见，同时仍允许其使用那些恰好与这些人群相关联的重要信息？

以下是他们解决方案的分解说明，采用简单的类比。

问题：“业务必要性”困境

想象一位法官使用人工智能来决定罪犯是否可能再次犯罪。

受保护属性：罪犯的种族和年龄。法律规定人工智能不得将这些因素用于决策。
业务必要性：过往犯罪次数。法官需要了解这一点才能做出公正的预测。

这里的难点在于：在现实世界中，一个人的种族或年龄往往会影响其被记录的过往犯罪次数（这是由于执法中的历史偏见所致）。

如果人工智能为了免受“种族”偏见影响而忽略“过往犯罪次数”，它就会变成一个糟糕的法官（因为它遗漏了重要事实）。
如果人工智能使用“过往犯罪次数”，它可能会无意中从“种族”中“学习”到偏见，从而再次变得不公平。

旧方法与新方法

旧方法（统计公平性）：
这就像告诉厨师：“无论面对谁，你必须为每个人提供完全相同的菜肴。”如果厨师试图这样做，他们可能不得不忽略某些人对坚果过敏的事实（这是出于安全的“业务必要性”）。其结果是，这顿饭在严格意义上是“公平”的，但却无用甚至危险。

新方法（因果公平性）：
本文提出了一种更聪明的方法。它指出：“人工智能可以查看‘过往犯罪次数’（允许的路径），但必须忽略从‘种族’到最终决策的直接联系（禁止的路径）。”

然而，大多数以往实现这一目标的方法仅在受保护属性是简单类别（如“男性”或“女性”）时效果良好。它们难以处理连续属性，例如年龄（你可以是 20 岁、20.1 岁、20.2 岁等）。

解决方案：利用导数“调节旋钮”

作者引入了一种新的数学工具，称为导数。

将人工智能模型想象成一台拥有许多旋钮和杠杆的复杂机器。

统计公平性（SPD）：作者希望将“禁止路径”（种族 → 决策）的“旋钮”调至这样一个位置：转动它不会对输出产生任何影响。用数学术语来说，就是“导数”（变化率）为零。如果你稍微改变种族，预测结果不应有任何变动。
预测公平性（PPD）：同时，他们希望确保“允许路径”（过往犯罪次数 → 决策）的“旋钮”被调节得恰到好处。人工智能对“过往犯罪次数”的反应应与现实世界完全一致。

走钢丝的类比：
想象你在走钢丝。

一边是公平性（忽略偏见）。
另一边是准确性（使用必要数据）。
有时，钢丝是直的，你可以同时完美地走在两边。
有时，钢丝是扭曲的。你无法同时做到绝对公平和绝对准确。

本文证明，有时数学允许你同时实现完美的公平和准确。但通常情况下，你必须做出权衡。

“公平调节”算法

作者构建了一个食谱（算法），帮助人工智能开发者找到那条钢丝上的最佳位置。

第一步：首先，训练人工智能尽可能准确，暂时忽略公平性。
第二步：然后，“调节”人工智能。该算法检查“旋钮”（导数）。
- 如果人工智能对禁止属性（种族）的反应仍然过强，算法就会将该旋钮调低。
- 如果人工智能对必要属性（过往犯罪次数）的反应过于微弱，算法就会将该旋钮调高，以匹配现实情况。
结果：人工智能学会做出尽可能公平的预测，同时不牺牲其准确性。

他们的发现

他们在两方面测试了这种方法：

模拟数据：他们创建了具有不同规则的虚拟世界。
- 在“线性”世界（事物简单）中，他们发现你可以同时实现完美的公平和准确。
- 在“乘性”世界（事物复杂且扭曲）中，他们发现你无法在两方面都做到完美。你必须选择一个平衡点。他们的方法使他们能够找到最佳可能的平衡。
真实数据（COMPAS）：他们使用了一个关于罪犯累犯的真实数据集。
- 他们表明，他们的方法（称为“公平调节”）创建了一个模型，在平衡公平性与准确性方面比旧方法要好得多。
- 具体来说，它在保留“允许”信息（如过往犯罪次数）的有用性的同时，消除“禁止”偏见方面表现更佳。

核心结论

本文为我们提供了一种新的数学“调节旋钮”用于人工智能。它使我们能够比以往更好地处理连续变量（如年龄）。它承认，有时我们无法拥有一个偏见为零且准确率为 100% 的完美世界，但它提供了一种精确的方法，让我们找到最佳可能的妥协方案，确保人工智能在遵守法律（公平性）的同时，仍能做好其本职工作（准确性）。

技术摘要：为机器学习中的因果公平性调整导数

问题陈述
人工智能系统经常继承关于受保护属性（如种族、性别和年龄）的社会偏见。经典的公平性指标，如统计 parity（SP），要求预测结果与受保护属性独立，但这往往过于严格。这一点在受保护属性影响“业务必要性”或“解析变量”（例如，累犯风险评估中的过往罪行）时尤为明显，而这些变量是预测所合法必需的。最近的因果公式通过区分“不允许”路径（受保护属性的直接效应）和“允许”路径（通过业务必要性的间接效应）来解决这一问题，通常结合预测 parity（PP）以确保合法影响得以保留。然而，现有的基于路径的定义依赖于因果对比，主要设计用于分类属性。当应用于连续受保护属性（如年龄）时，由于需要在无限个点评估对比，这些方法变得不切实际。

方法论
作者提出了一种针对连续受保护属性量身定制的结构因果模型（SCM）内的因果公平性框架。

基于导数的定义：
- 导数中的统计 parity（SPD）： 作者不使用对比，而是将路径 $\pi$ 上的 SP 定义为沿该路径的结构机制的偏导数之积为零。这确保了预测器在不允许路径上相对于受保护属性是恒定的。
- 导数中的预测 parity（PPD）： PP 通过将预测器沿允许路径相对于变量的偏导数与数据生成过程（DGP）中真实结果变量的偏导数相等来定义。这确保了预测器复制了业务必要性的合法影响。
存在条件：
本文建立了同时满足 SPD 和 PPD 的预测器存在的必要且充分条件。对于直接的不允许路径（ $X \to Y$ ）和允许路径（ $W \to Y$ ），当且仅当期望结果的混合偏导数为零时，存在公平预测器： $\frac{\partial^2}{\partial w \partial x} E[Y | P_A^Y = p] = 0$ 。如果该条件不成立，则 SPD 和 PPD 之间的权衡是不可避免的。
公平调整算法：
为了构建此类预测器，作者为神经网络提出了一种“公平调整”算法：
- 步骤 1： 拟合一个无约束预测器（ $\hat{Y}_{\theta_U}$ ）以最小化预测损失（例如，均方误差 MSE）。
- 步骤 2： 使用无约束参数初始化一个公平预测器。
- 步骤 3： 优化由以下部分组成的复合损失函数（ $L_{FT}$ $L_{F T}$ ）：
  - 预测损失（调整后的预测器与无约束预测器之间的 MSE）。
  - SPD 损失（沿不允许路径的偏导数的 L1 范数）。
  - PPD 损失（预测器的导数与无约束预测器的导数沿允许路径之差的 L1 范数）。
- 超参数 $\lambda_{SPD}$ 和 $\lambda_{PPD}$ 允许用户在兼容性条件不满足时，优先选择一种公平性标准而非另一种。

主要贡献

形式化： 本文使用路径特定的偏导数对 SP 和 PP 进行了形式化，使因果公平性定义适用于连续受保护属性，而无需承担评估无限对比的计算负担。
理论表征： 它推导了这些基于导数的定义与先前基于对比的因果定义一致的条件，并建立了公平预测器同时存在的兼容性准则（定理 1）。
算法解决方案： 它引入了一种实用的调整算法，在满足兼容性准则时构建公平预测器，并在不满足时提供灵活的权衡机制。
实证验证： 该方法在模拟数据（线性和乘法 DGP）和现实世界的 COMPAS 数据集上进行了评估，与仅关注 SP（SPT）和边缘化方案的方法进行了性能比较。

结果

模拟数据： 在 SPD 和 PPD 兼容的线性设置中，公平调整（FT）算法成功同时最小化了两种损失。在它们不兼容的非线性（乘法）设置中，该算法展示了预期的权衡：增加对一个指标的约束会损害另一个指标。在保持预测性能的同时遵守公平性约束方面，特别是在考虑 PPD 时，FT 方法在保持预测性能的同时优于边缘化和仅 SPT 的方法。
COMPAS 数据集： 应用于累犯预测时，FT 算法（特别是使用平衡权重时）在 SPD 和 PPD 之间实现了优于 SPT 和边缘化方法的妥协。虽然所有约束模型相比无约束基线都显示出预测性能下降，但 FT 10 在显著降低 PPD 损失的同时保持了较高的准确率和 F1 分数。
导数与对比： 当应用于 COMPAS 数据集中的二元特征时，最小化基于导数的损失（SPD/PPD）通常导致基于对比的损失（CSP/CPP）减少，尽管在某些高约束场景中观察到了差异。

意义与主张
本文声称，其基于导数的框架为连续领域的因果公平性提供了一种实用且理论扎实的方案，填补了现有基于对比方法的空白。它认为，通过偏导数明确建模统计 parity 和预测 parity 之间的权衡，从业者可以构建既尊重业务必要性又减轻歧视的预测器。作者强调，他们的方法不需要对 DGP 的结构方程做出假设，只需要因果图，使其适用于现实场景。该研究得出结论，虽然导数公平性并不总是与二元属性的对比公平性完全一致，但它为连续属性提供了一种稳健且灵活的方法，并为处理统计独立性与预测效用之间的紧张关系提供了一条可行的途径。