📊 statistics

Doubly-Regressing Approach for Subgroup Fairness

本文通过提出 DRAF 算法来解决具有多个敏感属性的子群公平性中的计算与数据稀疏挑战，该算法利用一种新颖的子群-子集公平性公式和代理公平差距，在高效实现公平性保证的同时，性能优于现有基准模型。

原作者： Kunwoong Kim, Kyungseon Lee, Jihu Lee, Dongyoon Yang, Yongdai Kim

发布于 2026-01-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Kunwoong Kim, Kyungseon Lee, Jihu Lee, Dongyoon Yang, Yongdai Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正试图确保招聘算法公平性的法官。

旧有的问题：“过多群体”陷阱
在过去，公平意味着检查男性和女性的录取率是否相同。这很简单。但如果你还需要同时检查种族、年龄和受教育程度呢？突然间，你不再只是在检查两个群体，而是在检查成千上万个微小的组合（例如：“拥有大学学位的特定种族的年长女性”）。

这造成了两个大难题：

“空房间”问题： 这些微小的群体中几乎没有多少人出现在数据中。这就像试图根据单一的评论来评判一家餐厅的质量。你无法信任这个结果。
“数学过载”问题： 同时检查数千个群体需要极高的计算能力，以至于变得无法高效运行。

论文的解决方案：“智能过滤器”（DRAF）
作者 Kunwoong Kim 及其团队提出了一种名为 DRAF（用于公平性的双重回归对抗学习，Doubly Regressing Adversarial learning for Fairness）的新方法。你可以把它看作是一个同时解决这两个问题的智能过滤器。

它是如何工作的，这里使用简单的类比：

1. 忽略“鬼城”（解决数据稀疏性）

与其尝试检查每一个微小的群体（甚至是那些只有一两个人的群体），DRAF 说：“让我们只检查那些有足够人数以提供可靠答案的群体。”

类比： 想象你正在检测城市河流的水质。你不会去测试暴雨后出现的微小积水坑，因为它们无法说明什么。你只测试主要的河流和大型支流。DRAF 专注于这些“大河”（拥有足够数据的群体），以确保水质是干净的。

2. “双重检查”系统（解决计算负担）

通常，为了检查公平性，你可能需要为你测试的每一个群体都配备一个不同的“检查员”（一个被称为判别器的计算机程序）。如果你有 1,000 个群体，你就需要 1,000 个检查员。这既慢又贵。

DRAF 使用了一个巧妙的技巧，叫做**“双重回归”**。

类比： DRAF 没有雇佣 1,000 名不同的检查员，而是雇佣了一位超级检查员，这位检查员非常灵活。他携带一个特殊的“可调节镜头”。
- 当观察“男性”群体时，镜头会调整到那个特定的角度。
- 当观察“特定种族的女性”群体时，镜头会瞬间切换到那个角度。
- 计算机不需要为每个群体构建一个新的检查员，它只需要调整现有检查员的设置。这使得过程极其迅速，即使面对数千个群体也是如此。

3. “安全网”（确保边缘公平性）

存在一种风险，即如果你只检查大群体，可能会不小心忽略了主要类别（比如仅仅是“男性”与“女性”）的规则。

类比： DRAF 构建了一个安全网。它强制系统同时检查大群体和主要类别。它确保了“男性”群体是公平的，“女性”群体是公平的，并且特定的组合也是公平的，这一切都是同时进行的。

他们发现了什么？
该团队在现实世界的数据（如招聘、贷款审批和犯罪统计数据）上测试了该方法。

当数据杂乱时： 在许多群体规模微小且稀疏的数据集（如具有 18 个不同属性的“Communities”数据集）中，DRAF 比现有方法表现得更好。它能够在不导致计算机崩溃或基于微小数据做出错误猜测的情况下实现公平。
当数据整洁时： 即使数据并不稀疏，DRAF 的表现也与现有的最佳方法一样出色。

总结
这篇论文介绍了一种让 AI 变得更公平的新方法，它对检查哪些群体更聪明（忽略那些微小的、不可靠的群体），并且在检查这些群体时更高效（使用一个灵活的检查员而不是数千个）。这使我们即使在面对拥有许多不同类型人群的复杂数据时，也能构建出更公平的 AI 系统。

技术摘要：用于子群公平性的双重回归方法

1. 问题陈述

本文解决了在存在多个敏感属性（如性别、种族、年龄）时，实现机器学习中**子群公平性（subgroup fairness）**的挑战。虽然边际公平性（针对单个属性的公平性）已有深入研究，但它无法防止“公平性杰利曼德里现象（fairness gerrymandering）”，即在多个属性的交集处仍然存在严重的歧视（Kearns 等人，2018a;b）。

形式上，给定 $q$ 个二元敏感属性，存在 $2^q$ 个子群。对所有这些子群实施分布公平性面临两个关键障碍：

数据稀疏性： 随着 $q$ 的增加，许多子群包含的样本量非常少，导致模型估计不稳定且公平性保证不准确（Molina & Loiseau, 2023）。
计算负担： 公平性约束的数量随 $q$ 指数级增长。现有的试图衡量所有子群公平性的对抗方法在计算上变得难以处理。

此外，现有方法通常无法同时保证边际公平性（针对每个单独属性的公平性）和子群公平性，或者它们依赖于较弱的公平性概念（例如人口统计学平权/Demographic Parity）来无法确保分布公平性。

2. 方法论

2.1 子群-子集公平性 (Subgroup-Subset Fairness)

为了解决数据稀疏性问题，作者提出仅关注**“活跃”子群**（即具有足够样本量的子群），同时显式地包含边际子群（由单个敏感属性定义的子群）以确保边际公平性。

他们将这种方法形式化为子群-子集公平性，其中一个“子群-子集” $W$ 是特定子群的并集。目标是在预先选定的子群-子集集合 $\mathcal{W}$ 上实施分布公平性，这些集合中的样本量不会过小。

2.2 上确界积分概率度量 (supremum Integral Probability Metric, supIPM)

作者引入了一种名为上确界积分概率度量 (supIPM) 的分布公平性度量。对于一个子群-子集集合 $\mathcal{W}$ ，公平性差距定义为：
$\Delta_{\psi, \mathcal{W}}(f) = \sup_{W \in \mathcal{W}} \psi(P_{f,W}, P_{f,W^c})$
其中 $\psi$ 是偏差度量（具体为 IPM）。作者证明了经验 supIPM 的估计误差取决于子集内的最小样本量 ( $n_W$ )，而非子集总数 $|\mathcal{W}|$ ，这证明了关注活跃子集的合理性。

2.3 双重回归对抗学习 (Doubly Regressing Adversarial Learning, DRAF)

直接优化 supIPM 在计算上是昂贵的，因为这需要为每一个 $W \in \mathcal{W}$ 寻找一个单独的判别器。为了克服这一点，作者提出了一个基于双重回归 $R^2$ (DR2) 的代理公平性差距。

理论基础： 他们建立了 IPM 与回归设置中决定系数 ( $R^2$ ) 之间的关系，在该设置中，输入是模型预测，输出是表示子集成员身份的标签。
代理指标： 他们定义了一个双重回归 $R^2$ 度量， $DR^2(f, v, g)$ ，它同时对判别器输出 $g(f(x))$ 和子集指示符的加权组合 $v^\top c_i$ 进行回归。
核心创新： 所提出的算法 DRAF (用于公平性的双重回归对抗学习) 优化了一个由代理差距定义的函数：
$DR_{n, \mathcal{W}, \mathcal{G}}(f) := \sup_{g \in \mathcal{G}, v \in S_M} \tilde{z}\text{-}DR^2(f, v, g)$
至关重要的是，无论子群-子集的数量 $|\mathcal{W}|$ 为多少，该公式仅需要一个判别器 $g$ 和一个权重向量 $v$ 。这使计算复杂度从关于子群数量的指数级降低到了线性级。
优化： 该算法以交替极大化-极小化（alternating min-max）的方式训练预测器 $f$ 和判别器/权重对 $(g, v)$ 。理论分析证明，该代理差距是真实 supIPM 的一个上界。

3. 主要贡献

形式化子群-子集公平性： 一种新的公平性概念，通过专注于活跃子群-子集和边际组，平衡了对交集公平性的需求与数据稀疏性的实际约束。
引入 supIPM： 一种针对子群-子集的分布公平性度量，并附带了其估计误差的理论界限。
DRAF 算法： 一种高效的对抗学习算法，通过双重回归 $R^2$ 代理来近似 supIPM。作者证明了该代理是目标度量的上界。
实证验证： 证明了 DRAF 在高维敏感属性和稀疏子群场景下优于基准方法（如 Regularization, GerryFair, Sequential mapping）。

4. 实验结果

作者在四个基准数据集上评估了 DRAF：ADULT、DUTCH、CIVILCOMMENTS 和 COMMUNITIES（后者具有 $q=18$ 且存在极端稀疏性）。

在稀疏数据上的表现： 在 COMMUNITIES 数据集（其中大多数子群极其微小）中，DRAF 在子群公平性 (SP) 和一阶边际公平性 (MP(1)) 方面均显著优于基准方法。基准方法如 GerryFair（侧重于最差情况下的子群差异）或 Regularization（侧重于边际差异）无法同时实现这两者。
准确率-公平性权衡： DRAF 在所有数据集上都实现了具有竞争力的准确率-公平性权衡。在稀疏程度较低的数据集（ADULT, DUTCH）中，其表现与基准方法相当或更好。
相关性分析： 实验表明，DRAF 能有效同时控制子群公平性和边际公平性，而仅关注其中一个维度的模型往往会损害另一个维度。
鲁棒性： 该方法在面对带有噪声（缺失）敏感属性的情况时表现出鲁棒性，因为它可以将公平性约束仅应用于可观测的子群-子集，而不必丢弃样本。
扩展性： 研究表明该方法可以扩展到多分类任务和等化赔率 (Equalized Odds, EO) 公平性约束。

5. 意义与主张

本文声称 DRAF 为子群公平性中的“维度诅咒”提供了切实可行的解决方案。通过将重点从所有 $2^q$ 个子群转向精选的活跃子群-子集，并利用单判别器代理，该方法解决了数据稀疏性和计算不可行性的双重问题。

作者强调，他们的做法确保了分布公平性（最强的公平性概念），而不是诉诸于较弱的指标（如人口统计学平权）。他们认为，只要显式执行边际公平性，忽略微小子群在统计学上是合理的，这对于群体层面的公平性而言是成立的。该工作结论指出，DRAF 使在具有多个敏感属性的复杂现实场景中部署公平 AI 模型成为可能，而在这些场景中，以往的方法要么在计算上过于昂贵，要么在统计上不稳定。