技术摘要：FairBED：一种用于获取更公平数据的贝叶斯实验设计方法

1. 问题陈述

当前确保机器学习公平性的框架主要侧重于从现有的、预先收集的数据集中学习公平模型。然而，这种方法往往存在根本性的局限，因为数据本身可能已经编码了社会偏见和不希望出现的关联。诸如数据重加权、约束优化或预处理“数据修复”等干预措施试图在下游减轻这些问题，但无法完全克服源数据固有的不公平性。

作者认为，应该修改数据采集过程，以收集本质上更适合训练公平预测器的数据。核心挑战在于设计一种数据采集策略，以平衡两个相互竞争的目标：

1. 信息量（Informativeness）： 数据必须对感兴趣的目标变量保持高度的信息量，以确保下游预测和泛化的有效性。
2. 公平性（Fairness）： 数据对于敏感属性（例如性别、种族、皮肤色素沉着）应是不具信息量的，以防止下游模型利用这些属性，从而自然地提高公平性。

2. 方法论

2.1 概念框架：“公平世界”

本文引入了“公平世界”的概念，在这种世界中，敏感属性（记为 $\phi$）与目标变量（记为 $\theta$）在因果上是独立的。在这样的世界中，一个公平的预测器将不需要使用 $\phi$ 来估计 $\theta$。作者建议通过量化数据集违反这种独立性的程度来衡量数据集的不公平性。具体而言，如果一个数据集允许信息在 $\theta$ 和 $\phi$ 之间传递，则被视为是不公平的。目标是指导实验设计过程，以收集能最小化这种信息传递同时保持对 $\theta$ 效用的数据。

2.2 数据公平性指标

作者定义了两种新颖的指标，用于量化基于其揭示的关于敏感属性的信息量的数据集的公平性：

• 无条件公平性 ($F_u$)： 定义为关于 $\phi$ 的预期信息增益（EIG）的负值。它衡量了数据在边缘分布上揭示了多少关于 $\phi$ 的信息。
  $$F_u(\pi_d) = -\max_{m \in \mathcal{M}} \text{EIG}^m_\phi(\pi_d)$$
• 条件公平性 ($F_c$)： 定义为关于 $\phi$ 的条件 EIG 的负值，且给定 $\theta$。这是一个更严格的指标，确保数据不会针对任何特定的 $\theta$ 值揭示 $\phi$，从而防止“解释掉”（explaining away）效应，即一旦已知 $\theta$，$\phi$ 就会变得可恢复。
  $$F_c(\pi_d) = -\max_{m \in \mathcal{M}} \mathbb{E}_{p(\theta)}[\text{EIG}^m_{\phi|\theta}(\pi_d)]$$

此处，$\pi_d$ 代表设计策略，而对模型集 $\mathcal{M}$ 的最大化确保了对模型缺陷的鲁棒性。

2.3 FairBED 目标函数

为了平衡对信息量需求与对公平性的需求，作者构建了两个 FairBED 目标函数。这些目标函数在最大化关于目标 $\theta$ 的预期信息增益（EIG）的同时，惩罚关于敏感属性 $\phi$（或 $\phi|\theta$）的 EIG。

• 无条件 FairBED ($R_u$)：
  $$R_u(\pi_d) = \text{EIG}_\theta(\pi_d) - \beta \text{EIG}_\phi(\pi_d)$$
• 条件 FairBED ($R_c$)：
  $$R_c(\pi_d) = \text{EIG}_\theta(\pi_d) - \beta \mathbb{E}_{p(\theta)}[\text{EIG}_{\phi|\theta}(\pi_d)]$$

在这些方程中，$\beta > 0$ 是一个控制公平性强制强度的超参数。作者指出，这些目标是在联合模型下定义的，但在实际操作中可以使用边缘模型进行优化。至关重要的是，作者认为收集关于 $\theta$ 的信息对于现实世界的公平性是必要的，以避免可能表现为间接不公平的泛化差距。

2.4 在主动学习中的应用

该框架被适配到主动学习（AL）场景中。在这种情况下，目标 $\theta$ 对应于测试时输入与目标标签对 $(x^*, y^*_\theta)$，而敏感属性 $\phi$ 对应于 $(x'^*, y^*_\phi)$。目标变为修改后的预期预测信息增益（EPIG）：
$$R_{\text{FairEPIG}}(x) = I(y_\theta; (x^*, y^*_\theta) | x) - \beta I(y_\phi; (x'^*, y^*_\phi) | x)$$
这允许选择查询点，在改善目标任务预测的同时，刻意限制敏感属性的可学习性。

3. 主要贡献

1. 数据公平性的新颖表述： 本文将关注点从模型的公平性转向了数据集本身的公平性，将公平性定义为缺乏关于敏感属性的信息泄露。
2. FairBED 目标函数： 引入了实用的贝叶斯实验设计（BED）目标，明确权衡了目标信息量与敏感属性信息量之间的关系。
3. 与人口统计学平等的理论联系： 作者证明，如果条件公平性指标 $F_c(\pi_d) = 0$（即数据在给定 $\theta$ 的情况下不传递关于 $\phi$ 的信息），且假设 $\theta$ 和 $\phi$ 的先验是可分离的且下游模型不将 $\phi$ 作为输入，那么在该数据上训练的下游预测器将实现人口统计学平等（Demographic Parity, DP）。
4. 实证验证： 在多个数据集和模型架构上展示了 FairBED 始终比随机采集和传统 BED 具有更优的公平性-准确率权衡。

4. 实验结果

作者在三个不同的任务上评估了 FairBED：

1. 源位置查找（Source Location Finding）： 一个合成 BED 基准测试，目标是在推断目标坐标（$\theta$）的同时避免学习敏感坐标（$\phi$）。结果显示，FairBED 设计沿目标轴分布，同时向敏感轴的先验均值塌缩，从而在极小化 $\theta$ 学习损失的前提下，有效地抑制了对 $\phi$ 的学习。
2. 学生毕业预测： 一个二分类任务，预测毕业状态（$y_\theta$），同时将性别（$y_\phi$）视为敏感属性。
3. 人口普查收入预测： 预测收入水平（$>50k$），同时将性别视为敏感属性。
4. CelebA： 一个大规模图像数据集，预测“微笑”（Smiling），同时将“性别”（Gender）视为敏感属性。

关键发现：

• 公平性-准确率权衡： FairBED 实现了优于随机采集和标准 EPIG 的帕累托最优前沿（Pareto-optimal fronts）。它显著降低了敏感属性的可预测性，同时保持了目标任务的高准确率。
• 数据集层面的公平性： 在相同的 FairBED 采集数据集上训练各种下游模型（随机森林、XGBoost、MLP、SVM）的实验表明，人口统计学平等（DP）和等化赔率（EO）比例得到了持续的改善。这证实了公平性的提升是所采集数据的属性，而非特定模型的产物。
• 互补性： 本文展示了 FairBED 可以与下游公平性干预措施（如学习公平表示或拒绝选项分类）相结合。结合 FairBED 与下游方法的结果优于单一方法，表明两者是相辅相成而非替代关系。
• 鲁棒性： FairBED 的收益在不同的模型架构和标签预算下均具有泛化性。

5. 重要性与主张

本文声称 FairBED 通过解决偏见的根源——数据采集过程，为算法公平性提供了一个新的视角。通过将数据的效用形式化为包含对敏感属性信息的惩罚，FairBED 提供了一种原则性的方法来收集“本质上更公平”的数据。

作者强调：

• 上游干预至关重要： 下游缓解策略往往会被数据中已存在的偏见所削弱。FairBED 在源头解决了这一问题。
• 泛化性： 公平性的提升是数据集固有的，这意味着任何在该数据上训练的模型（即使没有特定的公平性约束）也会自然地表现出更好的公平特性。
• 实用性： 该方法与标准的贝叶斯实验设计和主动学习框架兼容，仅需要指定目标和敏感属性的边缘模型，即使在采集阶段没有敏感标签，也可以预训练或手工构建这些模型。

这项工作为公平感知的数据采集开辟了新的研究方向，表明构建更公平的 AI 系统之路始于如何采集数据，而非仅仅是如何建模。