技术摘要：松弛公平回归的几何结构

问题陈述

本文解决了在回归任务中强制执行人口统计 parity（DP）的挑战，特别是在无感知设置下，即推理时敏感属性（$S$）不可用的情况。虽然针对精确公平性的后处理方法在“有感知”设置（即观测到 $S$）中已经存在，但在无感知设置中实现松弛公平性（平衡准确性与公平性）的原则性方法在很大程度上仍然缺失。现有方法通常依赖噪声代理分类器或基于网格的离散化，这些方法无法捕捉问题的连续几何结构，导致准确性与公平性之间的权衡次优。

方法论

作者提出了一个统一框架，将松弛公平回归表述为**最优传输（OT）**问题。核心见解在于通过 OT 映射来刻画最优预测函数，这些映射将基础预测器的条件分布传输到一个共同的靶分布，同时最小化不公平性的惩罚。

1. 统一框架

该框架通过将回归问题定义为符号测度 $\chi_+ - \chi_-$（正负组特征分布之差）来统一有感知和无感知设置。

• 无感知设置：最优预测器依赖于符号组概率 $\Delta(x) = \frac{P(S=+|X=x)}{p_+} - \frac{P(S=-|X=x)}{p_-}$。问题简化为将定义在基础预测 $\eta(x)$ 和 $\Delta(x)$ 空间上的二维测度 $\mu^{\pm}_{\eta, \Delta}$ 传输到一维预测空间。
• 有感知设置：作为特例被恢复，其中 $\Delta(x)$ 基于观测到的 $S$ 是确定性的，从而将问题简化为一维传输。

2. 通过惩罚实现松弛公平性

作者不强制执行精确 DP（$\lambda \to \infty$），而是最小化惩罚风险：
$$\min_f \mathbb{E}[(f(X) - \eta(X))^2] + \lambda m U_D(f)$$
其中 $U_D(f)$ 是符号测度的正负变异的推前分布之间的差异度量。本文分析了两种特定的惩罚：

• 平方 Wasserstein-2（$W_2^2$）：惩罚标签空间中位移的幅度。
• 总变差（TV）：惩罚不重叠的概率质量，忽略不同值之间的距离。

3. 闭式解

一个关键的理论贡献是推导出了精确的、闭式的表达式，用于描述最优的近似公平预测函数。

• $W_2^2$ 松弛：解涉及基础预测与靶分布之间的加权插值。最优传输计划由特定的成本函数 $C_{\lambda, c_2}$ 刻画，预测映射 $T^\pm$ 是输入的线性组合，权重由局部密度比决定。
• TV 松弛：解表现出硬阈值行为。如果合并两个预测的成本低于阈值 $\lambda$，则将它们合并到加权质心；否则，它们保持不变。这导致了一个分段定义的映射。

4. 算法实现

作者提出了一种实用算法（算法 1），该算法：

1. 估计基础回归器 $\hat{\eta}$ 和后验概率以计算 $\hat{\Delta}$。
2. 从训练数据构建经验二维测度。
3. 使用推导出的闭式成本矩阵求解离散 OT 问题。
4. 使用质心投影为训练集生成伪标签。
5. 在伪标签上拟合连续回归器（例如随机森林），以实现样本外推理。

主要贡献

1. 统一框架：一个通用的惩罚 OT 目标，统一了有感知和无感知的松弛公平回归，兼容 $W_2^2$ 和 TV 惩罚。
2. 闭式刻画：首次实现了松弛无感知公平的精确、连续几何约简。本文提供了最优预测映射的显式公式，超越了以往工作（如 FairReg）的基于网格的近似。
3. 哲学区别：本文揭示了惩罚的选择反映了根本不同的公平哲学：
   • $W_2^2$ 诱导一种平滑的、全人群的妥协（平等主义观点），将所有个体略微移向公平中心。
   • TV 对部分个体强制执行精确 parity（充足主义观点），保持极端预测不变，同时完美合并那些“负担得起”的预测。
4. 高效算法：一种确定性的、计算高效的后处理算法，避免了随机梯度下降。

实验结果

该框架在合成数据和真实世界基准（法学院录取、社区与犯罪、以及成人人口普查收入）上进行了评估。

• 性能：提出的"OT 无感知”方法在所有公平性指标（$W_2$、TV 和 Kolmogorov-Smirnov 距离）上始终匹配或优于最先进基线 FairReg（Taturyan 等人，2024），同时保持了具有竞争力的均方误差（MSE）。
• 与代理方法的比较：通过代理分类器估计 $S$ 并应用有感知 OT 映射的朴素方法（插件估计器）表现显著较差，通常由于分类错误而无法实现公平性。提出的二维框架成功地吸收了这种不确定性。
• 效率：OT 无感知方法比 FairReg 快得多（例如，在社区数据集上加速约 26 倍），因为它依赖于精确的离散 OT 求解器，而不是迭代随机优化。
• 鲁棒性：该方法在不同的基础估计器（线性、随机森林、梯度提升）之间表现出鲁棒性。

意义与主张

本文声称通过提供一种针对无感知设置中松弛公平回归的理论扎实、连续几何的解决方案，填补了文献中的重大空白。

• 理论严谨性：与依赖离散化的先前方法不同，这项工作提供了精确的闭式约简，阐明了公平约束的几何本质。
• 实用价值：推导出的算法易于实现且计算高效，使其适用于现实世界的部署场景，其中模型是黑盒且推理时缺失敏感属性。
• 哲学洞察：通过对比 $W_2$ 和 TV 惩罚，这项工作强调“松弛公平性”并非一个单一概念，而是取决于实践者选择的特定权衡哲学（全局平滑与局部精确性）。

作者指出了局限性，包括仅限于二元敏感属性和特定惩罚类型（$W_2^2$ 和 TV），以及性能对基础估计器 $\hat{\eta}$ 和 $\hat{\Delta}$ 质量的依赖。然而，他们断言，与现有的最先进方法相比，他们的方法为准确性与公平性的权衡提供了更优越的基线。