技术摘要：用于深度学习保障公平性的可微优化层

1. 问题陈述

将机器学习系统部署于高风险领域（如贷款、招聘、临床诊断）已 necessitated 对“公平性”采取严格方法。将群体公平性约束纳入深度学习流程的现有方法通常分为三类：预处理、处理中（in-processing）和后处理。然而，这些方法存在显著局限性：

• 预处理（修改训练数据）可能放大偏差，且无法保证在推理阶段满足约束。
• 处理中（例如拉格朗日惩罚）通常依赖软惩罚或代理目标，无法严格强制执行约束，从而导致潜在的违规。
• 后处理（训练后修改预测）作用于未感知公平性的模型，通常需要进行不可微的调整，从而破坏端到端可训练性，且可能无法泛化。

此外，在流式或小批量推理设置中强制执行公平性提出了根本性挑战：强制执行严格的每批次约束可能过于严苛，限制模型表达能力；而若不强制执行，则可能导致整体不公平。

作者识别出在同时实现以下三个目标方面存在空白：(G1) 已验证的公平性（严格合规）、(G2) 端到端学习（保持可微性而无需事后调整）以及 (G3) 高灵活性（兼容任何架构）。

2. 方法论

公平性层

核心贡献是引入一个“公平性层”，这是一个附加在神经网络输出端的可微优化层。与传统“先预测后优化”框架（其中优化用于解决下游决策问题）不同，该层将原始网络输出 ($z$) 投影到公平性约束集上，以生成最终预测 ($\hat{y}$)。

数学上，对于一批原始预测 $z$，该层计算：
$$g(z) = \arg \min_{\tilde{y} \in \mathbb{R}^b} \{ \tilde{d}(\tilde{y}, z) : h_{ineq}(\tilde{y}) \leq 0, h_{eq}(\tilde{y}) = 0 \}$$
其中 $\tilde{d}$ 是凸差异函数（例如欧几里得距离），且约束为线性（仿射）。该公式允许该层强制执行各种公平性标准，例如：

• 期望条件（人口统计） parity：确保受保护群体间的平均预测相似。
• 期望均衡残差：确保群体间的平均预测误差相似。
• 期望均衡几率：确保给定真实标签的预测条件期望在群体间相似。

通过用基于期望的约束替代非凸硬阈值（常见于分类公平性中），作者确保了优化问题保持凸性和可微性。

在线原始 - 对偶推理算法

为了解决在任意小批量大小下强制执行公平性的挑战（其中每批次约束可能过于严苛或群体比例变化），作者提出了一种在线原始 - 对偶推理算法。

• 机制：该算法不是在每个小批量上强制执行公平性，而是维护一个对偶变量 ($\lambda$)，随时间累积公平性违规。
• 更新规则：对于小批量，该层求解一个包含基于 $\lambda$ 动态更新惩罚项的约束优化问题。对于可以进行分层抽样的较大大批量，则强制执行硬约束。
• 保证：定理 3.2 证明，虽然单个批次可能违反公平性约束，但随着推理批次数量的增加，样本加权的平均违规收敛于目标容差 $\epsilon$。这提供了确定性的整体公平性保证。

理论性质

本文对该层的性质进行了严格分析：

• 可微性：该层是全局利普希茨连续的，且几乎处处可微（定理 4.1），确保了稳定的反向传播。
• 梯度稳定性：该层的雅可比矩阵具有谱结构，其特征值为二进制（0 或 1）。关键在于，垂直于活动约束表面的方向上的梯度被完全抑制（定理 4.4）。这防止模型学习去违反活动约束，同时允许在可行方向上自由学习。
• 结构：定义域被划分为多面体区域，在这些区域中该层表现为仿射函数，其边界测度为零，确保优化器不会卡在不可微点上。

3. 主要贡献

1. 公平性层：一种新颖的架构组件，保证严格遵循仿射公平性约束，同时保持端到端可微性。它是首个同时满足目标 (G1)、(G2) 和 (G3) 的方法。
2. 在线原始 - 对偶算法：一种推理算法，克服了小批量推理的局限性，在每批次约束过于严苛的情况下提供整体公平性保证。
3. 数学分析：证明了该层的可微性、梯度稳定性（有界雅可比矩阵）和谱性质，论证了其在训练深度网络中的实际效用。
4. 开源实现：作者在 GitHub 上发布了 Python 包 (fairness_training) 及实验代码。

4. 实验结果

作者在四种不同设置中评估了该方法：贷款违约预测、员工绩效分析、图像分类（CelebA 和 FairFace 数据集）以及合成回归。

• 贷款违约预测：F-Layer 方法在 AUC 方面取得了适度但一致的改进（平均增加 1.46%），并且与事后投影相比，显著提高了精确率 - 召回率性能。它避免了严格惩罚方法中观察到的退化行为（预测单一类别）。
• 员工绩效（数据建模）：F-Layer 满足了所有公平性约束，且在满足约束的方法中具有最低的均方误差 (MSE)。与事后投影（改变了 1200 人中的 319 人的预测，降低了透明度）不同，F-Layer 在训练过程中融入了公平性。
• 图像分类：在五种不同架构（包括 ViT、Swin-T、ResNet、DenseNet）中，F-Layer 始终优于基线。其准确率比事后投影高出 2–5%，并显著优于拉格朗日惩罚方法（后者在被迫高度重视约束时往往退化为随机猜测，准确率约为 50%）。
• 合成数据：F-Layer 在 32 个数据集配置中的 22–27 个中排名第一。它展示了对不同批量大小的鲁棒性，并在许多场景中比基线降低了 18–30% 的测试损失。即使在小批量推理下，在线算法也成功控制了整体公平性。

5. 意义与主张

本文声称，公平性层提供了一种可验证的、端到端的解决方案，用于将公平性整合到深度学习中。通过保持可微性，它允许从业者将公平性直接纳入训练过程，而不是作为事后补救。

作者将这项工作定位为全面公平性策略中的一项工具，而非完整解决方案。他们明确指出了局限性：

• 该工作仅专注于群体公平性指标，这仅捕捉了公平性需求的一个方面。
• 受保护属性、约束和容差参数的选择需要领域专业知识，以避免引入新的不平等形式。
• 该方法保证针对仿射约束集的公平性；将其扩展到非凸约束留待未来工作。

最终，本文论证了可微优化层提供了一种数学基础机制，可在保持模型性能和可解释性的同时，满足监管要求（如欧盟《人工智能法案》）。