📊 statistics

Benchmarking Stochastic Approximation Algorithms for Fairness-Constrained Training of Deep Neural Networks

本文提出了一个基于美国人口普查数据的大规模公平性约束深度学习基准，通过理论分析、算法综述及实验对比，评估了三种新型随机逼近算法在优化性能与公平性提升方面的表现，并开源了相关代码。

原作者： Andrii Kliachkin, Jana Lepšová, Gilles Bareilles, Jakub Mareček

发布于 2026-02-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrii Kliachkin, Jana Lepšová, Gilles Bareilles, Jakub Mareček

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给人工智能（AI）的“驾校”制定一套新的考试标准，目的是确保 AI 在开车（做决策）时，不会因为司机的性别、种族或背景不同而区别对待。

简单来说，现在的 AI 很聪明，但有时候会“有偏见”（比如给某些人打分低，仅仅因为他们属于某个群体）。这篇论文做了一件很务实的事：它建立了一个“考场”，测试了三种不同的“教练方法”，看哪种方法能最有效地训练出既聪明又公平的 AI。

下面我用几个生活中的比喻来拆解这篇论文的核心内容：

1. 背景：为什么需要这个“考场”？

想象一下，你开了一家招聘公司，想用 AI 来筛选简历。

现状：以前的 AI 就像是一个“老学究”，它只关心谁能干活（准确率），结果发现它总是倾向于录用男性，而忽略了女性，因为它在历史数据里学到了这种偏见。
法律要求：现在的法律（比如欧盟的 AI 法案）要求你必须公平，不能歧视。
难题：怎么让 AI 既保持高准确率，又绝对公平？这就好比要求一个赛车手，既要跑得飞快（优化目标），又要严格遵守限速和交通规则（公平约束）。

目前，有很多不同的“教练”（算法）声称能教好 AI，但没有统一的考试标准来比较谁教得更好。这篇论文就是来填补这个空白的。

2. 核心任务：给 AI 戴上“紧箍咒”

论文的核心思想是约束训练（Constrained Training）。

比喻：想象你在训练一个学生（AI 模型）。
- 传统方法（无约束）：只告诉他：“你要考高分！”（最小化损失函数）。结果他可能为了高分作弊（产生偏见）。
- 惩罚方法（正则化）：告诉他：“考高分，但如果作弊，我就扣你分。”（在目标函数里加惩罚项）。这有点像“打游击”，惩罚力度不好控制，有时候扣多了，学生就不学了；扣少了，他还是作弊。
- 本文的方法（硬约束）：直接立规矩：“你可以考高分，但绝对不允许在 A 组和 B 组的平均分差超过 5 分。”（约束条件）。这是一条红线，越线就不行。

3. 他们做了什么？（三大贡献）

A. 建立了一个“魔鬼考场”

他们利用美国人口普查的真实数据（Folktables），构建了一个巨大的、复杂的测试环境。

比喻：这不是在教室里做简单的数学题，而是把 AI 扔进了真实的“交通高峰期”去测试。数据量巨大，而且包含了各种复杂的“路况”（不同的种族、收入群体等），甚至能模拟出几十亿种不同的群体组合。

B. 挑选了三位“王牌教练”进行 PK

他们找来了三种最新的、理论上很厉害但还没人真正大规模实战过的算法，让它们在这个“魔鬼考场”里跑一跑：

随机幽灵法 (Stochastic Ghost)：
- 比喻：像是一个精明的侦探。它不直接看所有数据，而是通过“抽样”和“猜测”来寻找方向。它很灵活，但有时候容易迷路（波动大）。
随机平滑增广拉格朗日法 (SSL-ALM)：
- 比喻：像是一个经验丰富的老教练。它使用一种叫“增广拉格朗日”的技巧，相当于给规则加了一层“缓冲垫”，让 AI 在遵守规则的同时，能更平滑地学习。它比较稳，不容易出错。
随机切换次梯度法 (SSW)：
- 比喻：像是一个灵活的游击队员。它在“追求高分”和“遵守规则”之间来回切换。如果规则没守住，它就全力去守规则；如果规则守住了，它就全力去提分。

C. 进行了“大比武”

他们让这三位教练在同样的数据集上训练 AI，然后看谁的成绩好。

评判标准：
1. 开得有多快（优化性能：AI 学得有多快，分数有多高）。
2. 守规矩有多严（公平性：不同群体之间的分数差距是否真的消除了）。

4. 比赛结果：谁赢了？

普通教练 (SGD)：跑得最快，分数最高，但完全不管公平，歧视现象严重。
带惩罚的教练 (SGD-Fairret)：试图通过“扣分”来维持公平，结果顾此失彼，要么分数低了，要么规则还是没守住。
三位“约束教练”的 PK：
- SSL-ALM（老教练）：表现最均衡。它既保持了不错的分数，又很好地守住了公平的底线。它是目前最推荐的“全能型”选手。
- 随机幽灵 (StGh)：在公平性上表现不错，但分数波动太大，有时候分数掉得很厉害，不够稳定。
- 切换法 (SSW)：它最守规矩（几乎完美符合约束），但代价是分数提不上去，AI 变得有点“唯唯诺诺”，不敢发挥全力。

5. 结论与启示

这篇论文告诉我们：

没有银弹：目前还没有一种完美的算法能同时做到“极速”和“绝对公平”。
硬约束优于软惩罚：直接给 AI 定死规矩（约束），比告诉它“作弊要扣分”（惩罚）效果更好、更可控。
工具已开源：作者把这套“考场”和“教练”的代码都公开了，就像把赛车和赛道都放到了网上，让全世界的研究者都可以来测试自己的新算法。

一句话总结：
这篇论文就像是为 AI 的公平性训练建立了一个标准的“驾校”和“路考系统”，并证明了一种叫 SSL-ALM 的教练方法，目前在平衡“速度”和“规则”方面做得最好，是未来训练公平 AI 的有力工具。

这是一份关于论文《BENCHMARKING STOCHASTIC APPROXIMATION ALGORITHMS FOR FAIRNESS-CONSTRAINED TRAINING OF DEEP NEURAL NETWORKS》（随机逼近算法在深度神经网络公平性约束训练中的基准测试）的详细技术总结。

1. 研究背景与问题定义

背景：
随着人工智能系统的广泛应用，消除模型中的偏见（Bias）已成为关键需求。欧盟《人工智能法案》等法规要求去除偏见，但目前缺乏统一的定义和去除方法。传统的公平性方法主要分为预处理、训练中和后处理。本文关注**训练中（In-processing）**的方法，即通过在训练过程中引入约束来保证公平性。

核心问题：
本文旨在解决带有约束的经验风险最小化（Constrained ERM）问题。具体形式化如下：
$\min_{x \in \mathbb{R}^n} \mathbb{E}[f(x, \xi)] \quad \text{s.t.} \quad \mathbb{E}[c(x, \zeta)] \le 0$
其中：

$f(x, \xi)$ 是目标函数（如深度神经网络的损失函数）。
$c(x, \zeta)$ 是约束函数（如不同子群之间的损失差异、机会均等性等公平性指标）。
$\xi$ 和 $\zeta$ 是随机变量，代表数据采样。

挑战：

大规模性： 深度神经网络参数众多，且约束通常涉及大量子群（如美国人口普查数据中的数千个子群）。
非凸与非光滑： 深度神经网络的损失函数通常是非凸且非光滑的。
随机性： 目标函数和约束函数均基于期望，需要通过随机采样（Mini-batch）来估计，且约束通常是不等式约束（而非简单的等式约束）。
缺乏基准： 目前缺乏一个标准的、广泛接受的基准来比较不同随机逼近算法在处理此类大规模、非凸、不等式约束问题时的性能。

2. 方法论与基准构建

基准数据集 (Benchmark)：

基于 US Census (Folktables) 数据集构建。
使用 ACSIncome 数据集（预测收入是否超过 5 万美元）作为主要实验场景。
支持定义多达 57 亿个受保护子群，能够测试从二元属性（如种族：白人/非白人）到多值属性（如婚姻状况）的多种公平性约束。
实现了多种公平性约束形式，包括：
- 准确性平等 (Accuracy Equality)
- 机会均等 (Equal Opportunity)
- 机会均等 (Equalized Odds)

算法综述与选择：
论文回顾了现有的随机约束优化算法（如 SGD, SQP, 拉格朗日法等），指出大多数现有算法假设目标函数是 $C^1$ 光滑的，或者仅处理等式约束，无法直接适用于深度神经网络的非光滑、不等式约束场景。

因此，作者选取并实现了三种较新但尚未在深度学习中广泛应用的算法进行对比：

Stochastic Ghost (StGh): 结合确定性方法与随机采样，通过“幽灵”惩罚项扩展可行域，使用几何分布采样不同大小的批次来估计搜索方向。
Stochastic Smoothed and Linearized AL Method (SSL-ALM): 基于增广拉格朗日（Augmented Lagrangian）方法，引入平滑项（Moreau envelope），适用于随机线性/非线性约束。
Stochastic Switching Subgradient (SSw): 针对非光滑、弱凸函数，根据约束违反程度在目标函数梯度和约束次梯度之间切换更新。

此外，还设置了两个基线：

无公平性约束的标准 SGD。
使用 Fairret 库进行公平性正则化（Penalization）的 SGD。

3. 关键贡献

首个大规模公平性约束训练基准： 提出了基于真实世界大规模数据（Folktables）的基准测试框架，涵盖了从数据构建、约束定义到算法评估的全流程。
算法工具箱实现： 开发了一个 Python 工具箱，实现了四种算法（StGh, SSL-ALM, SSw, 以及基线方法），并提供了自动化的约束构建接口（基于 PyTorch/TensorFlow 计算图）。
全面的数值实验： 在真实数据集上对比了不同算法在优化性能（损失下降速度）和公平性指标（独立性、分离度、充分性）上的表现。
理论挑战的实证分析： 揭示了在缺乏理论保证（针对非光滑、非凸、随机不等式约束）的情况下，不同算法在实际应用中的表现差异。

4. 实验结果

实验在两个场景下进行：二元受保护属性（种族）和多值受保护属性（婚姻状况）。

优化性能：

SSL-ALM 和 ALM 表现最佳：它们能较好地平衡损失最小化和约束满足，收敛轨迹相对稳定。
Stochastic Ghost (StGh)：在损失和约束值上表现出较高的波动性（Variability）。
Stochastic Switching Subgradient (SSw)：在满足约束方面表现最好（几乎完全满足），但在最小化目标函数（损失）方面表现较差，往往无法达到其他算法的精度水平。
正则化 SGD (Fairret)：虽然收敛快，但约束违反程度随训练时间增加，且优化速度不如约束算法。

公平性指标 (Fairness Metrics)：

指标定义： 独立性 (Ind, 统计 parity)、分离度 (Sp, Equalized Odds)、充分性 (Sf)。
对比结果：
- 所有受约束的优化模型在公平性指标上均优于无约束的 SGD。
- SSL-ALM 和 ALM 提供了最佳的折衷方案：显著改善了独立性、分离度和充分性，同时仅适度降低了预测准确率。
- SSw 虽然满足了约束，但由于优化目标函数能力不足，其最终的公平性指标和准确率与无约束 SGD 相当（即未能有效学习）。
- StGh 在充分性指标上表现最好，但准确率最低。

超参数敏感性：

约束优化算法（特别是 SSL-ALM）对超参数的敏感性低于正则化方法。正则化方法需要精细调整惩罚系数 $\lambda$ 以平衡风险和约束，而约束算法通过约束边界直接控制，具有更可控的权衡。

5. 意义与结论

主要结论：

目前不存在能够保证在“非凸、非光滑、随机不等式约束”这一通用设定下收敛的理论算法。
在实践中，增广拉格朗日类方法 (SSL-ALM/ALM) 在处理深度神经网络的公平性约束训练时表现最为稳健，能在保证公平性的同时维持较好的模型性能。
简单的正则化方法（Penalization）虽然实现简单，但在处理严格的公平性约束时不如直接约束方法有效，且对超参数敏感。

局限性与展望：

本文指出现有算法缺乏严格的理论保证，这是一个开放的研究方向。
强调公平性机器学习只是解决伦理问题的一环，不能替代对业务逻辑和伦理背景的深入理解（即“公平性工具包不是银弹”）。
发布了代码库，旨在促进新优化算法在公平性领域的基准测试和比较。

总结：
这篇论文填补了深度神经网络公平性约束训练领域缺乏标准化基准的空白。通过实证研究，它表明虽然理论尚不完善，但基于增广拉格朗日的随机优化方法在实际应用中是解决大规模公平性约束问题的有效工具，优于传统的正则化方法。