💻 computer science

Bias Mitigation in Face Recognition via Demographic-based Supervised Contrastive Learning

本文提出了一种基于人口统计学的监督对比学习（DeSCon），这是一种新型损失函数，通过人口统计学感知的批次构建和样本对选择，专门针对非匹配得分分布尾部的错误率进行优化，从而在人脸识别中提升公平性，并实现超越简单训练数据平衡的偏差缓解效果。

原作者： Yu Linghu, Salman Mohammad, Xinyi Zhang, Manuel Günther

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yu Linghu, Salman Mohammad, Xinyi Zhang, Manuel Günther

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走在一条拥挤、庞大的数字走廊里，一名保安正在检查每个人的身份证件。这个保安是一个人工智能，一个经过训练能够识别面孔的超级智能计算机程序。长期以来，这些保安的工作表现得非常出色，但它们有一个隐藏的缺陷：它们对某些人的识别能力比对另一些人要强得多。如果你拥有某种特定的肤色、年龄或性别，保安可能会眯起眼睛观察得更仔细，或者更容易犯错，甚至会让错误的人溜过去。这不仅仅是一个小故障；这是一种偏见。问题的根源在于，这个人工智能是在一张“互联网合照”上进行训练的，而这张照片中某些群体的图片远多于其他群体。这就像是用一本只包含金毛寻回犬、却没有帕格犬（Pug）照片的教科书来教学生识别动物；当学生看到帕格犬时，就会感到困惑。

为了解决这个问题，科学家们尝试了几种方法。有些人试图在事后“重新调整”保安的大脑，为不同的群体调整规则。另一些人则试图让训练用的“互联网合照”达到完美的平衡，给予每个群体相同数量的照片。但棘手的部分在于，即使你把相册平衡得完美无缺，人工智能在现实世界中实际工作时仍然可能感到困惑，尤其是在它必须对一个非常棘手的面孔做出“否定”决定时。真正的测试不仅仅是让平均值达标；而是要确保人工智能在处于犯错边缘时，不会做出不公平的失败。这正是这项新研究介入的地方，它试图通过一种不同的方法，专注于研究人工智能如何在不被身份特征所干扰的情况下，学习分辨相似的面孔。

这项研究的研究人员——来自苏黎世大学的 Yu Linghu 及其团队——提出了一种名为 DeSCon（基于人口统计学的监督对比学习）的新方法来训练这些面部识别系统。你可以把人工智能的学习过程想象成一场“抢椅子”的游戏，只不过参与者不是椅子，而是面孔。

通常在训练人工智能时，目标是确保“人物 A”的所有面孔都聚集在房间的一个特定角落，而“人物 B”则坐在另一个角落。这就像是使用磁铁将所有“人物 A”的面孔吸引在一起。然而，旧的方法有时会忽略这样一个事实：如果“人物 A”和“人物 C”拥有相似的肤色或年龄，他们可能会看起来有点像，尽管他们是不同的人。人工智能可能会因为这些特定的相似之处而产生混淆，认为“人物 A”就是“人物 C”。

团队的新方法为这个游戏增加了一条特殊规则。它说：“好的，把所有‘人物 A’的面孔拉近在一起，但同时也要确保将‘人物 A’的面孔与那些看起来最像他们的‘人物 C’推开，特别是在同一个人口统计群体内部。”这就像是一位严格的老师，不仅告诉学生要和自己的朋友坐在一起，还特别叮嘱那些长得非常相似的学生要坐得远一点，以免混淆。

研究人员测试了三种不同的挑选“长得像”的配对并将其推开的方法：

“所有人”方法： 推开任何两个不是同一个人的人，无论他们是谁。
“群体”方法： 只推开属于同一人口统计群体的人（例如，只担心推开两个不同的亚洲面孔，或两个不同的老年面孔）。
“困难模式”方法（DeSCon-Hard）： 这是全场的明星。它专门寻找那些“最难”的配对——即在同一群体内看起来最容易混淆的那些人——并强迫人工智能学习分辨他们的差异。

结果表明，这种“困难模式”方法效果最好。当他们在各种数据集（包括完美平衡的数据集和混乱且不平衡的数据集）上进行测试时，DeSCon-Hard 成功地让人工智能变得更加公平，同时没有损害其核心任务的能力。事实上，它通常在提高整体识别率的同时，减少了不公平错误发生的次数。

论文反对“仅仅平衡训练数据就足够了”这一观点。他们证明了即使使用平衡的数据集，如果人工智能没有学会处理那些不同的人看起来非常相似的“困难”情况，它仍然会产生偏见。他们还发现，试图从人工智能的大脑中完全移除人口统计信息（使其无法“看到”种族或性别）往往会降低人工智能识别面孔的整体水平。相反，他们的方法教会了人工智能利用这些细节来变得更精确，从而确保不会仅仅因为一个人的身份特征而做出错误判断。

在实验中，团队使用了标准基准来衡量成功。他们发现，我们的新方法，特别是“困难模式”版本，能够持续缩小不同群体之间的错误率差距。例如，在一项测试中，“困难模式”版本在显著减少误判（将两个不同的人误认为同一个人）的不公平现象的同时，保持了极高的整体准确率。他们还指出，虽然该方法在他们使用的这些数据集上表现良好，但由于其训练数据规模小于科技巨头使用的大规模数据集，因此在如何扩展应用方面仍有待进一步研究。

最终，这篇论文表明，要建立一个真正公平的面部识别系统，我们不能仅仅停留在“平衡账目”上，而应该开始教导人工智能去额外关注那些偏见通常潜藏其中的、棘手的、令人困惑的情况。通过专注于每个群体中最“难缠”的相似面孔，人工智能可以同时变得更公平、更敏锐。

技术摘要：通过基于人口统计学的监督对比学习实现人脸识别中的偏差缓解

1. 问题陈述

人脸识别（FR）系统，特别是基于深度学习的系统，在不同人口统计群体（如性别、年龄、族裔）之间表现出显著的偏差。这种偏差体现为差异化的错误率，即某些群体遭受更高的错误匹配率（FMR）或错误非匹配率（FNMR）。虽然训练数据不平衡是一个已知因素，但仅仅平衡训练数据集并不能完全解决该问题。

核心挑战在于人脸识别系统的实际部署过程，这些系统通常运行在极低的错误匹配率下（即非匹配得分分布的“尾部”）。标准的类别平衡技术通常能改善得分分布的均值，但无法解决尾部行为问题，而这正是公平性最关键的地方。此外，现有的缓解策略往往面临权衡：旨在从嵌入中移除敏感人口统计信息以防止偏差的方法通常会降低整体验证性能；而事后得分归一化（post-hoc score normalization）则需要在部署期间使用人口统计信息，而这在某些情况下并非总是可行或理想的。

2. 方法论：DeSCon

作者提出了**基于人口统计学的监督对比损失（DeSCon）**框架，该框架将监督对比学习集成到标准的基于边际的 Softmax 框架（如 ArcFace）中。该方法旨在通过明确针对非匹配得分分布的尾部，在不牺牲判别能力的前提下提高公平性。

核心机制

DeSCon 结合了两个互补的目标：

基于质心的损失（如 ArcFace）： 将嵌入拉向其类别中心，并将它们推离其他类别中心，以确保类间可分性。
监督对比损失（SupCon）： 直接作用于嵌入，将“配对”（相同身份）拉近，并将“非配对”（不同身份）推开。

其核心创新在于 SupCon 组件中的人口统计感知对选择（demographic-aware pair selection）。与将所有非配对样本视为同等的标准对比学习不同，DeSCon 根据人口统计标签引导负样本对的选择，从而专门针对组内分离进行优化。

采样策略

论文探讨了三种特定的非配对样本（ $N(a)$ ）采样策略，用于对比损失的分母：

DeSCon-All： 对批次中所有的非配对样本应用对比损失，无论其属于哪个人口统计组。
DeSCon-WG（组内）： 将非配对样本的采样限制在与锚点（anchor）属于同一人口统计组的样本中。这增强了局部平衡和组内分离。
DeSCon-Hard： 专注于同一人口统计组内的最难（hardest）非配对样本（即最相似的前 $K$ 个非配对样本）。该策略专门针对非匹配分布的尾部，旨在在最需要公平性正则化的领域实现最大化效果。

训练目标

总损失函数结合了 ArcFace 和人口统计加权的 SupCon：
$L_{total} = \frac{1}{B} \sum_{b=1}^{B} w_d [L_{arc}(x_b) + \lambda \cdot L_{sup}(x_b)]$
其中 $w_d$ 是用于补偿训练数据中人口统计不平衡的组感知权重， $\lambda$ 用于平衡两个目标。该框架旨在与各种骨干网络和基于边际的损失（如 ArcFace、AdaFace）兼容。

3. 主要贡献

引入 DeSCon： 一种公平性感知损失函数，通过用监督对比学习增强基于质心的损失，共同提升准确性和公平性。
策略性对采样： 探索了三种采样策略（All、WG、Hard），以平衡全局分离、组内一致性和硬负样本正则化。
全面的评估： 在多种骨干网络（IResNet50、IResNet100）和基准测试（RFW、BFW、VGGFace2、IJB-C）上进行了广泛实验，涵盖了平衡和不平衡的训练方案。
标准化指标： 严格遵循 ISO/IEC 19795-10 标准进行评估，利用基尼系数（Gini coefficient）来衡量不同群体间 FMR（FPD）和 FNMR（FND）的不平等程度，而不是仅仅依赖于使用独立阈值的单组准确率。

4. 实验结果

作者将 DeSCon 与最先进的偏差缓解方法（如 RamFace、MixFairFace、DeFT、ScoreNorm）以及基线模型进行了对比评估。

公平性与性能： DeSCon 的各变体在保持竞争力的验证性能（TMR）的同时，一致地改善了公平性指标（降低了 FPD 和 FND）。
DeSCon-Hard 的优越性： 在平衡和不平衡的训练场景下，DeSCon-Hard 被证明是最鲁棒的变体。它在验证性能和公平性之间实现了最佳平衡，实现了 FPD 和 FND 的持续降低。
- 在 RFW 数据集（平衡测试）上，DeSCon-Hard 相比 ArcFace 基线显著降低了 FPD。
- 在 VGGFace2（不平衡测试）上，DeSCon-Hard 在其他方法表现不一的情况下，依然保持了稳健的公平性提升。
消融研究发现：
- 用其他成对损失（如 Triplet、Multi-Similarity）替换 SupCon 会导致性能下降，这证实了通过对所有非配对样本进行 SoftMax 聚合对于塑造分布尾部的必要性。
- 硬负样本挖掘（DeSCon-Hard）被确定为最有效的采样策略。
- 该方法能很好地泛化到更强的基于边际的损失函数，如 AdaFace。
基准测试性能： 在标准验证基准（LFW、CPLFW、AgeDB、IJB-C）上，DeSCon 变体保持了与 ArcFace 基线相当的准确率，并在具有挑战性的 IJB-C 数据集上观察到了一些改进。

5. 意义与主张

论文声称 DeSCon 为人脸识别中的公平性-性能权衡提供了一个实用的解决方案。其意义在于：

定制化公平性： 通过关注人口统计组内的“硬”非配对样本，该方法直接解决了得分分布的“运营尾部”问题，这对于实际部署至关重要。
无推理开销： 与事后归一化方法不同，DeSCon 在推理（验证）阶段不需要人口统计信息或额外的计算。
鲁棒性： 即使在训练数据存在人口统计不平衡的情况下（这是现实中的常见情况），该方法依然有效。
方法论严谨性： 作者强调了遵循国际标准（ISO/IEC 19795-10）进行公平性评估的重要性，认为许多现有指标（如使用独立阈值的单组准确率）提供了过于乐观且不切实际的公平性评估。

作者总结道，虽然 DeSCon-Hard 提供了最稳健的公平性提升，但采样策略和基础损失函数的选择是公平性感知训练中的关键设计决策。他们指出，未来的工作应侧重于将此方法扩展到目前缺乏或难以获得可靠人口统计标注的大规模数据集（如 WebFace-260M）。