技术摘要：用于公平且高性能人脸识别的自适应校准

问题陈述

现代人脸识别系统将人脸图像映射到高维嵌入（embeddings），并利用余弦相似度作为匹配分数。尽管这些系统已取得了极高的准确率，但它们表现出显著的人口统计学差异，即对于深肤色人群的错误率通常比浅肤色人群高出一个数量级。

确定的核心问题在于训练目标与系统运行机制之间存在根本性的不匹配。训练通常采用基于距离的目标函数（例如对比损失或角边际损失），这些函数确保正确匹配的距离更近，但不对绝对距离做任何假设。因此，相同的余弦距离在不同的嵌入空间区域可能对应着不同的正确匹配概率。代表性不足的人口统计群体往往占据了嵌入空间中低密度的区域，而在这些区域中，嵌入行为受到的约束较少。当对原始余弦距离应用全局阈值时，该方法无法考虑到这些局部变化，从而导致不成比例的误差（误拒或误识）出现在少数群体身上。现有的后处理方法通常依赖于全局单调映射（如 Platt 缩放）或离散聚类启发式方法，这些方法无法捕捉连续的、特定区域的校准需求，或者在推理时需要人口统计学元数据，而这类数据在现实世界的部署中往往是不可用的。

方法论：自适应校准 (Adaptive Calibration, AC)

作者提出了自适应校准 (AC)，这是一种后验校准策略，它通过将余弦相似度分数和局部嵌入上下文映射为校准后的概率，且在训练或推理阶段均不需要人口统计学分组标注。

核心概念

AC 通过学习一个连续且局部变化的校准函数来解决这种不匹配问题。它假设匹配的概率不仅取决于余弦相似度 ($s$)，还取决于该对样本在嵌入空间中的位置。

对组合表示 (Pair Representation)

为了捕捉局部上下文，AC 利用了人脸对的归一化平均嵌入 ($\bar{z}$):
$$\bar{z} = \frac{z_1 + z_2}{\|z_1 + z_2\|_2}$$
其中 $z_1$ 和 $z_2$ 是两张人脸的归一化嵌入。选择该表示法的原因如下：

1. 它是对称的（探测者/库中图像的顺序不影响结果）。
2. 它位于与骨干网络嵌入相同的单位超球面上，保留了几何特性。
3. 它是连续变化的，避免了与基于聚类的方法相关的离散跳跃。

模型变体

AC 训练一个辅助分类器，根据对组合表示和相似度分数来预测匹配概率 $p$。文中提出了三种变体：

1. AC-MLP： 一个轻量级的多层感知器，将拼接向量 $[\bar{z}, s]$ 映射到通过 Sigmoid 输出的概率。
2. AC-Linear： 在 $[\bar{z}, s]$ 上进行的逻辑回归模型。它在允许区域特定偏移的同时，保留了相似度分数的局部排序。
3. AC-Density： 一种结合了局部密度度量的混合方法。它计算训练集中 $k$-最近邻的平均欧几里得距离 ($\rho(\bar{z})$) 以识别稀疏区域。随后，它应用岭回归来预测基础 Platt 校准分数的残差误差，将基础分数、局部密度和线性特征结合起来。

训练与推理

该方法在校准集上进行训练，使用二元交叉熵来最小化预测概率与地面真值匹配标签之间的差异。至关重要的是，它在训练或推理过程中不需要人口统计学标签。从理论上讲，如果这些群体可以从嵌入空间中恢复，那么一个旨在最小化交叉熵的足够表达的模型，对于任何此类群体都将实现群体校准。

核心贡献

1. 新颖的校准策略： 引入了自适应校准，它将局部嵌入上下文和相似度分数映射为校准后的匹配概率，解决了准确性和公平性方面的缺陷。
2. 卓越的性能： 证明了 AC 在多种数据集（RFW, BFW, LFW）和骨干网络（ArcFace, AdaFace, MagFace, FaceNet）上均优于现有的后验校准技术（如 FairCal, FALCON, FRAPP´E）。
3. 无标签公平性： 该方法实现了公平的校准，且在推理时不需要人口统计学分组标注，使其在无法获取此类元数据的实际部署场景中具有实用性。
4. 避免“降级提升” (Leveling Down)： 与某些通过降低多数群体性能来使结果均等化的公平干预措施不同，AC 提升了整体校准水平和准确率，特别是针对那些表现最差的群体。
5. 泛化性： 该方法为任何可从嵌入空间中恢复的群体（例如：种族、性别或头饰等其他属性）提供群体校准，而不仅仅限于预定义的人口统计轴。

结果

论文在三个标准基准测试上评估了 AC 与最先进的基准方法的表现：

• 数据集： Racial Faces in-the-Wild (RFW), Bias in Face Verification (BFW), 以及 Labeled Faces in the Wild (LFW)。
• 骨干网络： ArcFace (R50, R100), AdaFace, MagFace, 和 FaceNet。
• 指标：
  • 准确率： 在假阳性率 (FPR) 为 $10^{-3}$ 时的全局真阳性率 (TPR)。
  • 公平性： 最差群体下的 ROC 曲线下面积 (AUROC) 和 最差群体 Brier 分数。
  • 降级程度 (Leveling-Down)： 一个名为 LU-AUROC 的指标，衡量有多少最差性能的群体得到了改善。

主要发现：

• 准确性与公平性： AC-Linear 和 AC-Density 在各种无标签设置下始终保持最佳或接近最佳的结果。例如，在 MagFace 配合 RFW 数据集的情况下，AC-Density 将最差群体的 AUROC 从 94.19 提升到了 96.02（残差误差减少了约 30%），且没有降低其他群体的性能。
• 校准质量： 与 FairCal 和 FSN 等基准相比，AC 显著降低了最差校准群体的 Brier 分数。
• 降级程度 (Leveling-Down)： AC 变体经常实现最大的“提升得分” (Leveling-Up score)，即所有群体都在改善；而像 FRAPP´E 和 FSN 这样的方法往往无法在不损害其他群体性能的前提下改善最差群体。
• 与人口统计学感知方法的比较： 虽然需要真实人口统计学标签的方法（Oracle, GST, DemoNorm）作为性能上限，但在许多设定下，AC 在无需这些标签进行推理的情况下，达到了接近其性能的水平。

意义与主张

论文声称，自适应校准为实现公平的人脸识别提供了一个切实可行的解决方案。通过使用局部变化的函数将距离转换为校准后的概率，AC 纠正了训练目标与运行阈值之间的根本性不匹配。

作者强调，其方法：

• 提升整体性能： 它不仅仅是重新分配误差，而且通常会增强全局准确率。
• 避免“降级提升” (Leveling Down)： 它在不牺牲表现较好群体性能的前提下，改善了服务最差群体的性能，解决了公平性干预中常见的失效模式。
• 具备可部署性： 它在推理时不需要人口统计学元数据，非常适合此类数据不可得的现实应用。
• 具有灵活性： 它可以以极少的自定义代码集成到现有的验证流水线中，尤其是线性变体。

这项工作表明，通过关注局部嵌入上下文，系统可以同时实现稳健的公平性和准确性，为更公平地部署人脸识别技术提供了一条路径。