技術要約：公平かつ高性能な顔認識のための適応型キャリブレーション（Adaptive Calibration）

問題提起

現代の顔認識システムは、顔画像を高次元の埋め込み（エンベディング）に写像し、コサイン類似度をマッチングスコアとして利用している。これらのシステムは高い精度を達成している一方で、重大な人口統計学的格差を示しており、肌の色が濃い個人に対するエラー率は、肌の色が明るい個人と比較してしばしば1桁高い。

特定された核心的な問題は、学習目的関数とシステムの運用化との間にある根本的な不一致である。学習では通常、距離ベースの目的関数（コントラスティブ損失や角度マージン損失など）が用いられ、これらは「正しい一致は誤った一致よりも近い」ことを保証するが、絶対的な距離については何の仮定も置かない。その結果、同じコサイン距離であっても、埋め込み空間の領域によって、正しい一致である確率が異なる可能性がある。過小評価されている人口統計学的グループは、この空間内の低密度な領域を占めることが多く、そこでは埋め込みの挙動が十分に制約されていない。グローバルな閾値を生のコサイン距離に適用すると、これらの局所的な変動を考慮できないため、不均衡なエラー（誤拒絶または誤受容）を招くことになる。既存のポストプロセッシング手法は、グローバルな単調写像（Plattスケーリングなど）や離散的なクラスタリング・ヒューリスティックに依存していることが多く、これらは連続的かつ領域固有のキャリブレーションのニーズを捉えることができない。あるいは、推論時に人口統計学的メタデータを必要とするが、これは現実世界のデプロイメントでは利用できないことが多い。

手法：適応型キャリブレーション (Adaptive Calibration, AC)

著者らは、学習時および推論時に人口統計学的グループの注釈を必要としない、ポストホック（事後）キャリブレーション戦略である適応型キャリブレーション (AC) を提案する。ACは、コサイン類似度スコアと局所的な埋め込みコンテキストを、適切にキャリブレーションされた確率へと写像する。

核心的概念

ACは、学習目的と運用の間の不一致を、連続的で局所的に変化するキャリブレーション関数を学習することによって解決する。ACは、マッチングの確率はコサイン類似度 ($s$) だけでなく、ペアが埋め込み空間内のどの位置にあるかにも依存すると仮定している。

ペアの表現

局所的なコンテキストを捉えるために、ACは顔ペアの正規化平均埋め込み ($\bar{z}$) を利用する：
$$\bar{z} = \frac{z_1 + z_2}{\|z_1 + z_2\|_2}$$
ここで、$z_1$ と $z_2$ は2つの顔の正規化された埋め込みである。この表現が選ばれた理由は以下の通りである：

1. 対称的である（プローブとギャラリーの順序が影響しない）。
2. バックボーンの埋め込みと同じ単位超球上に存在するため、幾何学的特性を保持している。
3. 連続的に変化するため、クラスタベースの手法に伴う離散的なジャンプを回避できる。

モデルのバリアント

ACは、ペアの表現と類似度スコアからマッチング確率 $p$ を予測する二次分類器を学習する。3つのバリアントが提案されている：

1. AC-MLP: 連結されたベクトル $[\bar{z}, s]$ をシグモイド出力による確率へと写像する、軽量な多層パーセプトロン（MLP）。
2. AC-Linear: $[\bar{z}, s]$ に対するロジスティック回帰。これは類似度スコアの局所的なランキングを保持しつつ、領域固有のシフトを可能にする。
3. AC-Density: 局所的な密度尺度を組み込んだハイブリッド・アプローチ。学習セットにおける $k$-近傍の平均ユークリッド距離 ($\rho(\bar{z})$) を計算し、疎な領域を特定する。その後、ベースとなるPlattキャリブレーション済みスコアの残差エラーを予測するためにリッジ回帰を適用し、ベーススコア、局所密度、および線形特徴量を組み合わせる。

学習と推論

この手法は、予測確率と正解のマッチラベルとの差異を最小化するように、バイナリクロスエントロピーを用いてキャリブレーション・スプリット上で学習される。極めて重要な点は、学習時および推論時に人口統計学的ラベルを必要としないことである。理論的には、もしグループが埋め込み空間から復元可能であれば、クロスエントロピーを最小化するように学習された十分に表現力のあるモデルは、あらゆるそのようなグループに対してグループ・キャリブレーションされたものとなる。

主な貢献

1. 新しいキャリブレーション戦略： 局所的な埋め込みコンテキストと類似度スコアをマッピングすることで、精度と公平性の両方の欠点を解決する、適応型キャリブレーションの導入。
2. 優れたパフォーマンス： 広範なデータセット（RFW, BFW, LFW）およびバックボーン（ArcFace, AdaFace, MagFace, FaceNet）において、ACが既存のポストホック・キャリブレーション技術（FairCal, FALCON, FRAPPÉなど）を凌駕することを実証。
3. ラベルフリーの公平性： 本手法は、推論時に人口統計学的注釈を必要とせずに公平なキャリブレーションを実現する。これは、メタデータが利用できない現実世界のデプロイメントにおいて実用的である。
4. 「レベルダウン」の回避： 出力を等しくするために多数派グループの性能を低下させる一部の公平性介入とは異なり、ACは全体的なキャリブレーションと精度を向上させる。特に、システムが最も性能を発揮しにくいグループにおいて顕著である。
5. 汎用性： 本アプローチは、定義された人口統計学的軸だけでなく、埋め込み空間から復元可能なあらゆるグループ（民族、性別、あるいはヘッドウェアなどの属性）に対してグループ・キャリブレーションを提供する。

結果

論文では、ACを3つの標準的なベンチマークで既存の最先端のベースラインと比較評価している：

• データセット： Racial Faces in-the-Wild (RFW), Bias in Face Verification (BFW), Labeled Faces in the Wild (LFW)。
• バックボーン： ArcFace (R50, R100), AdaFace, MagFace, FaceNet。
• 指標：
  • 精度： False Positive Rate (FPR) が $10^{-3}$ の時のGlobal True Positive Rate (TPR)。
  • 公平性： 最悪グループのArea Under the ROC Curve (AUROC) および 最悪グループのBrier Score。
  • レベルダウン： 最悪のパフォーマンスを示すグループがどれだけ改善したかを測定する指標（LU-AUROC）。

主な知見：

• 精度と公平性： AC-LinearおよびAC-Densityは、ラベルフリーの結果において一貫して最高またはそれに準ずる性能を示した。例えば、MagFaceを用いたRFWにおいて、AC-Densityは最悪グループのAUROCを94.19から96.02へと向上させた（残差エラーを約30%削減）。これは他のグループを劣化させることなく達成された。
• キャリブレーションの質： ACは、FairCalやFSNのようなベースラインと比較して、最もキャリブレーションが不適切なグループのBrierスコアを大幅に減少させた。
• レベルダウン： ACのバリアントは、FRAPPÉやFSNが他を損なうことなく最悪のグループを改善することに失敗することが多いのに対し、頻繁に最大級の「レベルアップ」スコア（すべてのグループが改善する状態）を達成した。
• 人口統計学的情報を考慮した手法との比較： 真の人口統計学的ラベルを用いる手法（Oracle, GST, DemoNorm）が上限値となるが、ACは多くの設定において、それらのラベルを推論時に必要とせずに、それらに近い性能に到達している。

意義と主張

本論文は、適応型キャリブレーションが公平な顔認識のための実用的な解決策を提供すると主張している。距離を局所的に変化する関数を用いてキャリブレーションされた確率に変換することにより、ACは学習目的と運用閾値の間の根本的な不一致を修正する。

著者らは、以下のように強調している：

• 全体的な性能を向上させる： 単にエラーを再分配するのではなく、多くの場合、グローバルな精度を強化する。
• 「レベルダウン」を回避する： 最も不遇なグループの性能を向上させると同時に、より優れたグループの性能を犠牲にすることなく、公平な介入における一般的な失敗モードに対処する。
• デプロイ可能である： 推論時に人口統計学的メタデータを必要としないため、そのようなデータが利用できない現実世界のアプリケーションに適している。
• 柔軟である： 最小限のカスタムコードで既存の検証パイプラインに統合可能であり、特に線形バリアントにおいてその傾向が強い。

本研究は、局所的な埋め込みコンテキストに焦点を当てることで、システムが精度と公平性を同時に達成できることを示唆しており、より公平な顔認識技術の展開への道筋を提示している。