기술 요약: 공정하고 성능이 뛰어난 안면 인식을 위한 적응형 보정 (Adaptive Calibration)

문제 정의

현대적인 안면 인식 시스템은 얼굴 이미지를 고차원 임베딩으로 매핑하고 코사인 유사도(cosine similarity)를 매칭 점수로 활용한다. 이러한 시스템은 높은 정확도를 달 achievement 했으나, 특정 인구 통계학적 집단에 대해 상당한 불균형을 보인다. 특히 어두운 피부톤을 가진 개인의 경우 오차율이 밝은 피부톤의 개인보다 종종 한 자릿수(order of magnitude) 더 높게 나타난다.

식별된 핵심 문제는 훈련 목적 함수와 시스템 운영화 사이의 근본적인 불일치이다. 일반적으로 훈련에는 거리 기반 목적 함수(예: contrastive 또는 angular-margin loss)가 사용되는데, 이는 올바른 매치는 가깝고 잘못된 매치는 멀게 만드는 데에는 집중하지만, 절대적인 거리에 대해서는 아무런 가정을 하지 않는다. 결과적으로 동일한 코사인 거리가 임베딩 공간의 영역에 따라 서로 다른 매치 확률을 나타낼 수 있다. 과소 대표되는 인구 통계학적 집단은 임베딩 행동이 덜 제약되는 저밀도 영역을 차지하는 경우가 많다. 전역적인 임계값(global threshold)을 원시 코사인 거리에 적용할 경우, 이러한 국소적 변동을 반영하지 못하여 특정 집단에 불균형한 오류(오탐지 또는 미탐지)를 초러올 수 있다. 기존의 후처리 방법들은 전역적인 단조 매핑(Platt scaling 등)이나 이산적인 클러스터링 휴리스틱에 의존하여 연속적이고 영역 특화적인 보정 요구를 포착하지 못하거나, 추론 시 인구 통계학적 메타데이터를 필요로 하는데, 이는 실제 배포 환경에서 가용하지 않은 경우가 많다.

방법론: 적응형 보정 (Adaptive Calibration, AC)

저자들은 훈련이나 추론 시 인구 통계학적 그룹 주석(annotation) 없이도 코사인 유사도 점수와 국소 임베딩 컨텍스트를 잘 보정된 확률로 매핑하는 후처리 보정 전략인 **적응형 보정 (AC)**을 제안한다.

핵심 개념

AC는 학습된 연속적이고 국소적으로 변화하는 보정 함수를 학습함으로써 이러한 불일치를 해결한다. AC는 매치 확률이 코사인 유사도($s$)뿐만 아니라 임베딩 공간 내 쌍(pair)의 위치에도 의존한다고 가정한다.

쌍 표현 (Pair Representation)

국소적 컨텍스트를 포착하기 위해, AC는 얼굴 쌍의 정규화된 평균 임베딩($\bar{z}$)을 활용한다:
$$\bar{z} = \frac{z_1 + z_2}{\|z_1 + z_2\|_2}$$
여기서 $z_1$과 $z_2$는 두 얼굴의 정규화된 임베딩이다. 이 표현 방식이 선택된 이유는 다음과 같다:

1. 대칭적이다 (probe/gallery의 순서가 중요하지 않음).
2. 백본 임베딩과 동일한 단위 초구(unit hypersphere) 상에 존재하여 기하학적 특성을 보존한다.
3. 연속적으로 변화하여, 클러스터 기반 방법에서 발생하는 이산적인 도약을 피할 수 있다.

모델 변형 (Model Variants)

AC는 쌍 표현과 유사도 점수를 주어 매치 확률 $p$를 예측하는 이차 분류기를 훈련한다. 세 가지 변형이 제안된다:

1. AC-MLP: 결합된 벡터 $[\bar{z}, s]$를 시그모이드 출력(sigmoid output)을 통해 확률로 매핑하는 경량 다층 퍼셉트론(Multi-Layer Perceptron).
2. AC-Linear: $[\bar{z}, s]$에 대한 로지스틱 회귀 모델. 이는 유사도 점수의 국소적 순위를 보존하면서 영역 특화적인 이동을 허용한다.
3. AC-Density: 국소 밀도 측도를 통합한 하이브리드 접근 방식. 훈련 세트의 $k$-최근접 이웃까지의 평균 유클리드 거리($\rho(\bar{z})$)를 계산하여 희소 영역을 식별한다. 그 후 베이스라인 Platt-보정 점수의 잔차 오차(residual error)를 예측하기 위해 릿지 회귀(ridge regression)를 적용하며, 이때 베이스 점수, 국소 밀도, 선형 특징을 결과에 결합한다.

훈련 및 추론

이 방법은 이진 교차 엔트로피(binary cross-entropy)를 사용하여 훈련 데이터 분할 세트에서 훈련되며, 예측된 확률과 실제 매치 레이블 간의 차이를 최소화한다. 결정적으로, 이 방법은 훈련이나 추론 시 인구 통계학적 레이블을 요구하지 않는다. 이론적으로, 만약 그룹들이 임베딩 공간으로부터 복구 가능하다면, 교차 엔트로피를 최소화하도록 훈련된 충분히 표현력이 있는 모델은 모든 그러한 그룹에 대해 그룹 보정(group-calibrated)을 수행할 수 있다.

주요 기여

1. 새로운 보정 전략: 코사인 유사도 점수와 국로 임베딩 컨텍스트를 매핑하여 정확도와 공정성의 결함을 해결하는 적응형 보정(AC)을 도입하였다.
2. 우수한 성능: 광범위한 데이터셋(RFW, BFW, LFW)과 백본(ArcFace, AdaFace, MagFace, FaceNet)에 걸쳐 AC가 기존의 후처리 보정 기술(FairCal, FALCON, FRAPP´E 등)보다 우수함을 입증하였다.
3. 레이블 없는 공정성 (Label-Free Fairness): 이 방법은 추론 시 인구 통계학적 그룹 주석 없이도 공평한 보정을 달성하며, 이는 메타데이터가 없는 실제 배포 환경에서 실용적이다.
4. "수준 저하(Leveling Down)" 방지: 다수 집단의 결과를 동일하게 만들기 위해 성능을 저하시키는 일부 공정성 개입과 달리, AC는 전체적인 보정과 정확도를 향상시킨다. 특히 시스템이 가장 취약한 집단에서 효과적이다.
5. 일반화 가능성: AC는 사전에 정의된 인구 통계학적 축뿐만 아니라, 임베딩 공간에서 복구 가능한 모든 그룹(예: 인종, 성별 또는 헤드웨어와 같은 기타 속성)에 대해 그룹 보정을 제공한다.

결과

본 논문은 세 가지 표준 벤치마크에서 AC를 최신 기술(SOTA) 베이스라인들과 비교 평가하였다:

• 데이터셋: Racial Faces in-the-Wild (RFW), Bias in Face Verification (BFW), Labeled Faces in the Wild (LFW).
• 백본: ArcFace (R50, R100), AdaFace, MagFace, FaceNet.
• 지표:
  • 정확도: 거짓 양성률(FPR)이 $10^{-3}$일 때의 전역 참 양성률(TPR).
  • 공정성: 최악의 그룹 AUROC(Area Under the ROC Curve) 및 최악의 그룹 브라이어 점수(Brier Score).
  • 수준 저하 (Leveling-Down): 최악의 성능을 보이는 그룹이 얼마나 개선되었는지 측정하는 지표 (LU-AUROC).

주요 결과:

• 정확도 및 공정성: AC-Linear와 AC-Density는 일관되게 최상의 또는 최상에 근접한 레이블 없는 결과를 보여주었다. 예를 들어, MagFace를 사용한 RFW 데이터셋에서 AC-Density는 최악의 그룹 AUROC를 94.19에서 96.02로 개선하여(잔차 오차 약 30% 감소), 다른 그룹의 성능을 저하시키지 않으면서 이를 달성했다.
• 보정 품질: AC는 FairCal 및 FSN과 같은 베이스라인에 비해 최악의 보정 그룹에 대한 브라이어 점수를 유의미하게 감소시킨다.
• 수준 저하 (Leveling-Down): AC 변형 모델들은 FRAPP´E나 FSN이 다른 그룹을 해치지 않고 최악의 그룹을 개선하는 데 실패하는 것과 달리, 빈번하게 최대 "수준 향상(Leveling-Up)" 점수를 달성한다.
• 인구 통계학적 인지 방법과의 비교: 실제 인구 통계학적 레이블을 사용하는 방법들(Oracle, GST, DemoNorm)이 상한선(upper bound) 역할을 하지만, AC는 추론 시 이러한 레이블 없이도 많은 설정에서 그 성능에 근접한다.

의의 및 주장

본 논문은 적응형 보정(AC)이 공평한 안면 인식을 위한 실질적인 솔루션을 제공한다고 주장한다. 국소적으로 변화하는 함수를 사용하여 거리를 보정된 확률로 변환함으로써, AC는 훈련 목적 함수와 운영 임계값 사이의 근본적인 불일치를 교정한다.

저자들은 다음과 같은 점을 강조한다:

• 전체 성능 향상: 단순히 오류를 재분배하는 것이 아니라, 종종 전역적인 정확도를 향상시킨다.
• "수준 저하" 방지: 성능이 더 좋은 집단의 성능을 희생하지 않으면서 최악의 서비스를 받는 집단의 성능을 개선한다. 이는 공정성 개입의 흔한 실패 모드를 해결한다.
• 배포 가능성: 추론 시 인구 통계학적 메타데이터를 요구하지 않으므로, 해당 데이터가 없는 실제 애플리케케이션에 적합하다.
• 유연성: 특히 선형 변형 모델의 경우 최소한의 커스텀 코드만으로 기존 검증 파이프라인에 통합될 수 있다.

이 연구는 국소 임bed딩 컨텍스트에 집중함으로써 시스템이 정확도와 공정성을 동시에 견고하게 달성할 수 있음을 시사하며, 이는 더욱 공평한 안면 인식 기술 배포를 향한 경로를 제시한다.