Reducing Biases in Record Matching Through Scores Calibration

1. 문제 정의 (Problem Definition)

• 배경: 레코드 매칭은 일반적으로 두 레코드가 동일한 실체 (Entity) 를 가리키는지 여부를 판단하는 작업입니다. 대부분의 최신 모델 (딥러닝 기반 등) 은 이진 레이블 대신 실수 값의 매칭 점수를 출력하며, 이 점수는 임계값을 통해 이진 결정으로 변환되거나 순위 매기기에 사용됩니다.
• 기존 한계:
  • 기존 공정성 (Fairness) 평가는 특정 임계값에서의 이진 결과 (예: TPR, FPR) 에만 의존합니다.
  • 그러나 특정 임계값에서는 공정해 보이지만, 다른 임계값에서는 심각한 편향을 보일 수 있습니다.
  • AUC(ROC 곡선 아래 면적) 와 같은 임계값 독립적 지표조차도, 두 그룹 간 ROC 곡선의 형태가 다르더라도 평균화되어 편향을 감지하지 못할 수 있습니다 (예 1 참조).
• 핵심 문제: 매칭 점수 함수 $s$ 전체의 분포에 걸쳐 소수 그룹과 다수 그룹 간에 체계적인 차이가 존재하는 **점수 편향 (Score Bias)**을 정의하고 이를 제거하는 방법.

2. 제안된 방법론 (Methodology)

저자들은 **임계값 독립적 (Threshold-Independent)**인 편향 측정 지표와 이를 완화하기 위한 **모델 무관 (Model-Agnostic)**한 후처리 (Post-processing) 알고리즘 두 가지를 제안합니다.

2.1. 새로운 편향 측정 지표 (Score Bias Metric)

기존의 이진 분류 공정성 지표 (Demographic Parity, Equal Opportunity, Equalized Odds) 를 점수 함수로 확장했습니다.

• 정의: 임계값 $\theta$에 따른 성능 지표 $\Phi$ (예: TPR, PR) 의 그룹 간 차이를 모든 임계값 (0 에서 1 까지) 에 대해 적분하여 정의합니다.
  $$\text{bias}(s, \Phi) = \int_{0}^{1} |\Phi_b(s, \theta) - \Phi_a(s, \theta)| d\theta$$
• 이 지표를 통해 특정 임계값에 국한되지 않은 전체 점수 분포의 편향을 정량화합니다.

2.2. Calib 알고리즘 (Demographic Parity 보정)

• 목표: 그룹 간 점수 분포를 정렬하여 **인구통계학적 평등 (Demographic Parity, DP)**을 달성합니다.
• 핵심 기술: **워터스테인 바리센터 (Wasserstein Barycenter)**를 활용합니다.
  • 소수 그룹과 다수 그룹의 점수 분포를 각각 $P_a, P_b$라고 할 때, 이 두 분포의 가중 평균 형태의 중심 분포 (바리센터) $\tilde{P}$를 계산합니다.
  • 양분법 (Quantile-based) 최적 수송: 각 그룹의 누적 분포 함수 (CDF) 를 역으로 취한 양분 함수 (Quantile Function) 를 가중 평균하여 새로운 바리센터 양분 함수를 생성합니다.
  • 과정:
    1. 레이블 없이도 사용 가능한 점수 데이터셋 $D$를 수집합니다.
    2. 각 그룹별 점수를 정렬하고 가우시안 노이즈 (Jitter) 를 추가하여 연속성을 보장합니다.
    3. 쿼리 점수의 양분 위치 (Quantile) 를 찾아, 해당 양분 위치의 다른 그룹 점수와 가중 평균을 취하여 보정된 점수를 출력합니다.
• 이론적 보장: 유한 샘플 수에서 잔여 편향과 점수 왜곡 (Risk) 이 $O_p(n^{-1/2})$ 속도로 수렴함을 증명했습니다.

2.3. C-Calib 알고리즘 (Conditional Calibration, EO/EOD 보정)

• 목표: DP 를 넘어 **동등한 기회 (Equal Opportunity, EO)**와 **동등한 오즈 (Equalized Odds, EOD)**를 달성합니다. 이는 정답 레이블 (True Label) 에 조건부인 공정성 기준입니다.
• 문제점: 보정 시점에 정답 레이블을 알 수 없는 경우가 많습니다.
• 해결책:
  • 가상 레이블 추정: MeanShift 클러스터링 알고리즘을 사용하여 점수 분포의 두 모드 (0 과 1 근처) 를 식별하고, 그 중간을 임계값 $\gamma$로 설정하여 레이블을 추정합니다.
  • 조건부 보정: 추정된 레이블 (Match/Non-match) 에 따라 데이터 스트라타 (Strata) 를 나누고, 각 스트라타 내에서 Calib 알고리즘을 독립적으로 적용합니다.
  • 이를 통해 추정된 레이블 조건 하에서 그룹 간 점수 분포를 정렬하여 EO/EOD 편향을 줄입니다.
• 이론적 분석: 레이블 추정 오차와 샘플 크기가 공정성 보장에 미치는 영향을 분석했습니다.

3. 실험 결과 (Experimental Results)

• 데이터셋 및 모델: DBLP-ACM, AMZ-GOO 등 7 개의 표준 레코드 매칭 벤치마크와 DeepMatch, HierGAT, DITTO 등 5 개의 최신 딥러닝 매칭 모델을 사용했습니다.
• 편향 발견: 기존 모델들은 특정 임계값에서는 공정해 보였으나, 전체 점수 분포를 분석한 새로운 지표 (Score Bias) 로는 상당한 편향이 존재함을 확인했습니다.
• 편향 감소 효과:
  • Calib: DP 편향을 거의 완전히 제거했습니다.
  • C-Calib: EO 및 EOD 편향을 Calib 단독 적용 시보다 훨씬 효과적으로 감소시켰습니다. (예: AMZ-GOO 데이터셋에서 HierGAT 모델의 EOD 편향이 19.50% 에서 7.39% 로 감소).
• 정확도 유지 (Risk):
  • 보정 후 AUC(모델 성능 지표) 의 감소는 매우 미미했습니다 (최대 1% 미만).
  • 특히 C-Calib 이 Calib 보다 AUC 안정성이 더 뛰어났습니다.
• 입력 데이터셋 영향: 보정에 사용되는 데이터셋 $D$가 쿼리 데이터와 분포가 다르면 보정 효과가 떨어질 수 있음을 확인했습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 편향 측정 지표: 이진 결과에 국한되지 않는, 점수 분포 전체에 걸친 임계값 독립적 편향 측정법 (Score Bias) 을 제안했습니다.
2. 모델 무관 보정 알고리즘:
   • Calib: Wasserstein Barycenter 를 이용한 DP 보정 알고리즘.
   • C-Calib: 추정 레이블 기반 조건부 보정을 통한 EO/EOD 달성 알고리즘.
3. 이론적 분석: 보정 알고리즘의 수렴 속도와 편향/위험 (Bias/Risk) 간의 trade-off 에 대한 이론적 보장을 제공했습니다.
4. 실증적 검증: 다양한 데이터셋과 모델에서 제안된 방법이 편향을 크게 줄이면서도 정확도를 유지함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 레코드 매칭 시스템에서 점수 (Score) 자체의 공정성이 중요함을 강조합니다. 단순히 임계값을 조정하는 것만으로는 해결되지 않는 체계적인 편향을, 분포 정렬 (Distributional Alignment) 기법을 통해 효과적으로 해결할 수 있음을 보였습니다.

• 실용성: 모델 재학습 (Retraining) 이 필요 없으며, 블랙박스 형태의 기존 모델에도 적용 가능합니다.
• 확장성: 레이블이 없는 환경에서도 적용 가능한 C-Calib 은 실제 배포 환경에서의 공정성 보장에 매우 유용합니다.
• 미래 방향: 이 연구는 레코드 매칭 파이프라인 전반의 편향 분석과 더 다양한 공정성 지표로의 확장을 위한 기초를 마련했습니다.

요약하자면, 이 연구는 레코드 매칭 시스템의 공정성을 높이기 위해 점수 분포의 통계적 정렬을 기반으로 한 강력한 후처리 기법을 제시하며, 기존 방법론들이 놓치고 있던 미세한 편향을 해결하는 데 기여합니다.