FairSHAP: Preprocessing for Fairness Through Attribution-Based Data Augmentation

1. 문제 정의 (Problem)

기계 학습 모델, 특히 의료, 금융, 법률 등 고위험 분야에서 편향된 결정은 심각한 사회적 결과를 초래할 수 있습니다. 기존 편향 완화 (Bias Mitigation) 방법들은 다음과 같은 한계를 가지고 있습니다:

• 투명성 부족: 기존 전처리 (Preprocessing) 방법들은 어떤 특성이 불공정성을 유발하는지 명확하게 식별하지 못합니다. 이로 인해 데이터 수정의 근거가 불투명해지고, "공정성 세탁 (Fairwashing)"의 위험이 존재합니다.
• 개별 공정성 간과: 대부분의 연구는 인구통계학적 평등 (Demographic Parity) 과 같은 그룹 단위 공정성에 집중하여, **개별 단위 공정성 (Individual Fairness)**을 소홀히 합니다. 그러나 개별 편향을 해결하는 것이 그룹 공정성 향상으로 이어질 수 있음에도 불구하고, 두 가지를 통합적으로 다루는 접근법이 부족했습니다.
• 데이터 무결성 훼손: 과도한 데이터 변형은 모델의 예측 정확도를 떨어뜨리고 데이터의 원래 분포 (Fidelity) 를 해칠 수 있습니다.

2. 방법론 (Methodology: FairSHAP)

저자들은 FairSHAP이라는 새로운 전처리 프레임워크를 제안합니다. 이는 Shapley 값 (Shapley Value) 기반의 특성 중요도 분석과 **인스턴스 간 매칭 (Instance-level Matching)**을 결합하여 편향을 식별하고 수정합니다.

핵심 프로세스:

1. 그룹 분할 및 매칭:

   • 민감 속성 (예: 성별, 인종) 에 따라 데이터를 우대 그룹 (Privileged) 과 비우대 그룹 (Unprivileged) 으로 나눕니다.
   • 최단 거리 매칭 (Nearest Neighbor Matching) 또는 최적 수송 (Optimal Transport) 을 사용하여 두 그룹 간의 유사한 인스턴스 쌍을 형성합니다. 이때 라벨 (예: 합격/불합격) 일관성을 유지합니다.

2. Shapley 값 기반 편향 식별:

   • 타겟 그룹의 각 인스턴스에 대해 Shapley 값을 계산합니다. 이때 매칭된 상대방 그룹의 데이터를 기준 (Reference) 으로 사용하여, 민감 속성 변화에 따른 예측 결과의 차이를 설명하는 특성들의 기여도를 측정합니다.
   • **Discriminative Risk (DR)**이라는 개별 공정성 지표를 정의하며, $L_{DR}(f, x) = |f(\tilde{x}, A=0) - f(\tilde{x}, A=1)|$로 표현됩니다. (여기서 $\tilde{x}$는 민감 속성을 제외한 특성, $A$는 민감 속성입니다.)

3. 타겟팅된 데이터 증강 (Targeted Data Augmentation):

   • Shapley 값이 임계값 ($T$, 기본값 0.05) 을 초과하는 특성들을 공정성-중요 (Fairness-critical) 특성으로 간주합니다.
   • 이러한 특성들의 값을 매칭된 상대방 그룹의 인스턴스 값으로 대체하여 DR 을 감소시킵니다.
   • 이 과정은 두 그룹의 역할을 서로 바꾸어 양방향으로 수행된 후, 수정된 데이터셋을 합쳐 새로운 학습 데이터를 생성합니다.

이론적 근거:

• 개별 DR 감소 보장: 수정된 인스턴스의 DR 은 원래 값에서 Shapley 값의 합만큼 감소하며, 이는 매칭 거리 ($\epsilon$) 의 2 차 항에 비례하는 잔차 (Interaction Residual) 를 제외하고 보장됩니다.
• 그룹 공정성 전이: 개별 DR 의 감소는 인구통계학적 평등 (DP) 과 기회 균등 (EO) 과 같은 그룹 공정성 지표의 상한선을 낮추는 이론적 보장을 제공합니다.

3. 주요 기여 (Key Contributions)

1. 해석 가능한 공정성 증강 프레임워크: Shapley 값을 활용하여 편향을 유발하는 구체적인 특성과 데이터 포인트를 식별하고, 이를 기반으로 투명하게 데이터를 수정합니다.
2. 개별 및 그룹 공정성 동시 달성: 개별 공정성 (DR) 을 최적화함으로써 자연스럽게 그룹 공정성 (DP, EO) 도 개선되는 원리를 실증했습니다.
3. 최소 변형으로 최대 효과: 기존 방법들 (RSA, DIR, CR 등) 에 비해 데이터 수정 횟수를 최소화하면서도 DR, DP, EO 지표를 모두 획기적으로 개선했습니다. 특히 테스트 세트에 추가 변형을 적용할 필요가 없습니다.
4. 모델 무관성 (Model-agnostic): 전처리 단계에서 모델 정보를 한 번만 참조하여 가이드를 얻는 방식이므로, 학습된 모델의 구조와 무관하게 적용 가능합니다.

4. 실험 결과 (Results)

다양한 표 형식 데이터셋 (German Credit, COMPAS, Adult, Census Income, Default Credit) 에서 XGBoost, SVM, TabPFN 등 다양한 모델을 사용하여 평가했습니다.

• 공정성 지표 개선:
  • DR (Discriminative Risk): German Credit 데이터셋에서 최대 80% 감소, COMPAS 에서 약 40% 감소.
  • DP 및 EO: 대부분의 데이터셋에서 기존 베이스라인 및 다른 전처리 방법 (DIR, CR 등) 대비 우수한 성능을 보였습니다.
• 정확도 (Accuracy) 유지:
  • 대부분의 경우 정확도 손실이 미미하거나, 오히려 정확도가 향상되는 경우가 있었습니다 (예: COMPAS, Default Credit).
• 데이터 무결성 (Data Fidelity):
  • Wasserstein Distance 를 측정한 결과, FairSHAP 은 기존 방법들 (특히 Correlation Remover 가 95% 이상 데이터를 수정하는 것과 대조적으로) 에 비해 데이터 분포를 거의 변경하지 않았습니다.
• 비교 분석:
  • Correlation Remover (CR): DR 은 낮추지만 데이터의 95% 이상을 변형하여 무결성을 해치고, DP/EO 성능은 낮았습니다.
  • Disparate Impact Remover (DIR): FairSHAP 보다 더 많은 데이터 수정이 필요하며 성능도 낮았습니다.
  • Ablation Study: Shapley 값 없이 무작위 매칭이나 무작위 수정을 수행한 경우, FairSHAP 의 성능을 따라가지 못했습니다. 이는 매칭과 Shapley 기반의 타겟팅이 핵심임을 입증했습니다.

5. 의의 및 결론 (Significance)

• 투명성과 책임성: "왜 이 데이터가 수정되었는가?"에 대한 명확한 설명 (Shapley 값 기반) 을 제공하여 AI 시스템의 신뢰성을 높입니다.
• 실용성: 모델 학습 전에 적용 가능한 전처리 기법으로, 기존 ML 파이프라인에 쉽게 통합될 수 있습니다.
• 이론적·실증적 통합: 개별 공정성과 그룹 공정성이 상충되지 않고 상호 보완적일 수 있음을 이론적으로 증명하고 실험적으로 입증했습니다.
• 미래 방향: 계산 복잡도 (Shapley 값 추정 비용) 를 줄이기 위한 효율적인 추정기 도입 및 매칭 방법의 다양화 (최단 거리 매칭 외) 를 향후 과제로 제시했습니다.

요약하자면, FairSHAP은 해석 가능성 (Interpretability) 을 핵심 동력으로 삼아, 데이터의 본질을 해치지 않으면서 기계 학습 모델의 공정성을 체계적으로 향상시키는 혁신적인 전처리 솔루션입니다.