MIFair: A Mutual-Information Framework for Intersectionality and Multiclass Fairness

**"MIFair: Intersectionality 및 Multiclass Fairness 를 위한 상호정보량 프레임워크"**에 대한 상세한 기술적 요약입니다.

1. 문제 제기

기계 학습 공정성은 세 가지 주요 장애물에 의해 저해됩니다:

• 보편성 부재: 공정성에 대한 단일 정의는 존재하지 않으며, 기존 지표들 (예: 통계적 평등, 균등한 오즈) 은 종종 서로 호환되지 않고 특정 공식에 종속되어 있습니다.
• 제한된 범위: 대부분의 기존 방법은 이진 분류 및 단일 속성 민감 그룹에 국한됩니다. 이들은 교차성(인종 + 성별과 같은 여러 속성의 조합에서 발생하는 차별) 과 다중 클래스 예측 작업을 처리하는 데 어려움을 겪습니다.
• 분열성: 이 분야는 다양한 공정성 개념과 복잡한 하위 그룹 구조를 동시에 벤치마킹, 비교 및 편향 완화하기 위한 통합 프레임워크가 부족합니다.

2. 방법론: MIFair 프레임워크

저자들은 **상호정보량 (Mutual Information, MI)**을 기반으로 한 MIFair를 제안합니다. 이는 편향 평가 지표이자 완화 전략으로 모두 기능하는 통합 프레임워크입니다.

A. 이론적 기반

MIFair 은 그룹 공정성을 모델 예측 ($\hat{Y}$) 과 실제 값 ($Y$) 에서 유도된 "이익" 변수 ($B$) 와 민감 속성 ($A$) 간의 통계적 독립성으로 재형식화합니다.

• 지표 템플릿: 핵심 지표는 $\iota_{fairness} = I(A; B)$로 정의되며, 여기서 $I$는 상호정보량입니다.
  • $I(A; B) = 0$은 완벽한 공정성 (통계적 독립) 을 의미합니다.
  • 더 높은 값은 더 강한 의존성과 더 큰 편향을 나타냅니다.
• 개념의 통합: 각 공정성 개념마다 이익 변수 $B$를 명시적으로 다르게 정의함으로써, MIFair 는 다양한 기준을 단일 수학적 형태로 통합합니다:
  • 통계적 평등 (SP): $B = \hat{Y}$
  • 균등한 기회 (EO): $B = \hat{Y} \mid Y=1$
  • 예측 균등성 (PE): $B = \hat{Y} \mid Y=0$
  • 균등한 오즈: EO 와 PE 의 가중 합.
  • 전체 정확도 균등성: $B = \mathbb{1}\{\hat{Y} = Y\}$

B. 편향 완화 (In-Processing)

MIFair 는 훈련 중 표준 경험적 위험 최소화 (ERM) 목적 함수를 수정하는 in-processing 방식을 사용합니다.

• 정규화된 목적 함수: 훈련 손실에는 공정성 정규화 항이 추가됩니다:
  $$\min_{w} L(D, w) + \eta \cdot \hat{\iota}_{fairness}(D, w)$$
  여기서 $L$은 작업 손실 (예: 교차 엔트로피) 이고, $\eta$는 정규화 강도이며, $\hat{\iota}_{fairness}$는 상호정보량의 경험적 추정치입니다.
• 추정: 적대적 훈련이나 MINE 과 같은 변분 추정기의 계산 비용과 불안정성을 피하기 위해, MIFair 는 미니배치 샘플에서 유도된 **계수 기반 근사 (count-based approximation)**를 사용하여 MI 를 추정합니다. 이는 모델의 출력 확률과 배치 데이터로부터 직접 결합 분포와 주변 분포를 추정합니다.

3. 주요 기여

1. 통합 프레임워크: MIFair 는 독립성, 분리성 등 다양한 공정성 정의를 단일 일관된 정보이론 템플릿으로 통합하여 일관된 벤치마킹을 가능하게 합니다.
2. 교차성 지원: 대부분의 기존 작업이 이진 속성으로 제한된 것과 달리, MIFair 는 민감 속성의 벡터를 자연스럽게 처리하여 복잡한 하위 그룹 구조 (예: $|G| > 2$) 의 평가를 가능하게 합니다.
3. 다중 클래스 기능: 이 프레임워크는 기존 공정성 지표가 실패하는 많은 영역을 해결하며, 다중 클래스 분류 작업으로 매끄럽게 확장됩니다.
4. 실용적 완화: 계산 효율성 (적대적 네트워크 불필요) 이 높고 유연한 정규화 기반 훈련 방법을 도입하여, 실무자가 $B$의 정의를 통해 특정 공정성 개념을 선택할 수 있게 합니다.

4. 실험 결과

저자들은 UCI Adult(표 형식 데이터) 와 CelebA(이미지 데이터) 두 가지 데이터셋에서 MIFair 를 평가했습니다.

• 편향 감소: 정규화 매개변수 $\eta$를 증가시키면 모든 하위 그룹 쌍에 대해 해당 MIFair 지표 ($\iota_{fairness}$) 와 관련 고전적 지표 (SPD, EOD, OAE) 가 일관되게 감소했습니다.
• 교차성: Adult 데이터셋 (3 개 민감 속성, 8 개 하위 그룹) 에서 MIFair 는 공통 속성 값을 공유하지 않는 가장 뚜렷한 교차 그룹들 (예: 공통 속성 값이 없는 그룹 간 비교) 에 대해서도 성공적으로 편향을 감소시켰으며, 허용 가능한 공정성 범위 $[-0.2, 0.2]$로 수렴했습니다.
• 다중 클래스 성능: CelebA(머리색 예측) 에서 MIFair 는 SP 지표에서 96% 감소를 달성했으며, 최대 정확도 손실은 **9.1%**에 불과하여 다중 클래스 설정에서 효과적인 편향 감소를 입증했습니다.
• 공정성 - 정확도 트레이드오프: 강한 정규화로 인해 정확도 ($ACC_{mean}$) 는 약간 감소했지만, 가중 정확도 ($ACC_{weighted}$) 는 더 안정적으로 유지되어 모델이 붕괴되지 않고 표현 편향을 수정했음을 나타냅니다.
• 비호환성 입증: 실험은 한 개념 (예: 전체 정확도 균등성) 을 최적화하는 것이 반드시 다른 개념 (예: 통계적 평등) 을 개선하는 것은 아님을 보여주어, 특정 윤리적 목표에 맞는 올바른 지표를 선택할 필요성을 강조했습니다.
• 베이스라인 비교: KDE 기반 베이스라인 [31] 과 비교했을 때, MIFair 는 더 낮은 상호정보량 (더 나은 독립성) 과 훨씬 높은 정확도를 달성했으나, 베이스라인은 약간 더 낮은 차별적 영향 (DDP) 을 보였습니다. 이는 MI 가 쌍별 편차 지표와 다른 편향 측면을 포착함을 시사합니다.

5. 중요성과 영향

• 다용도성: MIFair 는 이전에 다루기 어려웠던 복잡하고 현실적인 시나리오 (다중 클래스, 다중 속성) 를 지원함으로써 이론적 공정성 정의와 실용적 응용 사이의 간극을 메웁니다.
• 표준화: 단일 지표 템플릿을 제공함으로써 다양한 공정성 개념 간의 비교를 용이하게 하여, 연구자와 실무자가 서로 다른 정의 간의 트레이드오프를 이해하는 데 도움을 줍니다.
• 접근성: 계수 기반 MI 추정을 사용함으로써 계산 효율성이 높고 복잡한 적대적 훈련 설정 없이도 표준 딥러닝 파이프라인에 쉽게 통합할 수 있습니다.
• 미래 방향: 이 논문은 연속 상호정보량 공식을 사용하여 공정성을 연속 특징과 출력으로 확장하는 기반을 마련했습니다.

요약하자면, MIFair 는 이진 단일 속성 공정성의 한계를 넘어 교차성 및 다중 클래스 차별의 구조적 복잡성을 해결하는 견고하고 원칙적이며 유연한 현대 공정성 문제 해결책을 제시합니다.