FairSelect: A Systematic Evaluation of Multi-Level and Intersectional Algorithmic Fairness

기술 요약: FairSelect: 다층적 및 교차적 알고리즘 공정성에 대한 체계적 평가

문제 정의
알고리즘 공정성 분야는 전처리(pre-processing), 학습 중(in-processing), 후처리(post-processing) 단계에서 머신러닝 모델의 편향을 식별하고 완화하기 위한 수많은 방법을 산출해 왔다. 그러나 현재의 관행은 다음과 같은 세 가지 주요 한계점을 지닌다:

1. 고립성(Isolation): 공정성 기술들은 대개 단일 인구통계학적 축을 따라 고립되어 평가되며, 결합되거나 교차적인 하위 집단에 걸쳐 평가되지 않는다.
2. 체계적 가이드라인의 부재: 모델 개발자들은 특히 여러 소스의 편향을 동시에 해결하고자 할 때, 완화 전략을 어떻게 선택하거나 결합해야 하는지에 대한 명확한 지침을 갖지 못하고 있다.
3. 맥락 의존성(Context Dependency): 특정 맥락에서 개발된 개입 방식은 새로운 도메인(예: 의료 분야와 같이 교차적 불평등이 환자의 결과에 직접적인 영향을 미칠 수 있는 분야)으로 일반화될 때, 기존의 가정(인과 관계, 데이터 구조 등)에 의존하는 경련이 있다.

기존 도구들(예: AIF360, Fairlearn)은 모델링 생애주기 전반에 걸친 다수의 기술을 구조적으로 동시 평가하기보다는 개별적인 완화 전략을 지원하는 데 그친다. 또한, 단일 속성에 국한된 평가는 교차적 인구 집단에 영향을 미치는 불평등을 감지하지 못할 위험이 있다.

방법론
이러한 격차를 해소하기 위해 저자들은 다양한 공정성 기술의 조합을 체계적으로 평가하도록 설계된 모듈형 파이썬 기반 툴킷인 FairSelect를 제시한다. 이 프레임워크는 다음의 세 가지 주요 단계를 포함하는 구조화된 실행 시퀀스를 통해 작동한다:

1. 전처리(Pre-processing): 훈련 데이터 분포를 수정함.
2. 학습 중(In-processing): 모델 최적화 과정 중에 공정성 제약 조건을 포함함.
3. 후처리(Post-processing): 훈련 후 모델 출력 또는 임계값을 조정함.

핵심 구성 요소:

• 완화 기술(Mitigation Techniques): 본 툴킷은 결과 그룹 재가중치 부여(Outcome-Group Reweighting), SMOTE, 지수적 경사 감소(Exponentiated Gradient Reduction), 집단별 유든 임계값 설정(Group-Specific Youden Thresholding)을 포함하여 12가지 특정 기술(전처리 3가지, 학습 중 5가지, 후처리 4가지)을 구현한다.
• 모델 지원: 7가지 지도 학습 알고리즘(로지스틱 회귀, 랜덤 포레스트, 결정 트리, 신경망, SVM, XGBoost, LightGBM)을 지원한다.
• 평가 지표: 예측 성능(AUROC, 정확도, F1, Brier Score, ECE)과 공정성(인구통계학적 패리티, 등가 기회, TPR, FPR)을 개별 인구통계학적 속성 및 교차적 하위 집단 조합 모두에 대해 평가한다.

실험 설계
프레임워크는 두 가지 별도의 접근 방식을 통해 검증되었다:

1. 합성 데이터 실험: 특정 편향 메커니즘(예: 표현 불균형, 레이블 편향, 보정 편향) 및 데이터 불균형을 시뮬레이션하기 위해 일련의 데이터셋을 생성하였다. 이는 특정 개입이 목표로 하는 편향 패턴을 올바르게 교정하는지 확인하기 위한 통제된 스트레스 테스트 역할을 하였다.
2. 실제 임상 재현: 본 툴킷은 'All of Us' 연구 프로그램의 데이터를 사용하여 심방세동(AF) 환자의 2년 내 뇌졸중 위험을 예측하는 실제 임상 데이터셋에 적용되었다. 연구에는 개발 코호트(8,777명 참여)와 테스트 코호트(2,383명 참여)가 사용되었으며, 하위 집단의 일반화 가능성을 평가하기 위해 서로 다른 지리적 및 시간적 분포를 가졌다.

주요 결과

• 합성 실험: 표적화된 공정성 방법들은 의도된 하위 집단 격차를 일반적으로 감소시켰다. 결합된 다층 전략은 단일 방법(평균 EO_diff 개선 0.0175)에 비해 더 큰 평균 공정성 개선(평균 EO_diff 개선 0.0331)을 보였으나, 이는 완만한 효용성 트레이드오프(단일 방법의 평균 AUROC 감소 0.0014 대비 다층 방법의 평균 AUROC 감소 0.0125)를 동반했다. 결정적으로, 결과는 공정성 개입이 비가산적(non-additive) 방식으로 상호작용함을 보여주었다. 즉, 일부 조합은 단일 방법보다 제한된 이점만을 제공하거나 공정성 이득을 오히려 감소시켰다.
• 임상 뇌졸중 예측:
  • 베이스라인: 모델들은 강력한 예측 성능을 보였으나 공정성 측면에서는 상당한 변동성을 보였다(예: 결정 트리의 베이스라인 EO_diff는 1.000인 반면, 랜덤 포레스트는 0.063이었다).
  • 단일 방법 성능: 공정성 개선 효과가 일관되지 않았다. 단일 방법 실행 중 22.3%만이 등가 기회 차이(EO_diff)를 감소시켰으며, 많은 경우 오히려 격차를 악화시켰다.
  • 다층 성능: 결합된 전략은 개선 가능성이 더 높았으나 변동성 또한 컸다. 많은 조합이 효과가 없거나 역효과를 냈지만, 특정 구성(예: 재가중치 부여와 앙상블 학습 중 과정을 결합한 랜덤 포레스트)은 예측 성능을 유지하면서 의미 있는 공정성 이득을 달로했다. 반대로, 일부 조합은 AUROC를 크게 감소시켰다.
  • 교차성(Intersectionality): 연구는 단일 축 평가로는 놓칠 수 있는, 여러 보호 특성이 교차하는 지점에서 격차가 지속되거나 새롭게 나타날 수 있음을 강조하였다.

의의 및 주장
본 논문은 공정성 개입이 독립적인 구성 요소가 아니며, 누적되거나 가산적인 효과를 낼 것이라고 가정할 수 없다고 주장한다. FairSelect의 주요 의의는 다음과 같다:

1. 조합의 체계적 평가: 모델링 생와주기 전반에 걸쳐 공정성 전략이 어떻게 상호작용하는지 테스트할 수 있는 실용적인 프레임워크를 제공하며, 이를 통해 효과가 매우 맥락 의존적임을 밝혀냈다.
2. 교차적 분석 지원: 이질적인 환자 집단이 존재하는 임상적 의사결정에서 필수적인, 교차하는 보호 특성 간의 격차 평가를 가능하게 한다.
3. 공정성-효용 트레이드오프의 재정의: 연구 결과는 공정성과 예측 성능이 항상 엄격하게 경쟁하는 관계는 아님을 시사한다. 어떤 경우에는 다층적 개입이 모델의 일반화 성능을 저하시키는 편향 패턴까지 함께 교정함으로써 형평성과 정확도를 모두 향상시키기도 했다.

저자들은 "원 사이즈 핏 올(one-size-fits-all)" 방식의 공정성 솔루션은 존재하지 않는다고 결론짓는다. 대신, 실제 임상 환경에서 모델 성능을 보존하면서도 하위 집단의 형평성을 개선할 수 있는 효과적인 완화 전략을 식별하기 위해서는 FairSelect와 같은 체계적인 다층적 평가 프레임워크가 반드시 필요하다.