기술적 요약: GESD – 결과 지향적 공정성을 넘어

문제 제기

머신러닝 (ML) 알고리즘은 채용, 대출 승인, 형사 사법과 같은 고위험 분야에 점점 더 많이 배포되고 있습니다. 기존 공정성 지표 (예: 통계적 평등, 균등 확률) 는 모델 결과의 불균형을 효과적으로 정량화하지만, 의사결정 절차에 내재된 편향이나 모델 설명의 안정성을 다루지 못합니다. 현재 방법론은 예측 통계에 크게 의존하여, 모델이 공정한 결과를 산출하더라도 차별적이거나 불안정한 내부 추론에 의존하는 시나리오를 간과할 수 있습니다. 서로 다른 보호 하위 집단의 구성원들이 비교 가능한 품질, 안정성 및 견고성을 가진 설명을 받는지 측정하는 데에는 중요한 격차가 존재합니다.

방법론

1. 그룹별 설명 안정성 편차 (GESD)

저자들은 보호 하위 집단 간 모델 설명의 안정성, 견고성 및 민감도 편차를 정량화하도록 설계된 절차 지향적 공정성 지표인 GESD 를 제안합니다. 기존 특징 중요도 평균을 비교하는 측정치와 달리, GESD 는 입력 교란 하에서 설명의 신뢰성을 평가합니다.

계산은 다섯 단계로 이루어집니다:

• 설명 집계: 개별 설명자의 불일치에 대한 견고성을 확보하기 위해, SHAP 및 LIME 설명을 단일 벡터로 집계합니다: $E_{agg}(f, x) = \frac{1}{2}(E_{SHAP} + E_{LIME})$.
• 교란: 각 데이터 포인트에 대해 가우시안 노이즈와 특징 마스킹 (특성을 기준 값으로 대체) 을 사용하여 교란된 버전을 생성합니다. 이는 자연스러운 입력 변동과 결측 데이터를 시뮬레이션합니다.
• 안정성 측정: 원본 설명과 교란된 입력에 대한 설명 간의 거리를 $L_1$ 노름을 사용하여 계산합니다. 거리가 낮을수록 안정성이 높음을 의미합니다. 이를 안정성 점수 $S(x)$ (예: $1/(1+\Delta(x))$) 로 변환합니다.
• 그룹별 집계: 민감 그룹 (예: 성별, 인종) 별 안정성 점수를 평균화합니다.
• 편차 계산:
  • 두 그룹 ($K=2$) 의 경우, GESD 는 그룹별 평균 안정성 점수 간의 절대 차이입니다: $|S_0 - S_1|$.
  • $K > 2$개의 그룹인 경우, 전역 평균을 중심으로 한 그룹 안정성 점수의 분산입니다.

2. FEU 최적화 프레임워크

효용, 결과 공정성, 설명 공정성 간의 균형을 맞추는 다목적 문제를 해결하기 위해, 저자들은 공정성–설명 가능성–효용 (FEU) 프레임워크를 도입합니다.

• 목적 함수: 문제는 제약 없는 3 목적 최소화 문제로 공식화됩니다:
  1. 공정성 ($L_f$): 인구통계학적 평등 (DP) 차이 최소화.
  2. 설명 가능성 ($L_e$): GESD 최소화.
  3. 효용 ($L_u$): 곡선 아래 면적 (AUC) 최대화 (부호 반전을 통해 최소화 문제로 변환).
• 알고리즘: 이 프레임워크는 학습률, 에포크, 결정 임계값과 같은 하이퍼파라미터로 구성된 모델 구성의 집단을 진화시키는 비우세 정렬 유전 알고리즘 II (NSGA-II) 를 활용합니다.
• 선택: 결과적으로 생성된 파레토 최적 집합에서, 단일 지표의 극심한 저하 없이 세 가지 목적 전반에 걸쳐 균형을 잡은 최종 모델을 보장하기 위해 체비셰프 스칼라화를 사용하여 최종 모델을 선택합니다.

주요 기여

1. GESD 공식화: 본 논문은 모델 결과와 무관하게 설명의 견고성, 안정성 및 민감도에서 발생하는 그룹별 편차를 정량화하는 새로운 절차 지향적 지표를 정의합니다.
2. FEU 프레임워크: 저자들은 효용, 결과 기반 공정성, 설명 기반 공정성을 동시에 최적화하는 진화적 다목적 최적화 프레임워크를 제안합니다.
3. 실증적 검증: 이 연구는 GESD 가 결과 기반 지표가 놓치는 선형 및 비선형 모델 모두에서 숨겨진 그룹별 설명 편향을 탐지할 수 있음을 보여줍니다.
4. 성능 트레이드오프: 이 연구는 FEU 가 최첨단 기준 (적대적 학습, 축소, 재가중) 에 비해 효용과 공정성 간의 더 우수한 트레이드오프를 달성함을 보여줍니다.

실험 결과

실험은 독일 신용, 재범, 수학, 포르투갈의 네 가지 벤치마크 데이터셋에서 수행되었습니다. 제안된 FEU 방법은 적대적 학습 (ADL), 축소 (Red), 재가중 (RW) 과 비교되었습니다.

• 효용 및 결과 공정성: FEU 는 일반적으로 AUC 및 F1 점수 측면에서 기준 방법보다 우월하거나 경쟁력 있는 성능을 보였습니다. 또한 결과 지향적 공정성 지표 (DP 및 EOD) 에서도 경쟁력 있는 결과를 달성했으며, 종종 독일 신용 및 재범 데이터셋에서 기준 방법보다 우수한 성과를 거두었습니다.
• 절차적 공정성 (GESD): FEU 는 일부 데이터셋에서 선형 기준 (Red, RW) 보다 약간 높은 GESD 값을 보였으나, 이는 사용된 신경망 모델의 복잡성 때문으로 귀결되었습니다. 중요하게도, 이 결과는 높은 효용과 결과 공정성을 가진 모델이 여전히 상당한 설명 편차를 보일 수 있음을 강조했습니다.
• 모델 민감도: 이 연구는 비선형 모델 (FEU 및 ADL 등) 이 선형 모델에 비해 하위 집단 간에 덜 안정적인 설명을 생성하는 경향이 있음을 발견했습니다. 또한, 설명자 (SHAP 대 LIME) 의 선택은 편향 탐지에 상당한 영향을 미쳤으며, 단일 설명자가 놓칠 수 있는 편차를 견고하게 포착하기 위해 두 설명자를 집계하는 것 (GESD 에서 수행된 대로) 이 필요했습니다.
• 파레토 최적성: 독일 신용 데이터셋에서 FEU 는 세 가지 목적을 효과적으로 균형 잡는 비우세 해를 생성한 반면, 선형 기준은 종종 미미한 공정성 향상을 위해 상당한 효용을 희생했습니다.

중요성 및 주장

본 논문은 GESD 가 결과 기반과 설명 기반 공정성 간의 격차를 해소함으로써 편향을 진단하는 포괄적인 도구를 제공한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 절차적 통찰: 전통적인 지표가 간과하는 절차적 편향을 노출시켜, 결정의 결과만큼 그 추론 과정도 공정하도록 보장합니다.
• 모델 중립적 효용: GESD 는 다양한 학습 알고리즘 및 사후 해석 가능성 방법과 호환됩니다.
• 전체적 최적화: FEU 프레임워크는 효용, 공정성 및 설명 가능성을 동시에 최적화할 수 있음을 보여주며, 공정한 모델링에 대한 더 포괄적인 관점을 제공합니다.

저자들은 FEU 가 잘 수행되지만, 현재 극도로 편향된 데이터셋에 대한 특정 편향 완화 개입 (예: 적대적 편향 제거) 이 부족하다고 지적하며, 이는 향후 연구 방향으로 식별되었습니다. 또한, 그들은 GESD 를 여러 보호 범주 (교차성) 를 처리하도록 확장하고, 증가된 복잡성을 관리하기 위해 다목적 최적화 알고리즘 (예: NSGA-III) 으로 전환할 것을 제안합니다.