Tuning Derivatives for Causal Fairness in Machine Learning

기술 요약: 기계 학습에서 인과적 공정성을 위한 미분 조정

문제 제기
인공지능 시스템은 종종 인종, 성별, 연령과 같은 보호 속성에 관한 사회적 편향을 계승합니다. 예측이 보호 속성과 독립적이어야 한다고 요구하는 통계적 평등 (Statistical Parity, SP) 과 같은 고전적 공정성 지표는 지나치게 제한적인 경우가 많습니다. 이는 보호 속성이 예측에 정당하게 요구되는 '비즈니스 필요성'이나 '해결 변수'(예: 재범 위험 평가에서의 전과 기록) 에 영향을 미칠 때 특히 그렇습니다. 최근의 인과적 공식화는 '허용되지 않는 경로'(보호 속성의 직접적 영향) 와 '허용된 경로'(비즈니스 필요성을 통한 간접적 영향) 를 구분함으로써 이를 해결하며, 종종 합법적인 영향이 유지되도록 예측 평등 (Predictive Parity, PP) 을 통합합니다. 그러나 인과적 대비에 의존하는 기존 경로 기반 정의는 주로 범주형 속성을 위해 설계되었습니다. 연속형 보호 속성 (예: 연령) 에 적용될 경우, 무한한 지점에서 대비를 평가해야 하므로 이러한 방법들은 실용적이지 않게 됩니다.

방법론
저자들은 연속형 보호 속성에 특화된 구조적 인과 모델 (Structural Causal Models, SCMs) 내 인과적 공정성을 위한 프레임워크를 제안합니다.

1. 미분 기반 정의:

   • 미분 통계적 평등 (SPD): 대비를 사용하는 대신, 저자들은 경로 $\pi$를 따라 SP 를 해당 경로의 구조적 메커니즘에 대한 편미분의 곱이 0 이 되도록 정의합니다. 이는 예측기가 허용되지 않는 경로를 따라 보호 속성에 대해 일정하도록 보장합니다.
   • 미분 예측 평등 (PPD): PP 는 허용된 경로를 따라 예측기에 대한 편미분을 데이터 생성 과정 (DGP) 의 실제 결과 변수에 대한 편미분과 동일하게 정의함으로써 정의됩니다. 이는 예측기가 비즈니스 필요성의 합법적인 영향을 복제하도록 보장합니다.

2. 존재 조건:
   본 논문은 SPD 와 PPD 를 동시에 만족하는 예측기의 존재에 대한 필요충분조건을 확립합니다. 직접적인 허용되지 않는 경로 ($X \to Y$) 와 허용된 경로 ($W \to Y$) 에 대해, 기대 결과의 혼합 편미분이 0 일 때만 공정한 예측기가 존재합니다: $\frac{\partial^2}{\partial w \partial x} E[Y | P_A^Y = p] = 0$. 이 조건이 성립하지 않으면 SPD 와 PPD 간의 트레이드오프는 피할 수 없습니다.

3. 공정 조정 알고리즘:
   이러한 예측기를 구축하기 위해 저자들은 신경망용 '공정 조정 (fair tuning)' 알고리즘을 제안합니다:

   • 1 단계: 예측 손실 (예: MSE) 을 최소화하도록 제약이 없는 예측기 ($\hat{Y}_{\theta_U}$) 를 적합시킵니다.
   • 2 단계: 제약이 없는 매개변수로 공정한 예측기를 초기화합니다.
   • 3 단계: 다음으로 구성된 복합 손실 함수 ($L_{FT}$) 를 최적화합니다:
     • 예측 손실 (조정된 예측기와 제약이 없는 예측기 간의 MSE).
     • SPD 손실 (허용되지 않는 경로를 따라 편미분의 L1 노름).
     • PPD 손실 (허용된 경로를 따라 예측기의 미분과 제약이 없는 예측기의 미분 간의 차이의 L1 노름).
   • 하이퍼파라미터 $\lambda_{SPD}$와 $\lambda_{PPD}$는 호환성 조건이 충족되지 않을 때 한 가지 공정성 기준을 다른 기준보다 우선시하도록 사용자가 선택할 수 있게 합니다.

주요 기여

• 공식화: 본 논문은 경로별 편미분을 사용하여 SP 와 PP 를 공식화함으로써, 무한한 대비를 평가하는 계산적 부담 없이 인과적 공정성 정의를 연속형 보호 속성에 적용 가능하게 합니다.
• 이론적 특성화: 이러한 미분 기반 정의가 이전 대비 기반 인과적 정의와 일치하는 조건을 유도하고, 공정한 예측기의 동시 존재를 위한 호환성 기준 (정리 1) 을 확립합니다.
• 알고리즘적 해결책: 호환성 기준이 충족될 때 공정한 예측기를 구축하고, 충족되지 않을 때 유연한 트레이드오프 메커니즘을 제공하는 실용적인 조정 알고리즘을 도입합니다.
• 실증적 검증: 이 방법은 선형 및 곱셈형 DGP 를 포함한 시뮬레이션 데이터와 실제 COMPAS 데이터셋에서 평가되었으며, SP(SPT) 만에 초점을 맞춘 방법 및 주변화 (marginalization) 방식과 비교하여 성능을 검증했습니다.

결과

• 시뮬레이션 데이터: SPD 와 PPD 가 호환되는 선형 환경에서 공정 조정 (FT) 알고리즘은 두 손실을 동시에 성공적으로 최소화합니다. 호환되지 않는 비선형 (곱셈형) 환경에서 알고리즘은 예상된 트레이드오프를 보여줍니다: 한 지표에 대한 제약을 강화하면 다른 지표가 저하됩니다. FT 방법은 특히 PPD 를 고려할 때 공정성 제약을 준수하면서 예측 성능을 유지하는 데 있어 주변화 및 SPT 전용 접근법보다 우수한 성과를 보입니다.
• COMPAS 데이터셋: 재범 예측에 적용된 FT 알고리즘 (특히 균형 잡힌 가중치를 사용한 경우) 은 SPT 및 Marginalize 방법에 비해 SPD 와 PPD 간의 더 나은 절충안을 달성했습니다. 모든 제약 모델이 제약이 없는 기준선보다 예측 성능이 감소했지만, FT 10 은 PPD 손실을 현저히 줄이면서 더 높은 정확도와 F1 점수를 유지했습니다.
• 미분 대비 대비: COMPAS 데이터셋의 이진 특징에 적용될 때, 미분 기반 손실 (SPD/PPD) 을 최소화하는 것은 일반적으로 대비 기반 손실 (CSP/CPP) 을 감소시켰으나, 일부 고제약 시나리오에서는 불일치가 관찰되었습니다.

의의 및 주장
본 논문은 미분 기반 프레임워크가 기존 대비 기반 방법들이 남긴 공백을 메우는 연속 영역에서의 인과적 공정을 위한 실용적이고 이론적으로 근거 있는 해결책을 제공한다고 주장합니다. 저자들은 편미분을 통해 통계적 평등과 예측 평등 간의 트레이드오프를 명시적으로 모델링함으로써, 실무자들이 차별을 완화하면서도 비즈니스 필요성을 존중하는 예측기를 구축할 수 있다고 논합니다. 저자들은 이 방법이 DGP 의 구조적 방정식에 대한 가정이 아닌 인과 다이어그램만 필요로 하므로 실제 시나리오에 적용 가능하다고 강조합니다. 이 연구는 이진 속성의 경우 미분 공정성이 항상 대비 공정성과 완벽하게 일치하지는 않을 수 있지만, 연속형 속성을 위한 견고하고 유연한 접근법을 제공하며 통계적 독립성과 예측 유용성 간의 긴장을 처리할 수 있는 실현 가능한 경로를 제시한다고 결론지었습니다.