Fair Supervised Learning Through Constraints on Smooth Nonconvex Unfairness-Measure Surrogates

기술 요약: 매끄러운 비볼록 불공정성 측정 대리 함수의 제약을 통한 공정한 지도 학습

문제 정의
금융, 형사 사법, 채용, 의료와 같은 분야에서 효과적인 지도 학습 모델은 종종 편향을 상속하거나 도입하여 차별적인 결과로 이어지는 편향을 초래할 수 있습니다. 이러한 편향은 서로 다른 인구통계학적 집단 간의 예측에서 불공정함으로 나타납니다. 불공정성을 완화하기 위한 기존 전략은 전처리(pre-processing), 인프로세싱(in-processing), 또는 포스트프로세싱(post-processing) 범주로 나뉩니다. 본 논문은 인프로세싱 전략, 구체적으로 모델 학습에 사용되는 최적화 문제에 불공정성 측정치를 통합하는 방식에 집중합니다.

현재의 접근 방식들은 상당한 계산 및 이론적 과제에 직면해 있습니다:

1. 비매끄러움 및 비볼록성(Non-smoothness and Nonconvexity): 불공정성 측정치(예: 인구통계학적 패리티, 이질적 영향)를 직접 공식화하면 불연속적인 헤비사이드 계단 함수(Heaviside step functions)를 포함하게 되어, 해결하기 어려운 비볼록 및 비매끄러운 최적화 문제를 야기합니다.
2. 볼록 대리 함수의 한계: 계산상의 어려움을 해결하기 위해 연구자들은 흔히 볼록 대리 함수(예: 공분산 기반 근사치)를 사용합니다. 그러나 이는 원래의 불공정성 측정치가 허용 가능한 범위 내에 있음을 보장하지 않습니다. 즉, 대리 함수의 값이 작다고 해서 실제 불공정성 측정치가 반드시 작다는 것을 의미하지는 않습니다.
3. 정규화(Regularization)의 한계: 공정성을 강제하기 위해 정규화 항(소프트 제약 조건)을 널리 사용하는 방식은 비용이 많이 드는 하이퍼파라미터 튜닝을 요구합니다. 또한, 불공정성을 줄이기 위해 정규화 강도를 높이면 예측 정확도가 심각하게 저하될 수 있으며, 정규화 파라미터와 결과적인 불공정성 사이의 관계는 비단조적(non-monotonic)이며 제어하기 어렵습니다.
4. 다중 측정치 처리: 정규화를 통해 잠재적으로 충돌할 수 있는 여러 불공정성 측정치를 균형 있게 맞추려는 전략은 종종 다루기 힘든(intractable) 학습 문제를 초래하고 추가적인 튜닝 비용을 발생시킵니다.

방법론
저자들은 **매끄러운 비볼록 대리 함수(smooth nonconvex surrogates)**와 **하드 제약 조건(hard constraints)**을 결합하여 공정성을 강제하는 새로운 인프로세싱 전략을 제안합니다.

1. 매끄러운 비볼록 대리 함수:
   저자들은 헤비사이드 함수를 근사하기 위해 볼록 근사치나 불연속적인 계단 함수 대신, 매끄럽고 유계인(bounded) 비볼록 대리 함수를 도입합니다. 두 가지 특정 근사치가 사용됩니다:
   • 시그모이드(sigmoid) 함수.
   • 최적화 문헌의 스무딩 기술(특히 제곱근 항을 통해 매끄럽게 처리된 피스와이즈 아핀 근사)에서 유도된 매끄러운 계단(smoothed-step) 함수.

결정적으로, 이 대리 함수들은 $[0, 1]$ 범위 내에서 유계이며, 계단 함수를 밀접하게 모사하도록 $\alpha$를 통해 스케일링됩니다. 저자들은 (이전 연구에서 유도된 정리 2.1을 통해) 대리 함수의 값이 작으면 실제 경험적 불공정성 측정치 또한 작다는 것을 증명합니다. 이는 대리 값이 0 또는 1에 충분히 가까울 때 성립합니다. 이러한 긴밀한 근사는 유계가 없는 선형 또는 볼록 대리 함수에서는 보장되지 않습니다.

2. 하드 제약 조건:
   불공정성 측정치를 목적 함수에 정규화 항으로 추가하는 대신, 저자들은 훈련 문제를 다음과 같은 제약 최적화 문제로 공식화합니다:
   $$\min_w \sum_{i \in [N]} \ell(N(x_i, s_i, w), y_i) + \frac{1}{\lambda}r(w) \quad \text{subject to} \quad l \leq c(w) \leq u$$
   여기서 $c(w)$는 하나 이상의 불공정성 측정치(예: 이질적 영향, 등가 영향)에 대한 벡터 값 대리 함수를 나타냅니다. 경계값 $l$과 $u$는 불공정성에 대한 특정 허용 오차를 직접적으로 강제합니다.

   • 트랙터빌리티(Tractability): 저자들은 이러한 비볼록 제약 문제를 효율적으로 해결하기 위해 최신 확률적 뉴턴(stochastic Newton)/순차 이차 계획법(Sequential Quadratic Programming, SQP) 기법을 활용합니다.
   • 확률적 경사(Stochastic Gradients): 정리 3.1은 미니 배치가 각 민감 속성에 대해 균형 잡힌 샘플 수를 유지한다면, 제약 함수에 대한 편향되지 않은 확률적 경사 추정치를 얻을 수 있음을 보여줍니다.

주요 기여

1. 긴밀한 대리 함수 근사: 본 논문은 이론적 보장을 제공하는 매끄러운 비볼록 유계 대리 함수를 도입합니다. 즉, 대리 함수 제약이 충족되면 실제 불공정성 측정치 또한 제한된다는 것입니다. 이는 볼록 대리 함수(작은 대리 함수 값이 낮은 불공정성을 보장하지 못하는 것과)와 대조됩니다.
2. 하드 제약 vs 정규화: 저자들은 정규화 대신 하드 제약 조건을 사용하는 것을 제안합니다. 이는 비용이 많이 드는 정규화 파라미터 튜닝의 필요성을 제거하고, 정규화 기반 접근 방식에서 흔히 나타나는 비단조적 동작을 방지합니다. 또한 특정 불공정성 허용 오차를 명시적으로 강제할 수 있게 합니다.
3. 다중 측정치로의 확장성: 이 프레임워크는 단일 최적화 문제 내에서 잠재적으로 충돌할 수 있는 여러 불공정성 측정치를 자연스럽게 동시에 수용하며, 여러 정규화 가중치를 튜닝할 때 발생하는 계산적 폭발 없이 이를 수행합니다.

실험 결과
저자들은 세 가지 벤치마크 데이터셋인 Dutch(소득 예측, 민감 속성: 성별), Law School(법대 통과 여부, 민감 속성: 인종), ACSIncome(소득 예측, 민감 속성: 성별)에 대해 그들의 방법을 평가했습니다.

• 대리 함수의 긴밀성: 실험 결과, 스케일링되지 않은 대리 함수는 원하는 공정성 수준과 실제 수준 사이에 격차를 유발했습니다. 그러나 대리 함수를 스케일링했을 때(예: $\alpha=50$), 매끄러운 계단 함수와 시그모이드 함수 모두에서 실현된 공정성 수준이 설정된 제약 조건과 밀접하게 일치했습니다. 이와 대조적으로, 공분산 기반 대리 함수는 특정 제약 값을 원하는 공정성 수준으로 매핑하기 어렵게 만들었습니다.
• 제약 vs 정규화: 제안된 "제약 전용" 접근 방식과 "정규화 전용" 접근 방식을 비교한 결과, 제약 방식은 임계값이 엄격해짐에 따라 공정성이 단조롭게 개선된 반면, 정규화 방식은 예측 불가능하고 비단조적인 동작을 보였습니다. 또한 제약 방식은 공정성 제약이 활성화될 때 높은 예측 정확도를 유지했으나, 정규화 방식은 엄격한 공정성을 강제하려고 할 때 종종 상당한 정확도 저하를 겪었습니다.
• 다중 측정치: 이 프레임워크는 이질적 영향(Disparate Impact)과 등가 영향(Equal Impact)에 대한 동시 제약을 성공적으로 강제했습니다. 단일 제약보다 다중 제약이 정확도를 약간 더 감소시키기는 했지만, 방법론은 두 기준을 모두 일관되게 만족시켜 복잡한 공정성 요구 사항을 처리하는 견고함을 입증했습니다.

의의 및 주장
본 논문은 자신의 접근 방식이 공정한 지도 학습을 위한 **다루기 쉬운 훈련 패러다임(tractable training paradigm)**을 제공한다고 주장합니다. 단일 제약 최적화 문제를 해결함으로써, 실무자는 정규화 파라미터를 튜닝하는 계산적 부담 없이 규정된 불공정성 한계를 충족하는 모델을 얻을 수 있습니다. 저자들은 제약된 비볼록 문제를 푸는 것이 무제약 문제보다 반복당 계산 비용은 더 높지만, 광범한 하이퍼파라미터 탐색을 제거함으로써 전체적인 계산 비용은 오히려 줄어든다고 강조합니다. 이 방법은 높은 예측 정확도와 함께 엄격한 공정성 보장이 요구되는 실제 응용 분야를 위한 견고한 솔루션으로 제시됩니다.