Fairness under uncertainty in sequential decisions

1. 문제 정의 (Problem Definition)

기존의 공정성 있는 머신러닝 (Fair ML) 연구는 주로 지도학습 (Supervised Learning) 환경에 초점을 맞추고 있습니다. 그러나 실제 세계의 많은 고위험 의사결정 (대출 승인, 채용, 보험 등) 은 **순차적 (Sequential) 이고 온라인 (Online)**인 특성을 가지며, 이전 결정의 피드백이 미래의 결정을 형성합니다.

이러한 순차적 환경에서 발생하는 핵심 문제는 다음과 같습니다:

• 불완전한 정보와 반사실적 결과 (Counterfactual Outcomes): 의사결정자가 특정 집단 (예: 대출을 거절당한 사람) 에게 결정을 내리지 않았기 때문에, 그 결정이 어떻게 되었을지 (반사실적 결과) 에 대한 데이터는 관측되지 않습니다.
• 선택적 피드백 (Selective Feedback): 과거의 차별이나 배제로 인해 소외된 집단에 대한 데이터가 부족하여, 해당 집단에 대한 예측의 불확실성 (Uncertainty) 이 체계적으로 높게 발생합니다.
• 불공정의 누적: 기존 지도학습 기반의 공정성 지표는 이러한 '관측되지 않은 공간 (unobserved space)'과 불평등하게 분포된 불확실성이 시간에 따라 어떻게 불공정을 악화시키는지를 포착하지 못합니다.
• 강화학습 (RL) 의 법적/사회적 리스크: RL 은 탐색 (Exploration) 을 통해 불확실성을 줄이려 하지만, 무작위적인 탐색이 소외된 집단에 불이익을 주거나 차별 금지법 위반 소지가 있어 적용이 어렵다는 우려가 있습니다.

2. 방법론 (Methodology)

저자들은 순차적 의사결정 시스템에서 불확실성이 어떻게 작용하고 불공정을 유발하는지 분석하기 위해 **불확실성 분류 체계 (Taxonomy of Uncertainty)**를 제안하고, 이를 기반으로 한 **불확실성 인식 탐색 전략 (Uncertainty-aware Exploration)**을 구현했습니다.

2.1 불확실성 분류 체계 (Taxonomy of Uncertainty)

ML 라이프사이클 전반에 걸쳐 불확실성을 6 가지로 분류하여 체계화했습니다. 본 논문에서는 특히 의사결정 단계에 직접적인 영향을 미치는 3 가지를 중점적으로 다룹니다.

1. 모델 불확실성 (Model Uncertainty): 현재 모델이 최적의 정책인지에 대한 불확실성 (전역적).
2. 예측 불확실성 (Prediction Uncertainty): 개별 예측값 주변의 불확실성. 소외된 집단은 데이터 부족으로 인해 예측 분포의 폭이 넓어짐 (국소적).
3. 피드백 불확실성 (Feedback Uncertainty): 결정으로 인해 관측되지 않은 결과 (반사실적 결과) 에 대한 불확실성. 대출 거절 시 상환 여부는 알 수 없음.

2.2 수식적 정의 및 목표

• 효용 함수 (Utility Function): 관측된 결과뿐만 아니라 관측되지 않은 결과 (기회비용) 도 포함하는 효용 함수를 정의합니다.
  $$u = d(y_1 g - (1-y_1)l) + (1-d)((1-y_1)g - y_1 l)$$
  여기서 $d$는 결정, $y_1$은 상환 여부, $g$는 이익, $l$은 손실입니다. 두 번째 항은 대출을 거절했을 때의 반사실적 효용을 나타냅니다.
• 목표: 기대 효용 (Expected Utility) 을 최대화하면서, 불확실성이 높은 소외 집단에 대한 편향을 완화하는 정책 ($\pi$) 을 찾는 것입니다.

2.3 제안된 알고리즘 및 실험 설계

논문의 실험은 합성 데이터 (대출 시뮬레이션) 를 기반으로 하며, 다음과 같은 5 가지 방법을 비교합니다:

1. Naïve (기존 방식): 확률 임계값에 따라 결정. 불확실성 고려 없음.
2. Naïve Exploration: 불확실 영역에서 무작위 탐색 수행.
3. Uncertainty-aware Exploration: 예측 불확실성 (신뢰구간) 이 임계값과 겹치는 경우를 대상으로 탐색 수행.
4. Prob-weighted Exploration: 상환 확률에 가중치를 둔 층화 추출.
5. Counterfactual Utility Maximization (제안 방법): 관측된 결과와 반사실적 결과를 모두 고려하여 목적 함수를 최적화하는 엔드 - 투 - 엔드 학습.

핵심 아이디어는 불확실성 인식 탐색입니다. 소외된 집단의 예측 불확실성이 높다는 것은 데이터가 부족해서일 뿐, 그들이 실제로는 양호한 성과를 낼 가능성이 높다는 신호일 수 있습니다. 따라서 모델의 불확실성을 고려하여 해당 집단에 대한 탐색 확률을 높임으로써 편향을 줄입니다.

3. 주요 기여 (Key Contributions)

1. 순차적 의사결정을 위한 불확실성 분류 체계 (Taxonomy): 모델, 예측, 피드백 등 다양한 불확실성 소스를 ML 라이프사이클에 걸쳐 체계적으로 분류하고, 이들이 순차적 환경에서 어떻게 상호작용하여 불공정을 유발하는지 설명하는 공유 어휘를 제공합니다.
2. 불확실성 하의 공정성 (Fairness under Uncertainty) 의 공식화: 반사실적 논리와 강화학습 기법을 활용하여, 불균등한 인식적 (Epistemic) 및 피드백 불확실성이 선택적 라벨 하에서 어떻게 불평등을 증폭시키는지 수학적으로 정의했습니다.
3. 공정성 제약 없이 공정성 개선: 명시적인 공정성 제약 (Fairness Constraints) 을 추가하지 않고도, **불확실성 인식 탐색 (Uncertainty-aware exploration)**과 반사실적 효용 최적화를 통해 소외된 집단의 결과 분산을 줄이고 공정성 지표를 개선하면서도 의사결정자의 기대 효용 (수익) 을 유지하거나 향상시킬 수 있음을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

• 편향 시나리오: 역사적 편향 (Historical Bias) 과 측정 편향 (Measurement Bias) 이 포함된 합성 데이터에서 실험을 수행했습니다.
• 성능 비교:
  • 편향 없는 환경: 모든 방법이 유사한 성능과 공정성 지표를 보임 (편향 완화 전략이 성능을 해치지 않음을 확인).
  • 편향 있는 환경: 제안된 Counterfactual Utility Maximization 방법이 가장 우수한 결과를 보였습니다.
    • 수익 (Profit): 다른 방법들과 유사하거나 더 높은 수익을 달성했습니다.
    • 공정성 지표: 선택률 차이 (Selection Rate Difference), 오분류율 차이 (FPR/FNR Difference) 등 모든 공정성 메트릭에서 기존 방법 (Naïve) 보다 훨씬 큰 개선을 보였습니다.
• 핵심 발견: 관측되지 않은 결과 (반사실적 결과) 를 고려하지 않고 관측된 결과만 최적화하는 것은, 편향이 있는 환경에서 대출 기관과 소외된 고객 모두에게 손실을 초래합니다. 불확실성을 명시적으로 모델링하면 이러한 손실을 줄이고 공정성을 동시에 달성할 수 있습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 이론적 의의: 기존의 정적 (Static) 인 공정성 개념을 넘어, 동적 순차적 의사결정 시스템에서 **불확실성 (Uncertainty)**이 불공정의 구조적 원인이 될 수 있음을 규명했습니다.
• 실무적 의의:
  • 감사 및 거버넌스: 의사결정 시스템의 어디에서 불확실성이 발생하고 어떻게 편향을 증폭시키는지 진단할 수 있는 체계적인 렌즈 (Taxonomy) 를 제공합니다.
  • 법적/사회적 함의: 강화학습의 무작위적 탐색이 법적 리스크를 초래할 수 있다는 우려에 대해, 불확실성을 고려한 탐색이 오히려 소외 집단의 기회를 확대하고 장기적으로 시스템의 효율성을 높일 수 있음을 보여줍니다.
  • 정책 대안: 명시적인 긍정적 조치 (Affirmative Action) 와 같은 논란의 여지가 있는 그룹 기반 선호도 없이도, 데이터의 불확실성 구조를 활용하여 공정성을 개선할 수 있는 기술적 대안을 제시합니다.

결론적으로, 이 논문은 순차적 의사결정 시스템에서 불확실성을 단순히 노이즈가 아닌 핵심적인 공정성 요인으로 간주하고, 이를 적극적으로 관리함으로써 기술적 효율성과 사회적 공정성을 동시에 달성할 수 있음을 입증했습니다.