Towards Provably Fair Machine Learning: Bayesian Approaches For Consistent and Transparent Predictions

이 논문은 통계적 일관성과 결정론을 강제함으로써 모든 인구통계학적 하위 집단에 걸쳐 일관되고 투명한 예측을 보장하고, 이를 통해 전체적인 정확도를 유지하거나 향 만큼 소수 집단에 불균형적인 영향을 미치는 빈도주의적 접근 방식의 신뢰성 격차를 해결하는 방법인 공정 베이지안 분류기(Fair Bayesian classifier)를 소개한다.

핵심

당신은 법정의 판사라고 상상해 보십시오. 하지만 사람을 심판하는 대신, 방대한 과거 사례 기록(ledger)을 바탕으로 집단을 심판합니다. 당신의 목표는 다음과 같은 예측을 내리는 것입니다: "이 사람은 성공할 것인가?" 또는 "이 사람은 재범할 것인가?"

당신이 제공한 논문 **"증명 가능한 공정성을 향하여(Towards Provably Fair Machine Learning)"**는 현대의 대부분의 컴퓨터 프로그램(머신러닝 모델)이 특정 소수 집단에 대해서는 형편없는 판사가 된다고 주장합니다. 이 모델들은 눈앞에 있는 실제 증거와 모순되는 확신에 찬 추측을 내놓곤 합니다.

다음은 이 논문의 논지를 쉬운 비유를 들어 정리한 내용입니다.

1. 문제점: "확신에 찬 바보 (The Confident Fool)"

표준 머신러닝 모델은 정답을 외웠지만 논리는 이해하지 못하는 학생과 같습니다.

• 문제점: 데이터가 거대할 때(예: 도시 전체 인구) 이 모델들은 잘 작동합니다. 하지만 아주 작고 구체적인 집단(예: "왼손잡이이면서 빨간 머리를 가진 야간 근무 여성")을 다룰 때는, 데이터베이스 전체에 해당 그룹이 단 5명뿐일 수도 있습니다.
• 실수: 표준 모델은 어떻게든 추측을 하려고 합니다. 이들은 수학적 계산을 쉽게 만들기 위해 세부 사항을 "매끄럽게 뭉뚱그려(smooth over)" 버립니다. 이는 마치 학급 평균을 좋게 만들기 위해 소수 학생들의 개별적인 어려움을 무시하는 교사와 같습니다.
• 결과: 모델은 실제 증거와 배치되는 예측을 내놓습니다. 예를 들어, 100명의 동일한 사람들이 정확히 50%의 성공률을 보이고 있다면, 모델은 확신을 가지고 "100% 성공할 것이다" 또는 "0% 성공할 것이다"라고 말할 수 있습니다. 둘 다 틀린 답이지만, 모델은 결단력을 보이려 하기 때문에 그렇게 말합니다.

2. 해결책: "정직한 탐정 (The Honest Detective)"

저자들은 페어 베이지안(Fair Bayesian, FB) 분류기라는 새로운 방법을 제안합니다. 이것을 'A학점을 받으려는 학생'이 아니라, **'증거가 확실할 때까지 추측을 거부하는 정직한 탐정'**이라고 생각하십시오.

이 탐정은 두 가지 엄격한 규칙을 따릅니다.

1. 쌍둥이 규칙 (결정론, Determinism): 만약 두 사람이 정확히 같은 세부 사항(직업, 나이, 이력 등)을 가지고 있다면, 그들은 반드시 똑같은 예측을 받아야 합니다. 똑같은 쌍둥이를 다르게 취급해서는 안 됩니다.
2. 증거 규칙 (통계적 일관성, Statistical Consistency): 탐정은 데이터가 예측의 가능성을 입증할 때만 예측을 수행합니다. 만약 증거가 너무 약하거나, "예"와 "아니오"가 모두 틀렸음을 증명한다면, 탐정은 추측하기를 거부할 것입니다.

3. 마법 같은 기술: "기권 (Abstention)"

이것이 이 논문에서 가장 독특한 부분입니다. 현실 세계에서 우리는 보통 컴퓨터가 항상 답을 내놓아야 한다고 생각합니다. 하지만 이 논문은 때때로 유일하게 공정한 답변은 **"모르겠다"**라고 말하는 것이라고 주장합니다.

• 비유: 동전 던지기를 상상해 보십시오. 동전을 3번 던져서 앞면이 2번 나왔다면, 다음에는 앞면이 나올 것이라고 추측할 수 있습니다. 하지만 동전을 1,000번 던졌는데 앞면 500번, 뒷면 500번이 나왔다면, 당신은 그 동전이 공정하다는 것을 압니다. 만약 당신이 다음 던지기에 대해 "앞면"이라고 강제로 추측해야 한다면, 그것은 그냥 찍는 것입니다. 하지만 1,000번의 투척 전체에 대해 "앞면"이라고 강제로 말해야 한다면, 그것은 거짓말을 하는 것입니다.
• 논문의 접근 방식: 페어 베이지안 분류기는 집단을 살펴봅니다. 만약 데이터가 "예"라고 예측하는 것이 틀렸고, "아니오"라고 예측하는 것도 틀렸음을 보여준다면(즉, 표본 크기가 충분히 커서 50/50의 비율임을 확신할 수 있는 상황이라면), 모델은 **기권(abstain)**합니다. 모델은 "이 특정 집단에 대해서는 공정하고 일관된 예측을 할 수 없다"라고 말합니다.

4. 이것이 공정성에 중요한 이유

이 논문은 현재 AI의 잔인한 아이러니를 지적합니다.

• 소수자는 종종 작은 집단에 속합니다. 그들은 희귀하기 때문에, 표준 모델이 가장 많은 실수를 저지르는 바로 그 "작은 하위 집단"에 놓이게 됩니다.
• 표준 모델은 소수자에게 해를 끼칩니다. 수학적 문제를 해결하기 위해, 표준 모델은 이러한 작은 집단들을 더 크고 일반적인 집단으로 묶어버리곤 합니다. 이는 그들의 고유한 역사를 지워버리고, 그들에게 맞지 않는 예측을 강요합니다.
• 페어 베이지안의 해결책: 모든 작은 집단을 개별적으로 살피고, 증거가 불확실할 때 추측하기를 거부함으로써, 이 새로운 방법은 작고 취약한 집단에 속한 사람들을 보호합니다. 모델은 정보가 부족할 때 억지로 이야기를 지어내어 피해를 주는 대신, 모른다고 인정합니다.

5. 결과: "오류 제로 (Zero Errors)"의 규칙 준수

저자들은 자신들의 "정직한 탐정"을 세 가지 유명한 데이터셋(소득, 형사 사법, 은행 마케팅 관련)을 통해 기존 모델들(의사결정 나무, 신경망 등)과 비교 테스트했습니다.

• 표준 모델들: 수많은 작은 집단에 대해 실제 데이터와 모순되는 예측을 내놓았습니다. 이들은 "확신에 찬 오답"을 냈습니다.
• 페어 베이지안 모델:
  • 데이터를 부정하는 예측을 단 한 건도(zero) 만들지 않았습니다.
  • 실제로 예측을 수행한 집단에 대해서는 다른 모델들보다 더 높은 정확도를 보였습니다.
  • 결정을 내릴 수 없었던 집단(즉, "모르겠다"라고 답한 집단)을 정확히 짚어냈으며, 이는 오류가 아닌 핵심 기능입니다.

요약

이 논문은 진정한 공정성이란 단순히 옳은 답을 맞히는 것이 아니라, 증거가 실제로 뒷받침하는 예측을 하는 것이라고 주장합니다.

만약 증거가 너무 빈약하거나, 단순한 "예/아니오" 답변이 불가능하다는 것이 증명된다면, 공정한 시스템은 멈춰 서서 "더 많은 정보가 필요하다"라고 말해야 합니다. 저자들은 정확히 그렇게 작동하는 시스템을 구축함으로써, 데이터 자체가 불가능하다고 말하는 예측에 의해 누구도 판단받지 않도록 보장했습니다.

기술 요약

기술 요약: 증명 가능한 공정성을 향한 머신러닝: 일관되고 투명한 예측을 위한 베이지안 접근법

1. 문제 정의

금융, 형사 사법, 의료와 같은 고위험 영역에 배치된 머신러닝 모델은 관찰된 데이터와 체계적으로 불일치하는 예측을 생성하는 경우가 많으며, 특히 여러 특징이 교차하여 정의되는 세밀한 하위 그룹(subgroups)에서 이러한 현상이 두드-러집니다. 이러한 불일치는 표준 빈도주의(frequentist) 접근 방식이 표본 크기에 관계없이 관찰된 표본 비율을 실제 확률의 신뢰할 수 있는 추정치로 취급하기 때문에 발생합니다. 대규모 데이터셋의 경우, 전체 데이터의 양은 매우 많지만, 가장 미세한 해상도(모든 특징에 대해 동일한 값을 공유하는 개인)에서의 데이터는 흔히 작은 하위 그룹으로 구성됩니다.

두 가지 주요 문제가 이를 악화시킵니다:

1. 소표본 추론 실패(Small-Sample Inference Failure): 표준 모델은 작은 하위 그룹과 관련된 높은 불확실성을 고려하지 못하며, 이로 인해 통계적으로 뒷받침되지 않으면서도 과도하게 확신에 찬 예측을 내놓습니다.
2. 정규화 편향(Regularization Bias): 과적합을 방지하기 위해, 표준 ML 기법(예: 결정 트리 가지치기, 신경망의 정규화)은 작은 하위 그룹을 더 큰 집합으로 붕괴시킵니다. 이는 소수 계층에게 불리하게 작용하며, 이들은 종종 이러한 작고 교차적인 하위 그룹에 집중되어 있기 때문에 그들의 독특한 행동 패턴을 지워버리는 효과를 낳습니다.
3. 원칙 있는 기권(Lack of Principled Abstention)의 부재: 공정성을 위해 설계된 모델을 포함한 현재의 모델들은 모든 입력에 대해 예측을 내놓도록 강제됩니다. 이들은 증거가 너무 희박하여 확신 있는 예측을 지원할 수 없거나, 반대로 모든 결정론적 예측을 배제할 만큼 충분히 강력한 경우(예: 타겟 비율이 정확히 50%인 대규모 그룹)에 기권할 수 있는 메커니즘이 부족합니다.

기존의 공정성 접근 방식(그룹 공정성, 다중 보정 등)은 사전에 지정된 보호 그룹에 의존하며, 가능한 모든 교차 그룹으로 확장되지 못하며, 예측과 관찰된 증거 사이의 근본적인 통계적 불일치를 해결하지 못합니다.

2. 방법론: 페어 베이지안(Fair Bayesian, FB) 분류기

저자들은 페어 베이지안(FB) 분류기를 제안하며, 이는 분류를 최적화의 문제가 아니라 통계적 정당성의 문제로 취급하는 프레임워크입니다. 이 방법은 모델 파라미터가 아닌 모집단 확률에 적용되는 고전적 베이지안 추론을 기반으로 합니다.

핵심 요구사항

이 프레임워크는 모든 예측에 대해 두 가지 엄격한 요구사항을 강제합니다:

1. 결정론(Determinism): 동일한 개인(모든 특징 값을 공유하는 경우)은 동일한 예측을 받아야 합니다.
2. 통계적 일관성(Statistical Consistency): 특정 하위 그룹에 대한 예측은 유의 수준 $\alpha$에서의 가설 검정을 통해, 관찰된 표본으로부터 추론된 타겟 분포와 통계적으로 일치해야 합니다.

기술적 프레임워크

• 하위 그룹 정의: 데이터는 $d$-노드(모든 $m$개 속성에 대해 동일한 값을 가진 그룹)와 $v$-노드($일부 속성만 정의되고 나머지는 미지수인 그룹)로 분할됩니다.
• 베이지안 추론: 각 $d$-노드에 대해, 알려지지 않은 모집단 확률 $p$를 베타 사후 분포(uniform Beta(1,1) 사전 분포 사용)로 모델링합니다. 미래 관측치에 대한 예측 분포는 베타-이항 분포(Beta-Binomial distribution)를 따릅니다.
• 일관성 테스트: 주어진 $d$-노드에 대해 $N_d$개의 관측치와 $T_d$개의 양성 타겟이 있을 때, 결정론적 예측(모두 양성 또는 모두 음성)을 베타-이항 예측 분포에 대해 테스트합니다.
  • 만약 관찰된 데이터가 수준 $\alpha$에서 "모두 양성" 예측을 배제한다면, 해당 예측은 기각됩니다.
  • 만약 데이터가 "모두 음성" 예측을 배제한다면, 해당 예측은 기각됩니다.
  • 노드 범주화:
    • $d_0$: "모두 음성"만이 일관적임.
    • $d_1$: "모두 양성"만이 일관적임.
    • $d_{amb}$: 둘 다 일관적임(모호함); 해결은 부모 $v$-노드의 제약 조건에 의존함.
    • $d_{nf}$ (No Fair): 두 결정론적 예측 모두 일관적이지 않음 (예: 타겟 비율이 정확히 50%인 대규모 그룹).
• 기권 메커니즘: 신뢰도 기반의 기권과 달리, FB 분류기는 증거가 두 결정론적 옵션을 모두 긍정적으로 배제하기 때문에 $d_{nf}$ 노드에서 기권합니다. 이는 입증 가능한 모순된 예측을 발행하는 것에 대한 안전장치입니다.
• 글로벌 일관성 ($v$-노드): 예측은 모든 $v$-노드(d-노드의 집합)에 대한 일관성 제약 조건도 만족해야 합니다. $v$-노드의 분포는 이질성으로 인해 폐쇄형(closed form)으로 계산할 수 없으므로, 저자들은 자식 $d$-노드들의 분포로부터 샘플링하여 이를 근사합니다.
• 제약 조건 충족: 문제는 자식 $d$-노드들의 예측 합이 부모 $v$-노드의 $[V_{min}, V_{max}]$ 경계 내에 있어야 한다는 제약 조건을 가진 제약 충족 문제(constraint satisfaction problem)로 정식화됩니다. 저자들은 사후 로그-오즈(posterior log-odds)를 기반으로 선형 목적 함수를 최대화하는 가능한 할당을 찾기 위해 Gurobi Optimizer를 사용하며, 이후 $v$-노드 로그-가능도(log-likelihood)를 사용하는 2차 스코어링 단계를 통해 가능한 해집합 중에서 최적의 솔루션을 선택합니다.
• 이질성 처리: 관찰되지 않은 시간적 또는 소스 기반 변동성을 포함할 수 있는 대규모 데이터셋에서의 과도한 확신을 방지하기 위해, 베타 사후 분포에 분산 하한선(variance floor, $\tau = 10^{-5}$)을 적용하여 유효 표본 크기를 제한합니다.

3. 주요 기여

1. 예측 일관성을 위한 프레임워크: 단순히 사전에 지정된 보호 그룹뿐만 아니라, 모든 가능한 하위 그룹(어떠한 특징 조합의 교차점이라도)에 대해 베이지안 추론을 바탕으로 한 통계적 일관성을 엄격하게 적용합니다.
2. 페어 베이지안 분류기: 관찰된 증거와 일치하는 것을 보장하고 원칙 있는 기권을 구현하는 분류기입니다. 이 모델은 모델의 신뢰도가 낮을 때가 아니라, 데이터가 모든 결정론적 예측을 배제할 때 기권합니다.
3. 불일치의 실증적 증거: 표준 모델(결정 트리, 신경망)과 공정성 인식 후처리 모델(Proportional Multicalibration)이 심지로 훈련된 데이터에 대해서도 상당한 비율의 하위 그룹에서 통계적으로 일치하지 않는 예측을 생성함을 입증했습니다.
4. 성능 결과: FB 분류기는 설계상 제로(0.00%)의 일관성 오류를 달ach하며, 예측을 수행하는 하위 그룹에서 모든 베이스라인의 정확도를 상회합니다. 또한, 부수적으로 경쟁력 있는 다중 보정(multicalibration) 성능을 달성합니다.

4. 결과

저자들은 세 가지 벤치마크 데이터셋(Adult, COMPAS, Bank Marketing)에 대해 FB 분류기를 결정 트리(DT), 신경망(NN), 그리고 비례 다중 보정(PMC)과 비교 평가했습니다.

• 일관성 오류: 표준 모델들은 상당한 부분의 하위 그룹에서 통계적으로 일치하지 않는 예측을 생성했습니다. 예를 들어, Bank Marketing 데이터셋에서 PMC는 16.97%의 $d_0/d_1$ 일관성 오류와 43.46%의 $v$-node 일관성 오류를 보였습니다. FB 분류기는 설계에 따라 모든 지표에서 0.00%의 오류를 달성했습니다.
• 기권: FB 분류기는 $d_{nf}$ 노드에서 기권했습니다. Adult 데이터셋에서 50.4%의 인스턴스가 $d_{nf}$ 노드에 속했으며, 이는 가용한 특징들만으로는 결정론적 예측이 불가능한 사례가 인구의 절반에 달함을 보여줍니다.
• 정확도: FB 분류기가 예측을 수행하는 데이터 서브셋( $d_{nf}$ 노드 제외)에서 모든 베이스라인보다 높은 성능을 보였습니다. 특히 COMPAS에서 FB는 베이스라인의 약 68% 대비 77.6%의 정확도를 달성했습니다.
• 다중 보정: FB 분류기는 명시적으로 최적화하지 않았음에도 불구하고 경쟁력 있는 다중 보정 점수를 달성했으며, 이는 통계적 일관성이 세밀한 하위 그룹 전반의 보정(calibration)에 대한 강력한 대리 지표임을 시사합니다.

5. 의의 및 주장

본 논문은 통계적 일관성이 예측 품질에 대한 원칙적인 토대를 제공하며, 알고리즘 공정성에 직접적인 함의를 갖는다고 주장합니다. 저자들의 주장은 다음과 같습니다:

• 소수 계층은 빈도주의 추론이 가장 신뢰할 수 없는 작은 하위 그룹에 불균형적으로 집중되어 있습니다. 이 추론 문제를 해결하는 것은 공정한 ML을 향한 필수적인 단계입니다.
• 데이터가 지원하는 가장 미세한 해상도에서 베이지안 일관성을 강제함으로써, 실무적으로 포괄적인 하위 그룹 공정성과 원칙 있는 기권을 달성할 수 있습니다.
• 어떤 결정론적 예측도 가능하지 않은 경우를 식별할 수 있는 능력($d_{nf}$ 노드)은 시스템이 증거와 모순되는 예측을 내놓는 것을 방지하는 중요한 안전장치입니다.
• 이 접근 방식은 "연관성을 학습하고 공정성을 끼워 맞추는 것"에서 "통계적 정당성으로서의 분류"로 패러다임을 전환하여, 모든 예측이 해당 하위 그룹에 가용한 증거로부터 투명하게 도출되도록 보장합니다.

저자들은 하위 그룹의 기하급수적 증가로 인해 프레임워크가 계산 집약적이지만, 현재의 벤치마크 데이터셋에 대해서는 실행 가능하며 휴리스틱한 공정성 조정에 대한 엄격한 대안을 제공한다고 언급합니다. 또한, 보이지 않는 데이터(새로운 $d$-노드에서의 테스트 인스턴스)를 처리하는 데는 추가적인 개발이 필요함을 인정하면서도, 예비 메커즘을 제안하였습니다.