Mutatis Mutandis: Revisiting the Comparator in Discrimination Testing

"Mutatis Mutandis: Revisiting the Comparator in Discrimination Testing" (조세 M. 알바레즈와 살바토레 루기에리가 저술) 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

이 논문은 현재 차별 테스트 방법론, 특히 비교 대상자 (comparator) 의 구성과 관련된 근본적인 한계를 다루고 있습니다.

• 배경: 차별 테스트는 보호 속성 $A$(예: 인종 또는 성별) 를 기반으로 차별을 주장하는 '고발자 (complainant)'와 비보호 집단의 유사한 개인인 '비교 대상자 (comparator)'를 비교하는 데 의존합니다.
• 표준 접근법 (Ceteris Paribus - CP): 대부분의 기존 도구 (법적 및 알고리즘적 모두) 는 ceteris paribus(모든 다른 조건은 동일하게 유지) 비교 대상자를 사용합니다. 이는 비교 대상자가 보호 속성 ($A$) 을 제외하고는 모든 비보호 속성 ($X$) 에서 고발자와 동일하다고 가정합니다.
• 결함: 저자들은 CP 접근 방식이 보호 속성이 종종 비보호 속성에 영향을 미친다는 인과적 현실 (예: 교육 수준이나 소득에 영향을 미치는 체계적 인종차별) 을 고려하지 않는 이상화된 비교라고 주장합니다. $A$가 변경될 때 $X$가 동일하게 유지되도록 강제함으로써, CP 비교 대상자는 차별의 파급 효과를 무시하여 간접 차별을 가릴 수 있거나 진정한 '만약에' 시나리오를 포착하지 못할 수 있습니다.
• 핵심 질문: 정적이고 이상화된 세계를 가정하여 오직 보호 속성만 변경된다고 가정하는 대신, 보호 속성이 다른 특성에 미치는 인과적 영향을 고려한 비교 대상자를 어떻게 도출할 수 있을까요?

2. 방법론

저자들은 정적 거리 척도에서 생성적, 반사실적 접근법으로 이동하여 비교 대상자를 재정의하기 위한 인과 모델링 프레임워크를 제안합니다.

A. 인과적 프레임워크

이 논문은 차별 테스트를 공식화하기 위해 구조적 인과 모델 (SCM)(Pearl 의 프레임워크) 을 활용합니다.

• 변수: $A$(보호 속성), $X$(비보호 속성), $Y$(결정 결과).
• 반사실적 추론: 비교 대상자의 도출은 "만약 고발자가 다른 보호 속성을 가졌다면 결과는 어떻게 되었을까?"라는 반사실적 질문에 답하는 것으로 프레임됩니다.
• 절차: 저자들은 표준적인 추론 (Abduction)-행동 (Action)-예측 (Prediction) 단계를 채택합니다:
  1. 추론: 관측된 데이터로부터 잠재적 외생 변수 ($U$) 를 추론합니다.
  2. 행동: $A$에 개입합니다 ($A := \alpha$로 설정).
  3. 예측: 구조 방정식을 통해 변화를 전파하여 $X$와 $Y$의 반사실적 분포를 생성합니다.

B. 두 가지 비교 대상자 유형

이 논문은 비교 대상자의 공식적 분류를 도입합니다:

1. Ceteris Paribus (CP) 비교 대상자:

   • 정의: $d(x_i, x_{i'}) \leq \epsilon$이고 $a_i \neq a_{i'}$인 개인 $i'$를 찾습니다.
   • 메커니즘: $A$를 뒤집는 동시에 비보호 속성 $X$에서의 거리를 최소화합니다.
   • 한계: 반사실적 세계에서 $X$가 $A$와 독립적이라고 가정하여 역사적 또는 체계적 인과적 연결을 무시합니다.

2. Mutatis Mutandis (MM) 비교 대상자:

   • 정의: $\tilde{d}((x_i, a_i), (x_{i'}, a_{i'})) \leq \epsilon$이고 $a_i \neq a_{i'}$인 개인 $i'$를 찾습니다.
   • 메커니즘: 보호 속성 인식 거리 함수 $\tilde{d}$를 사용합니다. 결정적으로, $x_i \neq x_{i'}$일 수 있습니다.
   • 구현: MM 비교 대상자는 고발자의 비보호 속성에 대한 반사실적 표현 $\tilde{X}$를 생성해야 합니다. 이 $\tilde{X}$는 고발자가 비보호 집단에 속했다면 속성들이 어떻게 되었을지를 나타내며, 효과적으로 $A$가 $X$에 미치는 파급 효과를 '조정'합니다.
   • 수학적 공식화: 저자들은 $\tilde{X} \perp A$(공정 표현) 가 되도록 $\tilde{X} = g(X, A)$를 학습하기 위해 생성 모델 $g(\cdot)$(예: SCM 기반) 을 사용할 것을 제안합니다. 그런 다음 비교 대상자는 $\tilde{X}$와 비보호 집단의 실제 $X$ 사이의 거리를 최소화하여 찾습니다.

C. 실험 설정

구분을 검증하기 위해 저자들은 법대 입학 (Law School Admissions) 데이터셋에 두 가지 도구를 비교합니다:

1. 상황 테스트 (ST): CP 비교 대상자를 구현합니다. 보호 속성을 뒤집은 후 $X$(GPA, LSAT) 를 기반으로 데이터셋에서 가장 가까운 이웃을 찾습니다.
2. 반사실적 상황 테스트 (CST): MM 비교 대상자를 구현합니다. SCM 을 사용하여 반사실적 프로필을 생성한 후 (인종/성별의 인과적 영향에 따라 GPA/LSAT 조정) 가장 가까운 이웃을 찾습니다.

3. 주요 기여

1. 인과적 재프레임: 저자들은 비교 대상자를 도출하는 것이 단순한 유사성 검색이 아니라 본질적으로 인과 모델링 문제라고 주장합니다. 비교 대상자는 사실적 고발자에 대한 반사실적 표현입니다.
2. MM 비교 대상자 개념: 그들은 표준 CP 비교 대상자의 대안으로 Mutatis Mutandis 비교 대상자를 도입합니다. 이는 '유사한 사람을 유사하게 대우하는 것'(형식적 평등) 에서 체계적 불이익을 고려하여 '실질적 평등'을 달성하는 것으로 목표를 전환시킵니다.
3. 공식적 구분: 이 논문은 CP 와 MM 비교 대상자 사이의 엄격한 수학적 구분을 제공하며, MM 이 보호 속성으로 인해 발생한 경우라면 비보호 속성에서의 불유사성을 허용한다는 점을 강조합니다.
4. ML 통합: 저자들은 기계 학습 (특히 생성 모델 및 SCM) 을 MM 비교 대상자 구현에 필수적인 것으로 위치 짓고, 차별 테스트에서 인과 모델링을 거부하는 견해와 대조합니다.

4. 결과

법대 입학 데이터셋에 대한 예시 실험은 다음과 같은 중요한 결과를 도출했습니다:

• 탐지율: CST (MM) 도구는 ST (CP) 도구보다 훨씬 많은 prima facie(일단 성립된) 차별 사례를 탐지했습니다.
  • 인종: CST 는 ST 보다 약 3 배 더 많은 사례를 탐지했습니다 (예: $k=500$에서 17.26% 대 3.08%).
  • 성별: CST 는 약간 더 많은 사례를 탐지했지만 격차는 더 작았으며, 이는 이 데이터셋에서 특정 특성 (GPA/LSAT) 에 대한 성별의 인과적 영향이 인종보다 덜 두드러졌음을 시사합니다.
• 분포 변화: 시각적 분석 (상자 그림) 은 ST 하에서 테스트 그룹 (비교 대상자) 의 GPA/LSAT 분포가 대조군과 거의 동일함을 보여주었습니다. 반면 CST 하에서는 테스트 그룹 분포가 이동했는데, 이는 보호 속성이 특성에 미치는 영향이 제거된 반사실적 조정을 반영합니다.
• 함의: CP 접근법 (ST) 은 소수계 지원자가 백인 지원자와 동일한 GPA/LSAT 를 가진다면 그들은 '유사하다'고 가정하기 때문에 간접 차별을 종종 탐지하지 못합니다. MM 접근법 (CST) 은 해당 GPA/LSAT 를 달성하는 것이 체계적 장벽을 극복하는 것을 필요로 했을 수 있음을 인식하며, 따라서 '공정한' 비교 대상자는 다른 특성 값을 가져야 함을 인정합니다.

5. 의의 및 결론

• 실질적 평등 대 형식적 평등: 이 논문은 CP 비교 대상자만 의존하는 것은 기존 불평등을 영속시킬 수 있는 형식적 평등(현재 통계가 동일한 사람을 동일하게 대우) 을 강제한다고 주장합니다. MM 비교 대상자는 체계적 장벽이 제거된 세계를 상상함으로써 실질적 평등을 목표로 합니다.
• 규범적 영향: 비교 대상자의 선택은 단순한 기술적 매개변수가 아니라 '공정한' 비교가 무엇에 대한 규범적 진술입니다. MM 비교 대상자는 이해관계자들이 차별의 인과적 메커니즘과 마주하게 합니다.
• 향후 방향: 저자들은 향후 차별 테스트 도구가 단순한 거리 척도를 넘어 MM 비교 대상자를 도출하기 위해 생성 모델(SCM 또는 공정 표현 학습과 같은) 을 통합해야 한다고 제안합니다. 이를 통해 해당 분야는 직접 차별 탐지에서 체계적 편향에 뿌리를 둔 복잡하고 간접적인 차별 패턴을 밝혀내는 단계로 나아갈 수 있습니다.

요약하자면, 이 논문은 복잡하고 편향된 사회에서 차별을 진정으로 테스트하기 위해서는 "이 사람과 인종/성별만 다른 사람은 누구인가?"라고 묻는 것을 멈추고 "인종/성별의 체계적 효과가 제거되었다면 이 사람은 누구였을까?"라고 묻기 시작해야 한다고 주장합니다. Mutatis Mutandis 비교 대상자는 후자에 답할 수 있는 기술적 프레임워크를 제공합니다.