Detecting and Mitigating Bias by Treating Fairness as a Symmetry Operation

기술 요약: 공정성을 대칭 연산으로 취급하여 편향을 탐지하고 완화하기

문제 정의

사회경제적으로 민감한 맥락에 배치된 머신러닝 시스템은 종종 사회적으로 민감한 집단에 대해 체계적인 편향을 나타낸다. 기존 연구들은 통계적 공정성 정의(예: 인구통계학적 패리티, 등가 기회)를 사후 제약 조건으로 제안해 왔으나, 근본적인 불가능성 결과(Chouldechova, 2017; Kleinberg et al., 2016)는 기저율(base rates)이 집단 간에 다를 경우 특정 공정성 기준들을 동시에 만족할 수 없음을 보여준다. 또한, 기존의 반사실적 공정성 접근 방식(Kusner et al., 2017)은 상세한 인과 그래프 지식을 요구하는 경우가 많은데, 이는 실제 현실 세계에서는 이용 불가능한 경우가 빈번하다. 따라서 인과적 매개 분석이나 복잡한 적대적 학습에 의존하지 않고도 설계 단계부터 공정성을 강제할 수 있는 프레임워크가 필요하다.

방법론

저자들은 공정성을 **대칭 연산(symmetry operation)**으로, 편향을 **대칭 깨짐 연산(symmetry breaking operation)**으로 정식화하는 새로운 프레임워크를 제안한다.

1. 이론적 정식화:
그룹 이론과 물리학에서 착안하여, 저자들은 분류기 $f$가 특정 변환 $T$에 대해 불변(invariant)할 때 공정하다(대칭적이다)고 정의한다.

• 입력 분할: 입력 벡터 $x$는 능력 특성 $x_m$(예: 교육, 경력, 기술)과 민감 속성 $x_s$(예: 성별, 인종, 카스트)로 분할된다.
• 변환 연산자 ($T$): 연산자 $T$는 능력 특성은 고정한 채 민감 속성에 대해 반사실적인 "비트 반전(bit-flip)"을 수행한다: $T(x) = [x_m; 1 - x_s]$.
• 불변 조건: 분류기는 모든 $x$에 대해 $f(x) = f(T(x))$일 때 편향되지 않은 것으로 간주된다.
• 위반 지표: 편향은 인구 집단 위반 $V = \mathbb{E}_{x \sim P_X}[|f(x) - f(T(x))|]$로 정량화되며, 원본 샘플과 변환된 샘플 간의 예측값에 대한 평균 절대 차이로 경험적으로 근사된다.

2. 손실 정규화를 통한 완화:
이러한 대칭성을 강제하기 위해, 저자들은 표준 작업 손실($L_{task}$, 이진 교차 엔트로피)에 대칭 복원 손실 항인 $L_{sym}$을 추가한다.

• 목적 함수: $L(w, b) = L_{task}(w, b) + \lambda L_{sym}(w, b)$.
• 대칭 손실: $L_{sym} = \frac{1}{n} \sum_{i=1}^n [f(x_i) - f(T(x_i))]^2$.
• 최적화: $L_{sym}$의 기울기(gradient)는 연쇄 법칙(chain rule)을 사용하여 유도되며, 이를 통해 모델은 개별 주체와 그들의 반사실적 자아(민감 속성이 반전된 상태) 사이의 예측 격차를 최소화하도록 가중치를 업데이트할 수 있다. 이 접근 방식은 계산량이 적으며 적대적 학습자나 기저의 인과 그래프를 필요로 하지 않는다.

3. 실험 설정:
프레임워크는 다양한 조건 하에서 모델을 스트레스 테스트하기 위해 설계된 네 가지 합성 데이터셋($D1$–$D4$)에서 평가되었다:

• 저편향 vs. 고편향: 편향 주입 벡터 $\gamma$를 통해 제어됨.
• 상관관계: 실제 환경의 혼란 요인을 시뮬레이션하기 위해 특성과 민감 속성 간의 상관관계를 설정함.
• 노이즈: 견고성을 테스트하기 위해 가짜 상관관계(spurious correlations)를 도입함.
• 불균형: 경쟁적인 채용 시나리오를 시뮬레이션하기 위해 양성 클래스 비율을 변화시킴.

주요 결과

실험에는 2,000개의 샘플을 사용하는 75/25 훈련/테스트 분할이 사용되었다. 정규화 강도 $\lambda$는 0.0에서 10.0까지 변화시키며 조사되었다.

• 편향 감소: 프레임워크는 저편향, 상관관계가 있는 데이터셋($D2$)에서 테스트 세트의 위반 지표를 93.2% 감소시켰다. 모든 데이터셋에 걸쳐 프레임워크는 90% 이상의 위반 감소를 입증했다.
• 정확도 트레이드오프: 편향의 감소는 약 **5%**로 추정되는 미미한 예측 정확도 비용을 수반했다.
• 견고성: 이 방법은 높은 노이즈와 특성 상관관계가 있는 데이터셋에서도 효과적으로 작동하였으며, 이는 대칭 제약 조건이 명시적인 인과적 분리(causal disentanglement) 없이도 가짜 상관관계를 성공적으로 억제함을 보여준다.

의의 및 주장

본 논문은 자신의 기여를 인과적 공정성 방법론에 대한 실용적이고 계산 효율적인 대안으로 포지셔닝한다.

• 인과 그래프 불필리요: Kusner et al. (2017)의 반사실적 공정성과 달리, 이 방법은 민감 속성을 반전시키는 방식으로 관측 데이터 상에서 순수하게 작동하므로, 인과 구조를 알 수 없거나 모델링되지 않은 맥락에서도 적용 가능하다.
• 일반화 가능성: 프레임워크는 민감 속성을 정의하는 방식에 구애받지 않도록 설계되었다. 비트 반전(예: 성별, 인종, 카스트)으로 정의할 수 있는 모든 맥락으로 일반화되며, 이는 주류 벤치마크가 충분한 대표성을 갖지 못할 수 있는 지역 및 산업(의료, 대출, 채용)에 적합하다.
• 저자원 공정성: 적대적 학습이나 인과 추론의 계산적 오버헤드를 피함으로써, 이 방법은 "상당한 컴퓨팅 비용 절감(significant compute discount)"을 제공하여 데이터가 부족한 환경에서의 공정성 연구를 용이하게 한다.
• 합성 데이터 검증: 저자들은 프레임워크를 검증하기 위해 알려진 생성 프로세스를 가진 합성 데이터를 활용하였다. 이는 서구 중심적인 벤치마크(예: COMPAS, Adult Income)가 글로벌 사우스(Global South)에 만연한 편견을 효과적으로 인코딩하지 못할 수 있다는 점을 고려한 것이다. 이러한 합성 접근 방식은 편향 완화 전략에 대한 통제된 스트레스 테스트를 가능하게 한다.

요약하자면, 본 논문은 공정성을 구조적 불변성(대칭)으로 취급하는 것이 인과 모델링이라는 무거운 전제 조건 없이도 높은 위반 감소와 최소한의 정확도 손실 사이의 균형을 맞추는, 실행 가능하고 효과적인 편향 완화 메커니즘을 제공한다고 주장한다.