기술 요약: 하위 그룹 공정성을 위한 이중 회귀 접근법 (Doubly-Regressing Approach for Subgroup Fairness)

1. 문제 정의

본 논문은 여러 개의 민감한 속성(예: 성별, 인종, 연령)이 존재할 때 머신러닝에서 **하위 그룹 공정성(subgroup fairness)**을 달 achieve하는 데 따르는 과제를 다룹다. 한계적 공정성(marginal fairness, 개별 속성에 대한 공정성)은 이미 잘 연구되어 있으나, 이는 여러 속성이 교차하는 지점에서 발생하는 심각한 차별(fairness gerrymandering)을 방지하지 못한다(Kearns et al., 2018a;b).

형식적으로, $q$개의 이진 민감 속성이 있을 때, $2^q$개의 하위 그룹이 존재한다. 이 모든 하위 그룹에 대해 분포적 공정성을 강제하는 것은 두 가지 결정적인 장벽에 직면한다:

1. 데이터 희소성(Data Sparsity): $q$가 증가함에 따라 많은 하위 그룹의 샘플 수가 매우 적어지며, 이는 불안정한 모델 추정과 부정확한 공정성 보증으로 이어진다(Molina & Loiseau, 2023).
2. 계산적 부담(Computational Burden): 공정성 제약 조건의 수가 $q$에 따라 기하급수적으로 증가한다. 모든 하위 그룹에 대해 공정성을 측정하려고 시도하는 기존의 적대적 방식들은 계산적으로 불가능해진다.

또한, 기존 방법들은 한계적 공정성(각 개별 속성에 대한 공정성)과 하위 그룹 공정성을 동시에 보장하는 데 실패하거나, 더 약한 공정성 개념(예: 인구 통계적 패리티, Demographic Parity)에 의존하며, 이는 분포적 공정성을 보장하지 못한다.

2. 방법론

2.1 하위 그룹-부분 집합 공정성 (Subgroup-Subset Fairness)

데이터 희소성 문제를 해결하기 위해, 저자들은 충분한 샘플 크기를 가진 "활성(active)" 하위 그룹에 집중하는 동시에, 한계적 공정성을 보장하기 위해 한계 하위 그룹(단일 민감 속성에 의해 정의되는 하위 그룹)을 명시적으로 포함하는 방안을 제안한다.

저자들은 하위 그룹-부분 집합 $W$를 특정 하위 그룹들의 합집합으로 정의하며, 이는 샘플 크기가 너무 작지 않은 사전 선택된 하위 그룹-부분 집합의 집합 $\mathcal{W}$에 대해 분포적 공정성을 강제하는 것을 목표로 한다.

2.2 supremum Integral Probability Metric (supIPM)

저자들은 **supremum Integral Probability Metric (supIPM)**이라 불리는 분포적 공정성 척도를 도입한다. 하위 그룹-부분 집합 $\mathcal{W}$에 대하여, 공정성 격차(fairness gap)는 다음과 같이 정의된다:
$$\Delta_{\psi, \mathcal{W}}(f) = \sup_{W \in \mathcal{W}} \psi(P_{f,W}, P_{f,W^c})$$
여기서 $\psi$는 편차 척도(구체적으로는 IPM)이다. 저자들은 경험적 supIPM의 추정 오차가 전체 부분 집합의 수 $|\mathcal{W}|$가 아니라, 부분 집합 내의 최소 샘플 크기($n_W$)에 의존함을 증명함으로써 활성 부분 집합에 집중하는 방식의 타당성을 입증한다.

2.3 이중 회귀 적대적 학습 (Doubly Regressing Adversarial Learning, DRAF)

모든 $W \in \mathcal{W}$에 대해 별도의 판별기(discriminator)를 찾아야 하는 직접적인 supIPM 최적화는 계산 비용이 많이 든다. 이를 극복하기 위해, 저자들은 **이중 회귀 $R^2$ (Doubly Regressing $R^2$, DR2)**에 기반한 **대리 공정성 격차(surrogate fairness gap)**를 제안한다.

• 이론적 토대: 입력이 모델 예측값이고 출력이 부분 집합 멤버십을 나타내는 레이블인 회귀 설정에서, IPM과 결정 계수($R^2$) 사이의 관계를 확립한다.
• 대리 모델(The Surrogate): 판별기 출력 $g(f(x))$와 가중치가 적용된 부분 집합 지표의 조합 $v^\top c_i$를 동시에 회귀하는 이중 회귀 $R^2$ 척도 $DR^2(f, v, g)$를 정의한다.
• 핵ical 혁신: 제안된 알고리즘인 **DRAF (Doubly Regressing Adversarial learning for Fairness)**는 다음과 같이 정의된 대리 격차를 최적화한다:
  $$DR_{n, \mathcal{W}, \mathcal{G}}(f) := \sup_{g \in \mathcal{G}, v \in S_M} \tilde{z}\text{-}DR^2(f, v, g)$$
  결정적으로, 이 공식은 하위 그룹-부분 집합의 개수 $|\mathcal{W}|$와 관계없이 단 하나의 판별기 $g$와 가중치 벡터 $v$만을 필요로 한다. 이는 계산 복잡도를 하위 그룹 수에 대해 지수적 수준에서 선형 수준으로 감소시킨다.
• 최적화: 알고|즘은 예측기 $f$와 판별기/가중치 쌍 $(g, v)$를 교대로 수행하는 min-max 방식으로 학습한다. 이론적 분석을 통해 이 대리 격차가 실제 supIPM의 상한(upper bound) 역할을 함을 증명한다.

3. 주요 기여

1. 하위 그룹-부분 집합 공정성의 정형화: 데이터 희소성이라는 실질적인 제약을 고려하여, 활성 하위 그룹-부분 집합 및 한계 그룹에 집중함으로써 교차적 공정성과 데이터 희소성 사이의 균형을 맞추는 새로운 공정성 개념을 제시하였다.
2. supIPM 도입: 하위 그룹-부분 집합을 위한 분포적 공정성 척도를 도입하였으며, 이의 추정 오차에 대한 이론적 경계를 함께 제시하였다.
3. DRAF 알고리즘: supIPM을 이중 회귀 $R^2$ 대리 모델을 통해 근사하는 계산 효율적인 적대적 학습 알고리즘을 제안하였다. 저자들은 이 대리 모델이 대상 척도의 상한임을 증명하였다.
4. 실증적 검증: ADULT, DUTCH, CIVILCOMMENTS, COMMUNITIES(후자는 $q=18$이며 극도로 희소함)의 네 가지 벤치마크 데이터셋에서 DRAF의 성능을 입증하였다.

4. 실험 결과

저자들은 네 가지 벤치마크 데이터셋(ADULT, DUTCH, CIVILCOMMENTS, COMMUNITIES)에서 DRAF를 평가하였다.

• 희소 데이터에서의 성능: 대부분의 하위 그룹이 매우 작은 COMMUNITIES 데이터셋에서, DRAF는 하위 그룹 공정성(SP)과 1차 한계적 공정성(MP(1)) 모두에서 베이스라인 모델들을 크게 앞질렀다. 최악의 경우 하위 그룹 격차에 집중하는 GerryFair나 한계 격차에 집중하는 Regularization과 같은 베이스라인 방법들은 이 두 가지를 동시에 달성하는 데 실패하였다.
• 정확도-공정성 트레이드오프: DRAF는 모든 데이터셋에서 경쟁력 있는 정확도-공정성 트레이드오프를 달성하였다. 희소성이 낮은 데이터셋(ADULT, DUTCH)에서는 베이스라인과 대등하거나 더 나은 성능을 보였다.
• 상관관계 분석: 실험을 통해 DRAF가 하위 그룹 공정성과 한계적 공정성을 동시에 효과적으로 제어하는 반면, 한 가지 차원에만 집중하는 방법들은 다른 차원의 성능을 저하시킨다는 것을 보여주었다.
• 강건성: DRAF는 관측 가능한 하위 그룹-부분 집합에 대해서만 공정성 제약을 적용할 수 있으므로, 노이즈가 있는(누락된) 민감 속성에 대해서도 강건함을 보여주었다.
• 확장성: 본 접근 방식이 다중 클래스 분류 및 등가 기회(Equalized Odds, EO) 공정성 제약으로 확장될 수 있음을 보여주었다.

5. 의의 및 주장

본 논문은 DRAF가 하위 그룹 공정성의 "차원의 저주"에 대한 실질적인 해결책을 제공한다고 주장한다. 모든 $2^q$개의 하위 그룹에 집중하는 대신, 엄선된 활성 하위 그룹-부분 집합에 초점을 맞추고 단일 판별기 대리 모델을 활용함으로써, DRAF는 데이터 희소성과 계산적 불가능성이라는 두 가지 문제를 동시에 해결한다.

저자들은 이 방식이 (약한 개념인) 인구 통계적 패리티에 의존하지 않고도 분포적 공정성(가장 강력한 공정성 개념)을 보장한다는 점을 강조한다. 또한, 한계적 공정성을 명시적으로 강제한다면 작은 하위 그룹을 무시하는 것이 인구 수준의 공정성 측면에서 통계적으로 타당하다고 주장한다. 결론적으로, DRAF는 기존 방법들이 계산적으로 너무 비싸거나 통계적으로 불안정했던 복잡한 현실 세계의 다중 민감 속성 시나리오에서 공정한 AI 모델을 배포할 수 있게 해준다.