기술적 요약: 완화된 공평 회귀의 기하학

문제 정의

본 논문은 추론 시 민감한 속성 ($S$) 을 사용할 수 없는 '무감각 (unaware)' 설정에서 회귀 작업에 **인구통계학적 평등 (Demographic Parity, DP)**을 부과하는 과제를 다룹니다. '감각 (aware)' 설정 (즉, $S$가 관찰되는 경우) 에서는 정확한 공평성을 위한 사후 처리 방법이 존재하지만, 무감각 설정에서 완화된 공평성 (정확성과 공평성 간의 균형) 을 달성하기 위한 원칙적인 방법론은 크게 부재합니다. 기존 접근법들은 종종 문제의 연속적인 기하학적 구조를 포착하지 못하는 노이즈가 있는 프록시 분류기나 그리드 기반 이산화 방법에 의존하여, 최적에 미치지 못하는 정확성 - 공평성 트레이드오프를 초래합니다.

방법론

저자들은 완화된 공평 회귀를 최적 수송 (Optimal Transport, OT) 문제로 공식화하는 통합 프레임워크를 제안합니다. 핵심 통찰은 불공평성에 대한 패널티를 최소화하면서 기본 예측기의 조건부 분포를 공통된 목표 분포로 수송하는 OT 매핑을 통해 최적 예측 함수를 특징짓는 것입니다.

1. 통합 프레임워크

이 프레임워크는 양의 그룹과 음의 그룹의 특징 법칙 간의 차이인 부호화된 측도 $\chi_+ - \chi_-$로 회귀 문제를 정의함으로써 감각 및 무감각 설정을 모두 통합합니다.

• 무감각 설정: 최적 예측기는 부호화된 그룹 확률 $\Delta(x) = \frac{P(S=+|X=x)}{p_+} - \frac{P(S=-|X=x)}{p_-}$에 의존합니다. 이 문제는 기본 예측 $\eta(x)$와 $\Delta(x)$의 공간에 정의된 2 차 측도 $\mu^{\pm}_{\eta, \Delta}$를 1 차 예측 공간으로 수송하는 문제로 환원됩니다.
• 감각 설정: 이는 관찰된 $S$에 기반하여 $\Delta(x)$가 결정론적인 특수한 경우로 복원되며, 문제는 1 차 수송으로 축소됩니다.

2. 패널티를 통한 완화된 공평성

정확한 DP($\lambda \to \infty$) 를 부과하는 대신, 저자들은 패널티가 적용된 위험을 최소화합니다:
$$\min_f \mathbb{E}[(f(X) - \eta(X))^2] + \lambda m U_D(f)$$
여기서 $U_D(f)$는 부호화된 측도의 양의 변형과 음의 변형의 푸시포워드 (pushforwards) 간의 불일치 측정치입니다. 본 논문은 두 가지 특정 패널티를 분석합니다:

• 제곱 워터스테인 -2 ($W_2^2$): 레이블 공간에서의 변위 크기에 패널티를 부과합니다.
• 총 변동 (Total Variation, TV): 서로 다른 값 간의 거리를 무시하고 중첩되지 않는 확률 질량에 패널티를 부과합니다.

3. 폐쇄형 해 (Closed-Form Solutions)

주요 이론적 기여는 최적의 거의 공평한 예측 함수에 대한 정확한 폐쇄형 표현식을 유도하는 것입니다.

• $W_2^2$ 완화: 해는 기본 예측과 목표 간의 가중 보간을 포함합니다. 최적 수송 계획은 특정 비용 함수 $C_{\lambda, c_2}$로 특징지어지며, 예측 맵 $T^\pm$은 지역 밀도 비율로 가중된 입력들의 선형 결합입니다.
• TV 완화: 해는 하드 임계값 (hard-thresholding) 행동을 보입니다. 두 예측을 병합하는 비용이 임계값 $\lambda$보다 낮으면, 이들은 가중 바리센터 (barycenter) 로 병합되고 그렇지 않으면 변경되지 않습니다. 이는 구간별로 정의된 맵을 초래합니다.

4. 알고리즘적 구현

저자들은 다음과 같은 실용적인 알고리즘 (알고리즘 1) 을 제안합니다:

1. 기본 회귀기 $\hat{\eta}$와 사후 확률을 추정하여 $\hat{\Delta}$를 계산합니다.
2. 훈련 데이터로부터 경험적 2 차 측도를 구성합니다.
3. 유도된 폐쇄형 비용 행렬을 사용하여 이산 OT 문제를 풉니다.
4. **바리센트릭 투영 (barycentric projection)**을 사용하여 훈련 세트에 대한 의사 레이블 (pseudo-labels) 을 생성합니다.
5. 표본 외 추론을 가능하게 하기 위해 의사 레이블에 연속 회귀기 (예: 랜덤 포레스트) 를 적합시킵니다.

주요 기여

1. 통합 프레임워크: $W_2^2$ 및 TV 패널티를 모두 수용하며 감각 및 무감각 완화 공평 회귀를 통합하는 일반적인 패널티 OT 목적 함수.
2. 폐쇄형 특징화: 완화된 무감각 공평성을 위한 최초의 정확한 연속 기하학적 축소. 본 논문은 그리드 기반 근사에 머무르던 기존 작업 (예: FairReg) 을 넘어 최적 예측 맵에 대한 명시적 공식을 제공합니다.
3. 철학적 차이: 본 논문은 패널티의 선택이 근본적으로 다른 공평성 철학을 반영함을 밝힙니다:
   • $W_2^2$는 **부드러운 전 인구적 타협 (평등주의적 관점)**을 유도하여 모든 개인을 공평한 중심을 향해 약간 이동시킵니다.
   • TV는 **개인의 부분 집합에 대한 정확한 평등 (충분주의적 관점)**을 부과하여 극단적인 예측은 변경하지 않고 "부담 가능한" 경우에만 완벽하게 병합합니다.
4. 효율적인 알고리즘: 확률적 경사 하강법을 피하는 결정론적이고 계산적으로 효율적인 사후 처리 알고리즘.

실험 결과

본 프레임워크는 합성 데이터와 실제 세계 벤치마크 (법대 입학, 지역사회 및 범죄, 성인 인구 조사 소득) 에서 평가되었습니다.

• 성능: 제안된 "OT Unaware" 방법은 모든 공평성 지표 ($W_2$, TV, 콜모고로프 - 스미르노프 거리) 에서 최첨단 기준인 FairReg(Taturyan et al., 2024) 와 일치하거나 능가하는 반면, 경쟁력 있는 평균 제곱 오차 (MSE) 를 유지합니다.
• 프록시와의 비교: 프록시 분류기를 통해 $S$를 추정하고 감각 OT 매핑을 적용하는 단순한 접근법 (플러그인 추정기) 은 분류 오류로 인해 공평성을 달성하지 못하는 경우가 많아 현저히 낮은 성능을 보입니다. 제안된 2 차 프레임워크는 이러한 불확실성을 성공적으로 흡수합니다.
• 효율성: OT Unaware 방법은 반복적 확률적 최적화 대신 정확한 이산 OT 솔버에 의존하기 때문에 FairReg 보다 훨씬 빠릅니다 (예: 지역사회 데이터셋에서 약 26 배 속도 향상).
• 강건성: 이 방법은 다양한 기본 추정기 (선형, 랜덤 포레스트, 그래디언트 부스팅) 에서 강건성을 보입니다.

중요성 및 주장

본 논문은 무감각 설정에서 완화된 공평 회귀를 위한 이론적으로 근거된 연속 기하학적 해결책을 제공함으로써 문헌의 상당한 격차를 해소했다고 주장합니다.

• 이론적 엄밀성: 이산화에 의존하던 기존 방법과 달리, 본 작업은 정확한 폐쇄형 축소를 제공하여 공평성 제약의 기하학적 본질을 명확히 합니다.
• 실용적 유용성: 유도된 알고리즘은 구현이 간단하고 계산적으로 효율적이어서, 추론 시 민감한 속성이 누락되고 모델이 블랙박스인 실제 배포 환경에 적합합니다.
• 철학적 통찰: $W_2$와 TV 패널티를 대조함으로써, "완화된 공평성"이 단일 개념이 아니라 실무자가 선택한 특정 트레이드오프 철학 (전체적 평활화 vs. 지역적 정확성) 에 의존함을 강조합니다.

저자들은 이진 민감 속성과 특정 패널티 유형 ($W_2^2$ 및 TV) 으로 제한된다는 점, 그리고 성능이 기본 추정기 $\hat{\eta}$ 및 $\hat{\Delta}$의 품질에 의존한다는 한계를 지적합니다. 그러나 기존 최첨단 방법보다 정확성 - 공평성 트레이드오프에 있어 더 우수한 기준선을 제공한다고 단언합니다.