기술 요약: 서브그룹 재가중치 부여 및 게이트 정규화를 통한 공정성 인식 혼합 전문가(Mixture-of-Experts) 모델

문제 정의

딥러닝 모델은 민감한 속성(예: 성별, 연령)으로 정의되는 인구 통계학적 그룹 간에 빈번하게 성능 격차를 나타냅니다. 이러한 불공정성은 종종 특정 타겟 레이블과 민감한 속성의 조합이 과소 표현되는 학습 데이터의 불균형에서 기인합니다. 결과적으로 모델은 다수 서브그룹에 최적화되어, 소수 교차 그룹에서의 과소 적합(underfitting)을 초래합니다.

기존의 공정성 방법론들은 일반적으로 두 가지 범주로 나뉘지만, 각각 뚜렷한 한계를 가집니다:

1. 2단계 방법(Two-stage methods): 예측 작업과 별개로 표현(representation)을 학습하며, 이로 인해 공정성 목표와 다운스트림 예측 간의 미스얼라인먼트(misalignment)가 발생할 수 있습니다.
2. 단일 단계 방법(Single-stage methods): 일반적으로 공유된 표현 공간에 의존합니다. 이들은 공정성과 정확도를 공동으로 최적화하지만, 공유 공간은 서로 다른 서브그룹의 이질적인 특성을 포착하는 데 어려움을 겪으며, 종종 편향 완화와 예측 성능 사이의 트레이드오프를 강요합니다.

나아가, 저자는 혼합 전문가(Mixture-of-Experts, MoE) 모델에 특화된, 이전에 충분히 탐구되지 않았던 실패 모드인 **라우팅 유도 편향(routing-induced bias)**을 식별했습니다. 표준 MoE 아키텍처에서 서브그룹 불균형은 게이팅 네트워크가 라우팅 결정을 민감한 속성과 상관관계가 있도록 만들 수 있습니다. 이는 특정 서브그룹이 거의 독점적으로 몇몇 전문가에게만 라우팅되게 하여, 다른 전문가들이 활용되지 못하는 결과를 낳습니다. 이러한 편향은 단일한 공유 표현을 가정하는 전통적인 공정성 방법론으로는 감지할 수 없는 영역입니다.

방법론: FAMoE 프레임워크

저자는 라우팅 유도 편향을 진단하고 교정하기 위해 설계된 엔드투엔드(end-to-end) 프레임워크인 FAMoE(Fairness-Aware Mixture-of-Experts)를 제안합니다. 이 아키텍처는 공유 백본 인코더, $N$개의 전문가 네트워크, 그리고 게이팅 네트워크로 구성됩니다.

1. 아키텍처

• 공유 백본(Shared Backbone): 입력 이미지로부터 특징 표현 $z$를 추출합니다. 이는 성능 차이가 특징 추출의 변동이 아닌 MoE 구성 요소에서 기인함을 보장합니다.
• 전문가 네트워크(Expert Networks): 각 전문가 $E_i$는 $z$를 독립적으로 처리하여 전문가별 로짓(logit) $o_i$를 생성합니다.
• 게이팅 네트워크(Gating Network): $z$를 기반으로 라우팅 벡터 $g$를 계산하여 각 전문가에 대한 가중치를 결정합니다. 최종 예측은 전문가 출력들의 가중치 합산입니다.

2. 핵심 구성 요소

편향을 해결하기 위해 FAMoE는 두 가지 특정 메커니즘을 통합합니다:

• 서브그룹 재가중치 부여(Subgroup Reweighting): 데이터 불균형에 대응하기 위해, 학습 과정에서 타겟 레이블 $y$와 민감한 속성 $s$의 결합 서브그룹 크력에 반비례하도록 샘플에 가중치를 할당합니다. 이는 가중치 적용 이진 크로스 엔트로피 손실($L_{cls}$)을 통해 구현되며, 과소 표현된 서브그룹이 그래디언트 업데이트에 더 크게 기여하도록 보장합니다.

• 게이트 엔트로피 정규화(Gate Entropy Regularization): 게이팅 네트워크가 특정 서브그룹에 라우팅 결정을 붕괴시켜 전문가 독점을 초래하는 것을 방지하기 위해, 저자는 손실 함수에 엔트로피 정규화 항($H(g)$)을 도입합니다.

  • 기존의 부하 분산(load balancing)이 계산 효율성에 집중하는 것과 달리, 이 정규화는 라우팅 분포를 해석 가능하게 유지하는 것을 목표로 합니다.
  • 엔트로피를 높임으로써, 특정 전문가가 특정 서브그룹에 의해 독점되는 것을 방지하고, 라우팅 가중치가 인구 전체에 걸쳐 균형 잡힌 전문가 용량 할당을 반영하도록 합니다.

전체 손실 함수는 다음과 같이 정의됩니다:
$$L = L_{cls} - \lambda_{ent}H(g)$$
여기서 $\lambda_{ent}$는 정규화의 강도를 조절합니다.

주요 기여

1. 라우팅 유도 편향 식별: 논문은 서브그룹 불균형이 게이팅 네트워크로 하여금 라우팅을 민감한 속성과 상관관계가 있게 만들어, 전문가 활용의 왜곡을 초래하는 MoE 모델의 특정 실패 모드를 식별했습니다.
2. FAMoE 프레임워크: 서브그룹 재가중치 부여와 게이트 엔트로피 정규화를 결합한 엔드투엔드 솔루션을 제안했습니다. 이 접근 방식은 조건부 계산의 유연성을 유지하면서 라우팅 편향을 교정합니다.
3. 라우팅을 통한 해석 가능성: 저자는 라우팅 분포가 해석 가능한 진단 도구 역할을 함을 입증했습니다. 블랙박스 형태의 공유 공간에서 공정성을 달성하는 단일 모델과 달리, FAMoE는 서브그룹이 전문가들에게 어떻게 할당되는지 검사할 수 있게 해줍니다.
4. 실증적 검증: 제안된 방법은 CelebA 데이터셋의 다양한 설정에서 공정성-정확도 트레이드오프를 개선함을 보여주었습니다.

실험 결과

제안된 방법은 다양한 타겟 및 민감한 속성(예: 매력도, 큰 코 vs 남성, 젊음)을 가진 이진 분류 작업에 대해 CelebA 데이터셋에서 평가되었습니다.

• 지표: 성능은 Equalized Odds (EO), 정확도(Accuracy), 그리고 공정성-정확도 트레이드오프 점수(FATS)로 측정되었습니다.
• 비교: FAMOE는 ResNet-18 베이스라인, 표준 MoE, 그리고 최신 공정성 방법론들(GRL, MFD와 같은 단일 단계 및 FD-VAE, FairCL와 같은 2단계 방법)과 비교되었습니다.
• 결과:
  • 공정성: FAMoE는 대부분의 타겟/민감 속성 조합에서 가장 낮은 FATS 점수(더 나은 균형을 의미)를 달 기록했습니다. 예를 들어, "남성"이 민감한 속성인 "매력도" 작업에서, FAMoE는 표준 MoE의 13.3, MFD의 7.4와 비교하여 4.1의 EO를 달성했습니다.
  • 정확도: 이 방법은 공정성 제약 모델에서 흔히 발생하는 급격한 성능 저하 없이 경쟁력 있는 예측 정확도를 유지했습니다.
  • 어블레이션(Ablation): 서브그룹 재가중치 부여 또는 게이트 엔트로피 정규화 중 하나라도 제거하면 EO 점수가 높아졌으며, 이는 두 구성 요소 모두가 편향을 완전히 완화하고 정확도를 회복하는 데 필수적임을 확인시켜 줍니다.
  • 전문가 활용도: 게이트 가중치 분석 결과, 표준 MoE는 뚜렷한 왜곡(특정 전문가가 특정 서브그룹에 의해 지배됨)을 보였으나, FAMoE는 더 균형 잡힌 라우팅 가중치 분포를 생성했습니다.

의의 및 주장

본 논문은 MoE에서의 공정성을 다루기 위해서는 단순한 표준 표현 학습 이상의 것, 즉 **전문가 활용(expert utilization)**에 대한 명시적인 관리가 필요하다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

1. 특정 실패 모드 교정: 기존의 공정성 방법론(공유 표현을 기반으로 구축된)으로는 감지하거나 수정할 수 없는, 라우팅 유도 편향이라는 문제를 해결합니다.
2. 향상된 해석 가능성: 라우팅 분포를 정규화함으로써 모델은 서브그룹 수준의 동작에 대한 투명한 뷰를 제공합니다. 이러한 "라우팅 수준의 해석 가능성"은 단일 모델에는 없는 공정성 메커니즘에 대한 통찰을 제공합니다.
3. 총체적 최적화: 데이터 불균형과 라우팅 역학을 공동으로 다루는 것이 디커플링(decoupled)되거나 단일 단계 방식보다 우수한 공정성-정확도 트레이드오프를 이끌어낸다는 것을 입증합니다.

저자는 전문가 활용을 명시적으로 고려하는 것이 공정성 지표를 개선할 뿐만 아니라, 모델의 의사결정 과정을 더욱 투명하고 해석 가능하게 만드는 데 매우 중요하다고 결론짓습니다.