Unbiased Model Prediction Without Using Protected Attribute Information

1. 문제 정의 (Problem Statement)

딥러닝 모델은 인종, 성별, 나이 등 보호 속성 (Protected Attributes) 과 관련된 특징을 학습하여 특정 인구 통계학적 하위 그룹에 대해 편향된 예측을 수행하는 문제가 지속적으로 발생하고 있습니다. 기존 편향 완화 (Debiasing) 알고리즘의 대부분은 편향을 보정하기 위해 보호 속성 정보 (예: 성별 레이블) 를 훈련 데이터에 명시적으로 요구합니다.

그러나 현실 세계에서는 다음과 같은 이유로 보호 속성 정보를 활용하는 것이 불가능하거나 법적/윤리적으로 제한됩니다:

• 개인정보 보호 및 법적 규제: 많은 국가에서 성별이나 인종과 같은 민감한 정보를 수집하거나 공개하는 것을 법으로 금지하고 있습니다.
• 데이터 가용성: 공개된 대규모 데이터셋의 경우 보호 속성 레이블이 누락되어 있는 경우가 많습니다.

따라서, 보호 속성 정보를 전혀 사용하지 않으면서도 모델의 편향을 완화하고 공정한 예측을 달성할 수 있는 방법이 시급히 필요합니다.

2. 제안 방법론: NPAD (Non-Protected Attribute-based Debiasing)

저자들은 보호 속성 정보가 없는 상황에서도 편향을 완화할 수 있는 새로운 알고리즘 NPAD를 제안했습니다. 이 알고리즘의 핵심 아이디어는 보호 속성과 상관관계가 있는 '비보호 속성 (Non-Protected Attributes)' 의 보조 정보를 활용하여 모델을 최적화하는 것입니다.

NPAD 는 크게 두 단계로 구성됩니다:

1 단계: 비보호 속성 선택 (Non-Protected Attribute Selection)

• 목표: 보호 속성과 높은 상관관계를 가지지만, 서로 간에는 독립적인 비보호 속성들을 선별합니다.
• 과정:
  1. 대상 속성 $A_i$를 예측하는 모델을 훈련시킨 후, 다른 비보호 속성들의 클래스에 대해 모델의 예측 편차 (Disparity) 를 계산합니다.
  2. 편차가 가장 큰 속성을 우선적으로 선택합니다. (편차가 크다는 것은 해당 속성이 보호 속성과 밀접하게 연관되어 있을 가능성이 높음을 의미합니다.)
  3. 선택된 속성들이 서로 중복되지 않도록 $\chi^2$ 독립성 검정 (Chi-square test of independence) 을 수행하여 독립적인 속성들을 추가로 선택합니다.

2 단계: 편향 완화 및 모델 최적화 (Bias Mitigation)

선택된 비보호 속성들을 활용하여 CNN 모델의 특징 공간 (Feature Space) 을 최적화합니다. 이를 위해 두 가지 새로운 손실 함수를 도입했습니다.

• DACL (Debiasing via Attribute Cluster Loss):

  • 목표 속성 $A_i$와 선택된 $n$개의 비보호 속성을 결합하여 $2^{n+1}$개의 새로운 클래스를 생성합니다.
  • 이 클래스들 간의 클러스터 분리를 유도합니다. 즉, 동일 클래스 내 거리 (Intra-class distance) 는 최소화하고, 서로 다른 클래스 간 거리 (Inter-class distance) 는 최대화합니다.
  • 이를 통해 모델이 보호 속성과 무관하게 공정한 특징을 학습하도록 지도 (Supervision) 를 제공합니다.
  • 이동 평균 (Moving Average) 과 이동 표준 편차를 사용하여 이상치 (Outliers) 의 영향을 줄입니다.

• FRL (Filter Redundancy Loss):

  • CNN 의 필터 채널 간 상관관계가 높아 발생하는 특징의 중복 (Redundancy) 을 제거합니다.
  • 정규화된 필터들 간의 내적 (Dot product) 을 최소화하여 필터들이 서로 다른 특징을 학습하도록 강제합니다.
  • 이는 모델의 전반적인 성능을 향상시키고 DACL 의 효과를 보조합니다.

• 최종 손실 함수: $L = \lambda_1 L_{C} + \lambda_2 L_{F}$ (DACL 과 FRL 의 가중 합)

3. 주요 기여 (Key Contributions)

1. 보호 속성 불필요 알고리즘 (NPAD): 보호 속성 레이블 없이도 비보호 속성의 상관관계를 활용하여 편향을 완화하는 최초의 알고리즘 중 하나로 제안되었습니다.
2. 새로운 손실 함수:
   • DACL: 클래스별 정보를 학습시켜 편향을 완화하는 새로운 손실 함수.
   • FRL: 특징의 중복성을 줄이고 필터의 표현력을 높이는 손실 함수.
3. 새로운 평가 지표 (OPE - Overall Performance Equality):
   • 기존 편향 지표 (DoB 등) 는 모델이 모든 샘플을 한 클래스로 예측할 때 편향이 0 으로 잘못 측정되는 한계가 있었습니다.
   • OPE는 하위 그룹 간의 전체 성능 (Accuracy 포함) 편차를 고려하여, 편향은 없으나 성능이 낮은 모델도 불공정하다고 판단할 수 있도록 설계되었습니다.
4. 광범위한 실험 검증: LFWA 와 CelebA 데이터셋을 활용한 얼굴 속성 예측 실험을 통해 기존 알고리즘 (LfF, ARL 등) 보다 우수한 성능과 공정성을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: LFWA (13,233 이미지), CelebA (202,599 이미지).
• 평가 대상: 성별 (Gender) 과 나이 (Age) 를 보호 속성으로 간주 (훈련 시 미사용, 평가 시만 사용).
• 주요 성과:
  • 성능 향상: 기존 베이스라인 (BMT) 대비 정확도가 크게 향상되었으며, 보호 속성 정보를 사용하는 PAD (Protected Attribute-based Debiasing) 알고리즘과 유사하거나 일부 경우 더 나은 성능을 보였습니다.
  • 편향 감소: DoB (Degree of Bias) 와 OPE 지표에서 기존 알고리즘 (LfF, ARL) 보다 유의미한 감소 (편향 완화) 를 보였습니다.
  • 교차 검증: LFWA 에서 훈련된 모델을 CelebA 에서 평가하는 등 교차 데이터셋 실험에서도 높은 일반화 능력을 입증했습니다.
  • Ablation Study: DACL 과 FRL 을 모두 사용할 때 가장 좋은 성능을 보였으며, 비보호 속성을 무작위로 선택하는 경우보다 지능적인 선택 (Proposed NPAD) 이 편향 감소와 성능 향상에 결정적임을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 실제 응용 환경 (Privacy-preserving, Legal-compliant) 에서 딥러닝 모델의 공정성을 확보할 수 있는 새로운 패러다임을 제시합니다.

• 실용성: 민감한 보호 속성 레이블을 수집할 수 없는 상황에서도 데이터에 이미 존재하는 비보호 속성 (예: 안경 착용, 미소, 머리카락 색상 등) 을 활용하여 편향을 해결할 수 있음을 증명했습니다.
• 법적/윤리적 준수: 성별이나 인종과 같은 민감 정보를 직접 사용하지 않으므로, GDPR 등 개인정보 보호 법규를 준수하면서도 공정한 AI 를 구축할 수 있는 길을 열었습니다.
• 미래 방향: 현재는 이진 속성 (Binary attributes) 에 국한되어 있으나, 향후 비이진 속성으로 확장하고 최적의 비보호 속성 조합을 찾는 문제에 대한 연구가 필요하다고 결론지었습니다.

요약하자면, 이 논문은 "보호 속성 정보가 없어도, 다른 속성들의 상관관계를 지능적으로 분석하고 새로운 손실 함수를 통해 모델의 특징 공간을 최적화함으로써 공정하고 정확한 예측을 달성할 수 있다" 는 것을 기술적으로 입증한 중요한 연구입니다.