Fair Dataset Distillation via Cross-Group Barycenter Alignment

"Cross-Group Barycenter Alignment (COBRA)"을 통한 공정한 데이터셋 증류에 관한 해당 논문의 상세 기술 요약입니다.

1. 문제 제기

**데이터셋 증류 (Dataset Distillation, DD)**는 원본 데이터로 훈련된 모델의 예측 성능을 유지하면서 대규모 실데이터를 소규모 합성 데이터셋으로 압축하는 것을 목표로 합니다. 그러나 의료, 금융과 같은 고위험 분야에서 배포될 때, 표준 DD 방법은 **그룹 공정성 (group fairness)**을 유지하지 못하는 경우가 많습니다.

본 논문은 두 가지 치명적인 문제를 식별합니다:

1. 편향 증폭: 증류 과정은 원본 데이터에 존재하는 기존 편향을 증폭시키는 경향이 있습니다. 증류된 데이터로 훈련된 모델은 소수 하위 그룹에서 성능이 크게 저하되어 공정성 격차 (Equalized Odds Difference, EOD 로 측정) 가 커집니다.
2. 근본 원인 오해: 이전 연구들은 이러한 격차를 주로 **그룹 불균형 (샘플 수 차이)**만으로 귀인했습니다. 그러나 저자들은 문제가 더 복잡함을 입증했습니다. 이는 그룹 불균형과 표현 분리 (representational separation, 서로 다른 인구통계학적 그룹이 특징 공간에서 고유한 예측 패턴을 보이는 현상) 간의 상호작용에서 비롯됩니다.
   • 표준 DD 는 샘플 수에 가중치를 둔 단일 집계 목표에 합성 데이터를 정렬합니다.
   • 그룹이 불균형하면 목표는 다수 그룹에 의해 지배됩니다.
   • 그룹 간 표현이 다르다면, 단일 목표는 모든 하위 그룹과의 거리를 동시에 최소화할 수 없어, 합성 데이터가 한쪽을 선택하도록 강요하게 되고 이로 인해 다른 그룹의 성능이 저하됩니다.

2. 방법론: COBRA

저자들은 그룹 불균형에 무관한 증류 목적 함수를 수정하는 COBRA(Cross-grOup BaRycenter Alignment) 프레임워크를 제안합니다.

핵심 개념: 그룹 무관 중심점 (Group-Agnostic Barycenter)

모든 실데이터의 가중 평균 (다수 그룹을 선호함) 에 합성 데이터셋을 맞추는 대신, COBRA 는 하위 그룹별 표현의 **중심점 (barycenter)**을 계산합니다.

• 입력: 각 클래스 $y$에 대해, 방법론은 각 인구통계학적 하위 그룹 $a$에 대한 통계량 (예: 기울기, 임베딩, 또는 훈련 궤적) 을 식별합니다.
• 목표 계산: 하위 그룹의 크기 ($\pi_{a|y}$) 와 관계없이 **균일한 가중치 ($w_a = 1/|A|$)**로 모든 하위 그룹 통계량까지의 총 거리를 최소화하는 중심점 $m^*_y$를 계산합니다.
  $$m^*_y = \arg \min_m \sum_{a \in A} d(\Phi_{T_{a|y}}, m)$$
  여기서 $\Phi$는 클래스 조건부 하위 그룹 통계량을 나타내고, $d$는 불일치 측정치 (예: 제곱 유클리드 거리) 입니다.
• 증류 목적 함수: 합성 데이터셋은 표준 가중 혼합물이 아닌 이 중심점 목표 $m^*_y$에 맞추도록 최적화됩니다.

이론적 보장

본 논문은 **최악의 경우 잔차 (worst-case residual, 하위 그룹의 실제 표현과 증류 목표 간의 거리)**에 대한 상한을 유도합니다.

• 정리 4.1: 특정 조건 하에서 COBRA 는 모든 하위 그룹에 걸친 최대 잔차가 표준 (가중) 목표의 잔차보다 작거나 같음을 보장합니다.
• 최악의 경우 잔차를 최소화함으로써 COBRA 는 어떤 단일 하위 그룹도 합성 표현으로부터 불균형적으로 "밀려나는" 것을 방지하여 하위 그룹별 오류 패턴을 줄이고 Equalized Odds 를 개선합니다.

3. 주요 기여

1. 편향에 대한 이론적 분석: 저자들은 DD 에서의 편향 증폭을 그룹 불균형과 표현 분리 간의 상호작용 결과로 공식적으로 특징짓습니다. 기초 표현이 다르다면 불균형만 교정하는 것만으로는 부족함을 증명합니다.
2. COBRA 프레임워크: 표준 증류 목표를 그룹 무관 중심점으로 대체하는 원칙적이고 모델에 무관한 전략을 도입했습니다. 이 방법은 기존 증류 기법 (Gradient Matching, Distribution Matching, Feature Alignment, Trajectory Matching) 과 호환됩니다.
3. 포괄적인 실증 검증: 다양한 데이터셋 (합성 허위 상관관계 및 UTKFace, BFFHQ 와 같은 실제 편향 데이터셋) 과 증류 백본 (DC, DM, CAFE, IDC, MTT) 을 통한 광범위한 실험을 수행했습니다.

4. 실험 결과

본 논문은 **Equalized Odds Difference (EOD)**와 **정확도 (Accuracy)**를 사용하여 COBRA 를 표준 DD(Vanilla DD) 및 공정성 인식 기반선 (FairDD) 과 비교 평가했습니다.

• 공정성 향상: COBRA 는 모든 벤치마크에서 일관되게 가장 낮은 EOD 를 달성했습니다.
  • 예시: **C-MNIST(배경)**에서 Distribution Matching(DM) 을 IPC=50 으로 사용할 때, Vanilla DD 의 EOD 는 100.0 이었으나 COBRA 는 이를 7.46으로 줄였으며, 동시에 정확도를 48.8% 에서 **96.8%**로 향상시켰습니다.
  • BFFHQ(실제 얼굴 데이터셋)에서 COBRA 는 정확도를 개선하면서 EOD 를 63.47 에서 7.87로 감소시켰습니다.
• 불균형 및 분리성에 대한 강건성:
  • 그룹 불균형 (SKEW) 이 증가함에 따라 Vanilla DD 의 EOD 는 단조 증가합니다. 반면 COBRA 는 안정적으로 유지됩니다.
  • 표현 분리 (GAP) 가 증가함에 따라 Vanilla DD 는 공정성이 급격히 저하됩니다. COBRA 는 이 효과를 효과적으로 완화합니다.
• 일반화:
  • 교차 아키텍처: COBRA 로 생성된 증류 데이터셋은 증류 시 사용되지 않은 다른 아키텍처 (AlexNet, VGG, ResNet) 를 훈련할 때도 공정성과 정확도를 유지합니다.
  • 저 IPC 환경: COBRA 는 클래스당 매우 적은 이미지 (IPC=1, 3, 5) 가 있는 환경에서도 효과적입니다. 이는 표준 DD 가 소수 정보를 유지하지 못하는 영역입니다.
• 절대 연구 (Ablation Studies):
  • 노이즈 강건성: 그룹 레이블이 노이즈가 있거나 (최대 50% 손상) 부분적으로 누락된 경우 (가상 레이블링 사용) 에도 COBRA 는 효과적입니다.
  • 궤적 매칭: 이 방법은 궤적 기반 증류 (MTT) 로 성공적으로 확장되어 정적 표현 매칭을 넘어 적용 가능성을 입증했습니다.

5. 중요성 및 영향

• 패러다임 전환: 본 논문은 데이터셋 증류에서의 공정성 초점을 "손실 재가중 (post-hoc 또는 최적화 중)"에서 "목표 표현의 재정의"로 이동시킵니다. 공정성은 집계 목적 함수 자체에 내재되어야 함을 주장합니다.
• 실용적 적용성: COBRA 는 기존 DD 파이프라인의 목표 계산에 바로 적용 가능한 (drop-in replacement) 솔루션입니다. 하류 훈련 절차나 증류 알고리즘의 핵심 메커니즘을 변경할 필요 없이 "이상적인" 합성 데이터의 정의만 변경하면 됩니다.
• 실제 편향 해결: 복잡하고 비합성적인 편향을 가진 실제 데이터셋 (UTKFace, BFFHQ) 에서의 성공을 입증함으로써, 이 연구는 공평성을 희생하지 않고 민감한 분야에서 압축 모델을 배포할 수 있는 실현 가능한 해결책을 제공합니다.
• 이론적 통찰: 편향 증폭에 대한 상한 유도 공정은 공정한 학습 시나리오에서 표준 압축 기법이 실패하는 이유를 이해하기 위한 새로운 이론적 렌즈를 제공합니다.

결론적으로, COBRA는 합성 데이터를 공유되고 그룹이 균형 잡힌 중심점에 정렬함으로써, 데이터셋 증류에서 흔히 관찰되는 트레이드오프를 효과적으로 분리하면서 동시에 높은 예측 정확도와 강력한 그룹 공정성을 달성할 수 있음을 보여줍니다.