기술 요약: FairDiffuseVQVAE

문제 정의

합성 표 형식 데이터(Synthetic tabular data)는 개인정보 보호를 위한 데이터 공유, 데이터 증강, 그리고 다운스트림 분류기의 편향 완화를 위해 매우 중요합니다. TabDDPM 및 TabSyn과 같은 최첨단 확산 모델(Diffusion models)은 높은 분포 충실도(Distributional fidelity)를 달 achieves하지만, 훈련 데이터로부터의 통계적 편향을 그대로 물려받는다는 문제가 있습니다. 반면, 기존의 공정성 인식 생성기(예: DECAF, FairTGAN, FairTabDDPM)는 일반적으로 훈련 과정에서 명시적인 공정성 패널티를 부과합니다. 이러한 접근 방식은 모델이 재구성(Reconstruction)과 적대적 또는 보조 손실(Loss) 사이에서 균형을 맞추도록 강제하며, 이로 인해 샘플 품질(밀도 추정 오차)이나 다운스트림 유용성이 크게 저하되는 결과를 초환합니다.

방법론: FairDiffuseVQVAE

저자들은 충실도(Fidelity)와 공정성(Fairness)을 분리하는 2단계 아키텍처인 FairDiffuseVQVAE를 제안합니다. 경쟁적인 손실 항을 사용하는 대신, 공정성은 조건부 정제(Conditional refinement)를 통해 샘플링 분포의 속성으로 강제됩니다.

1단계: 공정 벡터 양자화 오토인코더 (Fair Vector-Quantized Autoencoder)

이 단계는 공정성 제약 없이 혼합 유형의 표 형식 데이터를 충실하고 압축된 표현으로 학습하는 데 집중합니다.

• 아키텍처: 인코더($E_\phi$), 이산 코드북($Z$), 디코더($G_\theta$), 그리고 행 단위 판별기($D_\xi$)로 구성된 VQGAN 스타일의 오토인코더입니다.
• 프로세스: 인코더는 행 $\bar{x}$를 잠재 토큰 $z_e$로 매핑하며, 이는 가장 가까운 코드북 항목 $z_q$로 양자화됩니다. 디코더는 보호 속성 $s$에 조건화되어 행을 재구성하는 반면, 인코더는 조건화되지 않은 상태를 유지합니다.
• 손실 함수: 모델은 재구성 손실(연속형 변수는 MSE, 범주형 변수는 Cross-Entropy), 코드북 커밋먼트 손실(Codebook commitment loss), 그리고 적대적 GAN 손실을 최소화합니다. 결정적으로, 이 단계에는 공정성 항이 포함되지 않습니다.

2단계: 조건부 입력 공간 확산 정제기 (Conditional Input-Space Diffusion Refiner)

이 단계는 공정성을 강제하기 위해 입력 공간에서 1단계 재구성을 정제합니다.

• 아키텍처: EDM(Elucidating the Design Space) 정식화를 사용하는 연속 확산 정제기(DiffuseVAE 스타일)입니다. 5개 층의 MLP 디노이저($D_\psi$)를 사용합니다.
• 조건화(Conditioning): 디노이저는 세 가지 입력에 의해 조건화됩니다:
  1. 고정된 1단계 재구성 결과 ($\hat{\bar{x}}_{VQ}$).
  2. 노이즈 레벨 $\sigma$.
  3. 보호 속성 $s$.
• 훈련: 모델은 **분류기 없는 가이드(Classifier-Free Guidance, CFG)**를 사용하여 훈련됩니다. 훈련 중에 조건 신호 $s$는 확률 $p_{cfg}=0.3$으로 무작위로 누락되어, 조건부 분포 $p(\bar{x}|s)$와 무조건부 분포 $p(\bar{x})$를 모두 학습합니다.
• 샘플링 및 공정성 강제:
  1. 보호 속성 $s$는 데이터의 편향된 주변 분포가 아닌 균등 분포(예: $Bernoulli(0.5)$)에서 추출됩니다.
  2. 무작위 코드북 인덱스가 디코딩되어 초기 추측값을 형성합니다.
  3. 50단계의 Heun EDM 샘플러가 균등한 $s$와 1단계 재구성에 조건화되어 이 추측값을 정제합니다.
  4. 가이드 스케일 $w_{cfg}$는 조건부 매니폴드의 강도를 조절할 수 있는 튜닝 가능한 노브(Knob) 역할을 합니다.
  5. $s$를 균등하게 샘플링하고 이를 확산 과정에 조건화함으로써, 합성 결합 분포 $p_{synth}(\bar{x}, s) = Unif(s) \cdot p(\bar{x}|s)$는 구조적으로 인구통계학적 패리티(Demographic Parity)를 만족합니다.

주요 기여

1. 새로운 아키텍처: 공정한 표 형식 합성을 위해 특별히 설계된 VQGAN 스타일의 오토인코더와 입력 공간 DiffuseVAE 정제기를 결 \합한 2단계 프레임워크를 도입했습니다.
2. 샘플링 시점의 공정성: 명시적인 손실 패널티 없이 Classifier-Free Guidance와 추론 시 보호 속성의 균등 샘플링을 활용하여 공정성을 달성할 수 있음을 입증했습니다.
3. 최첨단 성능: Yang et al. (2025) 벤치마크에서 가장 높은 평균 인구통계학적 패리티 비율(DPR)과 등가 오차 비율(EOR)을 달성하여 기존의 공정성 인식 베이스라인들을 크게 앞질렀습니다.
4. 높은 충실도: 본 아키텍처는 모든 발표된 방법 중 가장 낮은 평균 쌍별 컬럼 상관관계 오차(Pair-wise column correlation error)를 기록하며, 고충실도 모델인 TabSyn마저 능가했습니다.
5. 재현성: 8개의 데이터셋에 대해 밀도, 상관관계, AUC, DPR, EOR, DCR 등의 포괄적인 지표를 보고하며, TabSyn 저장소에 통합된 재현 가능한 파이프라인을 제공합니다.

실험 결과

Yang et al. (2025) 벤치마크(Adult, Bank, COMPAS) 및 TabSyn 벤치마크에서 평가되었습니다:

• 공정성 지표: FairDiffuseVQVAE는 평균 인구통계학적 패리티 비율(DPR) 0.702(FairTabDDPM 대비 +47% 개선)와 평균 등가 오차 비율(EOR) 0.686(+100% 개선)을 달성했습니다.
• 품질 지표: 평균 **쌍별 상관관계 오차(0.034)**를 기록하여 TabSyn(0.041)보다 우수한 성능을 보였습니다.
• 유용성 트레이드오프: 이 방법은 다운스트림 유용성을 공정성과 명시적으로 교환합니다. 평균 TSTR(Synthetic으로 훈련, Real로 테스트) AUC는 0.708로, 강력한 딥 생성 베이스라인(예: TabSyn의 0.860)보다 약 15포인트 낮았습니다. 저자들은 이를 특징(Feature)과 보호 속성 간의 결합을 해제함으로써 다운스트림 분류기가 편향을 이용하는 것을 방지했기 때문이라고 설명합니다.
• 개인정보 보호: 가장 가까운 레코드와의 거리(DCR) 점수는 Adult와 Bank 데이터셋에서는 이상적인 수준인 0.5에 근접했으나, 규모가 작은 COMPOS 데이터셋에서는 0.81로 높아져 소규모 데이터 환경에서의 부분적인 메모리 현상을 나타냈습니다.

의의 및 주장

본 논문은 명시적인 인과 그래프 사양을 요구하는 인과 기반 방법(DECAF 등)에 대한 실용적인 대안으로서 FairDiffuseVQVAE를 제시합니다. 충실도(1단계)와 공정성(2단계)을 분리함으로써, 아키텍처는 훈련 중에 공정성 제약과 경쟁하지 않고 재구성을 최적화할 수 있습니다.

저자들은 유용성-공정성 트레이드오프가 명시적이며 정량화 가능하다는 점을 강조합니다. 그들은 공정성 인식을 위한 합성 데이터의 경우, 만약 그 정확도가 실제 데이터의 편향된 상관관계로부터 유래된 것이라면 다운스트림 분류기가 정확도를 잃는 것이 "올바른 동작"이라고 주장합니다. 이 방법은 CFG 가이던스를 통해 재학습 없이 이 트레이드오프를 제어할 수 있는 튜닝 가능한 메커니즘을 제공합니다.

결론적으로, 이 접근 방식은 경험적이며 인과적 방법론과 달리 이론적 보장을 결여하고 있지만, 강력한 경험적 결과와 생성 동작에 대한 샘플링 시점의 제어 기능을 갖춘 유연한 프레임워크를 제공합니다. 저자들은 합성 데이터가 단독적인 공정성 해결책으로 취급되어서는 안 된다고 경고하며, 질적 감사(Qualitative audit) 및 분류기 측의 개입과 병행할 것을 권장합니다.