Can Synthetic Data be Fair and Private? A Comparative Study of Synthetic Data Generation and Fairness Algorithms

기술 요약: 합성 데이터는 공정하고 사생활을 보호할 수 있는가? 합성 데이터 생성 및 공정성 알고리즘에 대한 비교 연구

문제 제기
학습 분석 (LA) 에 머신러닝 (ML) 이 increasingly 통합됨에 따라 알고리즘적 공정성과 데이터 프라이버시를 위한 견고한 해결책이 필요해졌습니다. 합성 데이터 생성기 (SDG) 는 실제 데이터를 합성 데이터로 대체하여 프라이버시를 강화하고 소수 그룹의 표현을 균형 있게 조정하여 공정성을 개선하는 이중 목적 도구로 등장했습니다. 그러나 기존 문헌은 프라이버시와 유용성 사이 또는 공정성과 유용성 사이의 상충 관계를 주로 다루었으며, 광범위한 SDG 에 걸쳐 프라이버시, 공정성, 유용성 간의 삼각 관계를 이해하는 데는 공백이 존재합니다. 또한, 전처리 공정성 알고리즘은 실제 데이터에 대해 잘 정립되어 있으나, 합성 데이터에 적용될 때의 효과는 아직 충분히 탐구되지 않았습니다. 본 연구는 어떤 SDG 가 프라이버시와 공정성을 가장 잘 균형 있게 유지하는지, 그리고 전처리 공정성 알고리즘이 합성 데이터셋의 공정성을 더 향상시킬 수 있는지 조사함으로써 이러한 공백을 해소합니다.

연구 방법
본 연구는 세 가지 실제 교육 데이터셋 (학생 수학 성적, 오픈 유니버시티 학습 분석, 로스쿨 입학 위원회 데이터) 과 네 가지 민감 속성 (성별, 장애, 인종) 을 활용하는 비교 실험 설계를 채택했습니다.

1. 합성 데이터 생성: 다섯 가지 서로 다른 SDG 를 평가했습니다.

   • CTGAN: 유용성에 중점을 둔 조건부 테이블형 GAN.
   • DistilGPT2 (DGPT): GReaT 프레임워크 하에서 테이블형 데이터 생성에 적응된 대규모 언어 모델.
   • ADSGAN: 과적합 및 멤버십 추론 위험을 줄이기 위해 정규화를 사용하는 GAN 기반 방법.
   • PATE-GAN: 차등 프라이버시 보장을 제공하기 위해 교사 앙상블의 사적 집계 (Private Aggregation of Teacher Ensembles) 프레임워크와 결합된 GAN.
   • DECAF: 편향된 결과를 처벌하기 위해 인과 추론 기법을 사용하여 공정한 합성 데이터를 생성하도록 특별히 설계된 GAN 기반 모델.

2. 평가 지표:

   • 프라이버시: 평균 제이슨 - 샤논 거리 (JSD), 와asserstein 거리 (WD), 멤버십 추론 공격 (MIA) 정확도 (BNAF 사용), k-익명성 점수 등 네 가지 지표를 통해 평가.
   • 공정성: 절대 수신자 운영 특성 곡선 면적 (ABROCA), 오류율 차이 (ERD), 참양성율 차이 (TPRD) 등 세 가지 지표를 사용하여 평가. 이를 종합하여 복합 공정성 점수로 집계.
   • 유용성: 하류 ML 모델 (랜덤 포레스트, 로지스틱 회귀, 가우시안 나이브 베이즈, XGBoost) 의 예측 정확도 (AUC-ROC) 로 측정.

3. 실험 흐름:

   • RQ1 (균형): 합성 데이터셋을 생성하여 프라이버시와 공정성을 평가했습니다. 이러한 데이터셋으로 모델을 훈련하고 실제 데이터로 테스트하여 (동일 훈련, 실제 테스트 패러다임) 객관적인 비교를 보장했습니다.
   • RQ2 (개선): 네 가지 전처리 공정성 알고리즘 (제거, 상관관계 제거, 불균형 영향 제거, 재가중치) 을 합성 훈련 데이터에 적용했습니다. 그 결과로 생성된 모델을 재평가하여 기존 모델 및 동일한 전처리를 적용한 실제 데이터로 훈련된 모델과 비교하여 공정성 개선을 측정했습니다.

주요 결과

• 프라이버시 - 공정성 상충 관계: 한 가지를 최적화하면 종종 다른 하나가 훼손되는 복잡한 상충 관계가 확인되었습니다. DECAF는 모든 데이터셋에서 프라이버시와 공정성 간의 가장 균형을 이룬 알고리즘으로 나타났습니다. 그러나 이러한 균형은 유용성에 상당한 비용을 치렀습니다. DECAF 는 모든 생성기 중 가장 낮은 예측 정확도 (AUC-ROC) 를 보였습니다.
• 알고리즘 특화:
  • DGPT와 CTGAN(유용성 중심) 은 다양한 정도의 불균형을 보였으며, DGPT 는 공정성에 약간 더 치우친 경향을 보였고 CTGAN 은 프라이버시와 공정성 점수 사이에 극심한 격차를 보였습니다.
  • PATE-GAN과 ADSGAN(프라이버시 중심) 은 공정성을 희생하는 대신 프라이버시를 우선시했습니다. 특히 PATE-GAN 은 가장 극단적인 상충 관계를 보였으며, 높은 프라이버시를 달성했지만 일부 경우 가장 낮은 공정성 점수를 기록했습니다.
• 전처리 효과: 합성 데이터에 전처리 공정성 알고리즘을 적용하는 것이 실제 데이터에 적용하는 것보다 공정성 향상을 더 크게 가져왔습니다. 예를 들어, CTGAN 과 재가중치 (RW) 또는 제거 (SUP) 의 조합은 데이터셋 C 에서 최대 21.5% 의 공정성 향상을 이끌어냈습니다.
• 알고리즘 민감도: 전처리 알고리즘의 효과는 균일하지 않았습니다. 특정 공정성 기법이 특정 SDG 와 더 잘 작동했습니다 (예: CTGAN 은 SUP 와 RW 에 잘 반응한 반면, ADSGAN 은 데이터셋 A 에서 상관관계 제거와 함께 부정적인 결과를 보임).

의의 및 기여
본 논문은 학습 분석 및 AI 윤리 분야에 세 가지 주요 기여를 합니다:

1. 삼각 관계 분석: 프라이버시, 공정성, 유용성 간의 삼각 관계를 강조하는 광범위한 실증 연구를 제공합니다. 연구 결과에 따르면 프라이버시와 공정성은 DECAF 에서 볼 수 있듯이 공동으로 최적화될 수 있지만, 둘 다 종종 유용성 (예측 정확도) 과 역의 관계를 보입니다.
2. 합성 데이터 + 전처리의 우위: 본 연구는 합성 데이터 생성과 전처리 공정성 알고리즘을 결합하는 것이 실제 데이터에만 공정성 알고리즘을 적용하는 것보다 더 공정한 예측을 산출함을 입증합니다. 이는 합성 데이터가 단순히 실제 세계의 편향을 물려받아 편향 완화를 위한 고유한 경로를 제공하지 않는다는 관념에 도전합니다.
3. 실용적 지침: 본 연구는 이해관계자를 위한 실행 가능한 권고안을 제시합니다. 유용성이 2 차적일 때 DECAF가 프라이버시와 공정성 균형을 위해 최적이며, ADSGAN은 프라이버시가 중요한 시나리오에 적합하며, DGPT는 공정성이 주요 목표일 때 선호된다고 제안합니다. 또한, 합성 데이터 생성 후 전처리 공정성 개입을 수행하는 하이브리드 접근 방식을 더 공정한 LA 모델을 구축하기 위한 견고한 전략으로 옹호합니다.

한계
저자들은 다음과 같은 한계를 인정합니다: 합성 데이터 생성의 여러 반복을 수행하지 못하게 한 계산적 제약 (이는 무작위성을 줄였을 수 있음), 포괄적인 목록 대신 대표성 있는 SDG 그룹에 초점을 맞춘 점, 그리고 시계열이나 이미지와 같은 다른 LA 데이터 유형을 배제한 테이블형 데이터로만 제한된 점입니다.