Stable and Privacy-Preserving Synthetic Educational Data with Empirical Marginals: A Copula-Based Approach

1. 문제 정의 (Problem Statement)

교육 데이터는 학생의 행동 로그, 평가 결과, 맥락 변수 등 민감한 정보를 포함하고 있어 개인정보 보호 법규 (GDPR 등) 로 인해 공개가 제한적입니다. 이를 해결하기 위해 합성 데이터 생성 (Synthetic Data Generation, SDG) 이 대안으로 제시되고 있으나, 기존 방법론에는 다음과 같은 치명적인 한계가 존재합니다.

• 한계점 1: 주변 분포 (Marginal Distribution) 왜곡
  • 기존 딥러닝 기반 생성기 (CTGAN, TVAE 등) 나 파라메트릭 모델 (가우시안 코풀라 등) 은 변수 간의 종속성을 학습하는 과정에서 개별 변수의 실제 관측된 분포 (Empirical Marginals) 를 왜곡하는 경향이 있습니다. 특히 교육 데이터는 왜도 (skewness), 다중 모드 (multi-modality), 이산적 질량점 등을 가지므로 표준 분포를 가정하는 모델은 실제 데이터의 형태를 제대로 재현하지 못합니다.
• 한계점 2: 반복 생성 시의 불안정성 (Regeneration Instability)
  • 합성 데이터가 다시 학습 데이터로 사용되는 합성 피드백 루프 (Synthetic Feedback Loop, SFL) 환경에서, 기존 모델들은 반복 생성을 거칠수록 분산이 축소되고 분포의 지지가 손실되는 모델 붕괴 (Model Collapse) 현상을 보입니다. 이는 희귀한 하위 집단 (예: 저성적 학생, 특정 행동 패턴) 의 데이터가 소실되어 분석 편향을 초래합니다.
• 한계점 3: 계산 비용과 프라이버시
  • 딥러닝 기반 모델은 높은 계산 비용을 요구하며, 미분 프라이버시 (Differential Privacy, DP) 를 적용할 때 분포 왜곡이 심화될 수 있습니다.

2. 방법론: 비모수 가우시안 코풀라 (NPGC)

저자들은 딥러닝 최적화와 파라메트릭 가정을 대체하여 실증적 통계적 앵커링 (Empirical Statistical Anchoring) 을 기반으로 한 NPGC를 제안합니다. 이 방법은 Sklar 의 정리에 기반하여 결합 분포를 주변 분포와 의존성 구조 (코풀라) 로 분리합니다.

핵심 단계

1. 마진 변환 (Marginal Transformation, $X \to Z$):

   • 각 변수를 공통의 가우시안 스케일로 매핑하되, 실제 관측된 분포를 보존합니다.
   • 비모수적 접근: 연속형, 정수형, 범주형 변수 모두에 대해 경험적 누적 분포 함수 (Empirical CDF) 를 사용하여 단위 구간 $(0, 1)$ 로 변환한 후, 표준 정규 분포의 역함수 ($\Phi^{-1}$) 를 적용하여 잠재 가우시안 공간 ($Z$) 으로 변환합니다.
   • 결측치 처리: 결측치를 별도의 상태로 간주하여 분포의 상단 구간에 매핑함으로써, 결측 패턴과 관측 변수 간의 상관관계를 보존합니다.
   • 미분 프라이버시 (DP): 주변 분포 추정 시 라플라스 메커니즘을 사용하여 노이즈를 주입하여 개인 식별성을 보호합니다.

2. 상관관계 모델링 및 가우시안 샘플링:

   • 변환된 가우시안 공간에서 변수 간의 상관관계 행렬 ($\hat{R}$) 을 추정합니다.
   • DP 예산을 할당하여 상관관계 행렬에 노이즈를 추가하고, 양의 준정부호 (Positive Semi-Definite, PSD) 보정을 수행하여 유효한 공분산 행렬을 유지합니다.
   • 학습된 상관관계 행렬을 사용하여 가우시안 샘플을 생성합니다 (Cholesky 분해 활용).

3. 마진 재구성 (Marginal Reconstruction, $Z_{syn} \to X_{syn}$):

   • 생성된 가우시안 샘플을 다시 원래의 특징 공간으로 변환합니다.
   • 핵심: 생성된 샘플의 주변 분포는 학습 단계에서 저장된 실제 경험적 분포 (Empirical Marginals) 를 역변환하여 재구성하므로, 합성 데이터는 원본 데이터의 분포와 정확하게 일치합니다.

3. 주요 기여 (Key Contributions)

1. 정확한 주변 분포 보존: 딥러닝이나 파라메트릭 모델의 왜곡 없이, 실제 관측된 데이터의 분포를 완벽하게 보존하는 플러그 앤 플레이 (Plug-and-play) 생성기를 제안했습니다.
2. 생성 안정성 (Regeneration Stability): 반복적인 합성 피드백 루프 (SFL) 환경에서도 분포가 붕괴되지 않고 안정적으로 유지되는 것을 입증했습니다. 이는 모델 붕괴를 방지하여 장기적인 연구 재현성을 보장합니다.
3. 프라이버시와 효율성: DP 를 주변 분포와 상관관계 구조 모두에 통합하여 공식적인 프라이버시 보장을 제공하며, 딥러닝 기반 모델에 비해 계산 비용을 획기적으로 낮췄습니다 (학습 시간 수백 배 단축).
4. 실제 환경 적용: 대규모 온라인 학습 플랫폼의 상호작용 로그 (xAPI) 에 NPGC 를 적용하여, 극단적인 클래스 불균형 (예: '힌트' 이벤트가 0.2% 미만) 이 있는 상황에서도 범주별 비율을 정확히 보존하며 프라이버시를 보호하는 데이터를 생성할 수 있음을 시연했습니다.

4. 실험 결과 (Results)

UCI 머신러닝 리포지토리의 5 개 벤치마크 데이터셋 (Adult, Student Dropout 등) 과 실제 온라인 학습 플랫폼 데이터로 평가되었습니다.

• 정확도 (Fidelity):
  • NPGC 는 단변량 분포 (Column Shapes) 와 쌍변량 관계 (Pair Trends) 모두에서 가장 높은 점수 (Overall Score 0.962) 를 기록했습니다.
  • 특히 Fig. 1 과 Fig. 4 에서 보듯, 기존 모델들이 분포를 왜곡하거나 단일 모드로 축소하는 반면, NPGC 는 실제 데이터의 다중 모드와 왜도 형태를 완벽하게 재현했습니다.
• 프라이버시 (Privacy):
  • Discriminator AUC 와 DCR Share(가장 가까운 레코드까지의 거리) 에서 가장 낮은 점수를 기록하여, 실제 데이터와 합성 데이터의 구별이 가장 어렵고 재식별 위험이 가장 낮음을 보였습니다.
• 하류 작업 유용성 (Utility):
  • TSTR (Synthetic 학습, Real 테스트) 평가에서 TVAE 가 가장 높은 정확도를 보였으나, NPGC 는 경쟁력 있는 성능을 유지했습니다.
  • 계산 효율성: 학습 시간은 NPGC 가 0.65 초로, CTGAN(821 초), TVAE(268 초) 등에 비해 수백 배 빠릅니다.
• 생성 안정성 (Regeneration Stability):
  • 10 단계의 반복 생성 실험에서 NPGC 는 Overall Score 가 1 단계 (96.43%) 에서 10 단계 (95.27%) 로 미미하게만 감소했습니다.
  • 반면, CTGAN, Copula-GAN, TVAE 등은 반복 생성 시 분포가 급격히 붕괴되어 점수가 50~60% 대까지 하락하는 모델 붕괴 현상을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 교육 데이터 마이닝 및 학습 분석 분야에서 프라이버시 보호와 데이터 품질의 균형을 잡은 새로운 표준을 제시합니다.

• 희귀 신호 보호: NPGC 는 소수 집단이나 희귀한 행동 패턴 (예: 학습 도움 요청, 드문 학업 성취도) 이 합성 과정에서 사라지는 것을 방지하여, 교육 정책 및 연구의 공정성과 타당성을 보장합니다.
• 실용성: 낮은 계산 비용과 쉬운 통합 (Python 라이브러리) 으로 인해 실제 교육 기관이나 플랫폼에서 즉시 적용 가능한 'Plug-and-play' 솔루션을 제공합니다.
• 미래 지향성: 딥러닝의 복잡성 없이도 통계적 엄밀함과 DP 보장을 결합함으로써, 교육 데이터의 공개, 벤치마킹, 그리고 재현 가능한 연구 생태계 조성에 기여합니다.

결론적으로, NPGC 는 딥러닝 기반 생성 모델이 가진 분포 왜곡과 불안정성 문제를 해결하고, 실제 데이터의 분포를 정확히 보존하면서 프라이버시를 보호하는 가장 효율적이고 안정적인 방법임을 입증했습니다.