기술 요약: 분리된 생성 모델을 통한 합성 데이터 생성 (Disjoint Generation of Synthetic Data)

문제 정의

고품질 합성 표 형식 데이터(tabular data)의 생성은 유용성(원래 분포에 대한 충실도 및 다운스트림 작업에서의 성능)과 개인정보 보호(재식별 방지) 사이의 지속적인 트레이드오프 문제에 직면해 있습니다. 데이터를 하나의 거대한 생성 모델을 학습시키기 위해 통합하는 전통적인 중앙 집중식 워크플로우는 고차원 구조를 포착하기 위해 과적합(overfitting) 문제를 겪거나, 충분한 경험적 개인정보 보호 보장을 제공하지 못하는 경우가 많습니다. 차분 프라이버시(Differential Privacy, DP)는 공식적인 보장을 제공하지만, 종종 유용성을 저하시키는 노이즈를 도입합니다. 또한, 기존의 연합 또는 분산 방식은 일반적으로 중앙 집중식 방식과 유사한 성능을 달ей나, 이를 능가하는 경우는 드뭅니다.

특정한 문제는 데이터가 자연적으로 분할되어 있거나(예: 공유 식별자가 없는 수직 슬라이스 형태), 계산적 제약으로 인해 모든 특성(feature)에 대해 단일 모델을 학습시킬 수 없을 때 발생합니다. 현재의 방법들은 변수의 분리된 하위 집합으로부터 합성 데이터를 생성하고, 하위 집합 간의 근본적인 상호 변수 의존성을 잃지 않고 재조립하는 견고한 프레임워크가 부족합니다.

방법론: 분리된 생성 모델 (Disjoint Generative Models, DGMs)

저자들은 "분할 정복(divide and conquer)" 패러다임을 합성 데이터 생성에 적용하는 분리된 생성 모델(DGMs) 프레임워크를 제안합니다. 핵심 절차는 세 단계로 구성됩니다:

1. 분할(Partitioning): 훈련 데이터셋 $X$ ($n \times k$ 행렬)를 변수의 $n_p$개 분리된 하위 집합($d_1, d_2, \dots, d_{n_p}$)으로 열 단위로 분할합니다. 이 파티션들은 공유되는 변수를 포함하지 않습니다.
2. 분리 생성(Disjoint Generation): 각 파티션은 별도의 생성 모델 인스턴스($G_p$)에 입력됩니다. 결정적으로, 이는 특정 데이터 하위 집합의 강점에 따라 서로 다른 모델 아키텍처(예: 한 파티션에는 베이지안 네트워크를, 다른 파한에는 GAN을 사용)를 동시에 사용하는 **혼합 모델 생성(mixed-model generation)**을 가능하게 합니다.
3. 결합 연산(Joining Operation): 독립적인 합성 파티션($s_1, s_2, \dots, s_{n_p}$)은 사후에 결합됩니다. 본 논문은 **검증 모델(Validator Model, $V$)**을 사용하는 특정 결합 전략에 초점을 맞춥니다:
   • 검증 모델 학습: 원본 데이터를 사용하여 이진 분류기(예: 랜덤 포레스트)를 학습시킵니다. 양성 클래스는 실제 행(authentic rows)으로 구성되며, 음성 클래스는 실제 데이터의 분리된 파티션들을 무작위로 섞고 연결하여 만든 "가짜(fake)" 행들로 구성됩니다.
   • 추론(Inference): 합성 파티션들을 무작위로 연결하여 후보 행($q$)을 형성합니다. 검증기는 각 후보에 점수($z$)를 할당합니다.
   • 선택(Selection): 점수가 임계값 $\theta$를 초과하는 후보들은 최종 합성 데이터셋 $S$에 수용됩니다. 수용된 행들은 풀(pool)에서 제거되며, 남은 파티션들은 새로운 후보를 생성하기 위해 다시 섞입니다. 이 루프는 목표 데이터셋 크기에 도달하거나 반복 제한에 도달할 때까지 계속됩니다.

주요 기여

*로 프레임워크 제안: 단일 모놀리식(monolithic) 모델이 항상 우월하다는 가설에 도전하며, 분할이 계산적 실행 가능성과 개인정보 보호를 개선할 수 있음을 입증하는 DGM 프레임워크를 소개합니다.

• 혼합 모델 합성: 단일 합성 데이터셋 내에서 서로 다른 생성 모델 유형(예: 높은 유용성을 가진 TabDiff 또는 synthpop과 높은 프라이버시를 가진 DPGAN)을 결합할 수 있는 새로운 능력을 제공하여, 특정 변수 하위 집합에 대한 각 모델의 강점을 활용합니다.
• 결합 검증기: 단순한 무작위 연결이나 공유 식별자에 의존하는 대신, 교차 파티션 의존성을 학습함으로써 분리된 합성 데이터를 재조립하는 메커니즘을 제공합니다.
• 경험적 평가: 7개의 표준 표 형식 데이터셋(126개에서 3,927개의 레코드 범위)과 하나의 고차원 데이터셋(98개 특성)에 대한 종합적인 벤치마크를 수행하여 유용성(PCA, 상관관계, F1, AUROC)과 개인정보 보호(식별 위험, 멤버십 추론 공격 재현율)를 평가합니다.

결과

실험을 통해 다음과 같은 주요 결과가 도출되었습니다:

• 프라이버시-유용성 트레이드오프: 파티션의 수를 늘리면 일반적으로 경험적 개인정보 보호 지표(낮은 식별 위험 및 MIA 재현율)는 개선되지만, 유용성 지표(높은 상관계수 행렬 차이, 낮은 F1/AUROC)는 저하됩니다.
• 검증기의 역할: 결합 검증기를 사용하는 것은 무작위 연결과 비교했을 때 파티셔닝으로 인한 유용성 손실을 크게 완화합니다. 무작위 연결은 주변 분포(marginal distributions)는 잘 보존하지만, 교차 파티션 의서 관계를 포착하지 못해 다운스트림 작업 성능이 떨어집니다. 검증기는 약간의 최대 프라이버시 이득을 희생하는 대신 이러한 유용성을 일부 복구합니다.
• 혼합 모델 성능: 혼합 모델 DGM(예: synthpop과 DPGAN의 결합)은 최적의 균형을 달성합니다. 이들은 종종 단일 모델 베이스라인보다 높은 유용성을 보이면서도 높은 프라이버시 모델과 대등하거나 더 나은 프라이버시 수준을 유지합니다. 예를 들어, synthpop-DPGAN 조합은 고유용성 베이스라인에 비해 재식별 위험을 크게 줄이면서도 경쟁력 있는 AUROC 및 F1 점수를 달성했습니다.
• 파티셔닝 전략: 결합 과정의 효과는 파티션 간의 상관관계 구조에 크게 의존합니다. 높은 상호 파티션 상관관계는 검증기의 작업을 용이하게 하여 유용성을 높이는 반면, 낮은 상관관계는 단순한 연결에 유리하지만 결합 과정으로부터 얻는 프라이버시 이득은 적습니다.
• 계산 효율성: 파티셔닝은 차원이 높아질수록 성능이 저하되는 모델(예: 베이지안 네트워크)의 훈련 시간을 단축시켜, 단일 모델로는 계산적으로 불가능할 수 있는 고차원 데이터셋에서도 이를 실행 가능하게 만듭니다.

의의 및 주장

본 논문은 DGM을 데이터를 통합할 수 없거나 단일 모델이 프라이버시와 유용성 사이의 균형을 효과적으로 맞출 수 없는 시나리오를 위한 실용적인 대안으로 제시합니다. 저자들은 다음과 같이 주장합니다:

• 경험적 프라이버시 이득: 이 프레임워크는 (공식적인 DP 접근 방식에서 흔히 보이는) 심각한 유용성 저하 없이 경험적 개인정보 보호(식별 위험으로 측정됨)를 실질적으로 향상시킵니다.
• 유연성: 모델을 혼합할 수 있는 능력은 실무자가 특정 데이터 특성에 맞춰 생성 프로세스를 조정할 수 있게 합니다 (예: 민감한 컬럼에는 DP 모델을, 다른 컬럼에는 고충실도 모델을 사용).
• 보장에 대한 신중함: 저자들은 프라이버시 개선이 경험적이지 공식적인 것이 아님을 명시적으로 밝힙니다. 결합 검증기가 실제 데이터에 노출되어 있고, 구성 모델들의 DP 보장이 재조립 과정에서 무효화될 수 있기 때문에, 프레임워크는 현재 엔드 투 엔드(end-to-end) 차분 프라이버시 보장을 제공하지 않습니다.
• 향후 방향: 이 연구는 대안적인 결합 메커니즘(예: 베이지안 방법, 해싱) 탐색, 파티셔닝 전략 최적화, 그리고 멀티모달 데이터(이미지, 텍스트, 시계열)로의 확장을 위한 길을 열어줍니다.

결론적으로, DGM이 모든 프라이버시 문제를 해결하는 것은 아니지만, 유용성과 개인정보 보호라는 상충하는 요구사항 사이에서 더 나은 균형을 맞추며 합성 표 형식 데이터를 생성할 수 있는 유망하고 유연하며 계산 효율적인 경로를 제공합니다.