기술 요약: TDGT – 테이블형 데이터 생성 툴킷

문제 정의

규제 대상 도메인(의료, 금융, 사이버 보안)에서 AI 기반 시스템이 확산됨에 따라, 개인정보를 보호하는 데이터 공유를 촉진하기 위한 고품질 합성 테이블형 데이터에 대한 수요가 심화되고 있습니다. 합성 데이터는 기존 데이터를 변형하는 대신 완전히 새로운 샘플을 생성함으로써 전통적인 익명화의 강력한 대안을 제공하지만, 현재의 도구들은 도메인 연구자들에게 상당한 도입 장벽을 제시합니다. 기존 솔루션들은 흔-히 다음과 같은 사항을 요구합니다:

• 프로그래밍 전문 지식 및 스크립팅 숙련도.
• 수동 하이퍼파라미터 설정 (예: 혼합 성분의 수 또는 잠재 차원 선택), 이는 깊은 생성 모델링 지식을 요구합니다.
• 이질적인 평가 파이프라인, 즉 통계적 충실도와 프라이버시 위험에 대한 통합된 다중 지표 평가 체계의 부재.

결과적으로, 생성 모델링의 방법론적 발전과, 전문적인 모델링 지식은 부족하지만 합성 데이터가 필요한 실무자들을 위한 도구 사이에는 간극이 존재합니다.

방법론

본 논문은 데이터 생성, 평가 및 시각화를 통합하는 웹 기반의 엔드 투 엔드 플랫폼인 **TDGT (Tabular Data Generation Toolkit)**를 소개합니다. 이 툴킷은 4단계의 모듈형 파이프라인을 구현합니다:

1. 데이터 인제스션 및 특징 탐지: 열(column)을 범주형, 정수형, 연속형으로 자동 분류하고 메타데이터(범주 레지스트리, 정밀도, 경계값)를 추출합니다.
2. 합성 데이터 생성: TDGT는 세 가지 파라미터 기반 베이스라인(MVND, LogMVND, BGMM)과 여섯 가지 고급 방법을 포함하여 총 9개의 생성기를 지원합니다. 핵심적인 방법론적 혁신은 다음과 같습니다:
   • 적응형 베이지안 혼합 신서사이저 (ABMS): 후보 클러스터 수를 반복 탐색하고 클러스터 품질 기준(실루엣 점수 또는 데이비스-볼딘 지수)을 최적화함으로써 최적의 가우시안 혼합 성분 수($k^*$)를 자율적으로 결정하는 새로운 알고리즘입니다. 이는 가짜 성분을 억제하기 위해 적응형 디리클레 사전 확률(Dirichlet prior)을 사용하여 수동 하이퍼파라미터 튜닝을 제거합니다.
   • VAE-ABMS: 변이형 오토인코더(VAE)가 입력 데이터의 압축된 잠재 표현을 학습하는 하이브리드 구조입니다. 이후 ABMS가 이 잠재 공간 내에서 벡터를 합성하고, 이를 다시 원래의 특징 공간으로 디코딩합니다. 이는 얕은 혼합 모델이 포착할 수 없는 비선형 의존성을 해결합니다.
   • ABMS-CUDA: 대규모 데이터셋을 위해 CUDA 기반 k-평균 클러스터링과 가우시안 혼합 피팅을 활용하는 GPU 가속 버전의 ABMS입니다. GPU 리소스가 불충분할 경우 CPU 실행으로 전환되는 폴백(fallback) 메커니즘을 포함합니다.
   • 딥 생성 모델: 툴킷은 TabGAN (그래디언트 페널티가 적용된 Wasserstein GAN), TabVAE (적응형 배치 크징이 적용된 VAE), TabDiffusion (사인 함수형 시간 임베딩이 적용된 디노이징 확산 확률 모델)의 맞춤형 구현체를 통합합니다.
3. 생성 후 제약 조건 강제 적용: 범주형 값을 관찰된 레지스트리에 재매핑하고, 정수를 캐스팅하며, 부동 소수점을 원래 정밀도로 반올림하고, 연속형 값을 경험적 경계값 내로 클리핑함으로써 구조적 유효성을 보장하는 균일한 절차를 수행합니다.
4. 다중 지표 평가: 7가지 통계적 지표(KS, KL, JS, TVD, 헬링거 거리, 와서스타인 거리, 상관관계 차이 $\Delta C$)와 2가지 프라이버시 지표(k-익명성 및 공개 위험)를 사용하여 충실도를 평가합니다. 결과는 대화형 Plotly 차트를 통해 시각화됩니다.

주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. ABMS 알고리즘: 수동 하이퍼파라미터 명시의 필요성을 제거하고 성분의 수를 자동으로 보정하는 데이터 기반 베이지안 혼합 합성 방식입니다.
2. VAE-ABMS 아키텍처: 복잡한 비선형 테이블형 분포를 처리하기 위해 VAE 표현 학습과 적응형 혼합 합성을 결합한 하이브리드 모델입니다.
3. ABMS-CUDA: 대규모 데이터셋에 대해 훈련 시간을 크게 단축하면서도 알고리즘적 의미를 유지하는 확장 가능한 GPU 가속 구현체입니다.
4. TDGT 툴킷: 이러한 생성 방법들을 종합적인 평가 세트 및 실시간 시각화와 통합하여, 사용자에게 프로그래밍 전문 지식을 요구하지 않는 웹 기반의 통합 인터페이스를 제공합니다.

실험 결과

툴킷은 세 가지 데이터셋을 대상으로 벤치마킹되었습니다: 위스콘신 유방암 (소규모, 고차원, 연속형), 뱅크 마케팅 (중규모, 혼합 유형), NSL-KDD (대규모, 이질적, 불균형).

• 충실도(Fidelity): 딥 생성 모델은 특히 복잡한 데이터셋에서 구조적 상관관계와 주변 분포를 보존하는 데 있어 일반적으로 혼합 기반 접근 방식보다 우수한 성능을 보였습니다.
  • TabDiffusion은 Bank Marketing 및 NSL-KDD 데이터셋에서 가장 우수한 구조적 충실도(최저 $\Delta C$)를 달-성했습니다.
  • VAE-ABMS는 고차원인 NSL-KDD 및 위스콘신 데이터셋에서 우수한 주변 충실도(최저 KS 및 JS)를 입증했습니다.
  • TabGAN은 위스콘신 데이터셋에서 상관관계 보존 능력이 뛰어났습니다.
  • ABMS/ABMS-CUDA는 경쟁력 있는 분포 지표(JS)를 제공했으나, 특히 고차원 데이터에서 딥 모델에 비해 구조적 상관관계 보존($\Delta C$) 측면에서 어려움을 겪었습니다.
• 성능 및 확장성:
  • ABMS는 가장 빠른 생성기로서, 신속한 탐색에 적합했습니다 (초 단위에서 분 단위).
  • ABMS-CUDA는 $N > 10,000$인 데이터셋에서 CPU ABMS 대비 3~4배의 속도 향상을 달성했으나, 수치적 안정성을 위한 필수적인 PCA 투영으로 인해 42개 특징을 가진 NSL-KDD 데이터셋에서 약간의 충실도 저하가 발생했습니다.
  • TabGAN은 적대적 훈련 루프(adversarial training loop)로 인해 가장 높은 훈련 비용(Bank Marketing의 경우 최대 약 20분)이 발생했습니다.
  • TabDiffusion은 대규모 데이터셋에서 TabGAN보다 훨씬 낮은 훈련 시간을 기록하면서도 높은 충실도를 달성하여 유리한 트레이드오프를 제공했습니다.

의의 및 주장

본 논문은 TDGT를 고급 생성 모델링 연구와 실제 응용 사이의 가교로 위치시킵니다. 그 의의는 다음과 같습니다:

• 접근성: ABMS를 통한 하이퍼파라미터 자동 선택과 노코드(no-code) 웹 인터페이스를 제공함으로써, 깊은 딥러닝 전문 지식이 부족한 도메인 연구자(예: 임상의, 금융 분석가)의 진입 장 most를 낮춥니다.
• 통합 평가: 통계적 충실도와 프라이버시 위험을 모두 평가하는 통합된 다중 지표 평가 프레임을 제공함으로써 재현성 격차를 해소하고, 이질적인 평가 파이프라인을 제거합니다.
• 확장성: GPU 가속 버전(ABMS-CUDA)과 효율적인 딥 모델(TabDiffusion)의 포함은 소규모 임상 코호트부터 대규모 네트워크 트래픽 로그에 이르기까지 다양한 데이터셋에 대해 툴킷의 실행 가능성을 보장합니다.
• 규제 유용성: 툴킷은 데이터 접근이 엄격히 제한된 분야에서 프라이버시를 보호하는 협업을 지원하도록 설계되었으며, 식별 가능한 레코드를 노출하지 않고 통계적 특성을 유지하는 대리 데이터셋 생성을 가능하게 합니다.

저자들은 딥 생성 모델이 복잡한 데이터에 대해 더 우수한 충실도를 제공하지만, 적응형 혼합 접근 방식(ABMS/VAE-ABMS)이 속도, 해석 가능성 및 성능 사이의 중요한 균형을 제공하여 종합적인 합성 데이터 툴킷의 필수 구성 요소가 된다고 결론짓습니다.