XGenBoost: Synthesizing Small and Large Tabular Datasets with XGBoost

이 논문은 XGBoost 의 강점을 활용하여 소규모 데이터셋에는 DDIM 기반 모델을, 대규모 데이터셋에는 계층적 자기회귀 모델을 제안함으로써 혼합형 표본 데이터 생성에서 기존 모델보다 낮은 훈련 비용으로 더 우수한 성능을 달성하는 'XGenBoost'를 소개합니다.

핵심

XGenBoost: 나무로 만든 '가짜 데이터' 공장

이 논문은 **"XGenBoost"**라는 새로운 기술을 소개합니다. 이 기술은 통계학에서 가장 강력한 도구 중 하나인 **'XGBoost(엑스그부스트)'**라는 나무 기반 알고리즘을 이용해, **실제 데이터와 구별하기 힘든 '가짜 데이터(합성 데이터)'**를 만들어내는 방법입니다.

기존의 데이터 생성 기술은 마치 거대한 GPU(그래픽 카드) 를 필요로 하는 무거운 공장처럼 비쌌고 복잡했지만, XGenBoost 는 작은 컴퓨터로도 빠르게 작동하는 효율적인 공장을 제안합니다.

이 기술을 이해하기 쉽게 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 왜 '나무'를 쓸까요? (기존 기술 vs 새로운 접근)

기존의 방식 (딥러닝):
기존의 데이터 생성 기술은 '딥러닝'이라는 거대한 신경망을 사용합니다. 이는 마치 고급 레스토랑의 셰프와 같습니다. 요리를 아주 맛있게 만들 수 있지만, 고급 식재료를 사야 하고 (고성능 GPU), 요리사도 많이 필요하며 (많은 학습 시간), 요리하는 데도 시간이 오래 걸립니다.

XGenBoost 의 방식 (트리 앙상블):
저자들은 "왜 항상 셰프만 쓸까?"라고 질문합니다. 대신 그들은 **정직한 목수 (나무 기반 알고리즘)**를 고용합니다.

• 장점: 목수는 복잡한 요리보다 **데이터의 특징 (숫자와 카테고리)**을 훨씬 직관적으로 이해합니다.
• 효율: GPU 같은 비싼 장비 없이도 일반 컴퓨터 (CPU) 로도 빠르게 작동합니다.
• 유연성: 작은 데이터든, 수백만 줄의 거대한 데이터든 상황에 맞는 도구를 꺼내 쓸 수 있습니다.

2. 두 가지 다른 '공장' (작은 데이터 vs 큰 데이터)

XGenBoost 는 데이터의 크기에 따라 두 가지 다른 공장을 운영합니다.

A. 작은 데이터용: "확산 공장" (XGenB-DF)

• 비유: 점토를 빚는 예술가
• 원리: 이 공장은 '확산 모델 (Diffusion Model)'을 사용합니다. 마치 점토 덩어리에 조금씩 소금을 뿌려서 (노이즈 추가) 무너뜨렸다가, 다시 그 소금의 흔적을 보고 원래 점토 모양을 복원하는 과정과 같습니다.
• 특징:
  • 숫자 데이터는 물처럼 흐르는 가우시안 확산으로, 문자 데이터는 주사위를 굴리는 것처럼 다항 분포 확산으로 처리합니다.
  • 이 두 과정을 섞어서 숫자와 문자가 섞인 복잡한 데이터도 자연스럽게 만듭니다.
  • 장점: 아주 작은 데이터셋에서도 매우 정교하고 생생한 가짜 데이터를 만들어냅니다.

B. 큰 데이터용: "계단식 공장" (XGenB-AR)

• 비유: 레고 블록을 쌓는 어린이
• 원리: 이 공장은 '자기회귀 (Autoregressive)' 방식을 사용합니다. 레고 블록을 하나씩 쌓아 올리는 것처럼, 첫 번째 데이터 (예: 나이) 를 먼저 만들고, 그 다음 두 번째 데이터 (예: 성별) 를 그 나이에 맞춰 만들고, 세 번째 데이터 (예: 직업) 를 앞의 두 가지를 보고 만드는 식입니다.
• 특징:
  • 계층적 분류: 숫자 데이터를 만들 때, 단순히 값을 예측하는 게 아니라 "이 숫자는 1020 사이인가? 아니면 2030 사이인가?"처럼 단계별로 나누어 (Hierarchical) 예측합니다. 이는 나무가 가지를 치듯 논리적인 구조를 따릅니다.
  • 효율성: 데이터를 K 배나 늘려서 학습할 필요가 없기 때문에, 수백만 줄의 거대한 데이터도 몇 분 만에 학습할 수 있습니다. (예: 160 만 줄 데이터도 3 분 만에 학습!)

3. 이 기술이 가져오는 변화 (왜 중요할까요?)

이 논문은 단순히 "데이터를 만든다"는 것을 넘어, 데이터 민주화를 이야기합니다.

1. 접근성 (Democratization):
   • 기존 기술은 미국이나 유럽의 대기업만 쓸 수 있는 고가의 GPU 가 필요했습니다. 하지만 XGenBoost 는 일반적인 노트북이나 서버로도 작동합니다. 개발도상국이나 자금이 부족한 연구실에서도 강력한 데이터 생성 기술을 쓸 수 있게 됩니다.
2. 비용과 에너지 절약:
   • 거대한 GPU 를 가동하는 것은 엄청난 전기를 먹습니다. XGenBoost 는 CPU 만으로도 작동하므로 에너지 소비가 적고 비용이 저렴합니다.
3. 데이터의 본질을 존중:
   • 많은 AI 모델이 텍스트나 이미지를 위해 설계된 것을 억지로 표형 데이터에 적용합니다. 하지만 XGenBoost 는 표형 데이터 (엑셀 같은 데이터) 에 가장 적합한 '나무' 구조를 처음부터 고려하여 설계했습니다. 이는 "데이터에 맞는 도구를 쓴다"는 철학입니다.

요약

XGenBoost는 "거창하고 비싼 AI 공장" 대신, **"현실적이고 효율적인 나무 기반 공장"**을 제안합니다.

• 작은 데이터에는 정교한 확산 공장을,
• 거대한 데이터에는 빠른 계단식 공장을 운영하여,
• 어떤 크기든 빠르고 저렴하게, 실제와 구별하기 힘든 가짜 데이터를 만들어냅니다.

이 기술은 민감한 환자 데이터나 기업 정보를 공유할 때, 실제 사람의 정보를 노출하지 않으면서도 연구나 개발에 쓸 수 있는 안전한 데이터를 만들어내는 데 큰 역할을 할 것입니다.

기술 요약

1. 문제 정의 (Problem)

혼합 유형 (Mixed-type) 표형 데이터 (Numerical 및 Categorical 변수가 공존) 를 위한 데이터 생성 (Synthesis) 은 데이터 증강, 민감한 데이터 공유, 연방 학습 등 다양한 목적으로 중요해지고 있습니다. 그러나 현재 주류를 이루는 최첨단 (SOTA) 방법론들은 대부분 **심층 신경망 (Deep Neural Networks)**에 의존하고 있습니다.

• 자원 접근성 불균형: 신경망 기반 모델은 합리적인 학습 시간을 보장하기 위해 GPU 와 같은 현대적인 컴퓨팅 자원이 필수적입니다. 이는 전 세계적으로 자원이 불균등하게 분배된 상황에서 접근성을 제한합니다.
• 표형 데이터의 특성: 표형 데이터의 경우, 트리 앙상블 (Tree Ensembles, 예: XGBoost) 이 신경망보다 더 적합한 인덕티브 바이어스 (Inductive biases) 를 가지며, 학습 효율성이 높고 하이퍼파라미터 튜닝이 적게 필요하다는 사실이 알려져 있습니다.
• 기존 트리 기반 생성 모델의 한계: 기존 트리 기반 생성 모델 (예: Adversarial Random Forests, Unmasking Trees, ForestDiffusion 등) 은 대규모 데이터셋으로 확장 (Scalability) 하는 데 실패하거나, 학습 데이터셋을 과도하게 확장 (K 배 증폭) 하여 계산 비용을 폭증시키는 문제가 있었습니다. 또한, 범주형 데이터를 처리할 때 원-핫 인코딩 (One-hot encoding) 을 필수적으로 사용하여 XGBoost 의 본질적인 장점을 살리지 못했습니다.

2. 방법론 (Methodology)

저자들은 XGBoost 의 특성을 최대한 활용하고 그 제약 조건을 존중하는 두 가지 새로운 생성 아키텍처를 제안합니다. 이를 통칭하여 XGenBoost라고 명명했습니다.

A. 소규모 데이터셋용: XGenB-DF (Diffusion Model)

• 개념: XGBoost 를 스코어 추정기 (Score-estimator) 로 사용하는 **Denoising Diffusion Implicit Model (DDIM)**입니다.
• 핵심 기법:
  • 혼합 확산 (Hybrid Diffusion): 수치형 변수에는 가우시안 확산 (Gaussian diffusion) 을, 범주형 변수에는 다항식 확산 (Multinomial diffusion) 을 적용합니다. 이를 통해 범주형 데이터를 원-핫 인코딩 없이 XGBoost 의 네이티브 분할 (Split) 기능을 직접 활용할 수 있습니다.
  • 특성별 모델: 각 특성 (Feature) 마다 별도의 XGBoost 회귀기 (Numerical) 또는 분류기 (Categorical) 를 학습시켜, 손실 함수의 가중치 조정 (Loss-scale weighting) 문제를 해결합니다.
  • 기억 방지 (Memorization): 학습 데이터의 특정 샘플을 암기하는 것을 방지하기 위해 입력 특성에 드롭아웃 (Dropout) 을 적용하여 모델이 더 일반적인 분포를 학습하도록 유도합니다.
  • 효율성: DDPM 을 DDIM 으로 확장하여 더 적은 확산 단계 (Diffusion steps) 로 고품질 샘플을 생성할 수 있도록 했습니다.

B. 대규모 데이터셋용: XGenB-AR (Autoregressive Model)

• 개념: 고정된 순서 (Fixed-order) 의 자기회귀 (Autoregressive) 모델로, 조건부 확률 분포를 XGBoost 를 통해 학습합니다. 학습 데이터셋을 확장하지 않고도 대규모 데이터에 확장 가능합니다.
• 핵심 기법:
  • 계층적 분류 (Hierarchical Classification): 수치형 변수를 모델링할 때, 단순한 다중 클래스 분류 대신 계층적 이진 분류기 (Binary classifiers) 의 메타 트리를 사용합니다. 이는 수치형 데이터의 순서적 (Ordinal) 인ductive bias 를 반영하고, 예측 오차를 의미 있는 구간 (Bins) 으로 국소화하여 다변량 구조를 더 잘 보존합니다.
  • 양자화 및 역양자화 (Quantization & De-quantization):
    • 양자화: 수치형 데이터를 균등한 샘플 수를 가진 빈 (Bins) 으로 나눕니다.
    • 역양자화: 단순히 빈에서 균일하게 샘플링하는 대신, **실증적 분위수 함수 (Empirical Quantile Functions)**를 보간하여 비연속적이고 왜곡된 실제 데이터 분포를 정밀하게 재현합니다.
  • 고차원 범주형 처리: 학습 시간과 프라이버시 리스크를 줄이기 위해, 드문 범주 (Infrequent categories) 를 클러스터링하여 통합하거나, 빈도수가 높은 범주와 분리하여 처리합니다.

3. 주요 기여 (Key Contributions)

1. 트리 기반 생성 모델의 새로운 패러다임: 신경망 중심의 생성 모델 흐름에 반하여, 표형 데이터에 적합한 인덕티브 바이어스를 가진 XGBoost 를 기반으로 한 고효율 생성 모델을 제시했습니다.
2. 소규모 및 대규모 데이터셋을 아우르는 아키텍처:
   • XGenB-DF: 소규모 데이터셋에서 확산 모델의 정밀함과 XGBoost 의 효율성을 결합.
   • XGenB-AR: 대규모 데이터셋에서 학습 데이터 확장 없이도 확장 가능한 자기회귀 구조 제시.
3. 네이티브 범주형 처리: 원-핫 인코딩 없이 XGBoost 가 범주형 데이터를 직접 분할할 수 있도록 설계하여, 모델의 복잡도를 줄이고 성능을 향상시켰습니다.
4. 오픈 소스 및 접근성: scikit-learn 스타일의 간단한 API 를 제공하여, GPU 없이도 CPU 만으로 고품질 합성 데이터를 생성할 수 있게 하여 데이터 생성 기술의 민주화를 촉진했습니다.

4. 실험 결과 (Results)

저자들은 27 개의 소규모 데이터셋 (Small Benchmark) 과 11 개의 대규모 데이터셋 (Big Benchmark) 을 포함한 두 가지 벤치마크에서 XGenBoost 를 평가했습니다.

• 성능 (Fidelity & Utility):
  • 소규모 데이터: XGenB-DF 는 경계 (Shape), 상관관계 (Trend), 탐지 (Detection) 등 정밀도 지표에서 기존 신경망 기반 모델 (TabDDPM, CTGAN 등) 과 기존 트리 기반 모델 (UT, FD 등) 을 능가했습니다.
  • 대규모 데이터: XGenB-AR 은 모든 정밀도 및 유용성 (Machine Learning Efficacy) 지표에서 최상위 성능을 보였습니다. 특히 TabSyn, TabDDPM 등 최신 모델보다 뛰어난 결과를 기록했습니다.
• 프라이버시 (Privacy):
  • DCR (Distance to Closest Record) 점수를 통해 과적합 및 프라이버시 리스크를 평가한 결과, XGenBoost 는 고정밀도 모델들 사이에서 우수한 프라이버시 보호 수준을 유지했습니다.
• 학습 비용 및 확장성 (Scalability & Efficiency):
  • 학습 시간: XGenB-AR 은 16 개의 CPU 코어와 64GB RAM 환경에서 acsincome(약 160 만 행) 데이터셋을 약 3 분 만에 학습했습니다. 이는 GPU 기반 모델들보다 훨씬 빠르고 저렴합니다.
  • 추론 시간: 많은 수의 특성을 가진 데이터셋에서도 TabDDPM 과 유사한 수준의 추론 속도를 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 데이터 중심 (Data-first) 접근법의 중요성을 강조합니다. NLP 나 컴퓨터 비전 분야에서 성공한 아키텍처를 표형 데이터에 무작정 적용하는 대신, 표형 데이터의 특성에 맞는 인덕티브 바이어스를 가진 방법론 (트리 기반 학습) 을 기반으로 생성 모델을 설계해야 함을 증명했습니다.

• ** democratization (민주화):** 고가의 GPU 인프라 없이도 전 세계 어디서나 강력한 표형 데이터 생성 기술을 사용할 수 있게 함으로써, 연구 및 산업 현장의 접근성을 크게 높였습니다.
• 지속 가능성: GPU 사용에 따른 에너지 소비를 줄여 환경적, 경제적 측면에서 지속 가능한 솔루션을 제공합니다.
• 실용성: 소규모 데이터부터 수백만 행의 대규모 데이터까지, 그리고 혼합된 데이터 타입까지 포괄하는 유연한 솔루션을 제공하여 실제 응용 사례에 바로 적용 가능합니다.

요약하자면, XGenBoost는 XGBoost 의 강점을 창의적으로 활용하여, 기존 신경망 기반 모델이 가진 높은 비용과 확장성 한계를 극복하면서도 동등하거나 더 나은 품질의 합성 데이터를 생성할 수 있는 획기적인 프레임워크입니다.