ReTabSyn: Realistic Tabular Data Synthesis via Reinforcement Learning

이 논문은 데이터 부족과 불균형이 있는 표본 데이터 환경에서 예측 성능을 극대화하기 위해 강화 학습을 활용하여 특징 간 상관관계를 보존하는 조건부 분포 학습에 중점을 둔 새로운 합성 데이터 생성 프레임워크 'ReTabSyn'을 제안합니다.

핵심

🍳 문제: "맛없는 요리를 만드는 요리사"

상상해 보세요. 어떤 요리사 (기존의 AI 모델) 가 있습니다. 이 요리사는 매우 적은 재료 (소량의 데이터) 만 가지고 새로운 요리를 배워야 합니다.

• 기존 방식의 문제점:
  이 요리사는 "재료의 전체적인 분포"를 완벽하게 배우려고 애씁니다. 예를 들어, "소고기 100g, 양파 50g, 당근 20g" 같은 비율을 외우려다 보니, 정작 "소고기와 양파를 섞으면 어떤 맛이 나는가?" (데이터 간의 중요한 관계) 를 제대로 이해하지 못합니다.
  그 결과, CEO 가 월급 5 만 원 (50K) 을 받는 같은 현실적으로 불가능한 가짜 데이터를 만들어내거나, 중요한 맛 (예측 신호) 을 잃어버린 요리를 내놓게 됩니다. 이는 나중에 이 요리를 먹어보는 손님 (실제 AI 모델) 이 실망하게 만듭니다.

💡 해결책: ReTabSyn (강화 학습을 이용한 '맛있는' 요리사)

저자들은 이 문제를 해결하기 위해 ReTabSyn을 제안합니다. 핵심 아이디어는 "전체 재료를 다 외우기보다, '어떤 재료를 섞으면 어떤 맛이 나는지' (조건부 확률) 에 집중하자" 입니다.

1. "맛보기" 훈련 (강화 학습과 선호도 최적화)

ReTabSyn 은 요리사를 훈련시킬 때, 단순히 "이게 정답이다"라고 알려주는 대신 두 가지 요리를 비교하게 합니다.

• 상황: 요리사가 "소고기 + 양파"를 섞었을 때, 두 가지 요리를 만들어냅니다.

  • A 요리 (선택된 것): 소고기와 양파를 섞어 진짜 맛있는 국을 냄니다. (실제 데이터의 논리를 따름)
  • B 요리 (거부된 것): 소고기와 양파를 섞었는데, 소금 대신 설탕을 넣거나, 소고기를 버리고 사과를 넣는 등 엉뚱한 조합을 냄니다. (데이터의 논리를 깨는 것)

• 훈련 과정:
  AI 는 "A 요리가 B 요리보다 훨씬 낫다"는 피드백을 받습니다. 이때 AI 는 "아, 내가 소금 (정답) 을 넣어야 하는구나"라고 깨닫습니다.
  이 과정을 반복하며 AI 는 "어떤 재료가 들어오면 어떤 결과가 나와야 하는지" 를 아주 정확하게 배우게 됩니다.

2. "요리사"가 아닌 "맛 평가관"이 필요 없다 (Oracle-free)

기존의 다른 방법들은 요리를 평가할 때 전문 미식가 (외부 평가 모델) 를 고용해야 했습니다. 하지만 미식가도 실수를 하거나, 그 미식가를 훈련시키는 데 또 다른 데이터가 필요하다는 문제가 있었습니다.

ReTabSyn 은 미식가 없이도 스스로 판단합니다.

• "소금 (정답) vs 설탕 (오답)"처럼, 논리적으로 틀린 조합을 스스로 만들어내어 비교합니다.
• 마치 "이 요리는 소금 없이 만들면 맛이 없으니, 소금이 있어야 한다"는 상식 (규칙) 을 스스로 배우는 것과 같습니다.

🌟 왜 이것이 중요한가요? (실생활 효과)

이 기술은 다음과 같은 상황에서 빛을 발합니다.

1. 데이터가 매우 적을 때: 병원에서 희귀병 환자 데이터가 10 명뿐인데, AI 가 그 10 명만 보고 학습하면 실패합니다. ReTabSyn 은 이 10 명을 바탕으로 "이런 환자는 이런 증상을 보일 것이다"라는 핵심 논리만 뽑아내어, 수천 개의 가짜 데이터를 만들어냅니다.
2. 불균형한 데이터: "정상인"은 1000 명인데 "환자"는 10 명뿐인 상황. ReTabSyn 은 소수인 '환자'의 특징을 놓치지 않고, 그들만의 고유한 패턴을 잘 보존한 가짜 환자를 만들어냅니다.
3. 미래 예측: 과거 데이터와 조금 다른 새로운 상황 (예: 팬데믹 이후의 소비 패턴) 에서도, 핵심적인 '원인과 결과' 관계를 잘 기억하고 있어 더 정확한 예측을 합니다.

📝 한 줄 요약

ReTabSyn은 "모든 재료를 다 외우려다 실패하는 요리사" 대신, "어떤 재료를 섞으면 어떤 맛이 나는지 (핵심 관계) 를 집중적으로 훈련시켜, 적은 재료로도 최고의 요리를 만들어내는 똑똑한 AI" 입니다.

이 기술을 통해 우리는 개인정보를 보호하면서도, 의료, 금융, 사회과학 분야에서 더 정확하고 안전한 AI를 만들 수 있게 됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 딥 생성 모델 (DGM) 은 데이터 부족 및 프라이버시 문제를 해결하기 위해 합성 데이터를 생성하는 데 널리 사용되고 있습니다. 그러나 의료, 금융 등 중요한 분야에서 사용되는 **표본 데이터 (Tabular Data)**는 종종 데이터 양이 적고 (Small Data), 클래스 불균형 (Imbalanced) 이 심하며, 분포 이동 (Distribution Shift) 이 발생하는 복잡한 특성을 가집니다.
• 현재의 한계: 기존 생성 모델들은 결합 확률 분포 $P(X, y)$ 전체를 학습하는 데 집중합니다. 데이터가 부족한 환경에서는 이 복잡한 결합 분포를 완벽하게 학습하는 것이 통계적으로 비효율적이며, 오히려 중요한 예측 신호인 조건부 분포 $P(y | X)$의 학습이 소홀해집니다.
• 결과: 이로 인해 생성된 데이터는 현실적이지 않은 엔트리를 포함하거나 (예: CEO 가 연봉 5 만 달러 미만인 경우), 하류 작업 (Downstream ML Tasks) 의 성능을 저하시키는 결과를 초래합니다.
• 핵심 주장: 하류 작업의 유틸리티를 극대화하기 위해서는 결합 분포의 완벽한 일치가 아닌, 조건부 분포 $P(y | X)$의 정확한 모델링이 우선시되어야 합니다.

2. 방법론 (Methodology)

논문은 **ReTabSyn (Reinforced Tabular Synthesis)**이라는 새로운 파이프라인을 제안하며, 이는 직접 선호도 최적화 (Direct Preference Optimization, DPO) 를 기반으로 합니다.

2.1. 이론적 근거: 유틸리티 갭 최소화

• Xu et al. (2023) 의 이론을 인용하여, 합성 데이터의 하류 성능 손실 (유틸리티 갭) 은 **특징 불일치 (Feature Mismatch)**와 **회귀 불일치 (Regression Mismatch, 즉 $P(y|X)$의 오차)**로 분해될 수 있음을 보여줍니다.
• 데이터가 부족한 경우, 예측에 결정적인 역할을 하는 조건부 분포 $P(y | X)$를 정확히 맞추는 것이 특징 분포의 정밀도보다 훨씬 중요합니다.

2.2. 오라클 없는 선호도 쌍 구성 (Oracle-free Preference Construction)

기존 RLHF(인간 피드백을 통한 강화학습) 방식은 외부 오라클 (분류기) 이나 인간 라벨이 필요하지만, ReTabSyn 은 표본 데이터의 구조적 특성을 활용하여 이를 제거합니다.

• 타겟 교란 (Target Perturbation): 주어진 특징 $X$를 유지한 채, 타겟 레이블 $y$를 다른 값으로 변경하여 '거부 (Rejected)' 샘플을 생성합니다. 이는 생성기가 특징에 기반한 올바른 레이블을 예측하도록 강제합니다.
• 특징 교란 (Feature Perturbation): 상관관계가 높은 특징 쌍 중 하나를 변경하여 현실적이지 않은 특징 조합을 '거부' 샘플로 만듭니다.
• 선택 (Chosen) vs 거부 (Rejected): 원본 행을 '선택' 샘플로, 교란된 행을 '거부' 샘플로 사용하여 DPO 학습에 필요한 선호도 쌍을 자동으로 생성합니다.

2.3. 직접 선호도 최적화 (DPO) 를 통한 미세 조정

• 사전 학습된 생성기 (Base Generator, 예: GReaT 기반) 를 DPO 로 미세 조정합니다.
• 목적 함수: 선택된 샘플과 거부된 샘플 간의 로그 가능도 차이를 최대화하여, 생성기가 $P(y | X)$의 조건부 관계를 강화하도록 유도합니다.
• 규제: 모델이 사전 학습된 특징 분포 $P(X)$에서 너무 멀어지지 않도록 정규화 항을 포함합니다.

2.4. 데이터 증강

• 소규모 데이터셋에서의 과적합을 방지하기 위해, 범주형 버킷 내에서 SMOTE 와 유사한 보간 기법을 사용하여 초기 학습 데이터를 증강합니다.

3. 주요 기여 (Key Contributions)

1. 오라클 없는 표본 특화 선호도 구성: 외부 reward 모델이나 인간 라벨 없이, 스키마 검증 기반의 교란 (Perturbation) 을 통해 고품질의 선호도 쌍을 자동 생성합니다.
2. 의사결정 중심 조건부 정렬: DPO 를 통해 생성기가 $P(y | X)$를 우선시하도록 미세 조정하여, 데이터가 부족하거나 불균형한 상황에서도 하류 ML 모델의 성능을 극대화합니다.
3. 강건한 벤치마크 및 진단: 소규모 데이터, 클래스 불균형, 분포 이동 등 다양한 현실적 시나리오에서 기존 SOTA 모델들을 능가하는 성능을 입증하고, 유틸리티와 프라이버시 간의 트레이드오프를 분석했습니다.

4. 실험 결과 (Results)

10 개의 벤치마크 데이터셋 (Adult, Churn, Titanic 등) 에서 수행된 실험 결과는 다음과 같습니다.

• 소규모 데이터 (Small Data): 학습 데이터가 32~128 행으로 매우 적을 때, ReTabSyn 은 GReaT, TVAE, TabSyn 등 기존 생성 모델 및 RL 기반 방법 (PTA, SynRL) 보다 일관되게 높은 AUROC 점수를 기록했습니다. 오히려 실제 데이터만 사용한 경우보다 더 좋은 성능을 보이기도 했습니다.
• 불균형 데이터 (Imbalanced Data): 소수 클래스 비율이 1% 인 극단적인 불균형 환경에서 ReTabSyn 은 다른 모든 생성 모델보다 PR-AUC 가 높았으며, 실제 데이터의 성능에 가장 근접했습니다.
• 분포 이동 (Distribution Shift): 학습 데이터와 테스트 데이터의 인구통계학적 분포가 다른 경우에도 ReTabSyn 은 특징 - 타겟 의존성을 잘 보존하여 가장 높은 AUC 를 기록했습니다.
• 통계적 충실도 (Statistical Fidelity): 상관관계 유사성, 주변 분포 유사성 등 충실도 지표에서 최상위권을 기록했습니다. 특히 특징 간의 상관관계 구조를 잘 보존하는 것으로 나타났습니다.
• 프라이버시 (Privacy): SMOTE 와 같은 보간 기반 방법은 실제 데이터를 과도하게 기억하여 프라이버시 위험이 높았으나, ReTabSyn 은 합성 데이터 생성기들 사이에서 프라이버시 유출 (Membership Inference Attack) 위험이 낮고, 실제 데이터와의 유사성 (Authenticity) 도 유지했습니다.

5. 의의 및 결론 (Significance)

• 이론과 실전의 연결: "결합 분포 학습은 과할 수 있다"는 이론적 통찰을 실제 생성 모델 학습 전략 (조건부 분포 우선) 으로 구체화했습니다.
• 비용 및 편향 감소: 외부 오라클 분류기나 인간 라벨이 필요 없으므로, 학습 비용이 절감되고 오라클 모델의 편향이 제거됩니다.
• 제어 가능한 생성: 생성된 데이터에 전문가가 지정한 제약 조건 (예: 특정 규칙 준수) 을 쉽게 적용할 수 있어, 공정성 (Fairness) 이나 규제 준수와 같은 목적에 부합하는 합성 데이터 생성에 활용 가능합니다.
• 영향력: 의료, 금융, 사회과학 등 데이터 접근이 제한된 분야에서 프라이버시를 보호하면서도 고품질의 모델 개발을 가능하게 하는 실용적인 솔루션을 제시합니다.

요약하자면, ReTabSyn은 데이터가 부족한 환경에서 기존 생성 모델의 한계를 극복하기 위해, 조건부 확률 $P(y|X)$ 학습에 집중하는 강화학습 기반의 새로운 프레임워크를 제안하며, 이를 통해 합성 데이터의 하류 작업 유틸리티를 획기적으로 향상시켰습니다.