[기술 요약] TabSCM: 실질적인 고품질 정형 데이터 생성을 위한 프레임워크

1. 문제 정의 (Problem Statement)

현재 정형 데이터(Tabular Data) 생성 기술은 GAN, 확산 모델(Diffusion Models), LLM 등을 활용해 비약적인 발전을 이루었으나, 다음과 같은 핵심적인 한계점을 가지고 있습니다.

• 인과 구조의 결여 (Lack of Causal Structure): 기존 모델들은 변수 간의 통계적 상관관계(Correlation)를 맞추는 데 집중할 뿐, 변수 간의 실제 인과 관계(Causality)를 무시합니다. 이는 생성된 데이터가 잘못된 인과 관계를 학습하게 하여, 다운스트림 모델이 허위 패턴(Spurious patterns)을 배우게 만듭니다.
• 의미론적 유효성 부족 (Semantic Invalidity): 데이터 간의 논리적 제약 조건(예: 나이가 경력보다 적을 수 없음)을 위반하는 샘플을 생성하는 경우가 빈번합니다.
• 해석 가능성 및 개입의 어려움 (Lack of Interpretability & Intervention): 데이터 생성 메커니즘이 블랙박스 형태로 존재하여, 특정 변수를 변경했을 때(Counterfactual) 결과가 어떻게 변할지 예측하거나 감사(Audit)하기 어렵습니다.
• 효율성 문제: 최신 확산 모델 기반 방식은 높은 품질을 제공하지만, 학습 및 생성 속도가 매우 느립니다.

2. 제안 방법론 (Methodology: TabSCM)

TabSCM은 **구조적 인과 모델(Structural Causal Model, SCM)**을 활용하여 데이터 생성 과정을 인과 그래프에 따라 모듈화합니다.

핵심 단계:

1. 인과 구조 발견 (Causal Discovery): PC, GES, NOTEARS와 같은 알고리즘을 사용하여 데이터의 인과 관계를 나타내는 CPDAG(Completed Partially Directed Acyclic Graph)를 먼저 찾습니다.
2. DAG 정립 및 위상 정렬 (DAG Orientation & Topological Ordering): 발견된 그래프를 유향 비순환 그래프(DAG)로 변환하고, 부모 노드에서 자식 노드로 이어지는 위상 순서를 결정합니다.
3. 구조적 할당 학습 (Learning Structural Assignments): 각 변수를 독립적인 메커니즘으로 분해하여 학습합니다.
   • Root Nodes (부모가 없는 노드): KDE(Kernel Density Estimation) 또는 범주형 빈도수를 사용하여 주변 분포(Marginal Distribution)를 직접 추정합니다.
   • Conditional Nodes (자식 노드): 부모 변수들의 값에 조건부로 값을 생성합니다.
     • 연속형 변수: 조건부 디노이징 확산 모델(Conditional Diffusion Models)을 사용하여 정밀한 분포를 학습합니다.
     • 범주형 변수: 그래디언트 부스팅 트리(Gradient-Boosted Trees)를 사용하여 효율적이고 견고하게 학습합니다.
4. 조상 샘플링 (Ancestral Sampling): 결정된 위상 순서에 따라 부모 노드부터 차례대로 값을 생성함으로써, 인과 관계와 논리적 제약 조건을 자연스럽게 준수합니다.

3. 주요 기여 (Key Contributions)

• 인과적 정밀도와 효율성의 결합: 확산 모델의 강력한 생성 능력과 SCM의 인과적 구조를 결합하여, 기존 확산 전용 모델보다 최대 583배 빠른 속도로 실행 가능합니다.
• 의미론적 유효성 확보: 인과적 순서에 따른 생성 방식을 통해 데이터 간의 논리적 모순(Rule violation)을 획기적으로 줄였습니다.
• 메커니즘 수준의 해석 가능성: 각 변수의 생성 메커니즘이 개별 모델로 분리되어 있어, 특정 변수가 결과에 미치는 영향(SHAP 등)을 독립적으로 감사하고 디버깅할 수 있습니다.
• 반사실적 추론(Counterfactual Reasoning) 지원: do-operator를 통해 특정 변수를 강제로 변경했을 때의 시나리오를 시뮬레이션할 수 있어, 정책 변화나 공정성 감사에 활용 가능합니다.

4. 실험 결과 (Results)

7개의 공공 데이터셋(의료, 금융, 주거, 환경 등)을 통해 검증한 결과는 다음과 같습니다.

• 통계적 충실도 (Statistical Fidelity): 밀도 추정(Density) 및 상관관계(Correlation) 오류 측면에서 최신 GAN, Diffusion, LLM 기반 모델들과 대등하거나 이를 능가하는 성능을 보였습니다.
• 다운스트림 유용성 (Downstream Utility): 생성된 데이터로 학습시킨 모델을 실제 데이터에 적용했을 때, AUC 및 RMSE 성능이 매우 높게 나타났습니다.
• 프라이버시 및 유효성: 개인정보 보호(DCR)를 유지하면서도, 데이터의 논리적 규칙 위반율을 낮추어 실질적인 활용도를 높였습니다.
• 불균형 데이터 학습 (Imbalanced Learning): 소수 클래스에 대한 조건부 생성을 통해, 단순 업샘플링(SMOTE 등)보다 더 나은 공정성(FNR/FPR 개선)과 신뢰성을 제공함을 입증했습니다.

5. 의의 (Significance)

TabSCM은 단순히 "통계적으로 유사한" 데이터를 만드는 것을 넘어, "인과적으로 타당한" 데이터를 생성하는 실용적인 프레임워크를 제시했습니다. 이는 데이터의 투명성과 설명 가능성이 필수적인 의료, 금융, 공공 정책과 같은 고위험(High-stakes) 분야에서 합성 데이터를 안전하고 신뢰할 수 있게 사용할 수 있는 강력한 도구가 될 것입니다.