Hierarchical Synthetic Tabular Data Generation: A Hybrid Top-Down and Bottom-Up Framework

기술 요약: 계층적 합성 표본 데이터 생성

문제 제기
현재 합성 표본 데이터 생성 접근법은 복잡하고 기업 규모의 시나리오에 적용될 때 상당한 한계에 직면합니다. 기존 방법들은 일반적으로 순수 생성 모델 (예: CTGAN, TVAE, TabDDPM) 과 대규모 언어 모델 (LLM) 기반 접근법 (예: GReaT, REaLTabFormer) 의 두 가지 범주로 나뉩니다.

• 생성 모델: 분포 근사에는 효과적이지만, 방대한 양의 훈련 데이터를 요구하며 이질적인 특성 유형을 처리하는 데 어려움을 겪고 모드 붕괴 (mode collapse) 에 시달립니다. 결과적으로 사기 탐지와 같은 분야에서 중요한 드문 사건과 꼬리 분포를 포착하지 못하는 경우가 많습니다. 데이터가 부족한 regime 에서는 이러한 모델들이 과적합되어 다양성이 낮은 샘플을 생성하는 경향이 있습니다.
• LLM 기반 방법: 이러한 방법들은 인-컨텍스트 학습과 의미적 사전 지식을 활용하지만, 속성 간의 구조적 일관성, 논리적 제약, 또는 기능적 종속성을 강제하는 데 실패하는 경우가 많습니다. 자기회귀적 토큰 생성은 무효하거나 일관성 없는 샘플을 초래할 수 있으며, 순차적 행 토큰화는 이질적인 수치 - 범주 간 상호작용의 모델링을 약화시킵니다.
• 핵심 과제: 더 깊고 종종 간과되는 문제는 합성 데이터 생성이 종종 순수한 생성 문제로만 취급되어, 실제 기업 데이터의 고도로 구조화되고 이질적이며 다중 모달적인 특성을 무시한다는 점입니다. 모델이 생성한 데이터에만 의존하면 분포 붕괴의 위험이 초래되는데, 이는 합성 출력물에 대한 재귀적 훈련이 특히 꼬리 부분에서 근본적인 데이터 분포를 점진적으로 훼손하기 때문입니다.

방법론: H-TDBU 프레임워크
저자들은 계층적 하이브리드 상향식 및 하향식 (H-TDBU) 프레임워크를 제안합니다. 이 접근법은 의미적 구조를 확률적 질감 (texture) 에서 분리하여 생성 능력과 계층적 규칙 구축을 통합합니다. 이 프레임워크는 세 가지 명확한 단계를 통해 작동합니다:

1. 하향식 경로 (구조):

   • 목표: 데이터의 논리적 골격과 의미적 구조를 정의합니다.
   • 메커니즘: 구조 규칙은 인간의 지시나 LLM 프롬프트를 통해 정의됩니다. 이는 추상적 요인을 구체적이고 샘플링 가능한 속성으로 분해하는 구조 템플릿 $S$를 생성하여 골격 역할을 합니다.
   • LLM 의 역할: LLM 은 실제 표본 행을 생성하는 것이 아니라, 구조 규칙을 나타내는 스키마 (예: 목표 변수를 감정 텍스트에 매핑) 를 생성하는 데에만 이 단계에서 사용됩니다.

2. 상향식 경로 (질감):

   • 목표: 실제 데이터에서 지역적 통계적 패턴과 현실적인 "질감"을 학습합니다.
   • 메커니즘: 경량 저연산 표본 생성기 (예: Random Forest 나 XGBoost 와 같은 앙상블 방법 또는 CTGAN 과 같은 생성 모델) 가 실제 데이터 ($D_{real}$) 로 훈련됩니다.
   • 출력: 이러한 모델들은 실제 데이터와 유사한 상세하고 복잡한 패턴을 포착하지만, 하향식 단계에서 정의된 논리적 규칙을 본질적으로 따르지 않을 수 있는 잠재 공간 표현 ($Z$) 을 생성합니다.

3. 합성 및 조정:

   • 목표: 논리적 골격 ($S$) 과 잠재 질감 ($Z$) 을 통합합니다.
   • 메커니즘: $X_{Syn} := G(z \in Z | S)$로 표시되는 통합 합성 엔진은 $S$의 논리적 제약과 일치하는 잠재 노이즈로부터 데이터를 생성합니다. 이 조건부 생성기는 두 경로를 조정합니다.
   • 피드백 루프: 시스템은 반복적 피드백 루프를 사용합니다. 합성 데이터 ($D_{syn}$) 가 교차 모달 충실도 지표 ($X_{Modal}$) 를 통과하지 못하면 "모델 재훈련" 신호를 트리거합니다. 제약 조건 검증을 통과하지 못하면 하향식 제공자에게 "제약 조건 조정" 신호를 트리거합니다. 이는 논리적 무결성을 보장하고 모델 드리프트를 방지합니다.

주요 기여

• 구조와 질감의 분리: 이 논문은 단조로운 생성 모델의 한계를 해결하기 위해 의미/논리적 규칙의 정의와 통계적 질감의 생성을 분리하는 프레임워크를 제시합니다.
• 하이브리드 아키텍처: LLM 을 직접적인 데이터 생성이 아닌 규칙 정의에만 엄격하게 사용하면서, 경량 에이전트 (Random Forest, XGBoost) 의 생성 능력과 LLM 의 구조적 추론을 유기적으로 통합합니다.
• 반복적 피드백 메커니즘: 교차 모달 지표와 논리적 제약을 검증하는 조정 루프를 포함함으로써 하향식 규칙과 상향식 모델 모두를 동적으로 정제할 수 있습니다.
• 약한 다중 모달 벤치마킹: 저자들은 기존 방법들이 정렬과 일관성에서 어려움을 겪는 시나리오인 표본 데이터와 감정 - 텍스트 데이터를 결합한 약한 다중 모달 금융 벤치마크에서 프레임워크를 평가했습니다.

실험 결과
이 프레임워크는 네 가지 벤치마크에서 평가되었습니다: 두 개의 약한 다중 모달 벤치마크 (수동 및 Gemini 생성) 와 두 개의 표본 전용 벤치마크 (Adult Income 및 German Credit).

• 하류 유틸리티 (TSTR): 수동으로 지정된 약한 다중 모달 벤치마크에서 트리 기반 조건부 방법 (RandomForest 및 XGBoost) 이 신경망 베이스라인 (CTGAN, TVAE) 보다 우수했습니다. 예를 들어, RandomForest 는 0.9188 의 AUROC 와 0.6122 의 F1 을 달성한 반면, TVAE 는 0.8827 AUROC 와 0.5581 F1 을 기록했습니다.
• 엄격한 정렬 (Gemini 벤치마크): 목표 1 을 긍정적 텍스트와 유일하게 정렬하도록 강제하는 LLM 생성 규칙 제공자를 사용할 때 조건부 생성기는 상당한 개선을 보였습니다. RandomForest 는 0.9998 AUROC, 0.9878 F1 의 거의 완벽한 지표를 달성하여 신경망 베이스라인을 능가했으며, 베이스라인도 개선되었지만 여전히 약간 낮았습니다.
• 교차 모달 충실도: 하류 유틸리티와 교차 모달 충실도 ($X_{Modal}$) 사이에는 트레이드오프가 관찰되었습니다. RandomForest 는 유틸리티에서 뛰어났지만, Gaussian Copula 와 TVAE 는 때때로 더 낮은 $X_{Modal}$값 (텍스트와 표본 목표의 더 나은 분포 정렬) 을 달성했습니다.
• 결손 연구 (Ablation Studies): 결과는 성능이 조건부 열의 수와 하향식 규칙의 엄격함 사이의 상호작용에 의해 주도됨을 나타냈습니다. Gemini 생성 규칙 (더 엄격함) 은 더 적은 조건부 열의 혜택을 받았고, 수동 규칙 (더 관대함) 은 더 풍부한 조건부 컨텍스트의 혜택을 받았습니다.

의의 및 주장
이 논문은 계층적 규칙 유도 합성이 합성 데이터 생성에서 제어 가능성, 의미적 일관성, 그리고 통계적 충실도 사이의 균형을 잡기 위한 효과적인 메커니즘을 제공한다고 주장합니다.

저자들은 그들의 접근 방식이 모든 데이터 포인트에 대해 값비싼 재귀적 LLM 생성에 의존하지 않는다고 강조합니다. 대신, LLM 을 "커버리지 공간"의 하향식 구축에만 사용하고 더 저렴한 에이전트 모델을 상향식 생성에 활용함으로써 프레임워크는 높은 현실감과 논리적 일관성을 달성합니다. 결과는 이 하이브리드 접근법이 드문 사건이나 논리적 종속성을 포착하지 못하는 순수 생성 모델이 실패하고, 순수 LLM 생성이 구조적 엄격함이 부족한 저데이터 regime 과 복잡한 다중 모달 시나리오에서 특히 효과적임을 시사합니다. 이 프레임워크는 한 가지 생성기 유형의 보편적 우위가 아니라, 데이터셋의 특정 구조에 맞춰 워크플로우가 적응하는 유연한 벤치마크 프레임워크로 제시됩니다.