Evaluating Inter-Column Logical Relationships in Synthetic Tabular Data Generation

기술 요약: 합성 표본 데이터 생성에서의 열 간 논리적 관계 평가

문제 제기
현재 합성 표본 데이터에 대한 평가는 주로 결합 분포 모델링과 1 차 통계량 (예: 밀도 추정, 상관 점수) 또는 고차 통계량 (예: $\alpha$-정밀도, $\beta$-재현율) 평가에 초점을 맞추고 있습니다. 그러나 이러한 지표들은 종종 열 간의 현실적인 사건 시퀀스 보존과 일관된 개체 관계의 유지를 간과합니다. 표본 데이터는 본질적으로 이질적이며, 다양한 변수 유형과 복잡한 상호의존성 (Wang et al., 2024) 을 특징으로 합니다. GAN(예: CTGAN), 확산 모델 (예: TabDDPM, TabSyn), 자기회귀 모델 (예: GReaT) 을 포함한 기존 생성 모델들은 $P(x_1 | x_2)$와 같은 특정 조건부 의존성을 명시적으로 포착하는 데 어려움을 겪습니다. 예를 들어, 확산 모델은 종종 등방성 (isotropic) 잡음 추가를 가정하는데, 이는 이미지에서의 공간적 상관관계와 달리 표본 데이터에서 발견되는 비선형적이고 비순차적인 의미적 의존성을 고려하지 못합니다. 마찬가지로, 대규모 언어 모델 (LLM) 은 사전 훈련된 지식을 활용하지만, 주변 분포를 명시적으로 모델링하지 않아 편향된 샘플링을 초래할 수 있습니다. 결과적으로, 계층적 구조 (예: 도시 $\to$ 국가) 나 수학적/시간적 의존성과 같은 중요한 논리적 관계를 합성 데이터가 보존하는지 평가하기 위한 세밀하고 문맥 인식형 평가 지표가 부족합니다.

방법론
논리적 일관성 평가의 격차를 해소하기 위해 저자들은 열 간 관계를 정량화하도록 설계된 세 가지 새로운 평가 지표를 제안합니다:

1. 계층적 일관성 점수 (HCS): 이 지표는 열 간 계층적 관계의 보존 정도를 정량화합니다. 이는 특정 그룹 $G_k$(예: 도시, 주, 국가) 내의 속성 튜플이 유효한 조합 집합 $C_{k,j}$에 속하는 행의 비율로 정의됩니다.
   $$HCS = \frac{1}{M \times N} \sum_{k=1}^{N} \sum_{j=1}^{M} \mathbb{1}((x_{i,j})_{i \in G_k} \in C_{k,j})$$
   여기서 $M$은 행의 수, $N$은 일관성 그룹의 수이며, $\mathbb{1}(\cdot)$은 지시 함수입니다.

2. 다변량 의존성 지수 (MDI): 이 지수는 시간적 또는 수학적 관계를 포함한 다변량 의존성을 평가합니다. 이는 의존성 그룹 $G_g$ 내의 다른 속성들에 비해 특정 불리언 의존성 함수 $F$를 속성들이 만족하는 행의 비율을 측정합니다.
   $$MDI = \frac{1}{M \times N} \sum_{g=1}^{N} \sum_{j=1}^{M} \mathbb{1}(D_{g,j})$$
   여기서 $D_{g,j}$는 그룹 $G_g$의 속성들이 의존성 함수 $F$를 만족한다는 조건을 나타냅니다.

3. 분포 유사성 지수 (DSI): 명시적 규칙을 정의하기 어려운 비선형 관계를 포착하기 위해, DSI 는 합성 데이터 행과 실제 데이터 행에 적합된 가우시안 혼합 모델 (GMM) 의 로그 가능도를 비교합니다. 이는 세밀한 분포적 차이를 반영하기 위해 로그 가능도의 상대적 차이를 계산합니다.
   $$DSI = \frac{1}{K} \sum_{i=1}^{K} \left( 1 - \frac{|\log L(\hat{X}^*_{syn,i}) - \log L(\hat{X}^*_{real})|}{|\log L(\hat{X}^*_{real})|} \right)$$

실험 설정 및 결과
본 연구는 약 140,000 개의 샘플을 포함하며 복잡한 고차원 특징과 다양한 열 간 관계를 가진 대규모 실업계 데이터셋인 DataCo에서 다섯 가지 대표적인 생성 방법을 평가했습니다. 평가된 방법은 다음과 같습니다:

• 보간 기반: SMOTE
• 잠재 공간 표현 기반: CTGAN, TabDDPM, TabSyn
• LLM 기반: GReaT

각 방법은 140,000 개의 샘플을 생성했으며, 견고성을 보장하기 위해 평가를 10 회 반복했습니다.

주요 발견:

• 통계적 지표: SMOTE 와 TabSyn 은 1 차 통계적 정확도 (예: 밀도 추정, 상관 점수, $\alpha$-정밀도) 에서 최상의 성능을 달성했습니다. TabSyn 은 결합 분포 모델링에서 탁월한 성과를 보인 반면, SMOTE 는 데이터 카테고리 균형 ($\beta$-재현율) 에서 다른 방법들보다 우수했습니다.
• 논리적 일관성 (HCS): SMOTE(98.09%) 와 GReaT(98.01%) 는 계층적 일관성 보존 측면에서 잠재 공간 기반 방법들 (CTGAN: 39.23%, TabDDPM: 16.07%) 보다 훨씬 우수한 성과를 보였습니다.
• 다변량 의존성 (MDI): GReaT 는 시간적 및 수학적 의존성 포착에서 97.37% 의 최고 정확도를 달성했으며, 이어 SMOTE(87.03%) 가 뒤를 이었습니다. 잠재 공간 기반 방법들은 TabDDPM(59.08%) 과 CTGAN(38.87%) 이 각각 점수를 기록하며 현저히 어려움을 겪었습니다.
• 분포 유사성 (DSI): GReaT(85.55%) 와 TabSyn(83.62%) 이 최상의 성능을 보인 반면, CTGAN(11.10%) 은 분포 정렬이 부실했습니다.
• 정성적 분석: 생성된 샘플에 대한 상세 검토 결과, CTGAN 과 TabDDPM 은 종종 논리적 오류 (예: 잘못된 지리적 계층, 위반된 시간 시퀀스, 깨진 수학적 공식) 를 생성했습니다. 반면, GReaT 와 SMOTE 는 거의 완벽한 논리적 일관성을 유지했으나, GReaT 는 때때로 보이지 않는 속성 값 (예: 잘못된 도시 이름) 을 생성하여 제어 가능성에 대한 잠재적 문제를 나타냈습니다.

의의 및 기여
본 연구의 주요 기여는 표준 분포 충실도를 넘어 합성 표본 데이터에서 논리적 관계의 보존을 평가하기 위한 전문 지표인 HCS, MDI, DSI 를 도입한 것입니다. 실험 결과는 기존 최첨단 방법들, 특히 잠재 공간 표현 기반 방법들이 현실 데이터의 세밀한 현실성을 위해 중요한 계층적 일관성과 다변량 의존성을 엄격하게 유지하지 못하는 경우가 많음을 보여줍니다.

본 논문은 현재 방법들이 일반적인 분포를 모델링할 수는 있지만, 논리적 제약을 강제하는 명시적 메커니즘이 부족하다고 결론지었습니다. 저자들이 제안한 향후 방향은 다음과 같습니다:

• LLM 기반 방법: 토큰화 시퀀스를 재배열하거나 열 직렬화를 재구성하여 사전 지식을 활용하기 위해 지식 그래프 또는 베이지안 네트워크 활용.
• 잠재 공간 기반 방법: 열 이름과 설명을 분석하여 의미적 관계를 파악하기 위해 LLM 추론 활용, 또는 공통 잠재 공간에 임베딩하기 전에 논리적 관계로 데이터를 그룹화.
• 하이브리드 접근법: 소수 논리적 관계 학습을 위해 데이터 클래스를 균형 있게 조정하기 위해 SMOTE 와 같은 보간 기법 통합.

저자들은 합성 표본 데이터 생성을 발전시키기 위한 중요한 단계인 열 간 논리적 관계를 효과적으로 포착하는 생성 모델을 설계하기 위해 이러한 방향들이 필수적임을 강조합니다.