기술 요약: LLM-TabLogic

문제 정의

합성 표본 데이터는 공급망 분석 및 디지털 트윈 시뮬레이션과 같은 산업 응용 분야에서 데이터 부족 및 개인정보 보호 문제를 해결하는 데 점점 더 중요해지고 있습니다. 그러나 기존 생성 모델은 중요한 한계에 직면해 있습니다. 즉, 전역 통계적 속성 (예: 주변 분포 및 쌍별 상관관계) 은 종종 보존하지만, 도메인 특화적 열 간 논리적 관계를 유지하는 데는 자주 실패합니다.

복잡한 실제 시스템에서 열들은 다음과 같은 엄격한 제약 조건을 통해 상호 의존적입니다:

• 시간적 제약: 배송 날짜는 주문 날짜 이후에 발생해야 합니다.
• 수학적 제약: 총 판매 가격은 단가 곱하기 수량과 같아야 합니다.
• 계층적 제약: 특정 도시는 해당 국가에 속해야 합니다.

SMOTE 와 같은 보간 기반 기법, 생성적 적대 신경망 (CTGAN), 확산 모델 (TabDDPM, TabSyn), 그리고 대규모 언어 모델 (LLM) 접근법 (GReaT) 을 포함한 현재 방법론들은 이러한 정교한 행 단위 종속성을 명시적으로 보존하는 데 어려움을 겪습니다. 이러한 실패로 인해 통계적 충실도는 높을지라도 시뮬레이션 및 의사결정에 대한 실제 유용성이 결여된 합성 데이터가 생성됩니다.

방법론: LLM-TabLogic

저자들은 열 간 논리적 관계를 엄격히 준수하는 합성 표본 데이터를 생성하기 위해 LLM 추론과 점수 기반 잠재 확산을 통합한 새로운 프레임워크인 LLM-TabLogic을 제안합니다. 이 접근법은 4 단계 파이프라인을 통해 작동합니다:

1. 직렬화 및 프롬프트 기반 추론

프로세스는 열 이름과 메타데이터 설명을 자연어로 직렬화하는 것으로 시작합니다. 이러한 직렬화된 입력은 일반 프롬프트 및 작업별 지시사항과 결합되어 LLM(예: GPT-4 또는 DeepSeek) 에 입력됩니다. LLM 은 논리적 추론을 수행하여 복잡한 열 간 관계를 구조화된 표현으로 추론하고 압축합니다. 출력은 세 가지 종속성 유형으로 분류됩니다:

• 계층적 일관성 ($R_H$): 세분화된 속성과 집계 속성 간의 매핑 (예: 도시 $\to$ 국가).
• 수학적 종속성 ($R_M$): 독립 변수와 파생 변수 간의 매핑 (예: 가격 $\times$ 수량 $\to$ 총액).
• 시간적 종속성 ($R_T$): 열의 순차적 배열 (예: 주문 날짜 $\to$ 배송 날짜).

2. 표본 데이터 압축

생성 모델이 확률적 신호를 제공하지 않는 경직된 결정론적 규칙을 학습하도록 강요하는 대신, 이 프레임워크는 LLM 에서 유도된 관계를 사용하여 데이터를 압축합니다.

• 결정론적 변수 (예: 파생 열) 는 제거되거나 생성 함수로 대체됩니다.
• 나머지 "독립" 변수들은 압축된 데이터셋 ($X_c$) 을 형성합니다.
• 이 단계는 논리적 제약을 확률적 생성 과정으로부터 효과적으로 분리하여, 생성 모델이 독립 변수의 기본 분포를 학습하는 데 집중할 수 있도록 합니다.

3. 잠재 공간 생성

압축된 데이터 $X_c$는 Transformer 기반 변분 오토인코더 (VAE) 를 사용하여 토큰화되고 잠재 공간으로 인코딩됩니다. 그런 다음 점수 기반 확산 모델이 이러한 잠재 임베딩 ($H_0$) 에 대해 훈련됩니다.

• 전진 과정: 가우시안 노이즈가 잠재 임베딩에 점진적으로 추가됩니다.
• 역과정: 신경망이 원래 잠재 분포를 복원하기 위해 데이터를 반복적으로 탈노이즈하는 점수 함수 ($\nabla \log p(H_t)$) 를 학습합니다.
• 합성 잠재 임베딩 ($H'$) 은 이 학습된 분포에서 샘플링됩니다.

4. 합성 데이터 압축 해제

생성된 잠재 임베딩은 압축된 데이터 공간 ($X'_c$) 으로 디코딩됩니다. 마지막으로, 압축 해제 함수 ($f_{decom}$) 는 이전에 추출된 논리적 관계 ($R_H, R_M, R_T$) 를 활용하여 전체 데이터셋 ($X'$) 을 재구성합니다. 이 단계는 파생 변수를 다시 도입하고 계층적 및 시간적 제약을 강제하여 최종 합성 데이터가 원래 스키마와 논리적으로 일관되도록 보장합니다.

주요 기여

1. 새로운 프레임워크: 본 논문은 LLM 을 활용한 관계 추론을 통해 수동 도메인 지식이 필요 없이 합성 표본 데이터 생성에서 복잡한 열 간 관계를 명시적으로 보존하는 최초의 방법을 소개합니다.
2. 평가 프레임워크: 저자들은 정확도, 다양성, 유용성, 개인정보 보호, 일관성, 종속성이라는 6 가지 차원에서 합성 데이터를 평가하는 포괄적인 평가 프레임워크를 제안합니다. 이는 기계 학습 유용성과 같은 전통적인 지표를 넘어 논리적 일관성을 포함합니다.
3. 하이브리드 아키텍처: 이 접근법은 관계 추출을 위한 LLM 의 의미적 추론 능력과 데이터 생성을 위한 점수 기반 확산 모델의 고정밀 분포 모델링을 독창적으로 결합합니다.

실험 결과

이 방법은 두 가지 실제 산업 데이터셋 (소매 및 구매) 에서 평가되었으며, SMOTE, CTGAN, TabDDPM, TabSyn, GReaT 등 5 가지 베이스라인과 비교되었습니다.

• 논리적 일관성: LLM-TabLogic 은 계층적 일관성 점수 (HCS) 및 다변량 종속성 지수 (MDI) 에서 거의 완벽한 점수 (약 99.9% - 100%) 를 달성하여 모든 베이스라인을 크게 앞섰습니다. GReaT 은 강력한 논리적 보존을 보였으나 다른 지표에서는 어려움을 겪었습니다. 잠재 공간 기반 모델 (CTGAN, TabDDPM) 은 논리적 일관성에서 성능이 저조했습니다.
• 데이터 충실도: 이 방법은 고차 통계량인 $\alpha$-정밀도 및 쌍별 상관관계에서 최첨단 성능을 달성하여 TabSyn 및 SMOTE 의 성능과 일치하거나 초과했습니다.
• 유용성: 하류 기계 학습 작업 (XGBoost 를 통한 분류) 에서 LLM-TabLogic 은 소매 데이터셋에서 가장 높은 AUC 점수를, 구매 데이터셋에서 두 번째로 높은 점수를 달성하여 논리적 일관성이 더 나은 예측 유용성으로 이어짐을 입증했습니다.
• 개인정보 보호: 이 방법은 데이터 충실도와 개인정보 보호(가장 가까운 레코드와의 거리, DCR 로 측정) 사이의 최적 균형을 달성했습니다. 높은 충실도이지만 낮은 개인정보 보호를 제공하는 SMOTE 와 높은 개인정보 보호이지만 낮은 유용성을 제공하는 TabDDPM 과는 달리, LLM-TabLogic 은 강력한 개인정보 보호를 유지하면서 높은 유용성을 유지했습니다.

중요성 및 주장

본 논문은 LLM-TabLogic이 기존 방법들의 실제 산업 시나리오 적용을 제한해 온 "논리적 일관성" 격차를 해결함으로써 합성 표본 데이터 생성의 새로운 벤치마크를 설정한다고 주장합니다.

• 유일무이한 첫 사례: 저자들은 명시적 도메인 지식이 필요 없이 LLM 추론에 의존하여 열 간 관계를 효과적으로 보존하는 최초의 방법이라고 주장합니다.
• 산업 적용 가능성: 합성 데이터가 실제 세계 제약 조건 (예: 공급망 물류, 금융 계산) 을 준수하도록 보장함으로써, 논리적 오류가 합성 데이터를 무용지물로 만들 수 있는 디지털 트윈, 에이전트 기반 시뮬레이션, 의사결정 시스템에서의 신뢰할 수 있는 사용을 가능하게 합니다.
• 균형 잡힌 절충: 이 접근법은 데이터 충실도, 유용성, 개인정보 보호 사이의 전통적인 절충을 성공적으로 극복하여 민감한 산업 분야의 개인정보 보호 데이터 공유를 위한 강력한 솔루션을 제공합니다.

저자들은 방법론의 성능이 열 설명을 해석하는 LLM 의 능력에 의존한다는 점 (모호하거나 약어화된 이름의 경우 실패할 수 있음) 과 현재 평가가 공급망 및 의료 데이터셋으로 제한되어 있음을 인정합니다. 향후 연구는 이 방법을 테이블 간 관계 및 더 다양한 산업 분야로 확장하는 것을 목표로 합니다.