기술 요약: BSTabDiff

문제 정의

본 논문은 오믹스(omics) 데이터셋과 같은 고차원 저표본(High-Dimensional Low-Sample Size, HDLSS) 정형 데이터 도메인을 위한 고충실도 합성 데이터 생성의 과제를 다룹니다. 이러한 환경에서는 특징(feature)의 수($m$)가 샘플의 수($n$)를 크게 초과합니다, 즉 $n \ll m$입니다.

전체 특징 공간 $\mathbb{R}^m$에서 밀집된 의존 구조(dense dependence structures)를 직접 학습하는 것은 이러한 제약 조건 하에서 불량 조건(ill-conditioned) 상태가 됩니다. 또한, 기존 방식들은 다음과 같은 특정 한계에 직면합니다:

• 시퀀스 스타일 생성기 (예: LLM 기반): 셀프 어텐션(self-attention)의 이차적 스케일링(quadratic scaling)으로 인해 $m$이 증가함에 따라 계산적 부담이 커집니다.
• 비구조적 생성기 (표준 GAN/VAE/Diffusion): 다음과 같은 HDLSS 데이터의 특정 통계적 특성을 포착하는 데 실패하는 경우가 많습니다:
  • 강한 국소 상관관계 그룹(모듈).
  • 희소한 그룹 간 의존성(cross-group dependencies).
  • 두꺼운 꼬리(heavy-tailed)를 가진 비가우시안(non-Gaussian) 주변 분포.
  • 이분산성 노이즈(heteroscedastic noise) 및 구조적 결측(structured missingness).

방법론: BSTabDiff

저자들은 관측된 $m$개의 특징을 $M$개의 잠재 블록($M \ll m$)으로 분할하는 생성 프레임워크인 BSTabDiff(Block-Subunit Tabular Diffusion)를 제안합니다. 핵심 철학은 유연하고 특징별로 특화된 메커니즘을 사용하여 전체 특징 공간으로 디코딩하는 동시에, 압축된 블록-잠재 공간 $\mathbb{R}^M$에 글로벌 의존성 학습을 집중시키는 것입니다.

1. 생성 모델 아키텍처

모델은 구조화된 생성 과정을 통해 작동합니다:

• 잠재 블록 구조 (Latent Block Structure): 특징은 서로 겹치지 않는 블록 $\{S_t\}_{t=1}^M$으로 분할됩니다. 각 블록은 공유된 저차원 "서브유닛(subunit)" 잠재 변수 $h_t \in \mathbb{R}$에 의해 제어됩니다.
• 블록 잠재 사전 분포 (Block Latent Prior): 블록 잠재 변수 $h = (h_1, \dots, h_M)$의 결합 분포는 현대적인 딥 사전 분포(deep priors), 구체적으로 확산 모델(diffusion models) 또는 **노멀라이징 플로우(normalizing flows)**를 사용하여 모델링됩니다. 이를 통해 모델은 $\mathbb{R}^m$과 관련된 차원의 저주를 피하면서 저차원 공간 $\mathbb{R}^M$에서 복잡한 블록 간 의존성을 학습할 수 있습니다.
• 방출 디코딩 (Emission Decoding):
  • 코풀라-가우시안 의존성 (Copula-Gaussian Dependence): 블록 $t$ 내의 각 특징 $j$에 대해, 중간 가우시안 변수 $Z_j$는 블록 잠재 변수 $h_t$에 노이즈를 더한 선형 함수로 생성됩니다: $Z_j = a_j h_t + b_j(Y) + \xi_j$.
  • 유연한 주변 분포 (Flexible Marginals): 가우시안 변수는 역 주변 CDF($F^{-1}_{j,Y}$)를 통해 변환되어 최종 특징 값을 생성합니다. 이를 통해 모델은 오믹스 데이터에서 흔히 나타나는 두꺼운 꼬리, 왜도(skewness), 비가우시안성을 포착할 수 있습니다.
  • 이분산성 (Heteroscedasticity): 노이즈 분산 $\sigma^2_j$는 잠재 변수 $h_t$와 레이블 $Y$에 의존할 수 있습니다.
• 결측 메커니즘 (Missingness Mechanism): $h$와 $Y$에 조건화된 베르누이 프로세스를 사용하여 이진 마스크 $R$을 병렬로 생성하며, 이를 통해 구조적 결측(예: MCAR, MAR, MNAR)을 명시적으로 모델링합니다.
• 순열 불변성 (Permutation Invariance): 모델은 관측된 특징 순서를 임의적인 것으로 취급합니다. 모델은 정준(canonical) 블록 공간에서 학습하며, 생성 시 관측된 데이터셋의 순서와 일치시키기 위해 선택적으로 순열 $\pi$를 적용합니다.

2. 훈련 및 추론

• 훈련 (Training): 모델은 가능도 기반 목적 함수(likelihood-based objective)를 최적화함으로써 훈련됩니다. 모델은 방출 파라미터(잠재 변수에서 특징으로의 디코딩)와 사전 분포 파라미터($h$의 분포 모델링)를 공동으로 적합시킵니다. 확산 사전 분포의 경우, 잠재 공간에서 스코어 매칭(score matching)이 사용됩니다.
• 샘플링 (Sampling): 생성은 효율적입니다. 학습된 사전 분포로부터 저차원 벡터 $h$를 샘플링하고(역 확산 또는 플로우 역전 과정을 통해), 단 한 번의 순방향 디코딩 패스를 수행하여 모든 $m$개의 특징을 생성합니다. 생성 시 별도의 최적화가 필요하지 않습니다.

주요 기여

1. 블록-서브유닛 생성기 (Block-Subunit Generator): 특징을 잠재 블록으로 분할하여, 특징별 주변 분포와 결측 패턴을 보존하면서 공유된 저차원 서브유닛을 통해 고차원 데이터를 생성하는 새로운 아키텍처입니다.
2. 압축된 딥 사전 분포 (Compact Deep Priors): $\mathbb{R}^m$에서 밀집된 의존성을 학습하는 것이 불가능한 $n \ll m$ 영역에서 학습을 안정화하기 위해 블록 잠재 변수($M \ll m$)에 확산 및 노멀라이징 플로우를 통합했습니다.
3. HDLSS 지향적 보장 (HDLSS-Oriented Guarantees): 모델이 순열 불변 식별 가능성(블록 재라벨링까지 허용)을 달성하고 샘플 복잡도 이점을 제공함을 보여주는 이론적 분석을 제시합니다. 유효 자유도(effective degrees of freedom)는 $m$이 아닌 $M$에 따라 스케일링되므로, 매우 작은 $n$에서도 일관된 추정이 가능합니다.
4. SNR 증폭 (SNR Amplification): 블록 내에서 특징을 집계하는 것이 자연스럽게 신호 대 잡음비(SNR)를 높인다는 것을 이론적으로 입증하였으며, 이는 HDLSS 환경에서 분리 가능성(separability)을 결정짓는 중요한 요소입니다.

실험 결과

저자들은 특징 수가 약 2,000개에서 22,000개, 샘플 수가 62개에서 203개 사이인 8개의 실제 HDLSS 데이터셋(예: Colon, GLI-85, Lung, TOX171)에 대해 BSTabDiff를 평가했습니다.

• 머신러닝 효율성 (MLE): 로지스틱 회귀를 다운스트림 분류기로 사용했을 때, BSTabDiff는 8개 데이터셋 모두에서 모든 합성 베이스라인(SMOTE, CTGAN, CTAB-GAN, TVAE, TabDDPM 및 다양한 확산 모델 포함) 중 가장 높은 평균 정확도를 달 기록했습니다.
• 성능 격차: BSTabDiff는 합성 데이터로 훈련된 모델과 실제 데이터 상한선(TRTR) 사이의 격차를 크게 좁혔습니다. 예를 들어, Lung 데이터셋에서 실제 데이터 상한선인 96.54%에 근접한 95.96%의 정확도를 달성했습니다.
• 강건성 (Robustness): 더 강력한 현대적 분류기(TANDEM, TabPFN-2.5, CatBoost)를 사용한 Colon 데이터셋 평가에서, BSTabDiff 데이터로 훈련된 모델은 실제 데이터로 훈련된 모델과 경쟁력을 유지하거나 일부 경우 실제 데이터 모델을 약간 능가했습니다.
• 충실도 (Fidelity): 진단 결과, 합성 샘플은 단순한 암기(memorization) 없이 실제 주변 분포 및 상관 구조와 일치했습니다. Kolmogorov-Smirnov 및 Wasserstein 거리는 완만했으며, 여러 데이터셋에서 Classifier Two-Sample Test (C2ST) 점수는 우연(chance) 수준에 근접했습니다.
• 효율성: 높은 차원에도 불구하고 훈련은 빨랐으며(수십 초), 메모리 사용량도 적었습니다(피크 GPU 사용량 < 0.05 GiB). 이는 블록-잠재 접근 방식의 확장성을 확인시켜 줍니다.

의의 및 주장

본 논문은 BSTabDiff가 HDLSS 영역에서 합성 정형 데이터를 생성하기 위한 안정적이고 확장 가능한 솔루션을 제공한다고 주장합니다. 오믹스와 같은 도메인에 내재된 블록 구조를 명시적으로 모델링함으로써, 이 프레임워크는 고차원에서의 직접적인 밀도 학습의 불량 조건 문제를 극복합니다.

저자들은 BSTabDiff를 단순한 데이터 증강 도구가 아니라 다음과 같은 신뢰할 수 있는 엔진으로 정의합니다:

• 제어 가능한 벤치마크 생성: 체계적인 평가를 위해 조절 가능한 속성(블록 크기, 희소성, 꼬리의 두꺼움)을 가진 합성 데이터셋 생성.
• 합성 사전 학습 (Synthetic Pretraining): 실제 데이터가 부족하거나 민감한 경우, 정형 파운데이션 모델(예: TabPFN 변형)을 훈련하기 위한 데이터 소스로 활용.
• 데이터 증강 (Data Augmentation): 실제 데이터가 불충분한 안전 필수(safety-critical) 또는 희귀 이벤트 시나리오에서 현대적인 AI 파이프라인의 훈련을 가능하게 함.

이 연구는 블록-잠재 사전 분포를 구조화된 방출과 결합하는 것이 의사결정에 유효한 구조를 보존하는 고효용 합성 데이터를 생성할 수 있게 하며, HDLSS 영역에서 실제 데이터를 효과적으로 대체할 수 있음을 보여줍니다.