기술 요약: 추론 시간 정제에 의한 표본 확산의 합성-실제 간극 해소

1. 문제 제기

확산 기반 생성기가 합성 표본 데이터에서 최첨단 성능을 달성함에도 불구하고, 지속적인 "합성 - 실제 간극"이 존재합니다: 합성 데이터로 훈련된 하위 학습기는 실제 데이터로 훈련된 학습기의 유용성에 거의 미치지 못합니다. 이 간극을 해소하기 위한 기존 접근법은 아키텍처 발전 (예: TabDiff, TabSyn), 확장, 또는 모놀리식 생성기의 재훈련과 같은 훈련 시간 개입에 exclusively 집중해 왔습니다. 이러한 방법들은 단지 미미한 향상만 가져왔으며, 실제 데이터의 유용성과 일관되게 일치하지 못합니다.

본 논문은 이 간극이 주로 훈련 시간의 문제가 아니라 추론 시간의 문제라고 주장합니다. 이미지 합성에서는 추론 시간 가이드 (예: Classifier-Free Guidance, Chamfer Guidance) 가 성공적이었으나, 표본 데이터에 적용하는 것은 세 가지 특정 장애물에 의해 방해받아 왔습니다:

1. 혼합형 특징 공간: 표본 데이터는 그래디언트 기반 가이드에 적합한 고유한 미분 가능 거리 척도가 부재합니다.
2. 표준화된 표현의 부재: 이미지 (CLIP 사용) 와 달리, 표본 데이터는 통합된 임베딩 공간이 없습니다.
3. 이중 목적: "합성으로 훈련, 실제로 테스트 (TSTR)" 설정은 정밀도(합성 - 실제 근접성) 와 커버리지(실제 - 합성 매니폴드 커버리지) 사이의 균형을 요구하며, 표준 가이드는 이를 종종 간과합니다.

2. 방법론: TARDIS

저자들은 TARDIS(Refinement, Distillation, and Inference-time Sampling 을 통한 표본 생성) 를 소개합니다. 이는 재훈련 없이 동결된 사전 훈련된 표본 확산 백본 (특히 TabDiff) 의 출력을 정제하는 프레임워크입니다. 핵심 원리는 양방향 Chamfer 정제 (BCR) 로, 합성 후보와 실제 데이터 간의 대칭적 Chamfer 함수를 두 가지 보완적 수준에서 최소화합니다: 샘플링 중 연속적으로 그리고 샘플링 후 이산적으로.

이 프레임워크는 세 단계로 작동합니다:

단계 I: 과샘플링

시스템은 잠재 공간에서 $N_r$(실제 데이터셋 크기) 에 대해 $M=50$으로 고정된 $M \cdot N_r$의 카디널리티를 가진 과샘플링된 노이즈 풀 $D_{noise}$를 추출합니다. 이 중복성은 후속 정제를 위한 후보 풀을 제공합니다.

단계 II: 양방향 Chamfer 가이드 (연속 정제)

역방향 확산 과정에서 예측된 점수 $\epsilon_\theta(x_t, t)$는 실제 참조 배치 $x_r$에 대한 양방향 Chamfer 함수 $C$의 그래디언트에 의해 교란됩니다.

• 표현 맵 ($\phi$): 혼합형 데이터를 처리하고 미분 가능성을 제공하기 위해 시스템은 표현 맵 $\phi$를 사용합니다. 검색 공간은 다음 중 하나를 허용합니다:
  • 항등 매핑: z-score 정규화된 특징에 적용됩니다.
  • $\beta$-VAE 매핑: 특징을 잠재 공간으로 매핑하여 이질성을 흡수하는 실제 데이터로 훈련된 인코더입니다.
• 점수 교란: 교란된 점수는 $\tilde{\epsilon}_\theta = \epsilon_\theta - \Gamma(t) \cdot \nabla_{x_t} C(x_t, x_r)$입니다. 이는 생성을 실제 데이터 매니폴드로 유도합니다.
• 하이퍼파라미터 튜닝: 트리 구조 파라젠 추정기 (TPE) 검색은 각 데이터셋에 대해 가이드 파라미터 (스케줄 $\Gamma(t)$, 참조 배칭, $\phi$ 유형) 를 튜닝합니다.

단계 III: 정제 선택 (이산 정제)

후보 풀 $D_{cand}$를 생성한 후, 시스템은 사후 배치 랭킹을 통해 최종 합성 데이터셋 $D_{syn}$(카디널리티 $K \cdot N_r$) 을 선택합니다.

• Chamfer 샘플러: 배치는 단계 II 에서 사용된 동일한 Chamfer 함수 $C$에 의해 랭킹됩니다. 최상위 랭킹 배치가 유지됩니다. 이 단계는 연속 가이드를 통과한 "매니폴드 외" 후보를 제거합니다.
• 생성 지식 증류 (GKD): 실제 데이터로 훈련된 교사 분류기가 소프트 타겟으로 후보를 재레이블하는 선택적 단계입니다. 이는 주로 저카디널리티 영역 ($K \le 1$) 에서 효과적입니다.
• 검색 전략: 다섯 가지 샘플러 변형 (Chamfer, MDSampler, Stratified 등) 과 GKD 토글에 대한 내부 그리드 검색은 각 TPE 시도에서 검증 유틸리티를 최대화하는 구성을 선택합니다.

3. 주요 기여

1. 추론 시간 정제 프레임워크: TARDIS 는 추론 시간 정제를 표본 확산에 적용한 최초의 프레임워크로, 재훈련 없이 동결된 백본이 크게 개선될 수 있음을 입증합니다.
2. 양방향 Chamfer 정제 (BCR): 저자들은 연속적인 점수 수준 가이드와 이산적 배치 랭킹을 단일 대칭 Chamfer 함수 하에 결합하는 통합 원리로서 BCR 을 제안합니다. 이는 TSTR 설정에 내재된 정밀도 - 커버리지 트레이드오프를 해결합니다.
3. 혼합형 데이터 처리: 데이터셋별 표현 맵 $\phi$(항등 또는 $\beta$-VAE 인코더) 의 도입은 그래디언트 기반 가이드를 표본 데이터에 적용 가능하게 하여 고유한 척도 부재를 극복합니다.
4. "추론 시간" 가설의 경험적 검증: 이 연구는 합성 - 실제 간극이 주로 추론 시간에 해결 가능함을 입증하여, "더 나은 생성기"에서 "기존 생성기의 더 나은 정제"로 패러다임을 전환합니다.

4. 실험 결과

이 프레임워크는 TSTR 프로토콜 하에서 XGBoost 를 하위 학습기로 사용하여 15 개의 이질적 표본 벤치마크(이진 분류, 다중 클래스 분류, 회귀) 에서 평가되었습니다.

• 하위 유틸리티: TARDIS 는 실제 데이터로 훈련된 모델 대비 중앙값 +8.6% 향상을 달성했습니다 (95% CI [+3.3, +16.4], Wilcoxon $p=0.016$). 15 개 데이터셋 중 11 개에서 엄격한 승리를 거두었습니다.
• 백본 개선: TARDIS 는 모든 15 개 데이터셋에서 기본 TabDiff 백본을 개선했습니다 (평균 +12.9%, $p < 10^{-4}$).
• 절대 실험:
  • 과샘플링 및 선택 구성 요소 (단계 I 및 III) 를 제거하면 TabDiff 대비 평균 +1.4% 로 성능이 감소하여 이산적 선택이 결정적임을 입증했습니다.
  • 검색은 15 개 데이터셋 중 9 개에서 BCR 정렬 구성 (가이드 풀 + Chamfer 샘플러) 을 일관되게 선택하여 BCR 을 지배적인 정제 패턴으로 검증했습니다.
• 정밀도, 다양성, 프라이버시: TARDIS 는 매니폴드 정밀도 (Precision) 와 다양성 (Recall) 에서 백본과 일치했습니다. 프라이버시 지표 (DCR-1 공유 및 NNDR) 는 보존되어 양방향 함수가 훈련 레코드에 대한 붕괴를 방지함을 나타냅니다.
• 런타임: 단일 소비자급 GPU(Nvidia GTX 1080 Ti) 에서 TARDIS 는 추론 과정에 중앙값 16.1 분의 월클럭 시간을 추가합니다 (범위 0.9 분에서 79.4 분).

5. 중요성 및 주장

이 논문은 표본 확산의 합성 - 실제 간극이 주로 훈련 시간의 문제가 아님을 주장합니다. 대신, 사전 훈련된 백본의 추론 시간 정제가 표준 하드웨어에서 1 분에서 80 분 내에 실제 데이터 유틸리티에 도달하고 초과하기에 충분함을 입증합니다.

그 중요성은 다음과 같습니다:

• 패러다임 전환: 아키텍처 복잡성과 재훈련에서 사후 정제로 초점을 이동시킵니다.
• 비용 효율성: 대규모 확산 모델을 재훈련하는 계산 비용 없이 최첨단 유틸리티를 달성합니다.
• 일반성: BCR 원리는 미분 가능한 표현 맵과 참조 배치에만 의존하므로 표본 데이터 너머로 적용 가능함을 시사하는 도메인 전이 가능으로 제시됩니다.

저자들은 한계에 대해 겸손하게 언급하며, 현재 결과는 단일 백본 (TabDiff) 에서만 검증되었으며 공식적인 차분 프라이버시 보장은 주장되지 않지만 프라이버시 프록시는 보존됨을 지적합니다. 향후 작업은 BCR 을 다른 백본 (TabSyn, TabDDPM) 과 모달리티로 확장하는 것으로 식별됩니다.