Measuring the Dependency Gap: Diagnosing Inter-Column Fidelity in Tabular Generative Models

기술 요약: 표 형식 생성 모델의 의존성 격차(Dependency Gap) 측정

1. 문제 정의

합성 표 형식 데이터(Synthetic tabular data)는 개인정보를 보호하며 데이터를 공유하거나, 불균형한 도메인(예: 사기 탐지, 임상 위험)에서 소수 클래스를 증강하는 데 점점 더 많이 사용되고 있습니다. 이러한 데이터의 유용성은 개별 컬럼의 주변 분포(marginal distribution)를 보존하는 것뿐만 아니라, 결정적인 것은 소수 클래스의 변별력을 담고 있는 **컬럼 간 의존성(inter-column dependencies)**을 유지하는 데 달려 있습니다.

본 논문은 현재의 평가 관행에 존재하는 치명적인 결함을 식별합니다: 기존의 품질 인증 지표들은 컬럼 간 의존성을 감지하는 데 무디다는 점입니다.

• Logistic-Regression C2ST: 모든 컬럼을 독립적으로 모델링하여 의존성을 완전히 파괴하는 베이스라인 생성기는 SDMetrics 스케일에서 실제 데이터와 구별할 수 없는 점수(0.995–1.000)를 기록했습니다.
• Trend/Shape Scores: 이러한 쌍별(pairwise) 지표들은 파괴된 의존성에 대해 미미한 민감도만을 보였습니다(독립적 베이스라인에 대해 0.69–0.78 점수 기록).

결과적으로, 실무자들은 생성기가 실제 데이터의 결합 구조(joint structure)를 "씻어내어(washed out)" 버렸음에도 불구하고, 생성기가 충실하다고 오해할 위험이 있습니다.

2. 방법론: 의존성 인지 충실도 진단(A Dependency-Aware Fidelity Diagnostic)

이를 해결하기 위해 저자들은 **강력한 분류기 이-표본 검정(XGB-C2ST)**을 사용하여 생성기의 충실도를 특정 구성 요소로 분해하는 진단 프레임워크를 도입합니다. 선형 모델과 달리, 그래디언트 부스팅 트리(XGB)는 고차 피처 상호작용(high-order feature interactions)에 민감합니다.

분해 프로토콜:
실제 데이터 분포를 $P$, 생성기 분포를 $Q$라고 합시다. 저자들은 XGB-C2ST AUC(0.5는 구별 불가능, 1.0은 완전 분리 가능)를 기반으로 세 가지 지표를 정의합니다.

1. **전체 점수 ($full$):**$c2st(P, Q)$. 전체적인 변별력.
2. **주변 점수 ($marg$):**$c2st(\Pi(P), \Pi(Q))$, 여기서$\Pi$는 각 컬럼 내에서 행을 독립적으로 치환(permutation)하여 의존성을 제거합니다. 이는 주변 분포는 보존하되 모든 컬럼 간 의존성을 파괴합니다.
3. **의존성 구성 요소 ($dep$):**$full - marg$로 계산됩니다. 이는 잘못된 결합 구조로부터 발생하는 변별력만을 분리해냅니다.
4. 교차 구성 요소 ($dep_{cross}$): 블록 치환(수치형 및 범주형 블록을 독립적으로 섞음)을 통해 격리되며, 수치형-범주형 결합(coupling)을 구체적으로 측정합니다.

기준점(Anchors):
진단은 실제 데이터에서 유도된 두 가지 참조값 사이에 위치합니다:

• 완전 팩터화된(Fully-Factorized, FF) 하한선: 경험적 주변 분포로부터 컬럼들을 독립적으로 재샘플링한 참조값입니다. 이는 올바른 주변 분포를 갖지만 의존성은 제로입니다.
• 오라클 상한선(Oracle Upper Bound): 실제 훈련 데이터의 새로운 서브샘플로, 이상적인 결합 분포를 나타냅니다.

3. 주요 기여

1. 진단 프레임워크: XGB-C2ST를 주변, 의존성, 수치형-범주형 교차 구성 요소로 분해하고, 이를 FF 및 오라클 경계값에 맞춘 프레임워크를 제공합니다.
2. 경험적 특성화: 표준 지표(LR-C2ST, Trend)가 의존성 손실을 감지하지 못하는 반면, XGB-C2ST는 최첨단(SOTA) 생성기에서도 상당한 의존성 격차를 드러낸다는 증거를 제시합니다.
3. 구조적 분석: 의존성 격차가 평균장(mean-field) 목적 함수의 구조적 한계 때문인지, 아니면 용량(capacity) 제한 때문인지 조사합니다.
4. 부정적 결과(Negative Results): 모델 용량을 16배 늘리거나, 모델 내부의 의존성 메커니즘을 추가하거나, 사후 코퓰라(post-hoc copula) 보정을 적용해도 격차를 줄이는 데 실패함을 체계적으로 보여줍니다.

4. 실험 결과

이 진단법은 5개의 클래스 불균형 데이터셋(Adult, Default, Bank, Magic, Shoppers)에 대해 TabbyFlow(Exponential-Family Variational Flow Matching, EF-VFM 기반의 플로우 매칭 생성기)에 적용되었습니다.

• 지표의 맹점 확인: FF 베이스라인(의존성 제로)은 LR-C2ST에서 완벽에 가까운 점수(0.995–1.000)를 기록하고 Trend에서도 완만한 점수를 보였으나, XGB-C2ST는 이를 실제 데이터와 매우 높은 수준으로 구별 가능한 것으로 정확히 식별했습니다(0.956–0.995).
• 의존성 격차의 존재: TabbyFlow는 모든 데이터셋에서 유의미한 의존성 격차를 보였습니다. 예를 들어, Adult 데이터셋의 경우 의존성 구성 요소는 $+0.050 \pm 0.007$로 나타났습니다(통계적으로 유의함, $p < 10^{-3}$).
• 유용성에 미치는 영향: 의존성 격차는 소수 클래스의 유용성과 직접적으로 상관관계가 있습니다.
  • 의존성이 파괴된 FF 베이스라인은 소수 클래스의 F1 점수를 붕괴시켰습니다 (예: Adult 데이터셋에서 오라클의 0.709 대비 0.102).
  • TabbyFlow는 높은 유용성(0.663)을 유지했으나, 오라클과의 일관된 격차(0.012–0.046)를 보였으며, 이는 잔여 의존성 격차를 반영합니다.
• 용량 확장 실패: 모델 너비를 16배(약 1,000만 개에서 1억 6,800만 개의 파라미터로) 늘려도 의존성 구성 요소를 유의미하게 줄이지 못했습니다. 격차는 통계적으로 변하지 않았으며($p > 0.05$), 따라서 용량 부족이 주요 원인이 아님을 입증했습니다.
• 개입 실패:
  • 모델 내 메커니즘: 생성기에 이산형 인지 교차 결합 헤드(discrete-aware cross-coupling head)를 추가해도 의존성 점수나 소수 F1 점수의 유의미한 개선이 없었습니다.
  • 사후 보정: 코퓰라 기반 보정(Gaussian, Vine)은 누락된 고차 구조를 공급하는 데 실패했으며, 오히려 유용성을 저하시키기도 했습니다.
  • 고차적 특성: 잔여 격차는 "고차적(higher-order)"입니다. 생성기는 이미 오라클 하한선 근처에서 2차 교차 모멘트(공분산)를 일치시키고 있으므로, 공분산 매칭 방식의 수정으로는 교정할 것이 남아있지 않습니다.

5. 의의 및 주장

본 논문은 의존성 격차가 평균장 목적 함수의 구조적 사각지대가 아니라고 주장합니다. 최근의 이론적 결과(Eijkelboom et al., 2026)에 따르면, 차원별 사후 평균(per-dimension posterior means)이 정확하게 학습된다면 변분 플로우 매칭(variational flow matching)은 팩터화된 목적 함수를 사용하더라도 점근적으로 진정한 결합 분포를 회복할 수 있습니다.

대신, 저자들은 이 격차가 목적 함수가 의존성을 향해 용량을 할당하도록 하는 직접적인 그래디언트 신호를 제공하지 않기 때문에 발생한다고 결론짓습니다. 결함은 모델의 크기나 아키텍처가 아니라, 목적 함수가 무엇을 보상하는가(차원별 평균)에 있습니다.

실무자를 위한 핵심 시사점:

• 표준 지표(LR-C2ST, Trend)는 의존성을 인증하기에 불충분하며, 반드시 XGB-C2ST 분해와 같은 의존성 인지 진단법으로 보완되어야 합니다.
• 단순히 모델 용량을 키우거나 의존성 모듈을 추가하는 것이 inter-column 구조의 회복을 보장하지 않습니다.
• "결합 제약(binding constraint)"은 의존성 감독(supervision)이 직접적으로 포함되지 않은 훈련 목적 함수에 있는 것으로 보입니다.
• 본 논문은 아키텍처 수정이나 무차별한 규모 확장(brute-force scaling)이 이 문제를 해결할 것이라고 가정하는 것에 대해 "주의"를 권고하며, 미래의 발전은 의존성을 명시적으로 보상하는 목적 함수를 필요로 할 것임을 시사합니다.

저자들은 분석이 특정 데이터셋과 현재의 플로우 매칭 목적 함수에 국한되어 있다는 점을 언급하며, 자신의 주장에 신중을 기하고 있습니다. 이들은 새로운 생성기를 제안하는 것이 아니라, 진단 도구와 현재 분야의 한계에 대한 특성화를 제공하는 것을 목적으로 합니다.