기술 요약: 확률적 보간 및 충분 표현을 통한 준지도 조건부 생성 학습

1. 문제 정의

조건부 생성 모델링은 조건 $Y \in \mathbb{R}^q$가 주어졌을 때 고차원 데이터 $X \in \mathbb{R}^d$의 기저 조건부 분포 $P_{X|Y}$를 학습하는 것을 목표로 한다. 표준 회귀 분석은 점 추정치(point estimates)를 제공하지만, 불확실성 정량화와 다중 모드(multimodality)와 같은 복잡한 구조를 포착하기 위해서는 전체 분포를 학습하는 것이 필수적이다. 그러나 준지도 설정(semi-supervised settings)에서는 레이블이 있는 쌍 $(X, Y)$는 희소한 반면, 레이블이 없는 $X$의 샘플은 풍부하다.

$Y$를 고차원 생성 과정에 직접 주입하는 방식은 샘나 효율성(sample efficiency) 측면에서 문제가 발생한다. 이러한 방식은 복잡한 주변 조건부 분포(ambient conditional distribution)를 학습하기 위해 상당한 양의 레이블된 데이터를 요구하며, 이로 인해 풍부한 레이블 없는 데이터를 활용하지 못한다. 기존의 표현 기반 방법들(예: VAE, 잠재 확산 모델)은 오토인코더 구조에 의존하지만, 불완전한 표현에서의 정보 손실이 생성 오류로 어떻게 전파되는지에 대한 이론적 보증, 특히 조건부 생성에 관한 연구는 아직 미개척 영역으로 남아 있다.

2. 방법론: RepG 프레임워크

저자들은 **충분한 표현(sufficient representations)**과 **조건부 확률적 보간(conditional stochastic interpolation)**을 사용하여 조건부 생성 과정을 인수분해하는 2단계 프레임워크인 RepG를 제안한다.

2.1 충분한 표현을 통한 구조적 인수분해

RepG는 $X$와 $Y$를 연결하는 모든 정보를 포착하도록 설계된 저차원 잠재 표현 $R(X) \in \mathbb{R}^k$ (여기서 $k \ll d$)를 도입한다. 이 방법은 조건부 독립 가정 $X \perp\!\!\!\perp Y \mid R$에 기초하며, 마르코프 체인 $Y \to R \to X$를 구축한다. 이를 통해 생성 과정은 다음과 같이 분해된다:

1. 잠재 샘플링 (레이블 의존적): 조건 $y$로부터 충분한 표현 $r$을 생성한다 ($P_{R|Y}$). 이는 희소한 레이블 데이터를 사용하여 추정되는 저차원 작업이다.
2. 재구성 (레이블 불필요): 표현 $r$로부터 고차원 타겟 $x$를 생성한다 ($P_{X|R}$). $P_{X|R}$은 $Y$와 독립적이므로, 이 단계는 레이블이 있는 데이터와 풍부한 레이블 없는 데이터를 결합한 통합 데이터셋을 사용하여 추정할 수 있다.

2.2 조건부 확률적 보간을 통한 구현

두 단계를 구현하기 위해 RepG는 조건부 확률적 보간(Albergo et al., 2025; Huang et al., 2023)을 활용한다.

• 보간 경로 (Interpolation Path): 경로 $Z_t = a_t Z_0 + b_t Z_1$은 $t \in [0, 1]$에 대해 참조 가우시안 분포($Z_0$)와 타겟 분포($Z_1$)를 연결한다.
• 드리프트 추정 (Drift Estimation): 생성 작업은 확률 미분 방정식(SDE)의 드리프트 필드 $v^*_F$를 추정하는 문제로 귀결된다. 이 드리프트는 속도장(velocity field)과 스코어 함수(score function)로 분해된다.
• 신경망 추정기 (Neural Estimators): 두 단계의 속도장은 심층 ReLU 피드포워드 신경망(FNN)에 의해 매개변수화된다.
  • 1단계: 속도장 $u$는 레이블된 쌍 $(R_i, Y_i)$에 대해 보간 경로의 경험적 위험(empirical risk)을 최소화하도록 학습된다.
  • 2단계: 속도장 $v$는 증강된 데이터셋 $(X_m, R_m)$(레이블된 데이터와 레이블 없는 데이터를 결합)에 대해 학습되어 재구성 매핑을 학습한다.
• 생성: 조건 $y$가 주어지면, 모델은 먼저 SDE를 시뮬레이션하여 잠재 표현 $\hat{r}$을 생성한 다음, $\hat{r}$에 조건화된 두 번째 SDE를 시뮬레이션하여 최종 샘플 $\hat{x}$를 생성한다.

2.3 표현 학습

$R(\cdot)$을 구축하기 위해 저자들은 심층 차원 축소(Deep Dimension Reduction, DDR) 프레임워크(Huang et al., 2024)를 사용한다. 이는 $R(X)$와 $Y$ 사이의 거리 공분산(distance covariance)을 최대화하는 동시에, $R(X)$가 표준 가우시안 분포를 따르도록 규제하여 $X \perp\!\!\!\perp Y \mid R(X)$가 근사적으로 만족되도록 하는 매핑을 학습하는 과정을 포함한다.

3. 주요 기여

3.1 이론적 오류 분해

본 논문은 실제 조건부 분포와 RepG 추정치 사이의 기대 쿨백-라이블러(KL) 발산에 대한 엄격한 분해를 확립한다. 전체 오류는 세 가지 구성 요소로 이루어진다:

1. 구조적 편향 (Structural Bias): 조건부 상호 정보량(CMI) $I(X; Y \mid R)$로 정량화된다. 이는 표현이 완벽하게 충분하지 않을 경우 발생하는 정보 손실을 측정한다.
2. 저차원 추정 오류: 레이블된 데이터를 사용하여 $P_{R|Y}$를 학습할 때 발생하는 오류.
3. 고차원 추정 오류: 통합 데이터셋을 사용하여 $P_{X|R}$을 학습할 때 발생하는 오류.

이 분해는 엄격한 조건부 독립이 필수적이지 않음을 증명한다. 즉, 작은 CMI와 통제된 추정 오류만 있다면 낮은 전체 생성 오류를 달성할 수 있다.

3.2 비점근적 수렴 속도 (Non-Asymptotic Convergence Rates)

매끄러움 가정(local Hölder classes)과 서브-지수 모멘트 경계(sub-exponential moment bounds) 하에서 저자들은 FNN 추정기에 대한 수렴 속도를 도출한다:

• 1단계 오류는 샘플 크기 $n$과 차원 $k+q$에 따라 스케일링된다.
• 2단계 오류는 통합 샘플 크기 $n+N$과 차원 $d+k$에 따라 스케일링된다.
• 핵심 결과: 레이블 없는 데이터가 풍부한 영역($N \gg n$)에서, 전체 수렴 속도는 저차원 지도 학습 구성 요소($n^{-2\alpha/(2\alpha+q+k+1)}$)에 의해 지배된다. 이는 RepG가 레이블된 데이터의 통계적 부담을 축소된 차원 $k$로 국한함으로써 차원의 저주를 효과적으로 완화함을 보여준다.

3.3 미니맥스 하한 (Minimax Lower Bound)

본 논문은 직접적인 조건부 생성(잠재 인수분화 없이)에 대한 미니맥스 하한을 제공하며, 이때 오류가 전체 주변 차원 $d+q+1$에 따라 스케일링됨을 보여준다. RepG의 상한과 비교함으로써, 저자들은 표현 기반 인수분화가 $k \ll d$일 때 샘플 복잡성을 크게 개선함을 확인한다.

4. 실험 결과

4.1 시뮬레이션 연구

• 이산 조건부 (Discrete Conditioning): Rep-G는 합성 데이터셋(Two Moons, Concentric Circles, 2D/3D Gaussian Mixtures)에 대해 테스트되었다. 이 방법은 클래스 분리성을 유지하면서 복잡한 기하학적 구조를 재구성하는 충분한 표현을 성공적으로 학습하였다.
• 연속 조건부 (Continuous Conditioning): 이분산성(heteroscedasticity), 왜도(skewness), 교차 분포(crossing distributions)가 포함된 시나리오에서, RepG는 에너지 점수(Energy Score) 측면에서 가우시안 프로세스 회귀(GPR), 혼합 밀도 네트워크(MDN), 분위수 랜덤 포레스트(QRF)보다 우수한 결합 분포 정확도를 보였다. 주변 구간 폭(marginal interval widths)은 유사했으나, RepG는 다변량 의존 구조를 더 잘 포착했다.

4.2 실제 응용 (MNIST)

RepG를 고정된 레이블 세트($n_\ell \in \{1000, 3000\}$)와 다양한 레이블 없는 세트($n_u$)를 가진 MNIST 숫자 생성에 적용하였다.

• 성능: RepG는 베이스라인 직접 조건부 모델보다 일관되게 우수한 성능을 보였다.
• 확장성: 레이블 없는 샘플 수가 증가함에 따라, RepG는 다운스트림 분류 작업에서 단조적인 정확도 향상을 보였으며 87-90% 근처에서 안정화되었다. 반면, 베이스라인의 성능은 레이블 없는 데이터를 활용하지 못해 평탄하게 유지되었다.
• 시각적 품질: 생성된 이미지는 레이블 없는 샘플 수가 증가함에 따라 파편화된 아티팩트에서 일관된 구조로 전이되었다.

5. 의의 및 주장

본 논문은 RepG가 다음과 같은 이유로 준지도 조건부 생성 문제에 대한 원칙적인 솔루션을 제공한다고 주장한다:

1. 복잡성 분리: 어려운 고차원 생성을 저차원 지도 학습과 레이블 불필요 재구성 작업으로 분리한다.
2. 이론적 보증: 표현 기반 조건부 생성에 대한 최초의 엄격한 오류 분해 및 수렴 속도를 제공하며, 구조적 편향(CMI)과 통계적 위험(statistical risk)을 명시적으로 연결한다.
3. 샘플 효율성: 지도 학습의 부담을 잠재 공간의 내재적 차원으로 국한함으로써, 직접적인 주변 공간 모델링에 내재된 차원의 저주를 극복한다.
4. 실용적 유용성: 시뮬레이션 및 실제 데이터에 대한 실험 결과를 통해, 근사적인 충분성(approximate sufficiency)을 갖춘 경우에도 프레임워크가 효과적임을 입증한다.

저자들은 이 접근 방식이 준지도 설정에서 제한된 레이블 데이터를 할당하는 데 강력한 이론적 근거를 제공하며, 고차원 데이터 구조를 학습하기 위해 풍부한 레이블 없는 데이터를 효과적으로 활용한다고 결론짓는다.