기술 요약: 유동 매칭을 위한 구조적 결합 (SCFM)

문제 제기

표준 유동 매칭 (FM) 은 연속 정규화 흐름을 훈련하기 위한 매우 효과적인 프레임워크로 부상하여 확장 가능한 최적화와 높은 충실도의 샘플 품질을 제공합니다. 그러나 이는 일반적으로 고정된 비구조적 소스 분포 (예: 등방성 가우시안) 에 의존합니다. 결과적으로 학습된 운송 지도는 클러스터링, 분리 (disentanglement), 또는 하류 작업에 유용한 해석 가능한 잠재 구조의 출현을 명시적으로 장려하지 않습니다.

반면, 변분 자동인코더 (VAE) 와 같은 잠재 변수 모델은 증분 추론을 통해 구조화되고 종종 해석 가능한 표현을 학습하는 데 탁월합니다. 그러나 그들의 생성 품질은 제한적인 디코더 계열이나 사후 근사에 의해 자주 제한받아, 확산 또는 유동 기반 모델에 비해 낮은 샘플 충실도를 초래하는 경우가 많습니다.

단일 통합 프레임워크 내에서 유용한 잠재 구조를 학습하는 방법과 고품질 샘플을 생성하는 방법 사이에는 간극이 존재합니다.

방법론: 유동 매칭을 위한 구조적 결합 (SCFM)

저자들은 유동 매칭에 구조적 잠재 표현 학습을 보강하는 협력적 프레임워크인 **유동 매칭을 위한 구조적 결합 (SCFM)**을 제안합니다. SCFM 은 확률적 보간자 (stochastic-interpolant) 공식 내에서 작동하며, 표준 고정 소스를 $x_0 = (z, \epsilon)$로 구성된 증강 변수로 대체합니다. 여기서:

• $z$는 학습 가능한 구조적 사전 분포 $p_\psi(z)$ (예: 가우시안 혼합 모델) 를 따르는 구조적 잠재 변수입니다.
• $\epsilon$은 고정된 사전 분포 $p(\epsilon)$을 따르는 운송 자유도를 제공하는 외생적 잡음입니다.

핵심 메커니즘

1. 인코더 유도 결합: 소스와 데이터 간의 독립적 결합 대신, SCFM 은 인코더 $q_\phi(z|x_1)$를 사용하여 결합 $\Gamma_{enc}(x_0, x_1) = p_{data}(x_1) q_\phi(z|x_1) p(\epsilon)$을 유도합니다. 이는 잠재 표현을 부수적 구성 요소가 아닌 운송 문제의 고유한 부분으로 만듭니다.
2. 공유 인식 네트워크: 단일 시간 의존성 네트워크가 이중 목적을 수행합니다:
   • 중간 시간 ($t < 1$): 유동 매칭을 위한 사후 평균 추정기로 작용하여, 유동을 훈련하는 데 필요한 주변 속도장을 근사합니다.
   • 종점 ($t = 1$): 잠재 변수 모델의 변분 인코더로 기능하며, 근사 사후 분포 $q_\phi(z|x_1)$를 매개변수화합니다.
3. 공동 목적 함수: 이 프레임워크는 유동 매칭 손실 (유도된 벡터장과 주변 속도장 사이의 거리 최소화) 과 VAE 스타일 종점 손실 (증분 하한, ELBO 최소화) 을 공동으로 최적화합니다. 종점 손실은 훈련 결합의 집계된 사후 분포를 학습 가능한 사전 분포 $p_\psi(z)$와 정렬시켜, 유동이 동일한 구조화된 분포에서 훈련되고 샘플링되도록 보장합니다.

샘플링 모드

SCFM 은 두 가지 샘플링 전략을 지원합니다:

• 완전 ODE 적분: $z \sim p_\psi(z)$ 및 $\epsilon \sim p(\epsilon)$를 샘플링한 후 $t=0$에서 $t=1$까지 ODE 를 적분하여 무조건부 생성을 수행합니다.
• 디코더 초기화 정제: 품질 - 계산 트레이드오프를 개선하기 위해 디코더 $p_\theta(x_1|z)$가 초기 제안 $\hat{x}_1$을 생성할 수 있습니다. 그런 다음 유동은 이 제안을 사용하여 중간 시간 $t_0$에서 초기화되고 $t=1$까지만 적분되어 더 적은 ODE 평가 횟수가 필요합니다.

주요 기여

1. 통합 프레임워크: 잠재 사전 분포와 연속 운송 지도를 공동으로 학습하는 SCFM 의 도입. 핵심 혁신은 인코더를 통해 결합된 증강 소스 변수 $x_0 = (z, \epsilon)$를 사용하여 의미론적 구조를 운송 유연성에서 분리하는 것입니다.
2. 협력적 훈련: 공유 시간 의존성 인식 네트워크와 VAE 스타일 종점 목적 함수가 훈련 결합을 샘플링 사전 분포와 정렬할 수 있음을 입증합니다. 이는 네트워크 구성 요소의 2 단계 또는 독립적 훈련 없이 유동 매칭과 VAE 훈련을 통합합니다.
3. 실증적 검증: SCFM 이 클러스터링, 분리, 하류 분류에 효과적인 구조적 잠재 표현을 학습하면서도 표준 유동 매칭과 경쟁력 있는 샘플 생성 품질을 유지한다는 증거입니다.

실험 결과

저자들은 MNIST, CIFAR-10, Cars3D, Shapes3D, ImageNet-128 에서 SCFM 을 평가했습니다.

• 구조적 표현:
  • MNIST 클러스터링: SCFM ($\beta$-VAE 종점 손실 사용) 은 VaDE 및 MFCVAE 기준 대비 우수한 클러스터링 정확도 (90.4%) 및 정규화된 상호 정보 (87.8%) 를 달성했습니다.
  • CIFAR-10 및 ImageNet-128: SCFM 에서 고정된 잠재 표현은 표준 VAE 보다 높은 선형 및 비선형 프로브 정확도를 보여주었으며, 다른 표현 학습 기준 (예: DIM) 에 비해 경쟁력 있는 결과를 나타내어 레이블 감독 없이 클래스 관련 정보를 유지함을 시사합니다.
• 분리 (Disentanglement): Cars3D 및 Shapes3D 에서 SCFM 은 경쟁력 있는 FactorVAE 및 DCI 점수를 달성하여 비지도 설정에서 요인 민감 잠재 구조를 학습할 수 있음을 입증했습니다.
• 샘플 품질:
  • CIFAR-10: SCFM 은 2.117 의 프레이치 시작 거리 (FID) 를 달성하여 표준 유동 매칭 기준 (2.137) 과 본질적으로 일치했습니다.
  • ImageNet-128: SCFM 은 17.180 의 FID 를 달성하여 클래스 조건부 SiT-XL/2 기준 (17.243) 을 약간 상회하고 무조건부 대응물 (26.349) 보다 훨씬 우수한 성과를 보였습니다.
• 효율성: 디코더 초기화 정제 모드는 품질 - 계산 트레이드오프를 개선하여, 훨씬 적은 함수 평가 (FLOPs) 로 전체 유동 FID 에 근접했습니다.

중요성 및 주장

이 논문은 SCFM 이 표현 학습과 고품질 생성 모델링 사이의 간극을 성공적으로 메웠다고 주장합니다. 소스 분포를 학습 가능하고 구조화되게 함으로써, SCFM 은 유동 매칭이 (클러스터링 및 분리를 위한) 의미 있는 잠재 구조를 학습할 수 있게 하며 생성 충실도를 희생하지 않습니다.

저자들은 잠재 변수 $z$가 비지도 방식으로 의미론적 의미를 획득하며, 샘플링 시 명시적 조건부 (예: 레이블 또는 프롬프트) 가 필요하지 않고 학습된 소스 분포를 통해 암시적 구조 제어를 제공한다고 강조합니다. SCFM 이 추가적인 계산 오버헤드 (증가된 파라미터 및 FLOPs) 를 도입하고 정제를 위한 종점 잠재 모델의 품질에 의존한다는 점을 인정하면서도, 이 작업은 유동 모델을 표현 학습자로 활용하기 위해 구조화된 소스를 학습할 수 있음을 보여주며 동시에 그들의 주요 생성적 강점을 유지한다고 입증합니다.