기술 요약: 온도 샘플링과 분산 교정 시간 이동을 통한 확산 모델의 다양성 확보

문제 정의

확산 모델(Diffusion models)은 학습 데이터 분포를 충실하게 재현하지만, 본질적으로 데이터 불균형을 물려받기 때문에 희귀하거나 과소 표현된 모드(mode)에 도달하기 어렵습니다. 이를 해결하기 위한 자연스러운 추론 단계의 방책은 고온 타겟 분포 $p^{(\gamma)}_0(x) \propto p_0(x)^\gamma$ (여기서 $0 < \gamma < 1$)로부터 샘플링하여 지배적인 모드를 완화하고 희귀한 모드를 증폭시키는 것이지만, 이를 단순히 적용하는 것은 실제로는 실패합니다.

학습된 스코어 함수(score function)를 직접 스케일링하는 방식(즉, $\gamma \nabla_x \log p_t(x)$ 사용)은 거시적인 모드 재가중치 부여 목표는 달성하지만, 미시적인 **분산 확장(variance expansion)**을 유발합니다. 이러한 과도한 분산은 노이즈가 섞인 템퍼링된 마진(tempered marginal)의 스코어와 역방향 확산 과정 사이의 엄격한 대응 관계를 깨뜨려, 오프 매니폴드(off-manifold), 흐릿함, 그리고 저품질의 샘플을 생성하게 됩니다. 기존의 다양성 향상 방법들은 재학습, 보조 분류기, 또는 병렬 입자 필터링(particle filtering)을 요구하며, 이는 적용 가능성이나 충실도를 제한합니다.

방법론: 분산 교정 시간 이동 (Variance-Corrective Time Shifting)

저자들은 모드 재가중치 부여와 분산 팽창을 분리하는 훈련 불필요(training-free) 메커니즘인 분산 교정 시간 이동을 제안합니다. 핵심 통찰은 템퍼링된 분포의 스코어 $\nabla_x \log p^{(\gamma)}_t(x)$를 단순히 원래의 스코어를 스케일링하여 얻을 수는 없지만, 이동된 타임스텝(shifted timestep) $\tilde{t}$에서 네트워크를 쿼리함으로써 정확하게 근사할 수 있다는 것입니다.

이론적 유도

1. 불일치(The Mismatch): 노이즈가 섞인 템퍼링된 마진 $p_t(x)^\gamma$를 직접 템퍼링하는 것은 템퍼링된 데이터의 노이즈 섞인 마진 $p^{(\gamma)}_t(x)$와 다릅니다. 잘 분리된 모드라는 가정하에, 직접적인 템퍼링은 가우시안 성분의 분산을 $1/\gamma$로 스케일링하는 반면, 진정한 템퍼링된 마진은 원래의 분산 스케줄을 유지합니다.
2. 교정(The Correction): 분산 팽창 없이 원하는 템퍼링된 마진을 복구하기 위해, 이 방법은 노이즈 수준이 $\sigma^2_{\tilde{t}} = \gamma \sigma^2_t$를 만족하도록 하는 이동된 시간 $\tilde{t}$에서 사전 학습된 네트워크를 쿼리합니다.
3. 스코어 추정량(The Score Estimator): 템퍼링된 분포의 스코어는 다음과 같이 근사됩니다:
   $$\nabla_x \log p^{(\gamma)}_t(x) \approx \gamma \left( -\frac{\epsilon_\theta(x, \tilde{t})}{\sigma^2_{\tilde{t}}} \right)$$
   이는 분산 확장을 효과적으로 상쇄하면서 모드 재가중치 효과를 보존합니다.

조대-세밀 제어 (Coarse-to-Fine Control)

이 방법은 역방향 확산 과정의 서로 다른 단계에 적용되는 스케줄 $\gamma(t)$를 허용합니다:

• 초기 단계 (높은 노이즈): 여기서 $\gamma(t) < 1$을 적용하면 **구성적 다양성(compositional diversity)**을 유도하여, 샘플링 입자들을 서로 다른 어트랙터(모드)로 유도합니다.
• 중간/후기 단계 (낮은 노이즈): 여기서 $\gamma(t) < 1$을 적용하면 글로벌 구성 및 모드 정체성을 유지하면서 **국소적 외형 변화(local appearance variation)**를 유도합니다.

주요 기여

1. 분산 확장의 식별: 본 논문은 단순한 스코어 스케일링이 의도치 않은 분산 팽창을 일으켜 역방향 확산 과정을 깨뜨린다는 점을 밝혀냈습니다.
2. 분산 교정 시간 이동: 네트워크를 이동된 타임스텝에서 쿼리함으로써 원하는 템퍼링된 마진을 복구하고 효과적인 고온 샘플링을 가능하게 하는 비용 제로(zero-cost)의 훈련 불필요한 교정법을 제시합니다.
3. 실용적인 다양성 조절 노브(Knob): 이 방법은 온도 샘플링을 재학습 없이 사전 학습된 확산 및 플로우 매칭(flow-matching) 백본의 다양성을 높이는 실용적인 도구로 변모시킵니다.
4. 단계별 제어: 온도 개입의 타이밍을 통해 구성적 다양성(초기)과 국소적 변화(후기)를 구분하는 조대-세밀 제어가 가능함을 입증했습니다.

실험 결과

이 방법은 다양한 아키텍처(DiT, Stable Diffusion 1.5/3.5/XL, Motion Diffusion Models)와 모달리티(이미지, 모션)에 대해 평가되었습니다.

• 다양성 대 충실도: 이 방법은 샘플 품질(VQA 점수 또는 분류기 정확도로 측정)과 조건 충실도(classifier fidelity)를 최소한으로 희생하면서 일관되게 다양성(Vendi score로 측정)을 향상시킵니다.
• 비교:
  • CADS 대비: 제안된 방법은 프롬프트 충실도를 더 잘 유지하는 반면, CADS는 종종 조건과의 정렬(alignment)을 저하시킵니다.
  • Feynman-Kac (FK) 대비: 저자들의 실험에서 FK는 높은 온도($\gamma < 1$)에서 어려움을 겪으며 종종 사용 불가능한 샘플을 생성하는 반면, 제안된 방법은 안정성을 유지합니다.
  • 직접 템퍼링/TSR 대비: 시간 이동 없이 낮은 $\gamma$ 값을 사용하면 과도한 노이즈가 유입됩니다. 시간 이동 교정은 동일한 다양성 이득을 달면서도 높은 샘플 품질을 유지합니다.
• 정량적 성능: DiT, SD1.5, SDXL, SD3.5에서 이 방법은 높은 충실도를 유지하면서 CMMD(지각적 품질)와 Vendi(다양성) 모두에서 최고 또는 차석의 점수를 기록했습니다.

의의 및 주장

본 논문은 분산 교정 시간 이동이 확산 모델에 온도 샘플링을 적용할 때 발생하는 근본적인 한계를 해결한다고 주장합니다. 단순한 스코어 스케일링에 내재된 분산 팽창을 교정함으로써, 이 방법은 사용자가 확산 모델이 가진 강점인 품질과 조건 준수를 희생하지 않고도 데이터 분포의 "롱 테일(long tail)"—즉, 희귀하거나 다양한 모드—을 탐색할 수 있게 합니다.

저자들은 이를 재학습 없이 다양한 모델 패밀리(플로우 매칭 모델 포함)에서 작동하는 다양성을 위한 "노브(knob)"를 제공하는, 유연한 추론 단계 제어를 향한 중요한 진전으로 규정합니다. 이 방법이 기본 모델의 용량에 의해 제한될 수 있으며, 충실도와 다양성 사이의 트레이드오프를 위해 모델별 튜닝이 필요하다는 점을 인정하면서도, 제안된 시간 이동 메커니즘이 이 트레이드오프를 관리 가능하고 효과적으로 만든다는 점을 강조합니다.