[기술 요약] Unconditional Priors Matter!

1. 문제 제기 (Problem Statement)

최근 확산 모델(Diffusion Models)은 특정 작업(이미지 편집, 뷰 합성, 비디오 생성 등)을 수행하기 위해 기존의 강력한 베이스 모델(Base Model)을 특정 데이터셋으로 **미세 조정(Fine-tuning)**하는 방식을 주로 사용합니다. 이때 Classifier-Free Guidance (CFG) 기술이 필수적으로 사용되는데, 이 과정에서 다음과 같은 심각한 문제가 발생합니다.

• 무조건부 사전 지식(Unconditional Prior)의 퇴화: CFG 학습 시 조건부(Conditional) 노이즈와 무조건부(Unconditional) 노이즈를 하나의 네트워크에서 동시에 학습합니다. 하지만 미세 조정 과정에서 조건부 데이터에 집중하게 되고, 무조건부 학습을 위한 드롭아웃(Dropout) 비율이 낮기 때문에(보통 5~20%), 모델이 가진 풍부한 무조건부 생성 능력이 급격히 저하됩니다.
• 조건부 생성 품질 저하: CFG 공식은 조건부 노이즈와 무조건부 노이즈의 차이를 이용합니다. 무조건부 노이즈 예측값이 품질이 낮아지면(즉, 데이터 분포를 제대로 설명하지 못하면), 결과적으로 조건부 생성 결과물에서도 형태 왜곡, 색상 과포화, 세부 묘사 부족 등의 품질 저하가 발생합니다.

2. 제안 방법론 (Methodology)

본 논문은 추가적인 학습이나 네트워크 수정이 필요 없는 학습 불필요(Training-free) 방식의 해결책을 제안합니다.

핵심 아이디어: 무조건부 노이즈 교체 (Unconditional Noise Replacement)

미세 조정된 모델의 품질이 낮은 무조건부 노이즈를 사용하는 대신, 풍부한 사전 지식을 가진 다른 모델(베이스 모델 또는 다른 사전 학습된 모델)의 무조건부 노이즈를 가져와 결합하는 것입니다.

수학적 공식

기존 CFG 공식이 다음과 같다면:
$$\epsilon_{\theta}^{(\gamma)}(x_t, c) = \epsilon_{\theta}(x_t, \emptyset) + \gamma(\epsilon_{\theta}(x_t, c) - \epsilon_{\theta}(x_t, \emptyset))$$

본 논문에서 제안하는 개선된 공식은 다음과 같습니다:
$$\epsilon_{\theta, \psi}^{(\gamma)}(x_t, c) = \epsilon_{\psi}(x_t, \emptyset) + \gamma(\epsilon_{\theta}(x_t, c) - \epsilon_{\psi}(x_t, \emptyset))$$

• $\epsilon_{\theta}$: 미세 조정된 모델(Fine-tuned model)의 노이즈 예측값
• $\epsilon_{\psi}$: 베이스 모델 또는 다른 고품질 사전 학습 모델(Base/Pretrained model)의 무조건부 노이즈 예측값
• $\gamma$: 가이던스 스케일(Guidance scale)

놀라운 발견: 교체할 모델($\psi$)이 반드시 미세 조정의 기반이 된 베이스 모델일 필요는 없습니다. 구조가 다르더라도(예: UNet $\leftrightarrow$ DiT) 무조건부 생성 능력이 더 뛰어난 모델이라면 효과적으로 작동합니다.

3. 주요 기여 (Key Contributions)

1. 현상 발견: 미세 조정된 모델의 무조건부 사전 지식(Unconditional Prior) 퇴화가 조건부 생성 품질을 떨어뜨리는 핵심 원인임을 규명했습니다.
2. 간결한 해결책: 별도의 학습 없이 샘플링 단계에서 노이즈를 결합하는 것만으로 품질을 획기적으로 높이는 방법을 제안했습니다.
3. 범용성 입증: 이미지 생성, 이미지 변형, 뷰 합성, 이미지 편집, 비디오 생성 등 다양한 도메인과 다양한 아키텍처(UNet, DiT)에 걸쳐 효과를 증명했습니다.

4. 실험 결과 (Results)

다양한 모델을 대상으로 실험한 결과, 모든 지표에서 성능 향상이 관찰되었습니다.

• Zero-1-to-3 (Novel View Synthesis): 베이스 모델(SD1.4)이나 PixArt-$\alpha$의 무조건부 노이즈를 사용했을 때, 조명 오류와 형태 왜곡이 크게 개선되었습니다 (LPIPS, PSNR, SSIM 향상).
• Versatile Diffusion (Image Variation): 과도한 색상 포화와 객체 왜곡 현상이 해결되었으며, FID 및 FDDINOv2 지표가 개선되었습니다.
• DiT (Class-conditional): 데이터셋 규모가 클수록 무조건부 사전 지식의 중요성이 커짐을 확인했으며, FID가 개선되었습니다.
• DynamiCrafter (Video Generation): 비디오의 시간적 일관성(Temporal Consistency)이 높아지고 형태 왜곡이 줄어들었습니다.
• InstructPix2Pix (Image Editing): 편집 명령에 대한 충실도(Faithfulness)를 유지하면서도, 원본 이미지의 정체성(Identity)을 더 잘 보존하고 고품질의 편집 결과를 생성했습니다.

5. 의의 및 결론 (Significance)

본 논문은 **"조건부 모델을 만들 때 무조건부 모델의 능력을 보존하거나 재활용하는 것이 얼마나 중요한가"**를 시사합니다.

• 실용적 가치: 추가 학습 비용이 전혀 들지 않으므로, 기존에 학습된 다양한 미세 조정 모델들의 성능을 즉각적으로 업그레이드할 수 있는 매우 실용적인 기술입니다.
• 학습 패러다임의 변화: 미세 조정 시 조건부와 무조건부를 반드시 동시에 학습해야 한다는 고정관념을 깨고, 무조건부 학습은 강력한 사전 학습 모델에 맡기고 미세 조정은 조건부 학습에만 집중할 수 있는 가능성을 열어주었습니다.