C$^2$FG: Control Classifier-Free Guidance via Score Discrepancy Analysis

이 논문은 확산 과정의 역학을 기반으로 조건부 및 무조건부 분포 간의 스코어 불일치에 대한 엄격한 상한을 이론적으로 규명하고, 이를 바탕으로 고정된 가중치 전략의 한계를 극복하는 새로운 훈련 불필요 플러그인 방법인 제어 Classifier-Free Guidance(C$^2$FG) 를 제안합니다.

핵심

이 논문은 **'C2FG(제어된 분류기 없는 안내)'**라는 새로운 기술을 소개합니다. 이 기술을 이해하기 위해 먼저 현대 AI 그림 그리기 기술인 '확산 모델(Diffusion Model)'이 어떻게 작동하는지, 그리고 기존 방식이 어떤 문제를 겪고 있는지 쉬운 비유로 설명해 드리겠습니다.

1. 배경: AI 가 그림을 그리는 과정 (소금물과 설탕물)

AI 가 그림을 그리는 과정은 마치 어두운 소금물에서 점차 설탕물을 만들어내는 과정과 비슷합니다.

• 시작: 화면에는 잡음 (소금물) 만 있습니다.
• 과정: AI 는 하나씩 소금 (잡음) 을 제거하면서 설탕 (이미지) 을 만들어냅니다.
• 조건: 사용자가 "고양이"라고 입력하면, AI 는 무작위 소금물에서 "고양이" 모양의 설탕물을 만들어내야 합니다.

여기서 **'CFG(분류기 없는 안내)'**라는 기술이 등장합니다. 이는 AI 가 "고양이"라는 조건을 얼마나 강하게 따라야 할지 결정하는 '나침반' 역할을 합니다.

• 나침반이 약하면: AI 는 고양이도 개도 아닌 이상한 괴물을 그릴 수 있습니다. (다양성은 좋지만, 조건을 안 지킴)
• 나침반이 너무 강하면: AI 는 고양이 모양은 정확하지만, 그림이 너무 딱딱하고 생동감이 떨어집니다. (조건은 잘 지켰지만, 자연스러움 없음)

2. 문제점: "고정된 나침반"의 한계

기존의 방식은 그림을 그리는 전 과정 내내 나침반의 강도 (지시력) 를 고정해 두었습니다.

• 초반 (잡음이 많을 때): 아직 어떤 모양인지 전혀 보이지 않는 상태입니다. 이때 나침반을 너무 세게 잡으면 AI 가 당황해서 엉뚱한 방향으로 갈 수 있습니다. (불필요한 간섭)
• 후반 (모양이 잡힐 때): 이제 고양이 모양이 뚜렷해졌습니다. 이때는 나침반을 더 세게 잡아 "정확히 고양이처럼 그려!"라고 강하게 지시해야 합니다. (지시력 부족)

기존 방식의 문제: "초반과 후반에 똑같은 힘으로 나침반을 잡는다"는 것입니다. 마치 비행기가 이륙할 때나 착륙할 때나 항상 같은 속도로 조종간을 잡는 것과 같아, 최적의 결과를 내기 어렵습니다.

3. 해결책: C2FG (지능형 나침반)

이 논문은 **"나침반의 강도는 시간이 지남에 따라 변해야 한다"**는 이론을 증명했습니다.

• 이론적 발견: AI 가 잡음에서 그림으로 변해가는 과정에서, "조건 (고양이)"과 "무조건 (랜덤)" 사이의 차이는 시간이 지날수록 급격히 커집니다.
  • 초반에는 차이가 작아 (나침반이 약해도 됨)
  • 후반에는 차이가 매우 커짐 (나침반을 세게 잡아야 함)

이에 따라 저자들은 C2FG를 제안했습니다.

• 핵심 아이디어: 나침반의 강도를 시간에 따라 지수함수적으로 조절합니다.
  • 초반: 나침반을 아주 부드럽게 잡습니다. (AI 가 자연스럽게 구조를 잡게 함)
  • 후반: 나침반을 점점 더 세게 잡습니다. (AI 가 조건에 딱 맞게 마무리하게 함)

이를 비유하자면:

요리사 (AI) 가 요리를 할 때, 처음에는 재료를 섞는 정도만 살짝 도와주고 (약한 지시), 마지막에 맛을 낼 때는 소금과 양념을 정확히 조절하듯 세게 지시하는 것입니다.

4. 왜 이것이 혁신적인가요?

1. 이론에 기반함: 단순히 "시험해보니까 좋더라"가 아니라, 수학적으로 "왜 이렇게 해야 하는지" 증명했습니다.
2. 추가 학습 불필요: 기존 AI 모델을 다시 가르칠 필요 없이, 이 '나침반 조절법'만 적용하면 됩니다. (플러그인 방식)
3. 어떤 모델에도 적용 가능: Stable Diffusion, DiT, SiT 등 다양한 최신 AI 모델에서 모두 효과를 발휘했습니다.
4. 결과가 더 좋음:
   • 화질 (FID): 더 선명하고 자연스러운 그림을 그립니다.
   • 조건 준수 (IS): "고양이"라고 했을 때 고양이 모양을 더 잘 지킵니다.
   • 다양성: 너무 딱딱하지 않고 생동감 있는 그림을 만듭니다.

5. 요약

이 논문은 **"AI 가 그림을 그릴 때, 처음과 끝을 똑같은 힘으로 지시하지 말고, 그림이 완성되는 과정에 맞춰 지시력을 부드럽게 조절하라"**는 것을 수학적으로 증명하고, 그 방법을 제안한 것입니다.

마치 비행기가 이륙할 때는 부드럽게, 착륙할 때는 정밀하게 조종하는 것처럼, AI 가 그림을 그릴 때도 **시간에 따라 지시력을 조절 (C2FG)**하면 훨씬 더 아름답고 정확한 그림을 만들어낼 수 있다는 것이 이 연구의 핵심 메시지입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

배경:

• Classifier-Free Guidance (CFG): 현대의 조건부 확산 모델 (Conditional Diffusion Models) 에서 샘플 품질을 향상시키는 핵심 기술입니다. 조건부 점수 (conditional score) 와 무조건부 점수 (unconditional score) 를 선형 보간하여 생성 과정을 제어합니다.
• 현재의 한계: 기존 CFG 는 생성 과정에서 고정된 (fixed) 또는 휴리스틱한 동적 가중치를 사용합니다. 이는 확산 과정의 고유한 역학 (dynamics) 을 고려하지 않은 경험적 접근에 그칩니다.

문제점:

• 이론적 근거 부재: 기존 연구들 (Interval Guidance, FDG, CFG++ 등) 은 고정 가중치의 비최적성을 지적하고 다양한 동적 전략을 제안했으나, 대부분 경험적 관찰에 기반하여 엄밀한 이론적 근거가 부족합니다.
• 조건부/무조건부 분포의 차이 무시: CFG 의 핵심은 조건부 데이터 분포와 무조건부 데이터 분포 간의 차이 (discrepancy) 를 활용하는 것입니다. 그러나 이 두 분포 간의 점수 함수 (score function) 차이와 확률 밀도 함수 (PDF) 의 거동은 시간 (timestep) 에 따라 비선형적으로 변화함에도 불구하고, 기존 방법은 이를 고정된 가중치로 일괄 처리합니다.
• 최적화 실패: 초기 단계 (고 노이즈) 와 후기 단계 (저 노이즈) 에서 조건부 정보의 중요도와 분포의 특성이 다르기 때문에, 고정된 가중치는 과도한 안내 (early stage) 나 부족한 안내 (late stage) 를 초래하여 생성 품질과 다양성 사이의 균형을 깨뜨립니다.

---

2. 제안 방법론 (Methodology)

저자들은 조건부 확산 모델의 이론적 분석을 바탕으로 **제어 가능한 Classifier-Free Guidance (C2FG)**를 제안합니다.

2.1. 이론적 분석 (Theoretical Analysis)

논문의 핵심은 확산 과정 중 조건부 및 무조건부 분포 간의 **점수 불일치 (Score Discrepancy)**에 대한 엄밀한 상한 bound 를 유도한 것입니다.

• 점수 MSE 상한 (Score MSE Bounds):

  • Theorem 1 (VP-SDE): 분산 보존 확산 모델 (Variance-Preserving SDE) 에서 조건부 점수와 무조건부 점수 간의 평균 제곱 오차 (MSE) 는 시간 $t$가 증가함에 따라 지수적으로 감소하는 상한을 가집니다. 즉, $\|\nabla \log p(x_t|y) - \nabla \log p(x_t)\| \propto e^{-t}$의 형태로 수렴합니다.
  • Theorem 2 (VE-SDE): 분산 폭발 확산 모델 (Variance-Exploding SDE) 에 대해서도 유사한 상한이 성립함을 증명합니다.
  • 통찰: 확산 과정이 진행될수록 (노이즈가 제거될수록) 조건부 정보와 무조건부 정보 간의 차이가 급격히 커집니다. 따라서 역방향 샘플링 (Reverse Sampling) 과정에서는 초기 (고 노이즈) 에는 약한 안내가, 후기 (저 노이즈) 에는 강한 안내가 필요함을 이론적으로 입증합니다.

• Harnack-type 부등식 (PDF 관점):

  • Theorem 3 & 4: 확률 밀도 함수 (PDF) 의 진화에 대한 Harnack-type 부등식을 유도합니다. 이는 $t \to 0$일 때 PDF 의 크기와 다양성이 통제하기 어려워지며 (상한이 발산), 초기 조건에 따른 분포 차이가 증폭됨을 보여줍니다.
  • 결론: 이론적 분석과 실험적 검증 (Figure 1) 을 통해, 조건부 점수와 무조건부 점수 간의 차이는 역방향 시간 (reverse time) 에 따라 지수적으로 증가함을 확인했습니다.

2.2. C2FG 알고리즘 설계

이론적 통찰에 기반하여, 고정된 가중치 $\omega$를 시간 의존적 제어 함수로 대체합니다.

• 지수 감소 제어 함수:
  $$\omega(t) = \omega_0 \exp\left( \lambda \left( 1 - \frac{t}{t_{\max}} \right) \right)$$
  • $t$: 현재 시간 (역방향 샘플링 시 $T \to 0$).
  • $t_{\max}$: 최대 확산 시간.
  • $\omega_0$: 초기 (최대) 안내 강도 (기존 CFG 의 고정 가중치와 동일 역할).
  • $\lambda$: 감쇠율 (decay rate) 을 조절하는 하이퍼파라미터.
• 동작 원리:
  • 초기 단계 ($t \approx T$, 고 노이즈): 점수 차이가 작으므로 $\omega(t)$는 상대적으로 작게 설정되어 불필요한 과도한 안내를 방지하고 자연스러운 구조 형성을 돕습니다.
  • 후기 단계 ($t \approx 0$, 저 노이즈): 점수 차이가 극대화되므로 $\omega(t)$는 지수적으로 증가하여 목표 조건 (conditional manifold) 으로 샘플 궤적을 강력하게 유도합니다.
• 특징:
  • Training-free: 추가적인 모델 학습이나 분류기 훈련이 필요 없습니다.
  • Plug-in: Stable Diffusion, DiT, SiT 등 다양한 확산 프레임워크에 즉시 적용 가능합니다.
  • 직교성 (Orthogonality): 기존 전략 (예: Interval Guidance, Autoguidance) 과 결합하여 성능을 추가로 향상시킬 수 있습니다.

---

3. 주요 기여 (Key Contributions)

1. 엄밀한 이론적 분석: CFG 의 조건부/무조건부 점수 불일치에 대한 엄밀한 상한 bound 를 유도하여, 고정 가중치 전략의 근본적 한계를 규명하고 시간 의존적 스케일링의 필요성을 이론적으로 입증했습니다.
2. C2FG 방법론 제안: 이론적 결론과 일치하는 지수 감소 제어 함수를 도입한 새로운 안내 전략을 제안했습니다. 이는 생성 과정의 제어 가능성 (controllability) 을 높이고 충실도 (fidelity) 와 다양성 (diversity) 간의 균형을 최적화합니다.
3. 광범위한 실험적 검증: 다양한 생성 작업 (이미지 생성, 텍스트-이미지 생성) 과 모델 아키텍처 (DiT, SiT, Stable Diffusion, EDM2) 에서 SOTA 성능을 달성했습니다. 특히 기존에 개선이 어려웠던 강력한 베이스라인 (SiT-XL/2 REPA) 에서도 FID 및 IS 점수를 추가로 향상시켰습니다.

---

4. 실험 결과 (Results)

• ImageNet (Class-Conditional):
  • DiT-XL/2: FID 2.29 $\to$ 2.07, IS 276.8 $\to$ 291.5 로 개선.
  • SiT-XL/2 (REPA): 기존 SOTA 인 REPA 모델에 C2FG 를 적용했을 때, FID 1.80 $\to$ 1.51 로 크게 향상되었습니다. Interval Guidance 와 결합 시에도 추가적인 이득을 얻었습니다.
• MS-COCO (Text-to-Image):
  • U-ViT: FID 5.37 $\to$ 5.28 개선.
  • Stable Diffusion 1.5: CLIP Score 31.8 $\to$ 31.9 향상.
• 고성능 베이스라인 (EDM2 + Autoguidance):
  • 픽셀 공간 (Pixel Space) 에서 작동하는 EDM2-S 모델은 이미 FID 1.04 의 매우 높은 성능을 보였으나, C2FG 적용 후 1.03으로 추가 개선을 이루었습니다. 이는 C2FG 가 거의 포화 상태에 가까운 성능에서도 유효함을 의미합니다.
• 샘플러 및 스텝 수 robustness: SDE 와 ODE 샘플러 모두에서, 그리고 추론 스텝 수 (250, 50, 20 등) 가 줄어들 때에도 일관된 성능 향상을 보였습니다.

---

5. 의의 및 결론 (Significance)

• 이론과 실전의 연결: 기존 CFG 관련 연구들이 주로 휴리스틱에 의존했던 점을 넘어, 확산 과정의 수학적 성질 (Score Discrepancy, Harnack Inequality) 을 기반으로 한 **원칙 기반 (Principled)**의 안내 전략을 제시했습니다.
• 범용성: 특정 작업이나 모델에 국한되지 않고, 다양한 확산 모델 (VP-SDE, VE-SDE 기반) 과 생성 작업에 적용 가능한 범용적인 해결책을 제공합니다.
• 향후 영향: C2FG 는 기존 방법론과 직교하여 결합 가능하므로, 향후 더 강력한 생성 모델 개발의 기본 구성 요소 (building block) 로서 활용될 수 있습니다. 또한, 조건부 확산 모델의 안내 메커니즘 설계에 대한 새로운 이론적 틀을 마련했다는 점에서 학술적 가치가 높습니다.

요약하자면, 이 논문은 확산 모델의 시간적 역학을 이론적으로 분석하여 고정된 안내 가중치의 비효율성을 증명하고, 이를 해결하기 위해 **지수적으로 변화하는 동적 가중치 (C2FG)**를 제안함으로써 다양한 생성 작업에서 SOTA 성능을 달성한 연구입니다.