Improving Diffusion Generalization with Weak-to-Strong Segmented Guidance

1. 연구 배경 및 문제 제기 (Problem)

확산 모델 (Diffusion Models) 은 반복적인 정제 과정을 통해 고품질 합성 이미지를 생성하지만, 샘플링 궤적 (sampling trajectory) 상에서 누적되는 오차로 인해 일반화 성능이 저하되는 문제가 있습니다. 이는 훈련 시의 '시뮬레이션 없는 (simulation-free)' 목적 함수와 추론 시의 '전역적 반복 과정' 사이의 불일치 (Exposure Bias) 에서 기인합니다.

이러한 문제를 해결하기 위해 **클래시퍼 프리 가이던스 (CFG)**나 **오토가이던스 (AG)**와 같은 가이던스 기법이 사용되지만, 각 기법의 효과적인 작동 영역 (operational regime) 이 명확히 규명되지 않아 특정 조건에서 적절한 방법을 선택하는 데 어려움이 있었습니다.

• CFG (Condition-Dependent Guidance): 조건에 의존하며, 강한 조건 준수성을 보이지만 과도한 가이던스 스케일 시 샘플의 다양성이 떨어지고 모드 붕괴 (mode collapse) 를 일으킬 수 있습니다.
• AG (Condition-Agnostic Guidance): 약한 모델 (inferior model) 을 사용하여 조건을 유지하면서 세부 사항을 개선하지만, 복잡한 대규모 작업 (예: 텍스트 - 이미지 생성) 에서 단독 사용 시 CFG 보다 성능이 낮거나 불안정할 수 있습니다.

2. 방법론 (Methodology)

저자들은 **약에서 강으로 (Weak-to-Strong, W2S)**의 원리를 바탕으로 기존 가이던스 방법들을 분석하고, 이를 통합한 새로운 접근법을 제안했습니다.

2.1. 약에서 강으로 (W2S) 관점의 분석

기존 가이던스 방법들을 두 가지 범주로 분류하고 그 작동 원리를 규명했습니다.

• 조건 의존적 가이던스 (CDG, 예: CFG): 조건을 제거 (null token) 하여 약한 신호를 생성합니다. 이는 고잡음 (high noise) 단계에서 클래스 간 분리 (inter-class separation) 와 올바른 매니폴드 (manifold) 탐색에 효과적입니다.
• 조건 무관 가이던스 (CAG, 예: AG): 조건은 유지하되 모델의 능력을 약화시켜 (작은 네트워크 또는 구조 변형) 약한 신호를 생성합니다. 이는 저잡음 (low noise) 단계에서 클래스 내 세부 사항 (intra-class refinement) 과 다양성 유지에 효과적입니다.

2.2. 제안된 방법: 세그먼트 가이던스 (SGG, Segmented Guidance)

두 기법의 장점을 시너지 효과로 결합하기 위해 시간에 따라 가이던스 전략을 전환하는 하이브리드 방식을 제안했습니다.

• 고잡음 구간 (초기 샘플링 단계): CDG(CFG) 를 사용하여 올바른 조건 매니폴드를 빠르게 찾습니다.
• 저잡음 구간 (후기 샘플링 단계): CAG(SLG 등) 로 전환하여 조건에 맞는 세부적인 질감과 다양성을 정제합니다.
• 수식적 정의:
  $$v_w(x_t, t, c) = v(x_t, t, c) + (w - 1) \cdot g(x_t, t, c)$$
  여기서 가이드 방향 $g$는 시간 임계값 $\tau$에 따라 다음과 같이 분할됩니다:
  $$g(x_t, t, c) = \begin{cases} v(x_t, t, c) - v(x_t, t, \emptyset) & \text{if } t \ge \tau \quad (\text{CDG}) \\ v(x_t, t, c) - \tilde{v}(x_t, t, c) & \text{if } t < \tau \quad (\text{CAG}) \end{cases}$$

2.3. 훈련 단계 통합 (Training Integration)

추론 시의 가이던스 원리를 훈련 목적 함수 (Training Objective) 로 직접 이식하여, 가이던스 없이도 일반화 능력이 향상된 모델을 학습시킵니다.

• 기존 속도 일치 (velocity matching) 목적 함수에 약한 신호와 강한 신호의 차이를 기반으로 한 가이던스 항을 추가합니다.
• 약한 신호 구축 방법:
  • CDG: CFG 의 무조건부 출력 활용.
  • CAG: 별도의 작은 네트워크 (AG) 또는 브랜치 (Branch, BR) 구조를 활용 (중간 레이어에서 분기된 보조 헤드를 사용하여 약한 신호 생성). BR 은 추가 순전파 (forward pass) 없이 구현 가능하여 효율적입니다.

3. 주요 기여 (Key Contributions)

1. W2S 관점의 체계적 분석: 조건 의존적 (CDG) 과 조건 무관 (CAG) 가이던스의 작동 영역과 실패 모드를 정량적/정성적으로 분석했습니다.
2. SGG 제안: 두 기법의 장점을 시계열적으로 결합한 단순하지만 효과적인 하이브리드 가이던스 기법을 제안했습니다.
3. 훈련 - 추론 통합: W2S 원리와 SGG 를 훈련 단계로 확장하여, 추론 시 추가적인 가이던스 비용 없이도 일반화 성능이 우수한 모델을 학습할 수 있는 프레임워크를 제시했습니다.

4. 실험 결과 (Results)

4.1. 추론 시간 성능 (Inference Time)

• 모델: Stable Diffusion 3 (SD3) 및 SD3.5.
• 데이터셋: MS-COCO-1K, LAION-5B-1K.
• 성능: SGG 는 기존 최첨단 가이던스 기법 (CFG, SLG, S2-Guidance 등) 을 모두 능가했습니다.
  • HPSv2.1 (프롬프트 준수성): CFG 와 유사하거나 더 높은 점수 달성.
  • Aesthetic Score (미적 품질): SLG 와 유사하거나 더 높은 점수 달성.
  • CFG 는 준수성은 좋으나 미적 품질이 낮고, SLG 는 미적 품질은 좋으나 준수성이 낮았던 반면, SGG 는 두 가지 모두에서 균형 잡힌 최상위 성능을 보였습니다.

4.2. 훈련 시간 성능 (Training Time)

• 모델: SiT-B/2 (ImageNet 256x256).
• 성능: W2S 원리를 훈련에 적용한 결과, **가이던스 없이 추론 (Unguided)**하더라도 베이스라인보다 훨씬 우수한 FID 및 sFID 점수를 기록했습니다.
  • 특히 BR (Branch) 기반의 CAG 는 훈련 오버헤드가 2% 미만으로 매우 낮으면서도 성능 향상을 제공했습니다.
  • SGG 를 적용한 모델은 기존 CFG 가 적용된 모델 (NFE/s=2) 보다 가이던스 없이 (NFE/s=1) 더 좋은 품질의 이미지를 생성했습니다.

4.3.消融 실험 (Ablation Study)

• 분할 시점 ($\tau$): 중간 정도의 시점 (예: 전체 단계의 60~70% 지점) 에서 전환하는 것이 최적의 성능을 보였습니다.
• 가이던스 스케일: CDG 와 CAG 에 대해 서로 다른 스케일을 적용했을 때 성능이 최적화되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 확산 모델의 일반화 문제를 해결하기 위해 **가이던스 기법의 본질적인 작동 원리 (잡음 수준에 따른 역할 분담)**를 규명하고, 이를 SGG라는 실용적인 프레임워크로 통합했습니다.

• 추론 효율성: 기존에는 추가적인 계산 비용 (약한 모델 실행) 이 필요했으나, SGG 는 이를 최적화하여 더 나은 품질을 제공합니다.
• 훈련 혁신: 가이던스 원리를 훈련 목적 함수에 통합함으로써, 추론 시 추가적인 가이던스 단계 없이도 강력한 일반화 능력을 갖춘 모델을 학습할 수 있는 새로운 패러다임을 제시했습니다.
• 확장성: 텍스트 - 이미지 생성뿐만 아니라 비디오 생성 (Wan2.1 모델 적용) 등 다양한 모달리티에서도 유효함이 입증되었습니다.

결론적으로, 이 연구는 확산 모델의 추론 및 훈련 과정을 최적화하기 위한 지능적이고 효율적인 가이던스 전략을 제시하여, 향후 고품질 생성 모델 개발에 중요한 기여를 할 것으로 기대됩니다.