기술 요약: 확산 모델에서 단조로운 샘플링은 필수적인가?

1. 문제 제기

6 년간 확산 모델은 하나의 명시되지 않은 구조적 가정에 의존해 왔습니다: 샘플링 궤적을 따라 노이즈 수준이 단조롭게 감소한다는 것입니다. 이 분야는 손상 연산자, 학습 목적 함수, 분산 스케줄, 아키텍처, ODE 솔버 등 거의 모든 다른 설계 차원을 철저히 제거 실험 (ablation) 해 왔지만, 단조성 자체의 필요성은 체계적으로 테스트된 적이 없습니다.

세 가지 독립적인 증거 흐름은 이 가정이 필수적인 요구사항이라기보다는 역사적 관례일 수 있음을 시사합니다:

1. 수학적 유효성: DDIM 업데이트 방정식은 엄격하게 감소하는 경우뿐만 아니라 임의의 다음 시간 단계 선택에 대해서도 잘 정의되어 있습니다.
2. 확률적 "재가열 (Reheating)": 확률적 DDPM 샘플링은 각 단계에서 새로운 노이즈를 암묵적으로 추가하여 탈노이즈 진행을 부분적으로 상쇄하며, 이는 높은 함수 평가 (NFE) 예산에서 결정론적 DDIM 보다 더 나은 결과를 산출합니다.
3. 재시작 샘플링: 궤적 중간에 노이즈를 명시적으로 주입하는 것 (보정과 짝을 이룸) 은 특정 맥락에서 최첨단 결과를 보여주었습니다.

이로 인해 다음과 같은 핵심 질문이 제기됩니다: 단조로운 샘플링은 단순히 비용 없이 완화될 수 있는 관례일 뿐인가, 아니면 필수적인가? 구체적으로, 구조화되고 의도적인 노이즈의 비단조적 증가 ("재가열") 가 샘플러가 비최적 궤적을 탈출하고 더 나은 샘플에 도달하는 데 도움이 될 수 있는가?

2. 방법론

저자들은 세 가지 아키텍처적으로 구별되는 생성 모델 계열에 걸쳐 단조성의 필요성을 평가하기 위해 체계적인 경험적 테스트를 설계했습니다:

• DDPM (이산 시간, 정수 시간 단계)
• EDM (연속 노이즈 수준, Heun 적분)
• Flow Matching (연속 시간, 최적 수송)

실험 설정

• 데이터셋: CIFAR-10.
• 예산: 10 에서 200 까지의 NFE.
• 지표: Fréchet Inception Distance (FID).
• 기준선: 모든 모델에 대한 단조적인 DDIM (결정론적).

비단조적 스케줄 계열

저자들은 고정된 NFE 예산 내에서 "재가열" 단계 (노이즈가 증가하는 단계) 를 삽입하여 네 가지 계열의 구조화된 비단조적 스케줄을 구성했습니다:

1. 단일 재가열 (SR): 특정 위치 $t_{reheat}$에서 크기 $\delta$만큼의 단일 후진 점프.
2. 톱니파 (ST): 동일한 크기의 주기적 후진 점프.
3. 감쇠 진동 (DO): 지수적으로 감소하는 재가열이 지각적 품질이 결정되는 임계 노이즈 수준 ($\log \text{SNR} \approx 0$) 주변에 집중됨.
4. 적응형 재가열 (AR): 연속적인 점수 예측이 보정된 임계값을 초과하여 발산할 때 재가열을 트리거하는 온라인 스케줄.

이 연구는 DDPM 의 단일 재가열 스케줄에 대해 $(t_{reheat}, \delta)$에 대한 42 개 셀의 하이퍼파라미터 제거 실험을 포함했습니다. 중요하게도, 고정 예산 계열의 경우 재가열은 NFE 예산 위에 추가된 것이 아니라 예산 내부에 삽입되어 효율성의 공정한 비교를 보장했습니다.

3. 주요 발견

A. 부정적 발견: 재가열은 결코 도움이 되지 않음

90 개의 테스트된 구성 (3 개 모델, 4 가지 스케줄 유형, 4 개 NFE 예산 포함) 전반에 걸쳐, 테스트된 어떤 비단조적 구성도 단조로운 기준선보다 개선된 결과를 보이지 않았습니다.

• 페널티 (FID 증가) 는 모든 위치에서 재가열 크기 $\delta$에 따라 단조롭게 증가했습니다.
• 0 미만의 국소 최소값은 존재하지 않았습니다. 가장 작은 재가열조차도 양의 페널티를 부과했습니다.
• 이 결과는 결정론적 스케줄, 확률적 보정 변형, 온라인 적응형 기준 모두에서 유효했습니다.

B. 긍정적 발견: 아키텍처에 의존하는 페널티 크기

재가열이 균일하게 해롭기는 하지만, 페널티의 크기는 모델 아키텍처에 따라 급격하게 (거의 세 자릿수 차이로) 변합니다. 이 변동은 측정 노이즈가 아니라 훈련된 탈노이즈기의 구조적 속성입니다:

• DDPM: 지속적인 상당한 페널티를 겪습니다 (예: NFE=100 에서 +1.31 FID). 페널티는 높은 예산에서도 0 으로 수렴하지 않습니다.
• Flow Matching: 중간 정도의 페널티를 보입니다 (NFE=100 에서 +0.04 FID).
• EDM: 0 과 구별할 수 없는 페널티를 보입니다 (NFE=100 에서 -0.003 FID), 통계적으로 노이즈 바닥 내에 있습니다.

C. 커뮤니티 혼란의 해결

이 논문은 이전 문헌의 두 가지 명백한 모순을 명확히 합니다:

1. DDPM 대 DDIM: 높은 NFE(NFE=200) 에서 확률적 DDPM($\eta=1$) 이 결정론적 DDIM 보다 우월하다는 사실은 재가열 때문이 아닙니다. 저자들은 확률성이 데이터 매니폴드에서 궤적 다양화에 대한 직교 (orthogonal) 구성 요소를 제공하는 반면, 결정론적 재가열은 예측된 노이즈 벡터를 따라 재노이즈하는 평행 (parallel) 방향에서만 작동함을 보여줍니다.
2. RePaint: 재가열을 사용하는 RePaint 의 성공은 알려진 픽셀과 같은 단계별 조건부 앵커에 기인합니다. 이는 궤적을 특정 데이터 포인트에 고정시킵니다. 이러한 앵커 없이 순수한 재가열은 균일하게 해롭습니다.

4. 이론적 기여: 스케줄 민감도 계수 (SSC)

저자들은 관찰된 페널티 변동을 **스케줄 민감도 계수 (Schedule Sensitivity Coefficient, SSC)**로 공식화했습니다.

• 정의: $SSC := \lim_{N \to \infty} \frac{[\Delta \text{FID}_{\text{DO}}(N)]_+}{[\Delta \text{FID}_{\text{SR}}(N)]_+}$, 여기서 $[x]_+ = \max(x, 0)$.
• 이론적 근거: 재가열 단계는 탈노이즈기에 손상된 추정을 다시 처리하도록 강요합니다. 베이지안 최적 탈노이즈기의 경우, 이 두 번째 통과에서는 새로운 정보가 추출되지 않으므로 페널티가 0 인 낭비된 NFE 가 됩니다. 불완전한 탈노이즈기의 경우, 오류가 누적됩니다. 페널티는 재가열된 노이즈 수준에서 탈노이즈기의 국소 리프시츠 상수 ($L$) 와 오류 ($\epsilon$) 에 의해 제한됩니다.
• 함의: $SSC > 0$은 훈련된 탈노이즈기가 임계 노이즈 수준에서 베이지안 최적 탈노이즈기로 수렴하지 않았음을 시사합니다.
• 활용: SSC 는 FID 를 보완하여 탈노이즈기의 내부 일관성을 탐지하는 저렴하고 아키텍처 중립적인 진단 도구입니다 (256 개 샘플 생성 실행 두 번만 필요).

5. 중요성과 주장

이 논문은 확산 샘플링에서 단조성이 필요한지에 대한 첫 번째 체계적인 경험적 답변을 제공한다고 주장합니다.

1. 관례의 검증: 이 발견은 이 분야의 암묵적인 단조 스케줄 의존성을 정당화합니다. 테스트된 예산과 아키텍처에서 구조화된 비단조적 확장은 균일하게 해롭습니다.
2. 새로운 진단 도구: SSC 의 도입은 확산 모델 품질에 대한 새로운 탐침을 제공합니다. 이는 고품질 모델 (예: EDM) 은 스케줄 교란에 강건함 (SSC $\approx$ 0) 을, 저품질 또는 덜 수렴된 모델 (예: 테스트된 DDPM) 은 취약함 (SSC > 0) 을 드러냅니다.
3. 메커니즘의 명확화: 이 작업은 확률성, 조건부, 명시적 재가열의 효과를 분리하여 왜 특정 확률적 또는 조건부 방법은 성공하는 반면 순수 비단조적 스케줄은 실패하는지에 대한 혼란을 해소합니다.

저자들은 유용한 샘플러 설계의 탐색 공간이 여전히 단조 스케줄 내에 있으며, 재가열 페널티의 변동이 탈노이즈기 품질의 구조적 지표로 작용한다고 결론지었습니다.