Improving Denoising Diffusion Models via Simultaneous Estimation of Image and Noise

이 논문은 이미지와 노이즈를 동시에 추정하고 반원호 각도로 재매개변수화하여 역확산 과정의 안정성과 고차 ODE 솔버 적용을 가능하게 함으로써 생성 속도와 품질을 동시에 향상시키는 새로운 확산 모델을 제안합니다.

핵심

1. "나침반"을 새로 발명하다: 부드러운 길 찾기 (재매개변수화)

기존 방식의 문제점:
기존 AI 는 그림을 그릴 때 '잡음'과 '그림' 사이의 거리를 계산할 때, 시작점과 끝점에서 수학적으로 매우 급격한 변화 (특이점) 가 발생했습니다.

• 비유: 마치 가파른 절벽을 오르는 등산객 같습니다. 시작할 때와 끝날 때 계단이 너무 가파르거나 사라져서, AI 가 "어디로 가야 하지?"라고 헤매며 많은 시간과 에너지를 낭비합니다.

이 논문의 해결책:
저자들은 이 가파른 계단을 부드러운 원호 (사분원) 모양으로 바꾸었습니다.

• 비유: 이제 AI 는 나침반을 들고 둥글게 굽은 산책로를 걷습니다. 길은 매끄럽고 예측 가능합니다.
• 효과: 이렇게 길을 부드럽게 만들자, AI 는 더 정교한 계산 도구 (런게 - 킷타 방법 같은 고급 수학 공식) 를 사용할 수 있게 되었습니다. 결과적으로 더 적은 걸음 (단계) 으로 더 높은 곳 (고화질 이미지) 에 도달할 수 있게 되었습니다.

2. "양쪽 눈"으로 동시에 보기: 그림과 잡음 동시 추정

기존 방식의 문제점:
기존 모델들은 두 가지 중 하나만 선택해서 훈련했습니다.

1. 잡음만 제거하는 모델: 처음엔 잡음만 가득해서 무엇을 그려야 할지 몰라 시작이 느립니다.
2. 그림만 그리는 모델: 처음엔 선명하지만, 마지막에 잡음이 섞일 때 혼란이 와서 결과가 흐려집니다.

• 비유: 한쪽 눈만 가린 상태에서 그림을 그리거나, 처음엔 선글라스를 쓰고 마지막엔 안경을 끼는 것과 같습니다. 상황에 따라 시야가 가려져서 실수가 잦습니다.

이 논문의 해결책:
이 모델은 그림 (원본) 과 잡음 (노이즈) 을 동시에 예측합니다.

• 비유: 이제 AI 는 양쪽 눈을 모두 뜨고 상황을 봅니다.
  • 시작 단계: 잡음이 많을 때는 "아, 여기 잡음이 많구나, 그림은 이런 모양일 거야"라고 잡음을 제거하는 데 집중합니다.
  • 마지막 단계: 그림이 거의 완성되었을 때는 "이 부분은 그림의 디테일이야"라고 그림의 구조를 잡는 데 집중합니다.
• 효과: AI 가 상황 (시간 단계) 에 따라 가장 필요한 정보를 정확히 파악하므로, 수정이 훨씬 안정적이고 정확해집니다.

3. 추가적인 비결: 경사 (Gradient) 를 이용한 미끄럼틀

이 모델은 단순히 그림을 그리는 것을 넘어, **현재 상태가 어디로 흘러가야 하는지 (경사)**를 계산하여 미끄럼틀을 타고 내려가듯 이미지를 완성합니다.

• 비유: 단순히 발걸음을 옮기는 게 아니라, 지형의 기울기를 따라 자연스럽게 미끄러져 내려가듯 최적의 이미지를 찾아갑니다. 이 덕분에 더 빠르고 안정적으로 고화질 이미지를 만들어냅니다.

---

🏆 결론: 무엇이 달라졌나요?

이 새로운 방법 (ArcDiff) 을 사용하면:

1. 더 빠릅니다: 고화질 이미지를 만들기 위해 필요한 '단계 수'가 크게 줄었습니다. 기존 모델이 400~500 걸음 걸어야 선명한 '말' 그림이 나왔다면, 이 모델은 150 걸음 만에 똑같이 선명하게 그립니다. (약 3 배 빠름)
2. 더 좋습니다: 적은 단계로도 기존 모델보다 더 선명하고 사실적인 이미지를 만들어냅니다.
3. 더 안정적입니다: 처음과 끝에서 AI 가 혼란을 겪지 않아, 결과물의 품질이 일정하게 유지됩니다.

한 줄 요약:

"이 논문은 AI 가 그림을 그릴 때 가파른 절벽 대신 부드러운 산책로를 만들고, 양쪽 눈으로 상황을 정확히 파악하게 함으로써, 훨씬 더 빠르고 멋진 그림을 그려내게 했습니다."

기술 요약

1. 문제 정의 (Problem Statement)

기존의 확산 모델 (Diffusion Models) 은 고품질의 합성 이미지를 생성하는 데 탁월한 성능을 보이지만, 추론 (Inference) 과정에서의 시간 비효율성과 학습의 어려움이라는 두 가지 주요 한계에 직면해 있습니다.

• 노이즈 기반 모델 (Noise-based, 예: DDPM, DDIM): 학습 시 노이즈를 예측하는 방식으로, 초기 단계 (순수 노이즈에서 저품질 이미지로 전환) 에서 학습이 어렵고, 많은 샘플링 단계가 필요하여 추론 속도가 느립니다.
• 이미지 기반 모델 (Image-based, 예: Cold Diffusion): 직접 이미지를 예측하는 방식으로 초기 학습은 용이하나, 확산 과정의 후반부 (노이즈가 우세한 상태) 에서 정확한 이미지 복원이 어려워 최종 성능이 노이즈 기반 모델보다 떨어지는 경향이 있습니다.
• 기존 파라미터화의 한계: 기존 확산 과정의 파라미터화 ($\sqrt{\bar{\alpha}_t}$) 는 시간 $t=0$과 $t=T$에서 **특이점 (Singularities)**을 발생시켜 미분 방정식 (ODE) 해석을 어렵게 하고, 고차 ODE 솔버 (예: Runge-Kutta) 의 적용을 제한합니다.

2. 제안된 방법론 (Methodology)

저자는 위 한계를 극복하기 위해 이미지와 노이즈의 동시 추정과 새로운 파라미터화를 결합한 새로운 아키텍처를 제안합니다.

A. 새로운 파라미터화 및 노이즈 스케줄러 (Reparameterization & Noise Scheduler)

• 사분원 호 (Quarter-circular arc) 파라미터화: 기존 선형 스케줄 대신, 이미지 ($x_0$) 와 노이즈 ($\epsilon$) 사이의 각도 $\eta_t$를 사용하여 확산 과정을 재정의합니다.
  • 공식: $x_t = \cos(\eta_t)x_0 + \sin(\eta_t)\epsilon$, 여기서 $\eta_t = \frac{t}{T} \frac{\pi}{2}$
  • $\sqrt{\bar{\alpha}_t} = \cos(\eta_t)$로 매핑합니다.
• 효과:
  • $t=0$과 $t=T$에서의 특이점 제거: 미분값이 발산하지 않아 연속적인 시간에서의 **일반 미분 방정식 (ODE)**으로 표현이 가능해집니다.
  • 고차 ODE 솔버 적용: 이를 통해 오일러 방법 대신 **Runge-Kutta (RK2, RK4)**와 같은 고차 솔버를 사용하여 샘플링 속도와 정확도를 극대화할 수 있습니다.
  • 부드러운 전이: 기존 선형 스케줄보다 정보 손실 없이 더 매끄러운 전이 과정을 제공합니다.

B. 이미지와 노이즈의 동시 추정 (Simultaneous Estimation)

• 동시 예측 네트워크: 단일 네트워크가 노이즈 ($\epsilon$) 와 원본 이미지 ($x_0$) 를 동시에 예측하도록 훈련합니다.
• 이점:
  • 초기 단계: 노이즈가 우세한 상태에서도 실제 이미지 정보를 함께 추정하여 학습을 안정화합니다.
  • 후기 단계: 노이즈 제거가 명확해지더라도 이미지 구조를 유지하며 정밀한 업데이트를 가능하게 합니다.
  • 손실 함수: 노이즈 예측 오차와 이미지 재구성 오차를 모두 포함하는 결합 손실 함수를 사용합니다.
    $$\min_\theta E [ \|R_\theta(x_t, t) - x_0\| + \|\epsilon_\theta(x_t, t) - \epsilon\| ]$$

C. 그래디언트 업데이트를 통한 샘플링 (Sampling with Gradient Update)

• 확산 과정을 이미지에서 노이즈로 가는 곡선상의 이동으로 간주하고, 이를 그라디언트 하강 (Gradient Descent) 기반의 최적화 문제로 접근합니다.
• 그라디언트 손실: 추정된 그라디언트와 실제 그라디언트 간의 차이를 손실 함수에 추가하여 ($\gamma \|\dot{\hat{x}} - \dot{x}\|$), 역확산 과정의 안정성과 정확도를 높입니다.
• 샘플링 업데이트: $x_{t-1} = x_t - \Delta t \dot{\hat{x}}_t$ 공식을 사용하여 더 정밀하고 안정적인 업데이트를 수행합니다.

3. 주요 기여 (Key Contributions)

1. 특이점이 없는 새로운 파라미터화: $\cos(\eta)$와 $\sin(\eta)$를 활용한 새로운 스케줄링으로 ODE 기반의 고차 솔버 적용을 가능하게 하여 추론 속도를 획기적으로 개선했습니다.
2. 동시 추정 아키텍처: 노이즈 기반과 이미지 기반 모델의 장점을 결합하여, 확산 과정의 모든 단계 (초기/후기) 에서 더 안정적이고 정확한 그라디언트 추정을 가능하게 했습니다.
3. 성능 및 효율성 동시 달성: 기존 모델보다 적은 단계로 고품질 이미지를 생성하며, 학습 iterations 도 대폭 감소시켰습니다.

4. 실험 결과 (Results)

CIFAR-10, CelebA, LUSH (Church) 데이터셋에서 DDPM, DDIM, Cold Diffusion 모델과 비교 평가되었습니다.

• 품질 지표 (FID, sFID, Precision, Recall):
  • 제안된 모델은 모든 데이터셋에서 **FID(프레치 인셉션 거리)**와 sFID가 낮고, Precision과 Recall이 높은 우수한 성능을 보였습니다.
  • 특히 50~200 단계의 중간 구간에서 기존 모델 대비 압도적인 성능 향상을 보였습니다. (1000 단계에서는 DDPM 이 약간 우세할 수 있으나, 제안 모델은 훨씬 적은 단계로 동등한 성능 달성)
• 수렴 속도:
  • 이미지 생성 속도: DDPM/DDIM 이 '말 (Horse)'과 같은 객체를 인식하는 데 약 400~500 단계가 필요한 반면, 제안 모델은 약 150 단계로 3 배 빠른 수렴을 보였습니다.
  • 학습 효율성: LUSH Church 데이터셋에서 DDIM/DDPM 이 약 443 만 번의 반복 (iterations) 이 필요한 반면, 제안 모델은 약 113 만 번으로 약 4 배 적은 학습 비용으로 동등한 성능을 달성했습니다.
• Ablation Study:
  • 새로운 노이즈 스케줄 ($\beta^*$), 삼각함수 파라미터화 ($\sin()$), 동시 추정 ($\hat{x}_0, \hat{\epsilon}$) 이 각각 성능을 개선하며, 이를 모두 결합했을 때 가장 최적의 결과를 얻었습니다.

5. 의의 및 결론 (Significance)

이 논문은 확산 모델의 추론 속도와 생성 품질이라는 상충되는 두 목표를 동시에 달성하는 새로운 패러다임을 제시합니다.

• 이론적 기여: 확산 과정을 잘 정의된 ODE 로 재해석하여 수치해석적 방법 (Runge-Kutta 등) 을 효과적으로 적용할 수 있는 기반을 마련했습니다.
• 실용적 기여: 적은 계산 자원과 시간으로 고품질 이미지를 생성할 수 있어, 실시간 응용 및 대규모 데이터셋 학습에 매우 유용합니다.
• 제안 모델 (arcDiff): 노이즈와 이미지 정보를 통합적으로 학습하고 그래디언트 정보를 활용함으로써, 기존 모델이 가진 학습 불안정성과 느린 수렴 문제를 효과적으로 해결했습니다.

결론적으로, 이 연구는 확산 모델의 효율성과 품질을 동시에 개선하는 강력한 프레임워크를 제시하며, 향후 생성형 AI 의 실용화 속도를 가속화할 것으로 기대됩니다.