1. 문제 정의 (Problem)

확률적 확산 모델 (Diffusion Probabilistic Models, DPMs) 은 이미지, 비디오, 음성 생성 등 다양한 분야에서 뛰어난 생성 품질을 보이지만, 반복적인 탈노이즈 (denoising) 과정으로 인해 추론 (sampling) 에 막대한 계산 비용이 소요된다는 단점이 있습니다. 이를 해결하기 위해 기존에는 다단계 (multistep) 샘플러들이 제안되었으며, 특히 다항식 기반 (polynomial-based) 접근법 (예: Taylor 급수 전개, Lagrange 보간) 이 널리 사용되었습니다.

그러나 이러한 다항식 기반 샘플러들은 다음과 같은 한계가 존재합니다:

• 유연성 부족: 미리 정의된 고정된 스킴에 따라 샘플링 궤적을 생성하므로, 최적의 경로를 따르도록 추가적으로 최적화하기 어렵습니다.
• 고차수에서의 불안정성: 차수 (order) 가 4 이상으로 높아질수록 수치적 불안정성이 발생하여 성능이 급격히 저하되는 경향이 있습니다.
• 국소적 특징 포착의 한계: 데이터의 국소적 특징을 유연하게 반영하기 어렵습니다.

2. 제안 방법 (Methodology: RBF-Solver)

저자들은 이러한 한계를 극복하기 위해 **가우시안 방사 기저 함수 (Gaussian Radial Basis Functions, RBFs)**를 활용한 새로운 다단계 샘플러인 RBF-Solver를 제안합니다.

핵심 기술 요소

1. RBF 보간을 통한 모델 평가:

   • 기존 다항식 보간 대신, 최근의 모델 평가값들 $\{ \hat{x}_\theta(\hat{x}_{\lambda_{t_{i-j}}}, \lambda_{t_{i-j}}) \}$을 가우시안 RBF로 보간합니다.
   • 보간 식은 상수 기저 (constant basis) 와 가우시안 RBF 의 선형 결합으로 구성되며, 각 RBF 의 너비를 조절하는 **학습 가능한 모양 파라미터 (shape parameter, $\gamma$)**를 도입합니다.

2. 학습 가능한 모양 파라미터 ($\gamma$):

   • $\gamma$는 각 단계에서 최적의 샘플링 궤적을 따르도록 학습됩니다.
   • 최적화 전략: 기존 고해상도 샘플러 (예: UniPC, NFE=200) 로 생성된 '목표 궤적 (target trajectory)'을 기준으로, RBF-Solver 가 예측한 값과 목표 값 사이의 오차를 최소화하는 $\gamma$를 그리드 서치 (grid search) 를 통해 학습합니다. 이 과정은 추가적인 네트워크 추론 없이 가능합니다.

3. 이론적 수렴성 및 안정성:

   • 1 차 (First-order): $\gamma$가 특정 조건일 때 **Euler 방법 (DDIM)**과 동일하게 동작합니다.
   • 무한대 극한: $\gamma \to \infty$일 때 RBF 보간은 Lagrange 보간으로 수렴하며, 이는 기존 Adams 방법과 동일해집니다. 즉, RBF-Solver 는 기존 샘플러와 호환됩니다.
   • 고차수 안정성: 가우시안 RBF 의 국소성 (locality) 특성 덕분에 4 차 이상에서도 다항식 기반 샘플러가 붕괴되는 현상이 발생하지 않고 안정적인 성능을 유지합니다.

4. 예측자 - 수정자 (Predictor-Corrector) 프레임워크:

   • 기존 다단계 프레임워크에 맞춰 예측 단계 (Predictor) 와 수정 단계 (Corrector) 에 RBF 보간을 적용하여 정밀도를 높입니다.

3. 주요 기여 (Key Contributions)

• 새로운 샘플링 패러다임: 확산 모델 샘플링에 다항식 대신 RBF 보간을 도입하여 유연한 궤적 추적을 가능하게 함.
• 학습 가능한 파라미터: 고정된 계수 대신 데이터에 적응하는 모양 파라미터 ($\gamma$) 를 학습하여 최적의 샘플링 경로를 찾음.
• 이론적 기반: Euler 방법부터 Adams 방법까지의 수렴성을 증명하고, 고차수에서의 정확도 보장을 제공.
• 고차수 안정성 해결: 기존 방법론이 4 차 이상에서 성능이 떨어지는 문제를 RBF 의 국소성으로 해결하여 고차수 샘플링의 실용성을 입증.

4. 실험 결과 (Results)

저자들은 CIFAR-10, ImageNet (64x64, 128x128, 256x256), Stable Diffusion v1.4 등 다양한 데이터셋과 모델 (Score-SDE, EDM, Guided-Diffusion 등) 에서 RBF-Solver 를 DPM-Solver++, UniPC 등 최신 샘플러들과 비교 평가했습니다.

• 무조건부 생성 (Unconditional Generation):

  • CIFAR-10 (Score-SDE): NFE(함수 평가 횟수) $\ge 15$인 고비용 영역에서 RBF-Solver 가 가장 낮은 FID(2.87 @ NFE 15, 2.48 @ NFE 40) 를 기록하여 기존 방법들을 능가했습니다.
  • ImageNet 64x64: NFE $\ge 10$에서 모든 설정에서 최상의 성능을 보였습니다.

• 조건부 생성 (Conditional Generation):

  • ImageNet (Guided-Diffusion): NFE 가 낮은 영역 (5~10) 에서 특히 큰 성능 향상을 보였습니다. 가이드 스케일 8.0 에서 기존 다항식 기반 샘플러 대비 FID 를 **16.12% ~ 33.73%**까지 개선했습니다.
  • Stable Diffusion v1.4: CLIP 코사인 유사도 및 RMSE 측면에서 일관된 우월성을 보였습니다.

• 고차수 안정성 (High-Order Stability):

  • UniPC 등 기존 샘플러는 차수 $p \ge 5$에서 FID 가 급격히 나빠지는 반면, RBF-Solver 는 $p=6$ 이상에서도 안정적인 성능을 유지했습니다. 이는 RBF 의 국소성 덕분입니다.

5. 의의 및 결론 (Significance)

이 논문은 확산 모델의 추론 속도와 품질 간의 트레이드오프를 해결하는 새로운 방향을 제시합니다.

1. 유연한 최적화: 다항식 기반의 경직된 접근을 넘어, 학습 가능한 파라미터를 통해 데이터 특성에 맞는 최적의 샘플링 궤적을 찾을 수 있음을 증명했습니다.
2. 고차수 샘플링의 실용화: 기존에 고차수 샘플링이 불안정하여 사용이 제한적이었으나, RBF-Solver 를 통해 고차수 (4 차 이상) 를 활용한 고품질 생성이 가능해졌습니다.
3. 경량화된 튜닝: 별도의 네트워크 학습 없이 기존 체크포인트에 적용 가능한 '학습 없는 (training-free)' 방식에 가깝게, 오프라인에서 파라미터만 최적화하여 배포가 용이합니다.

결론적으로, RBF-Solver 는 확산 모델의 샘플링 효율성을 획기적으로 개선하면서도 생성 품질을 유지하거나 향상시킬 수 있는 강력한 도구로 평가됩니다.