A-FloPS: Accelerating Diffusion Models via Adaptive Flow Path Sampler

1. 문제 정의 (Problem Statement)

확산 모델(Diffusion Models)은 뛰어난 생성 성능을 보여주지만, 고품질 샘플을 얻기 위해 수백 번의 반복적인 네트워크 연산(NFE, Number of Function Evaluations)이 필요하다는 높은 계산 비용과 지연 시간(Latency) 문제가 있습니다.

기존의 가속화 전략은 크게 두 가지로 나뉩니다:

• 학습 필요 방식 (Training-required): 지식 증류(Distillation)나 일관성 모델(Consistency Models)을 사용하지만, 모델을 새로 학습시켜야 하며 베이스 모델에 종속적이라는 단점이 있습니다.
• 학습 불필요 방식 (Training-free): 기존 모델의 파라미터를 수정하지 않고 수치 해석적 솔버(Solver)를 개선하는 방식(예: DDIM, DPM-Solver)입니다. 하지만 이 방식들은 확산 모델 특유의 비효율적인 샘플링 궤적(Sampling Trajectory) 구조로 인해, 단계(Step) 수가 극도로 적은 상황(Low-NFE regime)에서는 정확도가 급격히 떨어지는 한계가 있습니다.

2. 제안 방법론 (Methodology)

본 논문은 학습 없이도 샘플링 궤적 자체를 개선하는 A-FloPS (Adaptive Flow Path Sampler) 프레임워크를 제안합니다. 핵심은 두 가지 단계로 구성됩니다.

① FloPS: 확산-플로우 재매개변수화 (Diffusion-to-Flow Reparameterization)

저자들은 확산 모델의 스코어 함수(Score function)를 **플로우 매칭(Flow Matching, FM) 형태의 속도장(Velocity field)으로 변환할 수 있는 수학적 매핑(Theorem 1)**을 유도했습니다.

• 원리: 확산 모델의 복잡한 궤적을 FM의 특징인 '직선적이고 규칙적인(Integration-friendly)' 궤적으로 재구성합니다.
• 장점: 모델을 재학습할 필요 없이, 기존의 사전 학습된 스코어 네트워크를 그대로 사용하여 훨씬 매끄러운 샘플링 경로를 확보할 수 있습니다.

② Adaptive Mechanism: 적응형 속도 분해 (Adaptive Velocity Decomposition)

FM 궤적은 매우 매끄럽기 때문에, 기존의 고차(High-order) 솔버를 적용해도 얻을 수 있는 이득이 적다는 문제가 있습니다(속도 변화가 거의 없기 때문). 이를 해결하기 위해 속도장을 다음과 같이 분해합니다:
$$\frac{dx_t}{dt} = \lambda_t x_t + [v(x_t, t) - \lambda_t x_t]$$

• 적응형 계수 $\lambda_t$: 매 단계마다 잔차(Residual) 항인 $[v(x_t, t) - \lambda_t x_t]$의 시간적 변화를 최소화하도록 $\lambda_t$를 실시간으로 추정합니다.
• 고차 적분 적용: 잔차 항이 매우 부드러워지도록 강제함으로써, 적은 단계에서도 고차 수치 해석 기법(High-order integration)이 정확하게 작동하여 샘플의 품질을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 궤적 수준의 가속화: 확산 모델의 샘플링 경로를 FM 형태로 변환하는 분석적 매핑을 제시하여, 모델 수정 없이 플러그 앤 플레이(Plug-and-play) 방식의 가속을 가능하게 했습니다.
2. 적응형 속도 분해 도입: 속도장을 선형 드리프트(Linear drift)와 부드러운 잔차로 분해하여, 저단계(Low-NFE) 환경에서도 고차 솔버의 성능을 회복시켰습니다.
3. 범용성 입증: 재매개변수화된 확산 모델뿐만 아니라, 기존의 네이티브 플로우 매칭(Native FM) 모델에도 직접 적용 가능함을 보여주었습니다.
4. SOTA 성능 달성: 매우 적은 단계(예: 5단계)에서도 기존의 최첨단 학습 불필요 샘플러들을 압도하는 성능을 보였습니다.

4. 실험 결과 (Results)

• 정량적 평가 (ImageNet & COCO):
  • DiT(Diffusion Transformer)와 Stable Diffusion v3.5를 대상으로 실험한 결과, **5-step NFE 환경에서 A-FloPS는 기존 DDIM, DPM-Solver++, UniPC보다 현저히 낮은 FID(Fréchet Inception Distance)**를 기록했습니다.
  • 텍스트-이미지 생성 성능(CLIP score, ImageReward, GPT 기반 평가)에서도 더 높은 정렬도와 시각적 품질을 보였습니다.
• 정성적 평가:
  • 기존 방식들이 적은 단계에서 이미지가 흐릿하거나(Blurry) 구조가 무너지는 현상이 발생하는 반면, A-FloPS는 더 날카로운 질감(Sharper textures)과 일관된 객체 구조를 생성했습니다.
• Ablation Study:
  • 재매개변수화(FloPS)만으로도 DDIM보다 우수하며, 여기에 적응형 메커니즘을 더했을 때(A-FloPS) 비로소 고차 솔버의 진정한 성능이 발휘됨을 확인했습니다.

5. 의의 (Significance)

A-FloPS는 확산 모델의 가속화 문제를 '수치 해석적 솔버의 개선' 차원에서 '샘플링 궤적의 구조적 개선' 차원으로 격상시켰습니다. 특히 모델을 다시 학습시킬 비용이 없는 학습 불필요(Training-free) 방식이면서도, 실시간 생성(Real-time generation)이 가능할 정도의 극단적인 저단계 샘플링에서 압도적인 품질을 보장한다는 점에서 실용적 가치가 매우 높습니다.