Denoising as Path Planning: Training-Free Acceleration of Diffusion Models with DPCache

이 논문은 확산 모델의 추론 속도를 높이기 위해 기존 캐싱 방법의 한계를 극복하고, 경로 의존적 오차를 정량화한 비용 텐서를 동적 계획법을 통해 최적화하는 'DPCache'라는 새로운 훈련 없는 가속 프레임워크를 제안합니다.

핵심

그림을 그리는 '마법사'를 더 빠르게 만드는 비법: DPCache

이 논문은 최근 화제가 되는 생성형 AI(Diffusion Models)가 그림이나 영상을 만들 때, 너무 느리다는 문제를 해결한 새로운 방법론을 소개합니다.

기존의 AI 그림 그리기는 마치 안개 낀 산을 한 걸음 한 걸음 천천히 올라가며 정확한 길을 찾는 과정과 비슷합니다. 50~100 단계나 되는 긴 여정을 모두 다 걸어야 완벽한 그림이 나오는데, 이 과정이 너무 오래 걸려서 실생활에 쓰기 어렵다는 것이 문제였습니다.

이 논문은 **"어떤 길은 건너뛰어도 되고, 어떤 길은 꼭 걸어야 한다"**는 아이디어로 이 문제를 해결했습니다. 이를 DPCache라고 부르는데, 쉽게 설명해 드릴게요.

---

1. 기존 방법들의 문제점: "무작정 건너뛰기" vs "눈앞만 보기"

기존에 그림을 빨리 그리려고 했던 방법들은 두 가지 단점이 있었습니다.

• 고정된 스케줄 (Fixed Schedule): "10 단계마다 한 번씩 건너뛰자!"라고 정해버리는 방식입니다.
  • 비유: 산을 오를 때, "10 걸음마다 10 걸음 뛰어넘어!"라고 정해버린 거예요. 평지에서는 괜찮지만, **가파른 절벽 **(중요한 변화 구간)을 만나도 무조건 뛰어넘으려다 넘어지거나 길을 잃어버립니다.
• 국소적 적응 (Locally Adaptive): "지금 단계가 평지 같으면 건너뛰고, 험하면 걸어가자"라고 그 순간의 상황만 보고 결정하는 방식입니다.
  • 비유: 눈앞의 작은 돌만 피하느라, **앞에 있는 큰 낭떠러지 **(중요한 전환점)를 보지 못하고 떨어지는 경우입니다. 나중에 다시 제자리로 돌아오기엔 너무 늦은 경우가 많습니다.

2. DPCache 의 해결책: "전체 지도를 보고 계획하기"

DPCache 는 이 문제를 **등산 경로 계획 **(Path Planning)에 비유합니다.

상상해 보세요:
등산객이 정상에 가기 위해 50 개의 지점을 지나야 합니다.

1. **보조 등산객 **(Calibration) 먼저 작은 팀이 전체 50 단계를 다 걸어가며 "어디가 험하고, 어디를 건너뛰면 큰 실수가 날까?"를 미리 조사합니다.
2. **지도 만들기 **(Cost Tensor) 이 조사 결과를 바탕으로 **"어떤 지점 A 에서 지점 B 로 건너뛰면 얼마나 큰 오류 **(비용)를 계산한 3 차원 지도를 만듭니다. (단순히 A 와 B 만 보는 게 아니라, 그전에 어디를 거쳐왔는지도 고려합니다.)
3. **최적 경로 찾기 **(Dynamic Programming) 이제 컴퓨터가 이 지도를 보고, "전체 오류를 최소화하면서 가장 빠르게 정상에 도달하는 경로를 수학적으로 계산합니다.
   • 예: "처음 3 단계는 무조건 걷고, 410 단계 중 2 단계만 건너뛰고, 1120 단계는 5 단계만 건너뛰고..." 이런 식으로 전체 여정을 고려한 최적의 스케줄을 짜는 것입니다.

3. 실제 작동 원리: "계산"과 "예측"의 조화

이제 실제 그림을 그릴 때 (Inference) 어떻게 작동할까요?

1. **핵심 지점 **(Key Timesteps) 계산된 최적 경로에 있는 중요한 지점들에서는 AI 가 **온 힘을 다해 **(Full Computation) 그림을 그립니다.
2. **중간 지점 **(Intermediate Steps) 그 사이의 지점들은 **이전에 계산해 둔 자료 **(Cache)를 활용해서 간단히 예측합니다.
   • 비유: 등산할 때, 험한 구간에서는 발걸음을 천천히 재며 꼼꼼히 밟지만, 평지 구간에서는 **이전에 찍어둔 발자국 **(캐시)을 보고 "아, 여기는 평지구나"라고 빠르게 지나가는 것과 같습니다.

4. 왜 이것이 대단한가요?

이 방법은 **학습 **(Training)이 필요 없습니다. (이미 훈련된 AI 를 그대로 사용합니다.)

• 속도: 기존 방법보다 훨씬 빠릅니다. (예: FLUX 모델에서 약 4.87 배 빠름)
• 품질: 속도를 내면서도 그림의 퀄리티는 떨어지지 않습니다. 오히려 다른 빠른 방법들보다 더 선명하고 정확한 그림을 만듭니다.
• 적용: 이미지 생성뿐만 아니라 **영상 생성 **(HunyuanVideo)에서도 똑같이 잘 작동합니다.

5. 한 줄 요약

"AI 가 그림을 그릴 때, 무작정 모든 걸 계산하지 말고, '어디가 중요한지' 미리 파악해서 중요한 순간에만 집중하고 나머지는 빠르게 건너뛰게 해주는 '스마트한 등산 가이드'를 개발했다."

이 기술 덕분에 앞으로 우리가 AI 로 그림이나 영상을 만들 때, 기다리는 시간이 획기적으로 줄어들고 더 많은 창작물을 빠르게 즐길 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

확산 모델 (Diffusion Models) 은 이미지 및 비디오 생성 분야에서 뛰어난 성과를 보이고 있지만, 실제 배포를 저해하는 심각한 계산 오버헤드가 존재합니다.

• 다단계 반복 샘플링: 고품질 생성을 위해 수십~수백 단계의 반복적인 노이즈 제거 (Denoising) 과정이 필요하여 지연 시간 (Latency) 이 길고 계산 비용이 큽니다.
• 기존 가속화 방법의 한계:
  • 캐싱 기반 방법 (Caching-based methods): 이전 단계의 특징 (Feature) 을 재사용하거나 예측하여 계산을 생략하는 방식 (DeepCache, TaylorSeer 등) 이 주류입니다.
  • 국소적/고정 스케줄의 결함: 기존 방법들은 고정된 간격으로 단계를 건너뛰거나, 국소적으로만 적응적인 결정을 내립니다. 이는 전체 노이즈 제거 궤적 (Global Denoising Trajectory) 의 구조를 고려하지 않아, 중요한 전환 구간을 놓치거나 오류가 누적되어 시각적 왜곡 (Artifacts) 이 발생하거나 생성 품질이 급격히 떨어지는 문제가 있습니다.

2. 방법론 (Methodology)

저자들은 확산 모델의 샘플링 가속화를 전역 경로 계획 (Global Path Planning) 문제로 재정의하고, 이를 해결하기 위해 DPCache를 제안했습니다.

핵심 아이디어: 전역 경로 최적화

단순히 국소적인 오류를 최소화하는 것이 아니라, 전체 생성 과정의 궤적과 가장 유사하게 유지하면서 계산 비용을 최소화하는 최적의 핵심 시간 단계 (Key Timesteps) 시퀀스를 찾습니다.

주요 구성 요소

1. 경로 인식 비용 텐서 (Path-Aware Cost Tensor, PACT):

   • 소수의 보정 (Calibration) 샘플을 사용하여 전체 T 단계의 노이즈 제거 과정을 실행합니다.
   • 이전 핵심 시간 단계 (Key Timestep) 에 조건부 (Conditioned) 로, 중간 단계를 건너뛸 때 발생하는 누적 예측 오차를 3 차원 텐서 형태로 정량화합니다.
   • 기존 2 차원 비용 행렬과 달리, 이전 상태에 의존하는 경로 의존성 (Path-dependency) 을 고려하여 더 정확한 비용 추정이 가능합니다.

2. 동적 계획법 (Dynamic Programming, DP) 을 통한 최적 스케줄 선택:

   • PACT 를 기반으로 동적 계획법을 사용하여, 주어진 목표 단계 수 (K) 내에서 전체 경로의 누적 비용 (오차) 을 최소화하는 최적의 시간 단계 시퀀스를 찾습니다.
   • 초기 단계 (M 단계) 는 필수 계산을 수행하도록 고정하여 안정성을 보장하고, 이후 단계들을 DP 로 최적화합니다.

3. 추론 (Inference) 단계:

   • DP 로 선정된 핵심 시간 단계에서만 모델의 전체 계산을 수행하고 특징을 캐시합니다.
   • 나머지 중간 단계들은 캐시된 특징과 기존 예측기 (예: Taylor series expansion) 를 사용하여 효율적으로 예측합니다.
   • 이 과정은 학습이 필요 없으며 (Training-Free) 보정 단계는 한 번만 수행하면 됩니다.

3. 주요 기여 (Key Contributions)

1. DPCache 프레임워크 제안: 확산 모델 가속화를 전역 경로 계획 문제로 공식화하여, 전체 궤적의 충실도 (Fidelity) 를 유지하면서 최적의 계산 스케줄을 선택하는 새로운 패러다임을 제시했습니다.
2. Path-Aware Cost Tensor (PACT) 개발: 시간 단계 건너뛰기의 오차가 이전 상태에 의존한다는 점을 고려한 3 차원 비용 텐서를 설계하고, 이를 통해 동적 계획법으로 최적 스케줄을 효율적으로 도출했습니다.
3. SOTA 성능 달성: DiT, FLUX, HunyuanVideo 등 다양한 최신 모델에서 기존 캐싱 기반 방법들을 압도하는 성능을 보여주었으며, 학습 없이도 전체 단계 (Full-step) 베이스라인과 유사하거나 더 나은 품질을 달성했습니다.

4. 실험 결과 (Results)

저자들은 FLUX.1-dev (이미지), HunyuanVideo (비디오), DiT-XL/2 (클래스 조건부 이미지) 모델에서 광범위한 실험을 수행했습니다.

• 이미지 생성 (FLUX.1-dev):
  • 4.87 배 가속화 시 기존 최상위 방법보다 ImageReward 가 +0.031 더 높았습니다.
  • 3.54 배 가속화 시에는 오히려 전체 단계 베이스라인보다 ImageReward 가 +0.028 더 높았습니다.
  • PSNR, SSIM 등 원본 출력 충실도 지표에서도 압도적인 우위를 보였습니다.
• 비디오 생성 (HunyuanVideo):
  • 4.75 배 가속화 시 VBench 점수가 **80.23%**로 기존 방법보다 +0.24% 높았습니다.
  • 기존 방법들이 중간 계층의 모든 특징을 캐시하여 GPU 메모리 오버헤드가 컸던 반면, DPCache 는 최종 계층만 캐시하여 메모리 사용량을 거의 증가시키지 않았습니다 (+0.36 GB).
• 일반화 능력:
  • 보정 데이터셋의 크기 (1 개~11 개) 나 분포 (DrawBench vs PartiPrompts) 가 달라져도 성능이 거의 변하지 않아, 강력한 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

• 학습 없는 효율성: 추가적인 모델 학습이나 미세 조정 (Fine-tuning) 없이도 기존 모델의 성능을 극대화하면서 속도를 획기적으로 개선할 수 있음을 증명했습니다.
• 전역적 관점의 중요성: 확산 모델 가속화에서 국소적 최적화가 아닌 전체 궤적의 구조를 고려한 전역적 계획이 품질 저하 없이 가속화를 달성하는 핵심임을 밝혔습니다.
• 실용성: 대규모 생성 모델 (Large-scale Generative Models) 이 보편화되는 시대에, 메모리 효율적이고 확장 가능한 가속화 솔루션을 제공하여 실제 응용 분야 (로보틱스, 콘텐츠 제작 등) 에의 배포 장벽을 낮추는 데 기여합니다.

이 논문은 확산 모델의 추론 속도와 품질 간의 트레이드오프를 해결하기 위해, 수학적 최적화 (경로 계획) 와 특징 캐싱을 결합한 혁신적인 접근법을 제시했다는 점에서 의의가 큽니다.