Analyzing and Improving Fast Sampling of Text-to-Image Diffusion Models

이 논문은 확산 모델의 무훈련 가속화 방법 간 상호작용을 체계적으로 분석하고, 프렌레 - 세레 공식의 기하학적 특성을 활용한 '일관된 총 회전 스케줄 (TORS)'을 제안하여 10 단계 샘플링으로도 고품질 이미지를 생성할 수 있음을 입증했습니다.

핵심

이 논문은 **"이미지 생성 AI(디퓨전 모델) 가 더 빠르고 똑똑하게 그림을 그릴 수 있게 해주는 새로운 방법"**에 대한 이야기입니다.

기존의 AI 는 고화질 그림을 그리려면 수백 번의 '연습' (샘플링 단계) 이 필요해서 시간이 너무 오래 걸렸습니다. 연구자들은 이 시간을 줄이기 위해 여러 가지 방법을 개발했지만, 각자 따로 놀다가 서로 섞이지 않아서 효과가 반쪽만 남는 경우가 많았습니다.

이 논문은 그 모든 방법을 한데 모아 분석하고, **"가장 중요한 것은 그림을 그리는 '순서'와 '리듬'을 바꾸는 것"**이라고 발견했습니다. 그리고 이를 위해 TORS라는 새로운 방법을 제안했습니다.

이해하기 쉽게 비유를 들어 설명해 드릴게요.

---

1. 문제: "너무 서두르는 화가"

기존의 AI 는 그림을 그릴 때 매우 규칙적인 리듬으로 그림을 완성합니다. 마치 100 단계를 10 등분해서, 1 단계부터 10 단계까지 똑같은 속도로 붓을 움직이는 것과 같습니다.

• 비유: 그림의 **대략적인 윤곽 (얼굴, 몸통)**을 잡아야 할 초반부에 너무 큰 붓질로 대충 그치고, 세부적인 눈, 입, 옷 주름을 다듬어야 할 후반부에만 시간을 많이 쓰려고 합니다.
• 결과: 초반에 구조가 제대로 잡히지 않아서, 10 단계로 그렸을 때 얼굴이 일그러지거나 형태가 엉망이 됩니다.

2. 해결책: "지혜로운 화가의 리듬 (TORS)"

저자들은 AI 가 그리는 과정을 산책하는 길로 비유했습니다.

• 초반 (구조 잡기): 길의 방향이 급격히 바뀌는 곳 (커브) 이 많습니다. 여기서는 발걸음을 조금씩, 천천히 옮겨야 길을 잃지 않습니다.
• 후반 (세부 다듬기): 길이 곧고 평평한 곳에서는 발걸음을 빠르게 옮길 수 있습니다.

기존 방법은 "초반에도 후반에도 똑같은 걸음걸이"를 사용했지만, 이 논문이 제안한 TORS는 **"길의 굽힘 정도에 따라 걸음걸이를 조절하는 것"**입니다.

• TORS 의 핵심: "총 회전량 (Total Rotation)"을 일정하게 유지하라는 것입니다.
  • 비유: AI 가 그리는 경로가 구불구불하게 꺾일 때는 (초반) 작은 스텝으로 꼼꼼히 그립니다. 그리고 경로가 곧게 뻗을 때는 (후반) 큰 스텝으로 빠르게 마무리합니다.
  • 효과: 10 단계만 써도 50 단계로 그린 것처럼 구조가 완벽하게 잡히고, 세부 묘사도 선명해집니다.

3. 다른 방법들과의 비교 (왜 TORS 가 특별한가?)

연구자들은 기존에 있던 다른 가속화 방법들도 분석했습니다.

• 고급 계산기 (Solver): 계산하는 방식을 더 정교하게 바꾸는 방법입니다. (효과는 조금 있지만, 결정적이지 않음)
• 기억해두기 (Feature Caching): 이미 계산한 내용을 기억해두고 다시 쓰는 방법입니다. (화질은 비슷하지만, 메모리나 속도가 느려질 수 있음)
• TORS (새로운 시간표): 그림을 그리는 '순서'와 '타이밍'을 바꿉니다.
  • 결론: 다른 방법들은 보조 역할일 뿐, **가장 중요한 것은 '언제, 얼마나 집중할지'를 정하는 시간표 (TORS)**였습니다. TORS 를 쓰면 다른 방법들과도 잘 어울려서 더 좋은 결과를 냅니다.

4. 실제 효과: "10 단계로 50 단계의 퀄리티"

이 논문에서 제안한 TORS 를 적용하면:

• Flux나 Stable Diffusion 3.5 같은 최신 AI 모델에서, 10 단계만으로도 기존에 50 단계로 그린 것과 거의 똑같은 고화질 이미지를 만들어냅니다.
• 비유: 10 분 만에 그리는 스케치로, 1 시간 동안 정성껏 그린 그림과 같은 완성도를 내는 것입니다.
• 강점: AI 모델을 새로 학습시키지 않아도 (Training-free) 바로 적용할 수 있고, 다른 종류의 AI 나 그림 스타일에도 잘 적용됩니다.

요약

이 논문은 **"AI 가 그림을 그릴 때, 초반에 집중해서 구조를 잡게 하고 후반에 빠르게 마무리하게 하는 지혜로운 리듬 (TORS)"**을 찾아냈습니다. 덕분에 AI 는 훨씬 적은 노력 (시간) 으로도 훨씬 더 멋진 그림을 그릴 수 있게 되었습니다.

한 줄 요약: "AI 화가에게 '초반엔 천천히 꼼꼼히, 후반엔 빠르게'라는 새로운 지시사항을 주니, 10 분 만에 1 시간 분량의 명작을 그려냈습니다!"

기술 요약

1. 문제 정의 (Problem)

텍스트 - 이미지 생성을 위한 확산 모델 (Diffusion Models) 은 놀라운 생성 능력을 보여주지만, 고품질 이미지를 생성하기 위해 수백 단계의 샘플링 과정이 필요하다는 치명적인 단점이 있습니다. 이는 계산 비용과 메모리 요구량을 급격히 증가시켜 배포 효율성을 저해합니다.

기존의 학습 없는 (Training-Free) 가속화 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 독립적인 개발: 빠른 ODE 솔버 (ODE Solvers), 최적화된 시간 스케줄 (Time Schedules), 특징 캐싱 (Feature Caching) 등 다양한 방법론들이 서로 독립적으로 개발되어 왔습니다.
• 시스템적 분석 부재: 이러한 구성 요소들이 전체 성능에 미치는 상대적 기여도나 상호 호환성에 대한 체계적인 연구가 부족했습니다.
• 최신 모델의 부재: 최신 초대규모 모델 (Flux, Stable Diffusion 3.5 등) 에 대한 적용성과 성능 비교가 이루어지지 않았습니다.

특히, 현재 널리 사용되는 **균일한 시간 스케줄 (Uniform Time Schedule)**은 샘플링 초기 단계에서 이미지 구조가 불안정하게 수렴하는 문제를 일으켜, 제한된 단계 수 (예: 10 단계) 에서 고품질 이미지를 생성하는 데 실패합니다.

2. 방법론 (Methodology)

가. 설계 공간의 체계적 분석 (Design Space Elucidation)

저자들은 학습 없는 가속화 방법론을 통합된 프레임워크로 분석하여 5 가지 핵심 구성 요소를 규명했습니다:

1. 솔버 (Solver): 오차 보정을 위한 고차 솔버 (DPM-Solver, UniPC 등).
2. 외부 시간 스케줄 (Outer Schedule): 전체 샘플링 과정을 정의하는 시간 간격 분포.
3. 캐시 객체 (Cache Object): 재사용되는 데이터의 단위 (Velocity, Transformer, Block, Operation 등).
4. 내부 스케줄 (Inner Schedule): 계산과 재사용을 언제 수행할지 결정하는 주기.
5. 특징 예측기 (Feature Predictor): 캐싱된 정보를 바탕으로 다음 단계를 예측.

실험 결과: 이 중 **외부 시간 스케줄 (Outer Schedule)**이 성능에 가장 결정적인 영향을 미친다는 것을 발견했습니다. 특히, 샘플링 초기 단계 (의미 있는 구조 형성 단계) 에 계산 리소스를 집중시키는 것이 핵심임을 확인했습니다.

나. 제안된 방법: TORS (Constant Total Rotation Schedule)

균일한 스케줄의 결함을 해결하기 위해, 확산 모델의 샘플링 궤적에 내재된 기하학적 성질을 활용했습니다.

• 기하학적 통찰: 프렌 - 세레 공식 (Frenet-Serret formulas) 을 적용하여 샘플링 궤적을 3 차원 공간의 곡선으로 모델링했습니다. 이를 통해 곡률 (Curvature, $\kappa$) 과 비틀림 (Torsion, $\tau$) 을 분석했습니다.
• 관찰: 샘플링 초기 단계에서는 곡률과 비틀림이 매우 커서 (궤적이 급격히 변함) 작은 시간 간격이 필요하지만, 균일 스케줄은 이를 간과하여 구조적 불안정성을 초래합니다.
• TORS 전략:
  • 샘플링 궤적의 **총 회전 (Total Rotation)**을 일정하게 유지하도록 시간 간격을 재분배합니다.
  • 총 회전은 $\Theta = \int \sqrt{\kappa^2 + \tau^2} ds$로 정의되며, 곡률과 비틀림이 큰 구간 (초기 단계) 에는 더 많은 계산 단계를 할당하고, 변화가 완만한 구간에는 적은 단계를 할당합니다.
  • 이를 통해 초기 단계의 구조적 수렴 속도를 획기적으로 개선합니다.

3. 주요 기여 (Key Contributions)

1. 통합적 설계 공간 분석: 학습 없는 가속화 방법론의 구성 요소들을 체계적으로 분석하고, 외부 시간 스케줄이 성능 향상의 주된 동인임을 규명했습니다.
2. TORS 알고리즘 제안: 샘플링 궤적의 기하학적 규칙성 (곡률과 비틀림) 을 기반으로 한 새로운 스케줄링 전략인 TORS를 제안했습니다. 이는 균일한 스케줄의 단점을 보완하여 적은 단계로도 안정적인 구조를 보장합니다.
3. 광범위한 검증 및 적응성:
   • 모델 무관성: Flux.1-Dev, Stable Diffusion 3.5, Qwen-Image 등 다양한 최신 아키텍처에서 우수한 성능을 입증했습니다.
   • 파인튜닝 및 하위 작업: LoRA 파인튜닝된 변형 모델이나 이미지 편집 (Image Editing) 과 같은 하위 작업에서도 별도의 재학습 없이 적용 가능합니다.
   • 호환성: 기존 솔버, 캐싱 기법 등 다른 가속화 방법론과 결합 시에도 성능을 지속적으로 향상시킵니다.

4. 실험 결과 (Results)

• 성능 비교 (Flux.1-Dev 및 SD 3.5):
  • 제안한 TORS 는 10 단계 샘플링으로 기존 50 단계 베이스라인과 유사하거나 더 높은 화질을 달성했습니다.
  • HPSv2 (Human Preference Score v2): Flux 모델에서 10 단계 기준 기존 최상위 방법론 (GITS, TaylorSeers 등) 대비 TORS 가 가장 높은 점수를 기록했습니다. (예: Flux 10 단계 기준 HPSv2 29.30 vs 기존 28.16).
  • 이미지 리워드 (Image Reward): 10 단계에서 50 단계 베이스라인에 근접하는 성능을 보였습니다.
• 구조적 수렴: 균일 스케줄은 약 30 단계까지 이미지 구조가 불안정하게 변동하는 반면, TORS 는 초기 단계부터 구조가 빠르게 안정화되는 것을 시각적으로 확인했습니다.
• 적응성 및 강건성:
  • 다른 CFG (Guidance Scale), 프롬프트 분포, 샘플 수 변화에 대해 민감하지 않았습니다.
  • 이미지 편집 작업 (PIE-Bench) 에서도 구조 일관성을 유지하며 10 단계로 50 단계 수준의 편집 품질을 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 텍스트 - 이미지 확산 모델의 학습 없는 가속화 분야에서 다음과 같은 중요한 의의를 가집니다:

1. 패러다임 전환: 단순한 솔버 개선이나 캐싱 최적화를 넘어, 시간 스케줄링의 기하학적 최적화가 성능 향상의 핵심임을 증명했습니다.
2. 실용성: 추가적인 모델 학습 (Distillation 등) 없이도, 기존 모델의 설정을 변경함으로써 5 배 이상의 가속화 (10 단계로 50 단계 수준) 를 가능하게 하여 실제 배포 환경에서의 활용도를 극대화했습니다.
3. 미래 방향: 다양한 가속화 기법 (솔버, 캐싱, 스케줄링) 을 통합하고 정제하는 것이 차세대 효율적 생성 모델 개발의 중요한 방향임을 제시했습니다.

요약하자면, 이 연구는 TORS라는 새로운 스케줄링 전략을 통해, 기존 확산 모델의 계산 비용을 획기적으로 줄이면서도 고품질 생성을 가능하게 하는 강력한 솔루션을 제시했습니다.