💻 computer science

Few-Step Diffusion Sampling Through Instance-Aware Discretizations

이 논문은 생성 과정의 인스턴스별 복잡성을 고려하여 전역적으로 공유되는 시간 단계 일정을 개별적으로 적응하도록 학습하는 인스턴스 인식 이산화 프레임워크를 제안함으로써, 기존 확산 및 흐름 매칭 모델의 샘플링 품질을 향상시킵니다.

원저자: Liangyu Yuan, Ruoyu Wang, Tong Zhao, Dingwen Fu, Mingkun Lei, Beier Zhu, Chi Zhang

게시일 2026-03-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Liangyu Yuan, Ruoyu Wang, Tong Zhao, Dingwen Fu, Mingkun Lei, Beier Zhu, Chi Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🏔️ 비유: 인공지능 그림 그리기는 '등산'이다

인공지능 (확산 모델) 이 그림을 그리는 과정은 안개 낀 산 정상 (완성된 그림) 에서 출발해, 산 아래 (잡음) 로 내려가는 여정과 같습니다.

기존 방식 (전 세계 공통 지도):
- 과거에는 모든 등산객에게 똑같은 지도를 주었습니다. "10 분마다 100m 씩 내려가라"라고 정해진 규칙 (Global Schedule) 을 따르죠.
- 문제는 사람마다 체력과 산의 난이도가 다르다는 겁니다.
  - 쉬운 길 (단순한 그림) 에서는 너무 천천히 내려가서 시간이 낭비됩니다.
  - 험한 길 (복잡한 그림) 에서는 너무 빨리 내려가다가 길을 잃거나 (화질이 깨짐) 넘어집니다.
- 즉, **"한 가지 규칙으로 모든 사람을 다 잘 만들 수 없다"**는 한계가 있었습니다.
이 논문이 제안한 방식 (INDIS: 맞춤형 나침반):
- 이 연구는 **"등산객 (시작점) 과 그날의 날씨 (조건) 를 보고, 사람마다 딱 맞는 걸음걸이를 정해준다"**는 아이디어를 냈습니다.
- 이를 **INDIS(Instance-Specific Discretization)**라고 부릅니다.
- 핵심: "네가 지금 어디에 있고, 어떤 그림을 그릴 건지 알려줘. 그럼 내가 너에게 딱 맞는 '빨리 가거나, 천천히 가거나' 하는 맞춤형 지도를 만들어줄게!"

🎒 이 기술이 왜 대단한가요? (세 가지 장점)

1. "맞춤형 여행 계획"으로 품질이 좋아집니다.

예시: 복잡한 도시 풍경을 그릴 때는 디테일을 살리기 위해 조금 더 세세하게 (많은 단계로) 내려가고, 단순한 하늘 그림일 때는 빠르게 (적은 단계로) 내려갑니다.
결과: 같은 시간 (단계 수) 을 써도, 기존 방법보다 훨씬 더 선명하고 아름다운 그림을 그릴 수 있습니다. 특히 **적은 단계 (Few-Step)**로 그릴 때 차이가 극명하게 납니다.

2. "별도의 지도책"을 사지 않아도 됩니다. (비용 절감)

보통 이런 기술을 쓰려면 AI 모델을 처음부터 다시 가르치거나 (학습), 모델을 통째로 복사해서 가볍게 만드는 (증류) 과정이 필요해 비용이 많이 듭니다.
하지만 이 방법은 기존에 이미 훈련된 AI 모델 위에 얇은 '가이드 (Lightweight Network)'만 붙이면 됩니다.
비유: 등산객에게 새로운 신발을 신게 하는 게 아니라, 현명한 가이드 한 명만 따라가게 하는 것과 같습니다. 비용이 거의 들지 않고, 속도도 매우 빠릅니다.

3. "모든 상황"에 적용됩니다.

작은 그림 (Cifar10) 이든, 고해상도 사진 (ImageNet) 이든, 심지어 동영상까지 이 기술이 작동합니다.
텍스트로 그림을 그리는 최신 모델 (FLUX 등) 에서도 효과가 입증되었습니다.

🧠 쉽게 정리한 핵심 내용

문제점: 기존 AI 는 모든 그림을 그릴 때 똑같은 속도로 움직여서, 복잡한 그림은 질이 떨어지고 단순한 그림은 시간이 낭비되었습니다.
해결책: 그림을 그릴 시작점과 조건을 보고, 그 그림에 딱 맞는 '걸음걸이 (시간 간격)'를 실시간으로 계산해 줍니다.
효과:
- 화질 UP: 적은 단계로도 고퀄리티 그림 생성.
- 비용 DOWN: 모델을 다시 훈련할 필요 없음.
- 속도 UP: 불필요한 계산 없이 딱 필요한 만큼만 계산.

🎯 한 줄 요약

"모든 사람에게 똑같은 지도를 주는 대신, 각자의 상황에 맞춰 '맞춤형 등산 지도'를 만들어주니, AI 가 그림을 그릴 때 훨씬 빠르고 똑똑해졌습니다!"

이 기술은 앞으로 우리가 AI 로 영상을 만들거나 그림을 그릴 때, 더 적은 시간과 비용으로 더 높은 퀄리티를 경험하게 해줄 중요한 열쇠가 될 것입니다.

1. 문제 정의 (Problem)

확산 모델 (Diffusion Models) 과 플로우 매칭 (Flow Matching) 모델은 ODE(Ordinary Differential Equation) 또는 SDE(Stochastic Differential Equation) 를 시뮬레이션하여 고품질 데이터를 생성합니다. 고품질 샘플링을 위해서는 많은 단계 (NFE, Number of Function Evaluations) 가 필요하여 추론 시간이 길다는 단점이 있습니다. 이를 해결하기 위해 ODE 솔버 (Solver) 를 활용한 가속화 기법들이 제안되었으나, 다음과 같은 한계가 존재합니다.

전역적 (Global) 시간 단계 할당의 비효율성: 기존 방법들은 모든 샘플에 대해 동일한 시간 단계 (timestep) 스케줄을 적용합니다. 이는 수동으로 설계된 휴리스틱 (예: Uniform, LogSNR) 이거나, 전체 데이터셋에 대해 최적화된 단일 스케줄을 사용하는 방식입니다.
개체별 복잡성 무시: 각 입력 (노이즈 $x_T$ ) 마다 생성 과정의 복잡도와 최적의 경로는 다릅니다. 전역적으로 최적화된 스케줄은 평균적으로는 잘 작동할 수 있으나, 개별 샘플의 특성에 맞춰 최적화되지 않아 성능 저하를 초래할 수 있습니다.
기존 최적화 기법의 한계: 기존 연구들 (DMN, GITS, LD3 등) 이 시간 단계 최적화를 시도했지만, 여전히 모든 샘플에 공유되는 단일 스케줄을 학습하는 데 그쳐 개별 샘플의 동역학을 반영하지 못했습니다.

2. 제안 방법 (Methodology: INDIS)

저자들은 **INDIS (Instance-Specific Discretization)**라는 새로운 프레임워크를 제안합니다. 이는 입력된 초기 노이즈와 조건에 따라 각 샘플마다 고유한 시간 단계 스케줄을 동적으로 생성하는 인스턴스 인지 (Instance-Aware) 방식입니다.

핵심 구성 요소

인스턴스 인지 시간 단계 네트워크 ( $\phi$ ):
- 초기 노이즈 $x_T$ 와 조건 정보 $c$ (클래스 레이블, 텍스트 프롬프트 등) 를 입력받아, 해당 샘플에 최적화된 시간 단계 스케줄 $\xi_\phi = \{\tau_n, \Delta\tau_n, \gamma_n\}$ 을 출력하는 경량 네트워크입니다.
- 이 네트워크는 기존 ODE 솔버 (예: iPNDM, DPM-Solver++) 와 결합되어 사용됩니다.
조건부 적응 (Conditional Guidance) 및 편향 완화:
- 조건부 입력: 텍스트나 클래스 레이블과 같은 조건 정보를 네트워크 입력에 포함시켜, 조건에 맞는 생성 경로를 최적화합니다.
- 시프트 및 스케일 팩터 (Shift & Scale Factors): 확산 모델의 학습/추론 불일치 (Exposure Bias) 문제를 해결하기 위해 시간 단계 이동 ( $\Delta\tau_n$ ) 과 출력 스케일링 ( $\gamma_n$ ) 을 학습 가능한 파라미터로 도입합니다. 이는 학습 시와 추론 시의 상태 분포 차이를 보정합니다.
학습 파이프라인 (Teacher-Student Distillation):
- 목표: 고단계 (High-NFE) 의 정교한 솔버 (Teacher) 가 생성한 샘플 $x^*_0$ 와, 제안된 인스턴스 스케줄을 사용한 저단계 (Low-NFE) 솔버 (Student) 가 생성한 샘플 $x_0$ 사이의 거리를 최소화합니다.
- 손실 함수: $L = d(\Psi(x_T, \psi, c), \Psi(x_T, \xi_\phi, c))$ 를 최소화하도록 $\phi$ 를 학습합니다. 여기서 $\psi$ 는 Teacher 스케줄, $\xi_\phi$ 는 학습된 인스턴스 스케줄입니다.
- 거리 측정: 픽셀 공간에서는 LPIPS, 잠재 공간에서는 MSE 등을 사용합니다.

3. 주요 기여 (Key Contributions)

전역 스케줄의 한계 규명 및 인스턴스 스케줄 제안: 합성 데이터 실험을 통해 전역 최적화 스케줄이 개별 샘플 수준에서 비최적임을 정량적으로 증명하고, 이를 해결하기 위한 인스턴스 인지 분해법 (Discretization) 패러다임을 제안했습니다.
고차원 이미지/비디오 생성으로의 확장: 단순한 합성 데이터를 넘어, 조건부 생성 (텍스트-이미지 등) 과 노출 편향 (Exposure Bias) 문제를 고려하여 고차원 이미지 및 비디오 생성에 적용 가능한 프레임워크로 확장했습니다.
광범위한 실험 검증: 픽셀 공간 확산 모델 (CIFAR-10, ImageNet 등), 잠재 공간 모델 (Stable Diffusion, FLUX.1-dev), 비디오 모델 (LTX-Video) 등 다양한 모델과 데이터셋에서 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

성능 향상:
- 픽셀 공간 (CIFAR-10, ImageNet 등): 기존 최첨단 방법 (DMN, LD3 등) 대비 NFE=3, 5, 7 에서 평균 FID(Fréchet Inception Distance) 가 15%~35% 이상 개선되었습니다. 특히 NFE 가 적은 (Few-step) 환경에서 성능 향상이 두드러집니다.
- 잠재 공간 (Stable Diffusion, FLUX.1-dev): LSUN-Bedroom 및 FLUX.1-dev 에서도 전역 최적화 (GOD) 및 휴리스틱 방법 대비 FID 와 CLIP 점수, CMMD 등 모든 지표에서 우위를 보였습니다.
- 비디오 (LTX-Video): VBench 벤치마크에서 미적 품질 (Aesthetic Quality), 이미지 품질, 주제 일관성 (Subject Consistency) 등에서 전역 방법보다 우수한 결과를 기록했습니다.
효율성:
- 인스턴스 스케줄을 생성하는 경량 네트워크 $\phi$ 의 추론 오버헤드는 전체 샘플링 시간의 **약 2~2.5%**에 불과하여 실질적인 비용 증가가 미미합니다.
- 모델 학습 (Training) 이나 증류 (Distillation) 비용 없이, 기존 사전 학습된 모델에 적용 가능한 Training-free 가속화 방법입니다.

5. 의의 및 결론 (Significance)

이 논문은 확산 모델의 샘플링 가속화 분야에서 **"모든 샘플에 동일한 시간 스케줄을 적용하는 것"**이라는 기존 관념을 깨뜨렸습니다.

개별화된 최적화: 각 입력 데이터의 고유한 복잡도에 맞춰 시간 단계를 동적으로 조정함으로써, 적은 계산 비용으로 더 높은 생성 품질을 달성할 수 있음을 증명했습니다.
범용성: 픽셀 기반 모델부터 고해상도 텍스트-이미지, 비디오 생성 모델까지 다양한 아키텍처와 모달리티에 적용 가능한 범용적인 솔루션을 제시했습니다.
미래 방향: 기존 솔버 설계와 병행하여 적용 가능하므로, 기존 확산 모델 생태계의 추론 효율성을 획기적으로 높일 수 있는 실용적인 기술로 평가됩니다.

요약하자면, INDIS는 "하나의 스케줄로 모든 것을 해결하려던 접근"에서 "각 샘플에 맞는 맞춤형 스케줄을 학습하는 접근"으로의 전환을 이끌어내며, Few-step Diffusion Sampling 의 성능 한계를 크게 확장한 중요한 연구입니다.