🤖 machine learning

Parallel Decoding Distillation for Fast Image and Video Generation

이 논문은 네트워크 평가당 여러 번의 디노이징 단계를 예측함으로써 이미지 및 비디오 생성을 가속화하고, 4~8회의 함수 평가만으로 최첨단 성능을 달 achievement하며 기존의 증류 기술보다 비디오 다양성을 크게 향상시키는 확장 가능하고 단순화된 궤적 기반 방식인 병렬 디코딩 증류(Parallel Decoding Distillation, PDD)를 소개한다.

원저자: Neta Shaul, Chao Liu, Arash Vahdat, Julius Berner

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Neta Shaul, Chao Liu, Arash Vahdat, Julius Berner

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 걸작을 그리도록 가르치거나 영화를 감독하도록 가르친다고 상상해 보십시오. 인공지능의 세계에서, 이는 "디퓨전(diffusion)" 또는 "플로우(flow)" 모델을 사용하여 수행됩니다. 이 모델들을 마치 예술가라고 생각하십시오. 이들은 TV의 채널이 맞지 않을 때 나오는 것과 같은 정적 노이즈로 뒤덮인 캔버스에서 시작하여, 단계적으로, 조금씩 깨끗하게 다듬어 선명한 이미지나 비디오가 나타나게 합니다. 문제는 이 정화 과정이 믿기 힘들 정도로 느리다는 점입니다. 고품질의 결과를 얻기 위해, 로봇은 매 단계마다 자신의 작업을 확인하며 수백 번의 미세한 단계를 거쳐야 할 수도 있습니다. 이는 방을 가로지를 때 1밀리미터씩 발을 내디디며 걷는 것과 같습니다. 목적지에 도달할 수는 있겠지만, 시간이 너무 오래 걸릴 것입니다.

이를 가속화하기 위해, 과학자들은 이 로봇들에게 더 큰 도약을 하는 법을 가르치려 노력해 왔습니다. 어떤 방법들은 한 번의 거대한 점프로 최종 목적지를 예측하려 하고, 다른 방법들은 로봇이 가야 할 "경로"를 학습시켜 지루한 중간 과정을 건너뛸 수 있게 하려 합니다. 하지만 현재 비디오 분야의 최선책들은 까다롭습니다. 이들은 종로히 복잡하고 불안정한 학습 기법에 의존하는 경우가 많아, 로봇이 움직이는 법을 잊어버리게 만들 수 있으며, 그 결과 영상은 훌륭해 보일지 몰라도 시간이 멈춘 듯하거나 반복적이고 지루한 패턴으로 무너져 버립니다. 큰 질문은 이것입니다. 우리는 이 모델들에게 창의성의 마법을 잃지 않으면서도 빠르고 부드럽게 움직이는 법을 가르칠 수 있을까요?

이 논문은 **병렬 디코딩 증류(Parallel Decoding Distillation, PDD)**라는 새로운 기술을 소개합니다. 이는 이 AI 예술가들을 위한 매우 효율적인 코치 역할을 합니다. PDD는 로봇에게 한 번에 한 단계씩 움직이라고 강요하는 대신, 한 번의 시선으로 전체 시퀀스를 예측하도록 가르칩니다. 당신이 복도를 걷고 있다고 상상해 보십시오. 일반적인 로봇은 다음 단계로 이동하기 전에 문이 열려 있는지 확인하기 위해 모든 문 앞에서 멈춰 섭니다. 하지만 PDD는 복도 전체를 내려다보고, 다음 열 걸음 동안 발밑의 바닥 느낌이 어떨지를 정확히 예측한 다음, 자신감 있게 성큼성큼 나아가 그 전체 거리를 한 번에 주파합니다.

저자들은 모델이 시간 블록 전체에 대한 "평균 속도(또는 속도)"를 한꺼번에 예측하도록 훈련함으로써, 수백 단계가 보통 필요한 것에 비해 단 **4~8단계(NFE, Function Evaluations라고 불림)**만으로 고품질의 이미지와 비디오를 생성할 수 있다는 것을 발견했습니다. 이는 엄청난 속도 향상입니다. 이전의 방법들이 모델에게 경직된 경로를 따르도록 강요하거나 모델의 다양성을 해치는 복잡한 수학을 사용했던 것과 달리, PDD는 더 단순하고 직접적인 접근 방식을 사용합니다. PDD는 복잡한 미분값을 계산하거나, AI끼리 서로를 개선하기 위해 싸우는 "적대적 게임(adversarial games)"을 필요로 하지 않습니다. 이러한 방식들은 AI가 똑같은 것만을 반복해서 만드는 현상인 "모드 붕괴(mode collapse)"를 일으키는 것으로 알려져 있습니다.

이 논문은 이 방법이 텍스트 투 비디오(text-to-video) 및 텍스트 투 이미지(text-to-image) 콘텐츠를 생성하는 대규모 모델에서 매우 잘 작동함을 보여줍니다. 예를 들어, Wan2.1 비디오 모델에서 PDD는 다른 최고 수준의 방법들보다 더 빠를 뿐만 아니라 더 다양하고 역동적인 영상을 4 NFE로 제작했습니다. 오디오가 포함된 10초 길이의 영상을 만드는 LTX-2.3 모델 테스트에서, PDD는 **120 단계(4 × 30 NFE)**를 거친 교사 모델의 품질을 단 8 NFE만으로 따라잡았습니다. 이 결과는 PDD가 영상의 생동감을 만드는 다양성과 움직임을 희생하지 않으면서도 AI 생성을 빠르게 만드는 견고한 방법임을 시사합니다. 이는 우리가 훌륭한 결과를 얻기 위해 백만 번의 작은 발걸음을 내디딜 필요는 없으며, 때로는 단지 앞길 전체를 보는 법을 배우면 된다는 것을 증명하며, 중요한 진전을 보여줍니다.

기술 요약: 빠른 이미지 및 비디오 생성을 위한 병렬 디코딩 증류 (Parallel Decoding Distillation)

1. 문제 정의

대규모 확산(Diffusion) 및 플로우 매칭(Flow Matching) 모델은 텍스트-이미지, 텍스트-비디오, 그리고 멀티모달 생성 분야에서 최첨단(SOTA) 결과를 달ر성했습니다. 그러나 이들의 내재적인 반복적 샘플링 프로세스는 수백 번의 네트워크 평가(NFE)를 요구하며, 이는 상당한 계산 비용과 지연 시간을 초생합니다. 이러한 병목 현상은 실시간 비디오 생성, 콘텐츠 편집, 대화형 월드 모델링과 같은 응용 분야의 발전을 저해합니다.

기존의 가속화 방법들은 일반적으로 두 가지 범주로 나뉩니다:

궤적 기반 방법 (Trajectory-based methods): 교사(Teacher) 모델의 순차적 샘pling 과정을 더 적은 단계로 증류합니다. 이미지에는 효과적이지만, 비디오 모델에 적용할 경우 비디오 품질이 저하되거나 비용이 많이 드는 학습 알고리즘(예: Jacobian-vector products 또는 유한 차분법)을 요구하는 경우가 많습니다.
분포 기반 방법 (Distribution-based methods): 특정 궤적을 따르기보다 교사 모델과 학생(Student) 모델의 주변 분포(Marginal distributions)를 정렬합니다. 비디오 증류(예: VSD 또는 적대적 손실 사용)에서 주류를 이루고 있지만, 모드 붕괴(Mode collapse)가 발생하여 비디오의 다양성이 상실되고 움직임이 정적으로 변하는 문제가 있습니다. 또한, 대체로 교차 학습 목표를 필요로 하며 하이퍼파라미터에 민감합니다.

본 논문은 고해상도 비디오 생성을 위해, 분포 기반 방법의 최적화 어려움(모드 붕괴)과 기존 궤적 기반 방법의 계산 오버헤드(JVP, 유한 차분법)를 피할 수 있는 확장 가능한 궤적 기반 증류 방법의 필요성을 식별하였습니다.

2. 방법론: 병렬 디코딩 증류 (Parallel Decoding Distillation, PDD)

저자들은 확산 및 플ow 매칭 모델의 추론을 가속화하기 위해 설계된 궤적 기반 증류 프레임워크인 **병렬 디코딩 증류 (PDD)**를 소개합니다.

핵심 개념

여러 개의 디노이징 단계를 하나의 큰 단계로 병합하는 전통적인 방식과 달리, PDD는 단 한 번의 네트워크 평가로 연속된 여러 시간 간격에 대한 평균 속도(Mean velocities)를 예측하는 병렬 디코더를 학습합니다.

이산화 (Discretization): 시간 영역 $[0, 1]$ 을 $N$ 개의 간격으로 이산화합니다. 이 간격들은 크기가 $L$ 인 블록 단위로 그룹화됩니다.
병렬 예측 (Parallel Prediction): 시간 $t_n$ 에서의 상태 $X_n$ 이 주어지면, 병렬 디코더 $\bar{u}_\theta$ 는 블록 $\{n, \dots, n+L-1\}$ 내의 모든 $L$ 개 간격에 대한 평균 속도를 동시에 예측합니다:
$\bar{u}_\theta(n|X_n) \approx u_k(X_k), \quad k = n, \dots, n+L-1$
여기서 $u_k$ 는 $k$ 번째 간격의 평균 속도입니다.
샘플링 (Sampling): 추론 과정에서 모델은 예측된 속도를 사용하여 한 번에 $L$ 개의 간격을 전진하며, 이를 통해 총 NFE를 $N/L$ 로 줄입니다. 학습 시 블록 크기 $L$ 을 가변적으로 조절함으로써, 추가적인 시간 조건화 없이 추론 시 가변적인 NFE를 지원할 수 있습니다.

학습 목표 (Training Objective)

PDD는 VSD, 적대적 손실, JVP, 또는 유한 차분법을 피하는 단순화된 회귀 기반 학습 목표를 채택합니다.

교사 근사 (Teacher Approximation): 목표 평균 속도는 사전 학습된 교사 모델에 적용된 Runge-Kutta 솔버(Euler 또는 Midpoint)를 사용하여 근사화됩니다.
온-폴리시 학습 (On-Policy Training): 손실은 학생 모델 자신의 출력(On-policy)에 대해 계산됩니다. 학생 모델은 속도를 예측하고 블록 내에서 궤적을 시뮬레이션하며, 샘플링된 단계 $k$ 에서의 학생의 예측 속도를 해당 상태에서의 교사의 근사 평균 속도와 비교하여 손실을 계산합니다.
손실 함수 (Loss Function):
$\mathcal{L}_{PD}(\theta) = \mathbb{E} \left[ \| \bar{u}_\theta(n|X_n) - u_k(\text{sg}(\bar{X}_k)) \|^2 \right]$
여기서 $\text{sg}$ 는 stop-gradient 연산자를 나타내며, $\bar{X}_k$ 는 학생의 예측된 속도를 따라 도달한 상태입니다.

아키텍처 (Architecture)

백본 (Backbone): PDD는 사전 학습된 교사 모델과 동일한 백본 아키텍처를 사용합니다.
출력 레이어 (Output Layer): 최종 선형 레이어는 채널 차원을 $N$ 번(여기서 $N$ 은 그리드 크기) 반복함으로써 확장됩니다. 이를 통해 모델은 각 타임 스텝에 대응하는 $N$ 개의 서로 다른 속도 예측을 출력할 수 있습니다.
레이어 퓨전 (Layer Fusion): 생성 과정에서 $L$ 개의 별도 선형 레이어를 적용하는 대신, 가중치를 하나의 선형 레이어로 융합하여 블록에 대한 가중 평균 속도를 출력합니다. 이를 통해 추론 시 교사의 단일 단계 평가와 비교하여 추가적인 계산 비용이 발생하지 않도록 보장합니다.

데이터 프리 학습 (Data-Free Training)

대규모 모델과 같이 데이터를 사용할 수 없는 경우, PDD는 데이터 프리 학습 방식을 지원합니다. 모델은 초기 노이즈를 샘플링하고, 솔버 단계(학생의 예측을 사용하여 상태를 전진)와 학습 단계를 교차 수행함으로써 자신의 생성된 궤적으로부터 효과적으로 학습합니다.

3. 주요 기여

PDD의 공식화: 단 한 번의 평가로 여러 간격에 대한 평균 속도를 예측하여, 플로우 매칭 및 확산 모델에 대한 빠른 추론을 가능하게 하는 확장 가능한 궤적 기반 증류 방법을 제시했습니다.
단순화된 학습: JVP, 유한 차분법, 다단계 학습, VSD 또는 GAN 손실이 필요 없는 단일 회귀 기반 목표를 사용하여 고품질 및 고다양성의 샘플을 생성합니다.
유연한 아키텍처: 추가적인 시간 조건화나 두 번째 시간 좌표 없이도 추론 시 가변적인 NFE를 지원할 수 있는, 사전 학습된 모든 모델과 호환되는 설계를 제공합니다.
경험적 검증: ImageNet-256, Qwen-Image (Text-to-Image), Wan2.1 (Text-to-Video 1.3B/14B), LTX-2.3 (Text-to-Video/Audio)에서 SOTA 성능을 입증하였으며, 분포 기반 베이스라인 모델들에 비해 향상된 생성 다양성을 보여주었습니다.

4. 실험 결과

저자들은 세 가지 작업에 대해 PDD를 평가했습니다:

클래스 조건부 이미지 생성 (ImageNet-256):
- PDD는 단일 단계 설정에서 경쟁력 있는 FID 점수(Midpoint 사용 시 FID 2.69)를 달성하였으며, 이는 FreeFlow 및 Pi-Flow와 같은 SOTA 방법들과 대등하거나 이를 능가하는 수준이면서도 가변적인 NFE(1, 2, 4, 8)를 지원합니다.
- 이 방법은 다양한 하이퍼파라미터에 대해 안정적인 수렴을 보여주었습니다.
텍스트-이미지 생성 (Qwen-Image 20B):
- OneIG, DPG-Bench 벤치마크에서 2, 4, 8 NFE를 사용하여 평가되었습니다.
- PDD (Midpoint)는 4 및 8 NFE에서 OneIG 및 DPG-Bench에서 최고의 종합 점수를 기록하며 DMD2, TwinFlow, Pi-Flow와 같은 베이스라인을 앞질렀습니다.
- 결정적으로, PDD는 모드 붕괴를 겪는 DMD2에 비해 훨씬 높은 다양성(OneIG 다양성 지표로 측정)을 유지했습니다.
텍스트-비디오 생성 (Wan2.1 1.3B & 14B):
- VBench에서 4 및 8 NFE로 평가되었습니다.
- PDD는 SOTA 비디오 품질과 종합 점수를 달성하였으며, 1.3B 모델에서는 1위를, 14B 모델에서는 (종합 지표에서 AnyFlow에 밀려) 2위를 차지했습니다(단, 다양성 측면에서는 더 우수함).
- 다양성: PDD는 분포 기반 베이스라인(DMD2, AnyFlow)에 비해 우수한 다양성 점수를 보여주었습니다.
- 움직임 (Motion): 시각적 분석 결과, PDD 생성 비디오는 정적이거나 반복적인 영상을 생성하는 베이스라인 모델들에 비해 더 높은 수준의 움직임과 동적 일관성을 보였습니다.
텍스트-비디오/오디오 생성 (LTX-2.3):
- PDD는 오디오가 포함된 10초 720p 비디오 생성을 위해 22B LTX-2.3 모델을 단 8 NFE만으로 증류했습니다.
- 단 250회의 학습 반복 후에, PDD는 학습 데이터에 접근할 수 없음에도 불구하고 공식 8-단계 증류 모델과 대등하거나 더 나은 성능을 보였습니다.
- 인간 선호도 평가(Gemini 3.1 Pro 활용)에서 PDD는 프롬프트 정렬, 시각적 품질, 움직임 품질, 오디오 품질 측면에서 공식 증류 모델과 대등하거나 승리했습니다.

5. 의의 및 주장

본 논문은 PDD가 고해해상도의 적은 단계 비디오 생성을 구현하면서도 개선된 다양성을 확보할 수 있는 최초의 순수 궤적 기반 증류 방법이라고 주장합니다.

모드 붕괴 극복: 분포 기반 손실(VSD/GAN)에 의존하지 않고 궤적 기반 접근 방식을 고수함으로써, 현재의 비디오 증류 방법에서 흔히 나타나는 모드 붕괴와 움직임 부족 문제를 피합니다.
계산 효율성: JVP 및 유한 차분법의 필요성을 제거하여, 대규모 모델(최대 22B 파라미터)로의 확장이 용이하며 데이터 프리 학습이 가능하도록 만들었습니다.
유연성: 블록 크기 선택을 통해 추론 시 가변적인 NFE를 지원할 수 있는 능력은 다양한 응용 시나리오에서 실질적인 이점을 제공합니다.
움직임 및 다양성: 저자들은 PDD가 단순히 생성을 가속화할 뿐만 아니라, 비디오 생성에서 매우 중요한 요소인 움직임 역학 및 샘플 다양성과 관련하여 교사 모델의 출력물 속에 담긴 "풍부함"을 보존한다고 강조합니다.

저자들은 PDD가 현재 플로우 및 확산 모델에 국한되어 있지만, 병렬 디코딩의 원리가 향후 연구에서 이산 자기회귀(Discrete Autoregressive) 모델로도 일반화될 수 있을 것이라고 결론지었습니다. 또한, ImageNet-256을 넘어선 데이터 종속적 환경에서의 PDD 연구는 향로 과제로 남아 있음을 언급했습니다.