1. 문제 정의 (Problem)

비디오 생성을 위한 Diffusion Transformers (DiTs) 는 뛰어난 화질과 시간적 일관성을 보여주지만, 실제 배포에는 다음과 같은 심각한 제약이 존재합니다.

• 높은 메모리 및 연산 비용: 대규모 모델 (예: HunyuanVideo) 은 소비자용 GPU 에서 메모리 부족 (OOM) 을 유발하며, 상대적으로 작은 모델 (예: CogVideoX) 도 고해상도 비디오 생성 시 긴 시간이 소요됩니다.
• 기존 양자화 방법의 한계:
  • 정적 (Static) 비트 할당: 기존 Post-Training Quantization (PTQ) 방법들은 모든 디노이징 타임스텝에서 레이어별 비트 너비를 고정합니다. 그러나 DiTs 의 활성화 (Activation) 민감도는 타임스텝에 따라 극적으로 변합니다.
  • 품질 저하 또는 비효율: 민감한 단계에서는 고정된 저비트 양자화로 인해 심한 시간적 깜빡임 (flickering) 이 발생하고, 안정적인 단계에서는 과도한 압축 기회를 놓치게 되어 효율성과 품질 간의 최적 균형을 이루지 못합니다.
  • 하드웨어 호환성: 최신 GPU 아키텍처 (NVIDIA Blackwell 등) 는 INT4 를 지원하지 않고 대신 NVFP4를 도입했으나, 이를 활용한 비디오 DiT 양자화 방법은 부재했습니다.

2. 방법론 (Methodology)

저자들은 비디오 DiTs 의 디노이징 과정에서 발견된 두 가지 핵심 통찰을 바탕으로 6Bit-Diffusion 프레임워크를 제안합니다. 이는 DMPQ, TDC, PDR 세 가지 구성 요소로 이루어져 있습니다.

A. 핵심 통찰 (Key Insights)

1. 동적 양자화 민감도: Transformer 블록의 이전 타임스텝 입력 - 출력 차이 ($\Gamma_{t-1}$) 와 현재 타임스텝의 내부 선형 레이어 양자화 오차 사이에 강한 선형 상관관계가 존재합니다. 즉, 입력 - 출력 변화가 큰 블록은 양자화에 민감하므로 고정밀도 (INT8) 가 필요하고, 변화가 작은 블록은 초저비트 (NVFP4) 로 안전하게 압축 가능합니다.
2. 시간적 중복성 (Temporal Redundancy): 인접한 타임스텝 간 Transformer 블록의 잔차 (Residual Delta, $\Delta_t$) 는 매우 높은 유사성을 보입니다. 이는 불필요한 블록 계산을 건너뛰고 캐시를 재사용할 수 있음을 의미합니다.

B. 주요 구성 요소

1. 동적 혼합 정밀도 양자화 (Dynamic Mixed-Precision Quantization, DMPQ)

   • 원리: 각 타임스텝에서 블록의 입력 - 출력 상대 L1 거리 ($\Gamma_{t-1}$) 를 실시간으로 계산합니다.
   • 동작: 사전에 학습된 선형 모델을 기반으로 $\Gamma_{t-1}$이 임계값을 초과하면 해당 블록의 활성화 (Activation) 를 INT8로, 그렇지 않으면 NVFP4로 동적으로 라우팅합니다.
   • 특징: 모든 가중치는 오프라인에서 NVFP4 로 양자화되며, 활성화는 블록의 안정성에 따라 INT8 또는 NVFP4 를 사용합니다. 또한, 아웃라이어 (Outlier) 를 완화하기 위해 온라인 **블록 하다마드 변환 (Block Hadamard Transform)**을 적용합니다.

2. 시간적 델타 캐시 (Temporal Delta Cache, TDC)

   • 원리: 인접 타임스텝 간 델타 ($\Delta_t$) 의 유사성을 기반으로 불필요한 블록 계산을 스킵합니다.
   • 동작: 이전 두 타임스텝의 델타 차이 ($\mathcal{E}_t^l$) 를 계산하여 안정성이 높으면 현재 블록 계산을 건너뛰고 캐시된 델타를 재사용합니다.
   • 오차 제어: 연속적인 스킵으로 인한 오차 누적 (Drift) 을 방지하기 위해, 누적 오차 임계값을 초과하거나 최대 연속 스킵 횟수에 도달하면 계산을 강제 실행하여 캐시를 갱신합니다.

3. 정제된 델타 갱신 (Purified Delta Refresh, PDR)

   • 문제: DMPQ 와 TDC 를 단순히 결합하면 양자화 노이즈가 캐시된 델타에 누적되어 비디오 품질이 급격히 저하됩니다.
   • 해결: 캐시에 저장될 델타 ($\Delta_t$) 가 최대한 순수하도록 합니다.
     • 입력의 아웃라이어 비율이 높으면 해당 레이어는 FP16/BF16 고정밀도로 계산하여 캐시를 갱신합니다.
     • 스킵 후 첫 번째 계산 단계에서는 동적 라우팅 정보가 없으므로 안전장비로 INT8를 강제 적용합니다.
   • 이를 통해 양자화 오차의 시간적 누적을 차단합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 동적 혼합 정밀도 양자화 프레임워크: NVIDIA Blackwell 아키텍처의 NVFP4와 INT8를 결합하여, 타임스텝별 민감도에 따라 동적으로 비트를 할당하는 DMPQ 를 제안했습니다.
2. 시간적 중복성 활용 캐싱: TDC 를 통해 불필요한 블록 계산을 스킵하고, PDR 을 통해 양자화 오차 누적을 방지하는 통합 시공간 가속 프레임워크를 구축했습니다.
3. 훈련 불필요 (Training-Free): 모든 방법은 Post-Training Quantization (PTQ) 기반으로, 추가적인 모델 재학습 없이 배포 가능합니다.

4. 실험 결과 (Results)

**CogVideoX (2B 및 5B 모델)**를 대상으로 한 실험 결과는 다음과 같습니다.

• 속도 향상:
  • DMPQ 단독: 1.36 배 가속.
  • DMPQ + TDC + PDR (전체 프레임워크): 1.92 배 엔드 - 투 - 엔드 가속.
• 메모리 감소:
  • BF16/FP16 기준 대비 3.32 배의 메모리 감소 달성 (평균 활성화 비트 너비 약 6 비트 수준).
• 품질 유지:
  • VBench 및 EvalCrafter 벤치마크에서 기존 정적 양자화 방법 (SmoothQuant, ViDiT-Q 등) 보다 월등히 높은 점수를 기록했습니다.
  • 특히 W4A6 설정에서도 전체 일관성 (Overall Consistency) 과 미적 품질 (Aesthetic Quality) 이 정밀 (FP16) 모델과 유사한 수준을 유지했습니다.
  • 정적 양자화 방법들이 겪는 시간적 깜빡임, 할루시네이션, 기하학적 왜곡 등을 효과적으로 제거했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 Diffusion 모델의 배포 장벽을 낮추는 획기적인 솔루션을 제시합니다.

• 하드웨어 친화적: 최신 GPU 의 NVFP4 지원을 적극 활용하여 하드웨어 효율성을 극대화했습니다.
• 동적 적응성: 고정된 양자화 정책의 한계를 넘어, 생성 과정의 동적 특성을 실시간으로 분석하여 최적의 비트 할당을 수행함으로써 효율성과 화질의 상충 관계 (Trade-off) 를 극복했습니다.
• 실용성: 메모리 제약이 있는 소비자용 GPU 환경에서도 고품질 비디오 생성을 가능하게 하여, 비디오 DiTs 의 실용적 배포를 가속화할 것으로 기대됩니다.