EFlow: Fast Few-Step Video Generator Training from Scratch via Efficient Solution Flow

1. 문제 정의 (Problem Statement)

비디오 확산 모델 (Video Diffusion Models) 은 고품질 영상 생성을 가능하게 하지만, 이를 고해상도 및 긴 클립으로 확장하는 데에는 두 가지 결정적인 병목 현상이 존재합니다.

1. 고비용의 Attention 연산: 비디오 Diffusion Transformer (VideoDiT) 는 시공간적 자기 주의 (Spatiotemporal Self-Attention) 를 사용하며, 토큰 수에 따라 이차함수 (Quadratic, $O(N^2)$) 복잡도로 계산 비용이 급증합니다.
2. 반복적인 샘플링 단계: 기존 확산 모델은 고품질 영상을 생성하기 위해 수십 번의 반복적인 디노이징 (Denoising) 단계 (예: 50 스텝) 가 필요하여 추론 지연 시간 (Latency) 이 매우 깁니다.

기존 연구들은 주로 이 두 문제를 분리하여 접근했습니다.

• 구조적 효율성: 선형 Attention 이나 Token Pruning 을 도입하여 단계당 계산을 줄이지만, 과도한 토큰 제거 시 안정성이나 표현력이 떨어지거나, 사전 학습된 모델 (Teacher) 에 의존하는 경우가 많습니다.
• 샘플링 효율성: 증류 (Distillation) 나 Consistency Model 을 통해 스텝 수를 줄이지만, 이는 복잡한 파이프라인과 고비용의 Teacher 모델이 필요합니다.

EFlow는 이 두 병목 현상을 동시에 해결하고, Teacher 모델 없이 처음부터 (From Scratch) 고품질 비디오 생성기를 효율적으로 학습할 수 있는 프레임워크를 제안합니다.

---

2. 주요 방법론 (Methodology)

EFlow 는 Solution Flow (SoFlow) 기반의 Few-Step 학습 프레임워크를 확장하여, 효율적인 아키텍처와 학습 레시피를 결합합니다.

A. Gated Local–Global Attention (GLGA)

기존의 효율적 아키텍처 (선형 Attention + 합성곱) 는 토큰이 임의로 제거될 때 (Token Dropping) 격자 구조가 깨져 합성곱의 locality 가 무너지는 문제가 있었습니다. 이를 해결하기 위해 제안된 하이브리드 블록입니다.

• Global Linear Attention: 긴 시공간적 컨텍스트를 처리하기 위해 분모가 없는 선형 Attention 을 사용하여 $O(N)$ 복잡도를 달성합니다.
• Local Sliding-Window Attention: 고주파수 세부 사항을 포착하기 위해 슬라이딩 윈도우 기반의 Softmax Attention 을 사용합니다. 이는 고정된 격자가 아닌 가용 토큰 (Available Tokens) 위주로 작동하므로, 토큰이 임의로 제거되어도 자연스럽게 작동합니다.
• Input-Aware Gating: 각 토큰 단위로 전역 (Global) 과 국소 (Local) 컨텍스트를 동적으로 융합하는 게이트 메커니즘을 도입하여 표현력을 극대화합니다.
• 효과: 공격적인 토큰 드롭 (예: 75%) 하에서도 안정적으로 학습되며, 계산 비용을 대폭 절감합니다.

B. Path-Drop Guided (PDG) Training

Solution Flow 학습 시 Classifier-Free Guidance (CFG) 를 적용하려면 조건부 (Conditional) 와 무조건부 (Unconditional) 두 번의 네트워크 평가가 필요하여 계산 비용이 2 배가 됩니다.

• Weak Path Forward: 무조건부 (Unconditional) 브랜치 대신, Transformer 의 중간 레이어를 생략한 가벼운 '약한 경로 (Weak Path)' 를 사용하여 계산 비용을 획기적으로 줄입니다.
• 기여: CFG 의 계산 오버헤드를 제거하면서도 Guidance 의 효과를 유지합니다.

C. Mean-Velocity Additivity (MVA) Regularizer

Few-Step (예: 4 스텝) 샘플링 시 큰 시간 간격 (Long-jump) 을 이동하면 적분 오차가 누적되어 영상이 왜곡될 수 있습니다.

• Semigroup Consistency: 흐름 (Flow) 의 반군 (Semigroup) 속성, 즉 $t \to s$의 직접 점프가 $t \to \ell \to s$의 중간 경로를 거친 점프와 일치해야 한다는 원리를 정규화 항으로 도입합니다.
• 효과: 큰 시간 간격에서의 적분 오차를 보정하여, 극소수의 스텝 (4 스텝) 에서도 고품질의 일관된 영상을 생성하도록 보장합니다.

---

3. 주요 기여 (Key Contributions)

1. Efficient & Droppable VideoDiT Architecture: 토큰 드롭 하에서도 안정적이고 표현력이 높은 GLGA를 제안하여 학습 및 추론 속도를 획기적으로 개선했습니다.
2. Path-Drop Guided (PDG) Training: 무조건부 평가를 위한 비용이 큰 Forward Pass 를 경량화된 'Weak Path'로 대체하여 CFG 오버헤드를 제거했습니다.
3. Large-Scale Few-Step Training: Teacher 모델 없이 처음부터 학습 가능한 파이프라인을 구축하고, MVA 정규화를 통해 4 스텝 추론에서도 고품질을 유지하는 것을 증명했습니다.

---

4. 실험 결과 (Results)

EFlow 는 Kinetics-700 과 대규모 텍스트 - 비디오 데이터셋에서 실험되었으며, 주요 성과는 다음과 같습니다.

• 학습 효율성 (Training Throughput):
  • 표준 Solution Flow 학습 대비 2.5 배 높은 처리량 (Throughput) 을 달성했습니다.
  • Token Dropping (75%) 과 PDG, MVA 를 결합하여 전체적인 학습 속도를 극대화했습니다.
• 추론 효율성 (Inference Latency):
  • 480p 비디오 생성 시, 기존 50 스텝 모델 (Wan2.1, Sana 등) 대비 45.3 배 빠른 추론 속도를 기록했습니다.
  • Few-Step 모델 (VSA, rCM) 대비도 1.4 배 ~ 1.8 배 더 빠릅니다.
  • 4 스텝 추론 시 약 3.09 초의 지연 시간 (VAE 제외) 을 달성했습니다.
• 생성 품질:
  • FVD (Fréchet Video Distance): Kinetics 데이터셋에서 400K 스텝 학습 시, 기존 Baseline 대비 낮은 FVD 를 기록하며 더 나은 품질을 보였습니다.
  • VBench: 480p 텍스트 - 비디오 생성에서 경쟁력 있는 점수를 기록하며, Teacher 모델 없이 처음부터 학습한 모델로서는 최상위권 성능을 입증했습니다.
• 안정성:
  • 다른 희소 Attention 기법 (SLA, VSA) 은 처음부터 학습할 때 불안정하거나 수렴하지 못하는 반면, EFlow 는 안정적인 수렴을 보였습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 비디오 생성 모델의 확장성을 제한하던 계산 복잡도와 반복 샘플링이라는 두 가지 근본적인 문제를 동시에 해결했습니다.

• Teacher-Free Paradigm: 고비용의 Teacher 모델이나 복잡한 증류 과정 없이도, 처음부터 (From Scratch) 고품질 Few-Step 비디오 생성기를 학습할 수 있는 가능성을 열었습니다.
• 실용성: 4 스텝 추론으로 45 배 이상의 속도 향상을 이루면서 품질을 유지함으로써, 실시간 비디오 생성 및 저사양 환경 배포에 실질적인 기여를 합니다.
• 기술적 혁신: 토큰 드롭에 강인한 GLGA와 CFG 오버헤드를 줄이는 PDG, 그리고 Few-Step 오차를 보정하는 MVA는 향후 효율적인 비디오 생성 모델 설계의 새로운 표준을 제시합니다.

결론적으로 EFlow 는 비디오 생성 AI 의 효율성과 접근성을 높이는 중요한 이정표가 되는 연구입니다.