Sparse Forcing: 자회귀 확산 비디오 생성을 위한 네이티브 학습 가능 희소 어텐션 기술 요약

이 논문은 Sparse Forcing이라는 새로운 훈련 및 추론 패러다임을 제안하여, 장시간 (long-horizon) 비디오 생성의 품질을 향상시키면서도 디코딩 지연 시간 (latency) 과 메모리 사용을 줄이는 방법을 제시합니다. Meta Superintelligence Labs 와 UC Santa Barbara 연구팀이 공동 개발한 이 기술은 자회귀 (Autoregressive, AR) 비디오 확산 모델의 근본적인 문제점을 해결하고 실시간 생성을 가능하게 합니다.

1. 문제 정의 (Problem)

기존의 비디오 생성 모델, 특히 확산 (Diffusion) 기반 모델은 고화질 비디오를 생성하는 데 탁월한 성능을 보이지만, 긴 비디오를 생성할 때 다음과 같은 심각한 한계에 직면합니다.

• 계산 복잡도 및 메모리 부담: 전통적인 Diffusion Transformer (DiT) 는 전체 시공간 토큰 시퀀스에 대해 양방향 어텐션 (bidirectional attention) 을 적용합니다. 이로 인해 컨텍스트 길이에 따라 계산 복잡도가 2 차 (quadratic) 로 증가하여 긴 비디오 생성 시 메모리 폭주와 높은 지연 시간을 초래합니다.
• 자회귀 (AR) 생성의 오류 누적: 긴 비디오를 생성하기 위해 자회귀 방식 (이전 프레임을 기반으로 다음 프레임을 생성) 을 도입한 모델들 (예: Self-Forcing) 은 학습 시 정답 (ground truth) 을 사용하지만, 추론 시에는 모델의 own imperfect predictions(불완전한 예측) 에 의존해야 합니다. 이로 인해 **노출 편향 (Exposure Bias)**이 발생하고, 시간이 지남에 따라 오류가 누적되어 (compounding errors) 비디오의 색상 드리프트 (drift), 기하학적 왜곡, 일관성 저하가 발생합니다.
• 기존 희소성 (Sparsity) 기법의 한계: 기존 희소 어텐션 기법들은 주로 고정된 패턴을 사용하거나, 비디오 생성의 고유한 '지속적인 메모리 (persistent memory)' 특성을 반영하지 못해 장시간 생성 시 품질 저하를 막지 못했습니다.

2. 방법론 (Methodology)

연구팀은 자회귀 확산 롤아웃 (rollouts) 에서 관찰된 두 가지 경험적 현상을 바탕으로 Sparse Forcing을 제안했습니다.

핵심 관찰 (Empirical Observations)

1. 지속적인 클러스터링 (Emergent Persistency): 긴 시간 동안 어텐션은 역사적 토큰 중 소수의 '지속적인 앵커 (persistent anchors)' 블록에 집중됩니다. 이는 전역적인 컨텍스트 (주체 식별, 장면 레이아웃 등) 를 유지하는 암묵적인 시공간 메모리 역할을 합니다.
2. 국소적 블록 희소성 (Locally Diagonal Block Sparsity): 최근 윈도우 (local window) 내에서도 어텐션 분배는 매우 구조화되어 있으며, 대각선 형태의 블록 희소 패턴을 보입니다. 즉, 모든 토큰을 밀집하게 계산할 필요 없이 중요한 블록만 선택하면 됩니다.

Sparse Forcing 의 주요 구성 요소

1. 구조화된 메모리 분해 (Structured Memory Decomposition):

   • 지속적 메모리 ($P_t$): 시간 $t$에서 생성된 전체 역사 중 가장 중요한 블록들을 선택하여 유지합니다. 이는 확산 단계 $k$에 관계없이 공유되며, 장기적인 의미적 앵커 역할을 합니다.
   • 로컬 윈도우 ($L_t$): 가장 최근의 시공간 블록들을 포함하는 슬라이딩 윈도우입니다.
   • 메모리 관리: 로컬 윈도우에서 제거된 (evicted) 블록들을 후보로 삼아, coarse-grained 점수를 기반으로 상위 $C$개의 블록을 지속적 메모리로 유지하거나 갱신합니다.

2. 학습 가능한 네이티브 희소성 (Trainable Native Sparsity):

   • 모델은 지속적 블록을 압축, 보존, 갱신하는 방법을 학습합니다.
   • 로컬 윈도우 내에서는 동적으로 선택된 이웃 블록들로만 계산을 제한하여 효율성을 높입니다.
   • 블록 기반 압축 (Blockified Compression): 잠재 공간 (latent space) 을 시공간 블록으로 나누고, 각 블록을 하나의 대표 토큰 (representative) 으로 압축하여 coarse scoring 을 수행합니다. 이를 통해 메모리 효율성을 극대화합니다.

3. 지속적 블록 희소 어텐션 (Persistent Block-Sparse Attention, PBSA):

   • Sparse Forcing 을 실제 GPU 에서 효율적으로 실행하기 위해 개발된 커스텀 커널입니다.
   • 지속적 메모리 블록에는 밀집 어텐션을, 로컬 윈도우 내에서는 동적으로 선택된 Top-K 블록에만 희소 어텐션을 적용합니다.
   • ThunderKittens 라이브러리를 사용하여 비정형적인 희소 패턴을 효율적으로 처리하며, 훈련과 추론 모두에서 가속화를 제공합니다.

4. 훈련 전략:

   • 기존 양방향 확산 모델을 자회귀 생성기로 증류 (distillation) 하되, 훈련 중에도 동적 메모리 갱신과 적응형 로컬 어텐션을 적용하여 훈련 - 추론 불일치 (train-test mismatch) 를 해소합니다.

3. 주요 기여 (Key Contributions)

1. 현상 규명: 장시간 자회귀 비디오 확산 모델에서 KV 캐시 내 블록 토큰들이 강한 시공간 지속성을 보이지만, 단순한 최근성 (recency) 기반 조건부에서는 이를 무시하여 오류가 누적됨을 발견했습니다.
2. Sparse Forcing 제안: 지속적 시공간 암묵 메모리와 블록 구조화 희소 어텐션을 결합한 학습 가능한 패러다임을 도입했습니다. 이는 장시간 생성 품질을 향상시키면서도 디코딩 속도를 높입니다.
3. PBSA 커널 개발: 훈련과 추론 모두에서 메모리 효율성과 저지연 성능을 달성하기 위해 최적화된 GPU 커널을 구현하여, 희소 어텐션과 메모리 갱신을 가속화했습니다.

4. 실험 결과 (Results)

실험은 5 초, 20 초, 1 분 길이의 텍스트-비디오 생성 작업에서 수행되었습니다.

• 단시간 생성 (5 초):
  • Self-Forcing 대비 VBench 점수 +0.26 향상.
  • 디코딩 속도 1.11~1.17 배 가속.
  • 피크 KV 캐시 메모리 사용량 42% 감소.
• 장시간 생성 (20 초 및 1 분):
  • 20 초: VBench 점수 +0.68 향상, 속도 1.22 배 향상.
  • 1 분: VBench 점수 +2.74 향상, 속도 1.27 배 향상.
  • 특히 색상 일관성, 객체 식별, 장면 일관성 등 장시간 생성에서 발생하는 드리프트 현상이 크게 개선되었습니다.
• 커널 성능 (PBSA):
  • FlashAttention-2 (FA2) 대비 1.16 배~11.11 배의 속도 향상을 보였습니다.
  • 희소도 (Top-K 비율) 가 낮아질수록 (예: 6.25%) 속도 향상 폭이 커졌습니다.

5. 의의 및 결론 (Significance)

Sparse Forcing 은 비디오 생성 분야에서 **품질 (Quality)**과 **효율성 (Efficiency)**을 동시에 달성하는 중요한 전환점을 제시합니다.

• 실시간 생성 가능성: 메모리 사용량을 획기적으로 줄이고 추론 속도를 높여, 분 단위 이상의 긴 비디오를 실시간에 가깝게 생성할 수 있는 기반을 마련했습니다.
• 오류 누적 방지: 지속적 메모리 메커니즘을 통해 자회귀 생성의 고질적인 오류 누적 문제를 구조적으로 해결하여, 장시간 비디오의 일관성을 보장합니다.
• 확장성: 이 기술은 특정 모델 아키텍처에 국한되지 않으며, 향후 더 긴 컨텍스트와 고해상도 비디오 생성으로 확장될 수 있는 잠재력을 가집니다.

결론적으로, Sparse Forcing 은 "시간을 전체적으로 기억하는 것이 아니라, 중요한 순간 (moments) 을 희소하게 기억한다"는 통찰을 기술적으로 구현하여, 차세대 비디오 생성 모델의 표준으로 자리 잡을 것으로 기대됩니다.