1. 문제 정의 (Problem)

비디오 생성 분야에서 Diffusion Transformer (DiT) 는 뛰어난 성능을 보이지만, 긴 시퀀스 길이를 처리할 때 전체 어텐션 (Full Attention) 의 $O(N^2)$ 복잡도로 인해 막대한 지연 시간 (Latency) 과 계산 비용이 발생합니다. 이를 해결하기 위해 희소 어텐션 (Sparse Attention) 기법들이 제안되었으나, 다음과 같은 한계가 존재합니다.

• 학습 없는 (Training-free) 접근법: moderate 한 희소성 (약 40~60%) 만 달성 가능하며, 이로 인한 가속화 효과는 제한적입니다.
• 학습 기반 (Training-based) 접근법: 높은 희소성 (80~95%) 을 달성할 수 있지만, Koala-36M 과 같은 대규모 데이터셋과 막대한 GPU 시간 (수백 시간) 이 필요합니다.
• LoRA 의 한계: 기존 모델의 압축 후 성능 회복을 위해 LoRA 를 적용하지만, 초고희소 (Ultra-sparse) 환경에서는 전역적 토큰 상호작용이 부족하여 텍스트 일관성, 시간적 연속성, 객체 중복 생성 등의 아티팩트가 발생합니다. 단순히 LoRA 로만 튜닝하는 것은 희소 어텐션의 정보 손실을 완전히 복구하지 못합니다.

2. 제안 방법: SALAD (Methodology)

저자들은 SALAD를 제안합니다. 이는 비디오 Diffusion Transformer 에서 고희소 어텐션 (Sparse Attention) 과 병렬로 작동하는 가벼운 선형 어텐션 (Linear Attention) 브랜치를 도입하여 정보 손실을 보완하고, 효율성을 극대화하는 구조입니다.

핵심 구성 요소

1. 병렬 선형 어텐션 브랜치 (Parallel Linear Attention Branch):

   • 희소 어텐션이 놓친 전역적 (Global) 토큰 상호작용을 복구하기 위해 선형 어텐션 ($O(N)$ 복잡도) 을 병렬로 추가합니다.
   • 선형 어텐션은 ReLU 기반 커널을 사용하며, 3D 로터리 포지션 임베딩 (RoPE) 을 통해 시공간 의존성을 모델링합니다.
   • 공유 파라미터: 선형 브랜치의 투영 행렬 ($W_Q, W_K, W_V, W_O$) 은 희소 어텐션과 공유하며, LoRA 를 통해 미세 조정합니다. 이로 인해 추가 파라미터는 약 4.99% 에 불과합니다.

2. 다단계 정적 - 동적 스케일링 전략 (Multi-level Static-Dynamic Scaling Strategy):

   • 문제: 선형 어텐션은 낮은 랭크 (Low-rank) 특성을 가지며, 희소 어텐션의 고랭크 구조를 압도하거나 방해할 수 있습니다. 두 브랜치의 출력 합산 시 랭크가 감소 (Rank Erosion) 하는 현상이 발생합니다.
   • 해결: 선형 브랜치의 기여도를 정밀하게 제어하기 위해 두 단계의 스케일링을 도입합니다.
     • 레이어별 정적 스케일링 (Layer-wise Static Scaling): 각 Transformer 레이어마다 0 으로 초기화된 (Zero-initialized) 학습 가능한 투영 레이어를 추가하여 선형 어텐션의 초기 기여도를 조절합니다.
     • 입력 - 타임스텝 인지 동적 스케일링 (Input-Timestep-Aware Dynamic Scaling): 현재 은닉 상태 (Hidden States) 와 디노이징 타임스텝 ($t$) 을 입력으로 받아 전역 스케일링 인자 ($s$) 를 동적으로 생성합니다. 시그모이드 함수를 사용하여 $s \in (0, 1)$ 범위로 제한하여 선형 브랜치가 보조적 역할만 하도록 합니다.

3. 사후 튜닝 브랜치 드롭 (Post-tuning Branch Dropping):

   • 동적 스케일링 인자가 매우 낮은 특정 타임스텝이나 블록에서는 선형 어텐션 브랜치를 아예 실행하지 않고 제거 (Pruning) 합니다. 이는 추가적인 계산 비용 절감 효과를 가져옵니다.

3. 주요 기여 (Key Contributions)

1. 효율적인 하이브리드 어텐션 아키텍처: Ultra-sparse 어텐션의 정보 손실을 보완하기 위해 병렬 선형 어텐션 브랜치를 도입하고, 공유 파라미터 방식을 통해 모델 크기를 거의 증가시키지 않았습니다.
2. 정밀한 제어 메커니즘: 선형 브랜치가 희소 어텐션을 압도하지 않도록 돕는 다단계 정적 - 동적 스케일링 전략을 설계했습니다. 이는 두 브랜치가 상호 보완적인 표현을 학습하도록 유도합니다.
3. 높은 효율성과 성능:
   • 데이터 효율성: 2,000 개의 비디오 샘플과 1,600 스텝 미만의 학습으로 튜닝이 완료됩니다 (약 30 GPU 시간).
   • 성능: 다양한 모델과 시퀀스 길이에서 90% 희소성을 달성하면서도 전체 어텐션 기반 모델과Comparable 한 생성 품질을 유지합니다.

4. 실험 결과 (Results)

• 모델 및 데이터셋: Wan2.1-1.3B (480p, 720p) 및 Wan2.1-14B 모델에서 평가.
• 품질 지표 (VBench):
  • 30k 토큰 (480p) 환경에서 90% 희소성 달성 시, 기존 학습 기반 방법 (LoRA 튜닝 등) 보다 Subject Consistency, Background Consistency, Image Quality 등 모든 지표에서 우수한 성능을 보였습니다.
  • 특히 LoRA 만을 사용한 희소 어텐션은 텍스트 일관성과 시간적 연속성에서 저하가 있었으나, SALAD 는 이를 효과적으로 복구했습니다.
• 속도 향상 (Speedup):
  • 30k 토큰: 1.72 배 속도 향상.
  • 100k 토큰 (720p): 2.03 배 속도 향상.
  • 14B 모델 (14B): 1.59 배 속도 향상 (브랜치 드롭 적용 시).
• 파라미터 효율성: SALAD 는 LoRA (r=256) 보다 적은 학습 가능 파라미터 (165M vs 189M) 로 더 높은 성능을 달성했습니다.

5. 의의 및 결론 (Significance)

SALAD 는 비디오 Diffusion Transformer 의 고희소성 (High-Sparsity) 구현을 위한 새로운 패러다임을 제시합니다.

• 비용 대비 효율: 기존 희소 어텐션 학습 방법들이 요구하던 대규모 데이터와 계산 자원을 획기적으로 줄였습니다.
• 품질 유지: 단순히 계산량을 줄이는 것을 넘어, 선형 어텐션의 전역적 정보와 희소 어텐션의 국소적 효율성을 결합하여 생성 품질의 저하 없이 추론 속도를 2 배 가까이 향상시켰습니다.
• 실용성: 제한된 컴퓨팅 자원 (2,000 샘플, 30 GPU 시간) 으로도 대규모 비디오 생성 모델을 효율적으로 최적화할 수 있음을 입증하여, 실제 산업 적용 가능성을 높였습니다.

요약하자면, SALAD 는 선형 어텐션의 전역적 보완 능력과 희소 어텐션의 효율성을 다단계 스케일링 전략으로 조화시켜, 비디오 생성 모델의 속도와 품질의 트레이드오프 (Trade-off) 를 극복한 획기적인 방법론입니다.