DynamicRad: Content-Adaptive Sparse Attention for Long Video Diffusion

1. 문제 제기 (Problem)

최근 확산 모델 (Diffusion Models) 기반의 비디오 생성 기술은 높은 시각적 충실도와 시간적 일관성을 보여주지만, 긴 시퀀스 (Long Horizon) 와 고해상도로 확장할 때 심각한 병목 현상에 직면합니다.

• 이차적 복잡도 문제: 자기 주의 (Self-Attention) 메커니즘은 시공간 토큰 수의 제곱 ($O(N^2)$) 에 비례하여 계산 비용과 메모리 대역폭이 급증합니다.
• 기존 방법의 한계:
  • 정적 희소성 (Static Sparsity): 하드웨어 친화적이지만, 복잡한 운동이나 긴 시퀀스에서 중요한 장거리 정보를 잃어버릴 수 있어 유연성이 부족합니다.
  • 동적 희소성 (Dynamic Sparsification): 콘텐츠에 적응적이지만, 온라인 탐색 (Online Search) 과 같은 추가 오버헤드로 인해 불안정하거나 확장성이 떨어집니다.
• 핵심 과제: 비디오 확산 모델의 자연스러운 시공간 에너지 감쇠 (Spatiotemporal energy decay) 특성을 활용하면서도, 복잡한 동적 상황에서 중요한 정보를 잃지 않는 효율적이고 적응적인 희소성 전략이 필요합니다.

2. 방법론 (Methodology)

저자들은 DynamicRad이라는 통합 희소 주의 (Sparse Attention) 패러다임을 제안합니다. 이는 반경 기반 국소성 (Radial Locality) 사전 지식을 기반으로 적응적 선택을 수행하며, 다음과 같은 핵심 구성 요소로 이루어집니다.

가. 이중 모드 전략 (Dual-Mode Strategy)

공유되는 블록 희소 (Block-Sparse) 후보 집합을 기반으로 두 가지 실행 모드를 제공합니다:

1. Static-Ratio (속도 최적화): 콘텐츠 평가 오버헤드를 피하기 위해 고정된 비율로 토큰을 유지합니다. 처리량 (Throughput) 을 최우선으로 합니다.
2. Dynamic-Threshold (품질 최우선): 어텐션 로짓 (Logits) 을 경량의 중요도 지표로 사용하여, 콘텐츠에 따라 임계값을 적용하여 토큰을 필터링합니다.

나. 파라미터 공간 및 수학적 기반

• 로그 그룹화 및 반경 윈도우: 시간적 거리 ($t$) 에 따라 지수적으로 감소하는 의존성을 모델링하기 위해 로그 그룹화 ($B(t)$) 와 반경 윈도우 폭 ($w(i, j)$) 을 정의합니다.
• 장거리 분할 규칙 (Long-range Split Rule): $\lambda$ (Long-range factor) 를 통해 주기적인 장거리 의존성 (예: 반복 운동) 을 포착하기 위해 프레임 간 간격을 동적으로 조절합니다.
• 밀도 제어: 블록 내 컬럼의 활성 비율 ($\theta_c$) 과 블록 활성화 임계값 ($\theta_m$) 을 통해 커널 친화적인 블록 희소성을 유지합니다.

다. 오프라인 베이지안 최적화 (Offline Bayesian Optimization, BO)

• 문제 해결: 온라인 탐색의 오버헤드를 제거하기 위해, 오프라인에서 물리 기반 프록시 작업 (Physics-based proxy task) 을 통해 최적의 희소성 설정을 사전에 탐색합니다.
• 프록시 작업: 비디오 생성 전체를 돌리는 대신, 특징의 드리프트 (Drift) 를 시뮬레이션하여 어텐션 재구성 오차 (MSE) 를 최소화하는 파라미터를 찾습니다.
• 수렴 속도: 30 회 이내의 시도로 15 분 이내에 최적 설정을 도출합니다.

라. 시맨틱 모션 라우터 (Semantic Motion Router)

• 텍스트 프롬프트 임베딩을 경량의 MLP(2 층) 를 통해 입력받아, 비디오의 전역 운동 강도 (Low, Mid, High) 를 예측합니다.
• 예측된 운동 regimes 에 따라 오프라인 BO 로 생성된 룩업 테이블 (Lookup Table) 에서 최적의 희소성 설정을 즉시 선택합니다. (오버헤드 < 2ms)

마. 마스크 인식 LoRA (Mask-Aware LoRA)

• 공격적인 희소성으로 인한 시간적 일관성 저하를 보상하기 위해, 희소 패턴에 민감한 Q/K 프로젝션 레이어에 대해 파라미터 효율적 미세 조정 (PEFT) 을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크: 고정된 사전 지식 (Radial Attention) 과 높은 오버헤드가 있는 동적 방법 (SVG, STA) 사이의 간극을 메우는 DynamicRad를 제안했습니다. 연속적인 장거리 인자 ($\lambda$) 를 포함한 다차원 파라미터화를 통해 정적 효율성과 동적 유연성을 통합했습니다.
2. 강건한 배포: 오프라인 BO 기반 설정 파이프라인과 경량의 시맨틱 라우터를 도입하여, 추가적인 온라인 탐색 없이도 <2ms 의 오버헤드로 최적의 설정을 적용할 수 있게 했습니다.
3. 실증적 성과: HunyuanVideo 와 Wan2.1-14B 모델에서 1.7 배~2.5 배의 추론 속도 향상을 달성했으며, 80% 이상의 유효한 희소성을 유지하면서도 품질을 유지하거나 오히려 향상시켰습니다.

4. 실험 결과 (Results)

• 모델 및 환경: HunyuanVideo-241f(241 프레임) 및 Wan2.1-14B(145 프레임) 에서 768p 해상도로 평가.
• 효율성:
  • HunyuanVideo-241f: 정적 모드 기준 2.54 배 속도 향상 (기존 824s → 324s).
  • Wan2.1-14B: 정적 모드 기준 2.25 배 속도 향상.
• 품질:
  • Dynamic-Threshold 모드: 긴 시퀀스 환경에서 밀집 (Dense) 베이스라인보다 더 높은 품질 (VisionReward, VBench 점수) 을 기록했습니다. 이는 불필요한 OOD 토큰을 제거하는 '노이즈 필터링' 효과로 해석됩니다.
  • LoRA 효과: Mask-Aware LoRA 를 적용하면 긴 시퀀스에서의 시간적 일관성 (VBench S.C.) 이 크게 개선되었습니다.
• 오버헤드 분석: 라우팅 및 동적 스코링으로 인한 추가 오버헤드는 레이어당 약 0.37ms~0.5ms 로, 밀집 어텐션 계산 (약 25ms) 에 비해 무시할 수준이며, 전체적으로 약 73% 의 레이어당 지연 시간 감소를 달성했습니다.

5. 의의 및 결론 (Significance)

• 효율 - 품질 파레토 프론티어 확장: DynamicRad 는 희소성 (Sparsity) 을 통해 계산 비용을 획기적으로 줄이면서도, 콘텐츠 적응적 메커니즘을 통해 화질 저하를 방지하거나 오히려 개선하는 새로운 기준을 제시했습니다.
• 실용성: 오프라인 최적화와 경량 라우터를 통해 실제 배포 환경에서 실시간 적응이 가능하며, 학습 없는 (Training-free) 어텐션 메커니즘 개선과 PEFT 를 결합하여 다양한 비디오 생성 모델에 적용 가능합니다.
• 한계 및 향후 과제: 극도로 빠른 운동 (예: FPV 드론) 이나 모호한 프롬프트의 경우 일부 아티팩트가 발생할 수 있으며, 하드웨어별 커널 최적화가 필요할 수 있습니다. 향후 프레임 단위 동적 라우팅 및 이미지 - 비디오 생성으로의 확장을 계획하고 있습니다.

이 논문은 긴 비디오 생성 작업에서 계산 효율성과 생성 품질을 동시에 확보할 수 있는 새로운 방향성을 제시하며, 차세대 비디오 생성 모델의 핵심 기술로 주목받고 있습니다.