기술 요약: LVSA: 긴 비디오 확산을 위한 학습 불필요 희소 주의 집중(Training-Free Sparse Attention)

1. 문제 정의

Wan 및 HunyuanVideo와 같은 비디오 확산 트랜스포머(DiTs)는 긴 비디오를 생성할 때 두 가지 결정적인 병목 현상에 직면합니다:

1. 계산 비용: 표준 밀집 자기 주의 집중(Dense Self-Attention)은 시퀀스 길이(프레임 수)에 따라 제곱($O(N^2)$)으로 증가합니다. 이는 긴 비디오의 추론을 매우 비싸게 만듭니다.
2. 품질 저하: 학습 범위(예: Wan의 경우 81프레임, HunyuanVideo의 129프레임)를 넘어서면, 밀집 주의 집중은 모델이 거의 정적이거나 "얼어붙은(frozen)", 또는 루프를 도는 출력으로 수렴하게 만듭니다. 이는 움직임과 시간적 변화의 상실을 초래하여 비디오 품질을 저하시킵니다.

기존 솔루션들은 불충분합니다: 일부는 비용이 많이 드는 재학습을 요구하며, 슬라이딩 윈도우나 방사형 주의 집중(Radial Attention)과 같은 다른 방식들은 장거리 시간적 반복 아티팩트를 제거하는 데 실패합니다. 반대로, 품질을 보존하는 외삽(Extrapolation) 방법들(예: RIFLEx, UltraViCo)은 여전히 밀집 주의 집중 행렬에 의존하기 때문에 계산 비용을 줄이는 데 실패하는 경우가 많습니다.

2. 방법론: 긴 비디오 희소 주의 집중 (LVSA)

저자들은 계산 효율성과 시간적 일관성의 균형을 맞추도록 설계된, 학습이 필요 없고 모델에 구애받지 않는 블록 희소 주의 집중(Block-Sparse Attention) 메커니즘인 LVSA를 제안합니다.

핵심 메커니즘

LVSA는 쿼리 프레임 $t$가 주목하는 프레임의 집합 $A(t)$를 전체 집합 $\{0, \dots, T-1\}$ 대신 다음 두 구성 요소의 합집합으로 제한합니다:
$$A(t) = G \cup W(t)$$

1. 회전하는 전역 앵커 (Rotating Global Anchors, $G$):

   • 고정된 그리드 형태의 전역 프레임을 사용하는 대신(이는 중간 프레임들이 국소적으로만 관찰되어 편향을 유발함), LVSA는 회전하는 주기적 전역 프레임을 채택합니다.
   • 각 디노이징 단계 $s$에서, 전역 프레임 집합 $G_s$는 $s \pmod{T_{per}}$만큼 이동합니다.
   • $T_{per}$번의 연속적인 단계 동안, 모든 프레임은 정확히 한 번씩 전역 앵커 역할을 수행합니다. 이를 통해 고정 그리드 편향을 제거하고 중간 프레임 표현의 체계적인 빈곤화를 방지하여, 반복이나 정체성 드리프트(Identity Drift)와 같은 장거리 시간적 아티팩트를 줄입니다.

2. 확장된 적응형 윈도우 (Expanded Adaptive Windows, $W(t)$):

   • 각 프레임은 크기 $W$의 국소 시간 윈도우를 주목합니다.
   • 쿼리 프레임당 일정한 주의 집중 예산을 보장하기 위해, 저자들은 확장된 윈도우 경계를 도입했습니다. 국소 윈도우가 전역 프레임과 겹치는 경우, 겹침을 보상하기 위해 윈도우를 동적으로 확장하여 모든 프레임에 대해 $|A(t)| \approx C$ (목표 예산)가 되도록 합니다.
   • 목표 예산 $C$는 일반적으로 모델의 학습 범위(예: Wan 2.1 1.3B의 경우 21프레임)로 설정되어, 추론 비용이 학습 비용과 일치하도록 합니다.

복잡도

주의 집중되는 프레임 수를 $C$로 고정함으로써, 쿼리당 주의 집중 복잡도는 $O(C \cdot P \cdot d)$가 되며, 결과적으로 총 복잡도는 $O(T \cdot C \cdot P^2 \cdot d)$가 됩니다. 이는 프레임 수 $T$에 대해 점근적으로 선형적이며, 확장 가능한 긴 비디오 생성을 가능하게 합니다.

평가 벤치마크: VQeval

저자들은 "루프(Loopy)" 현상이나 정적인 비디오 실패를 적절히 점수화하기 위해 설계된 커스텀 평가 도구인 VQeval을 도입합니다. 프레임 간 유사성을 보상하여(따라서 정지된 비디오에 높은 점수를 줄 수 있는) VBench-Long과 같은 최신 평가 도구와 달리, VQeval은 "동적 품질(Dynamic Quality)"과 "루프 품질(Loop Quality)" 차원을 통해 움직임 부족과 루프 아티팩트를 명시적으로 처벌합니다.

3. 주요 기여

• LVSA 알고리즘: 고정 그리드 편향을 제거하고 계산량을 줄이기 위해 회전하는 전역 앵커와 확장된 적응형 윈도우를 결합한 새로운 학습 불필요 희소 주의 집중 패턴.
• VQeval 벤치마크: 긴 비디오 외삽에서 흔히 발생하는 정적/루프 실패 모드를 감지하고 처벌하도록 특별히 조정된 새로운 메트릭.
• 교차 아키텍처 검증: 세 가지 서로 다른 DiT 아키텍처(Wan 2.1 1.3B, Wan 2.1 14B, HunyuanVideo 1.5) 및 하드웨어 플랫폼(GPU 및 NPU)에 대한 효능 입증.
• 오픈 소스 구현: 이 방법은 인기 있는 오픈 소스 플랫폼을 위한 플러그인 형태로 공개됩니다.

4. 실험 결과

계산 효율성

• 속도 향상: 80GB GPU에서 LVSA를 FlashInfer 커널과 결함했을 때 밀집 주의 집중 대비 상당한 속도 향상을 달-성했습니다:
  • 3.17× (Wan 2.1 1.3B, 6배 범위)
  • 2.98× (Wan 2.1 14B, 6배 범위)
  • 3.33× (HunyuanVideo 1.5, 1.5배 범위)
• 메모리 실행 가능성: LVSA는 밀집 주의 집중이 OOM(Out-Of-Memory) 오류로 인해 실패하는 범위에서도 생성을 가능하게 합니다. 예를 들어, HunyuanVideo 1.5의 2배 범위(257프레임) 생성은 단일 80GB GPU에서 밀집 주의 집중으로는 불가능하지만, LVSA를 사용하면 성공적으로 실행됩니다 (피크 메모리 ~60 GB).
• NPU 성능: NPU에서 LVSA는 6배 범위에서 2.71×(Wan 2.2 A14B) 및 3.24×(Wan 2.1 1.3B)의 속도 향상을 달성했습니다.

비디오 품질

• 학습 범위: 네이티브 학습 범위(1×)에서 LVSA는 모든 지표에서 밀집 주의 집중과 비교했을 때 품질 차이가 없습니다.
• 확장된 범위: 학습 범위를 넘어설 때, LVSA는 밀집 주의 집중보다 성능이 월등히 뛰어납니다.
  • Wan 2.1 1.3B (6배 범위)에서 LVSA-FI는 밀집 주의 집중이 정적인 출력으로 붕괴되는 것과 대조적으로 VQeval 종합 점수에서 +12.1을 기록했습니다.
  • VBench-Long vs. VQeval: VBench-Long 점수는 (정적 일관성에 편향되어 있어) 밀집 주의 집중의 점수가 높아지는 경향이 있지만, VQeval은 이를 품질 실패로 올바르게 식별합니다. LVSA는 실제 움직임을 유지하여 더 높은 VQeval 점수를 얻습니다.
• SOTA와의 비교: LVSA는 계산량과 품질 모두에서 RIFLEx 및 UltraViCo를 능가합니다:
  • 속도: LVSA는 Wan 2.1 1.3B에서 UltraViCo보다 최대 3.27×, RIFLEx보다 2.41× 빠릅니다.
  • 품질: LVSA는 모든 테스트 범위에서 가장 높은 VQeval 종합 점수를 달성했습니다. 반면 RIFLEx는 품질 붕괴 측면에서 밀집 주의 집중과 통계적으로 구별할 수 없을 정도였으며, UltraViCo는 높은 지연 시간 비용을 발생시켰습니다.

5. 의의 및 주장

본 논문은 LVSA가 긴 비디오 확산을 위한 계산과 품질 사이의 트레이드오프를 성공적으로 활용한다고 주장합니다. 정적인 희소 패턴에 내재된 고정 그리드 편향을 제거하고 회전하는 전역 앵커 전략을 사용함으로써, LVSA는 긴 호흡의 생성 과정에서 발생하는 "얼어붙은" 비디오 아티팩트를 방지합니다.

저자들은 이 접근 방식이 학습이 필요 없고 모델에 구애받지 않음을 강조하며, 재학습 없이 기존 DiT 아키텍처에 즉시 적용할 수 있음을 밝힙니다. 또한, VQeval의 도입은 현재의 평가 표준이 가진 치명적인 결함을 지적하며, 정적 일관성에 보상을 주는 메트릭이 긴 비디오 생성에 있어 오해의 소지가 있음을 강조합니다. 이 연구는 단일 GPU 및 NPU에서 선형 스케일링을 통해 고품질의 장기 지속 비디오를 생성하는 것이 가능하다는 것을 입증하며, 밀집 주의 집중의 이차적(Quadratic) 메모리 및 계산 장벽을 극복했습니다.