기술 요약: LIGHT FORCING

1. 문제 제기

자기회귀 (AR) 비디오 생성 모델은 양방향 확산 모델에 대한 유망한 대안으로 부상하여, 실시간 응용을 위한 뛰어난 상호작용성과 시간적 확장성을 제공하고 있습니다. 그러나 이러한 모델은 시공간 3D 풀 어텐션의 이차적 계산 복잡성이라는 치명적인 병목 현상에 직면해 있습니다. 논문에서 입증된 바와 같이, 어텐션 메커니즘은 비디오 생성 동안 총 지연 시간의 최대 75% 를 소모하여 효율적인 배포를 심각하게 저해합니다.

희소 어텐션 솔루션이 양방향 모델에서 유망한 결과를 보여준 반면, 저자들은 기존 방법을 AR 모델에 직접 적용할 경우 성능이 크게 저하된다고 지적합니다. 이 실패는 다음과 같은 두 가지 주요 문제에서 기인합니다:

1. 고립된 청크 고려: 기존 방법들은 청크 생성을 고립된 상태로 처리하여, 서로 다른 청크들이 글로벌 오차 누적에 기여하는 이질적인 기여도를 무시합니다. AR 모델에서는 후속 청크가 자연스럽게 이전 청크의 품질 (또는 오차) 을 물려받게 되는데, 균일한 희소성을 적용하면 오차 전파가 악화되어 과포화 (over-saturation) 와 같은 아티팩트를 초래합니다.
2. 불충분한 컨텍스트 활용: 중요한 역사적 정보는 모델 레이어, 어텐션 헤드, 그리고 디노이징 타임스텝에 따라 크게 달라집니다. 정적이거나 단순한 동적 패턴 (예: 슬라이딩 윈도우) 은 필연적으로 정보성이 풍부한 컨텍스트를 폐기하여 장기적 일관성과 운동의 풍부함을 해칩니다.

2. 방법론

본 논문은 자기회귀 비디오 확산 모델을 위해 특별히 설계된 최초의 희소 어텐션 프레임워크인 LIGHT FORCING을 제안합니다. 이는 두 가지 핵심 메커니즘으로 구성됩니다:

2.1 청크 인식 성장 (CAG)

CAG 는 각 청크가 글로벌 생성 오차에 기여하는 정도를 정량적으로 추정함으로써 오차 누적 문제를 해결합니다.

• 통찰: 첫 번째 청크는 시각적 앵커 역할을 합니다. 후속 청크는 이전의 깨끗한 청크들로부터 구조화된 지식을 물려받을 수 있으므로, 후속 청크는 심각한 품질 저하 없이 더 높은 희소성을 견딜 수 있습니다.
• 메커니즘: 이 방법은 첫 번째 청크에 밀집 어텐션을 할당하고 후속 청크에 대해서는 점진적으로 희소성을 증가시킵니다.
• 수식화: 청크 $i$에 대한 희소성 비율 $s_i$는 유한 단계 샘플링 오차와 점수 추정 오차를 균형 있게 조절하는 공식에 의해 결정됩니다:
  $$s_i = s_{base} - \alpha_i \beta$$
  여기서 $\alpha_i$는 노이즈 수준에 비례하여 ($\propto 1/\sqrt{T}$) 스케일링되며, $\beta$는 총 FLOPs 가 목표 희소성 비율과 일치하도록 조절됩니다. 이 전략은 이전 청크에는 낮은 희소성 (높은 어텐션 예산) 을, 후속 청크에는 높은 희소성을 할당합니다.

2.2 계층적 희소 어텐션 (HSA)

HSA 는 고정된 계산 예산 하에서 정보성이 풍부한 역사적 컨텍스트를 포착하는 과제를 해결하기 위해, 거칠게부터 정밀하게 (coarse-to-fine) 이어지는 파이프라인을 사용합니다.

• 토큰 압축: 쿼리 및 키 토큰은 블록 단위 및 프레임 단위의 세분성에서 평균 풀링을 사용하여 압축됩니다.
• 이중 레벨 마스크 선택:
  1. 프레임 선택: 각 쿼리 블록에 대해 시스템은 프레임 레벨 압축 키를 사용하여 소수의 관련 역사적 프레임을 검색합니다. 이는 모델이 고정된 슬라이딩 윈도우에만 의존하지 않도록 보장합니다.
  2. 블록 선택: 선택된 프레임 내에서 블록 레벨 압축 키를 사용하여 중요한 블록들을 식별합니다.
• 실행: 최종 어텐션은 선택된 프레임 - 블록 쌍에 대해서만 계산됩니다. 이러한 이중 단계 선택은 전체 역사적 프레임 수와 무관하게 고정된 어텐션 복잡성을 유지하면서 무시할 수 있는 오버헤드 (약 2% 런타임 증가) 만 초래합니다.

3. 주요 기여

저자들은 세 가지 주요 기여를 강조합니다:

1. 최초의 AR 전용 희소 어텐션: LIGHT FORCING 은 양방향 방법의 적응을 넘어 자기회귀 비디오 생성을 위해 특별히 설계된 최초의 솔루션입니다.
2. 청크 인식 성장 (CAG): 이전 청크에는 더 높은 어텐션 예산을 할당하고 후속 청크에 대해서는 점진적으로 감소시키는 전략으로, 효율성을 유지하면서 오차 전파를 효과적으로 줄입니다.
3. 계층적 희소 어텐션 (HSA): 프레임 및 블록 선택을 통해 글로벌 및 로컬 의존성을 포착하는 거칠게부터 정밀하게 이어지는 메커니즘으로, 장기적 일관성과 계산 속도 사이의 균형을 맞춥니다.

4. 실험 결과

VBench 및 VBench-Long 벤치마크에서 Self Forcing, LongLive, Infinite-Forcing 세 가지 AR 비디오 생성 모델에 대해 광범위한 실험이 수행되었습니다.

• 품질 대비 효율성: LIGHT FORCING 은 생성 품질과 지연 시간 모두에서 최신 희소 어텐션 기반 (STA, Radial, VMoBA 등) 보다 우수한 성과를 거두었습니다.
  • **Self Forcing (1.3B)**에서 VBench 상 총 점수 84.5를 달성하여 (밀집 FlashAttention 기반인 84.1 을 상회), 1.30 배의 엔드 투 엔드 속도 향상을 이루었습니다.
  • **LongLive (1.3B)**에서 총 점수 83.9를 달성하여 (밀집 대비 83.2), 1.19 배의 속도 향상을 이루었습니다.
  • 15 초 비디오용 Infinite-Forcing에서 밀집 대비 83.6 에 비해 경쟁력 있는 총 점수 84.1을 유지했습니다.
• 정성적 개선: 이 방법은 다른 희소 방법들에서 관찰되는 객체 중복, 색상 변화, 운동 불일치와 같은 일반적인 AR 아티팩트를 완화합니다.
• 배포 가속화: FP8 선형 레이어, 커널 퓨전, LightVAE 와 같은 보완적 최적화와 결합될 때, LIGHT FORCING 은 다양한 GPU 에서 2.0 배~3.0 배의 엔드 투 엔드 속도 향상을 달성합니다.
  • RTX 5090: 초당 27.4 프레임 (FPS).
  • H100: 초당 33.9 프레임 (FPS).
  • A100: 초당 16.8 프레임 (FPS).

5. 의의 및 주장

본 논문은 LIGHT FORCING 이 계산 효율성과 생성 품질 사이의 트레이드오프를 효과적으로 완화함으로써 확장 가능한 AR 비디오 생성의 강력한 기반을 확립했다고 주장합니다. 자기회귀 롤아웃의 고유한 오차 역학을 인식함으로써, 이 방법은 소비자급 GPU (예: RTX 5090) 에서 실시간 비디오 합성을 처음으로 가능하게 하여 5 초 비디오의 경우 초당 27 프레임 이상의 프레임 속도를 달성합니다. 저자들은 그들의 접근 방식이 적절히 설계된 희소 솔루션이 "손실 없는" 성능을 달성할 수 있으며, 일부 지표에서는 밀집 어텐션 기반을 능가할 수도 있음을 보여준다고 강조합니다.