1. 문제 정의 (Problem)

기존의 비디오 생성 모델 (VDM) 은 주로 양방향 (bidirectional) 어텐션을 사용하여 고품질 비디오를 생성하지만, 메모리 및 계산 비용이 이차 함수적 ($O(N^2)$) 으로 증가하여 긴 비디오 생성에는 비효율적입니다. 이를 해결하기 위해 최근 연구들은 스트리밍 비디오 생성 (SVG, Streaming Video Generation) 을 위해 사전 훈련된 모델을 자기회귀 (Autoregressive, AR) 모델로 변환하고 슬라이딩 윈도우 어텐션 (SWA) 을 도입했습니다.

그러나 기존 SWA 기반 접근법에는 두 가지 치명적인 한계가 존재합니다:

1. 장기적 맥락 손실 (Long-term Context Loss): 슬라이딩 윈도우가 이동함에 따라 과거의 프레임이 KV 캐시에서 제거되어, 생성된 프레임이 먼 과거의 맥락을 잃게 됩니다. 이로 인해 시간이 지남에 따라 오류가 누적되고 (Error Accumulation), 시간적 일관성이 저하되며 영상이 불안정해집니다.
2. 계산 오버헤드 및 실시간성 부족: 짧은 윈도우 내에서도 완전한 어텐션 계산을 수행하면 실시간 배포에 필요한 낮은 지연 시간을 달성하기 어렵습니다. 기존 방법들 (예: Attention Sink) 은 초기 프레임만 고정하여 유지하지만, 이는 운동 다양성을 떨어뜨리고 장기적인 의존성을 효과적으로 포착하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 Hybrid Forcing이라는 새로운 프레임워크를 제안하여 장기적인 역사 유지와 효율적인 로컬 모델링을 동시에 달성합니다. 주요 구성 요소는 다음과 같습니다.

가. 하이브리드 어텐션 (Hybrid Attention)

시간적 의존성을 모델링하기 위해 두 가지 어텐션 경로를 결합합니다:

• 선형 시간 어텐션 (Linear Temporal Attention): 슬라이딩 윈도우에서 제거된 (evicted) 토큰들을 압축하여 컴팩트한 KV 상태 (Key-Value State) 로 유지합니다. 이 상태는 점진적으로 업데이트되며, 메모리 및 계산 오버헤드는 비디오 길이에 무관하게 일정하게 유지됩니다. 이를 통해 슬라이딩 윈도우 너비를 줄여도 (예: 21 프레임 $\to$ 9 프레임) 장기적인 맥락을 보존할 수 있습니다.
• 블록 희소 슬라이딩 윈도우 어텐션 (Block-Sparse SWA): 최근의 짧은 윈도우 내에서도 불필요한 계산을 줄이기 위해 블록 단위의 희소 어텐션을 적용합니다. FlashAttention 을 기반으로 하며, 어텐션 맵의 중요도 점수를 계산하여 상위 K 개의 블록만 선택적으로 계산함으로써 로컬 상호작용의 효율성을 높입니다.

나. 상대적 RoPE 제약 (Relative RoPE Constraint)

사전 훈련된 모델은 제한된 시간적 RoPE 인덱스 (예: 21 프레임) 로 훈련되었습니다. 스트리밍 시 이를 무작위로 확장하면 분포 이동 (Distribution Shift) 이 발생합니다. 저자는 훈련 및 추론 모두에서 시간적 RoPE 인덱스를 사전 훈련된 모델의 최대 인덱스 (예: 21) 로 제한하고, 이를 상대적 오프셋으로 표현하여 긴 영상 생성 시의 안정성을 확보합니다.

다. 정규화 손실 (Regularization Loss)

장기적인 DMD(Distribution Matching Distillation) 훈련 중 발생하는 모드 붕괴 (Mode Collapse, 예: 카메라 드리프트, 운동 다양성 감소) 를 방지하기 위해 정규화 항을 도입합니다. 학생 모델의 초기 생성 단계를 고정된 교사 모델 (Teacher) 의 전체 롤아웃 (Rollout) 결과와 비교하여 감독함으로써, 시간적 다양성과 운동 역학을 유지하도록 유도합니다.

라. 분리된 증류 전략 (Decoupled Distillation)

하이브리드 어텐션의 잠재력을 최대한 발휘하기 위해 훈련 단계를 분리합니다:

1. 1 단계 (밀집 어텐션): 하이브리드 어텐션을 적용하지 않고, 기존 밀집 어텐션 하에서 DMD 만 수행하여 의미론적으로 풍부한 토큰 표현을 학습합니다.
2. 2 단계 (하이브리드 어텐션): 의미론적 표현이 안정화된 후, 제안된 선형 시간 어텐션과 블록 희소 어텐션을 활성화하여 구조화된 장기 의존성 모델링을 학습합니다.
   이 전략은 노이즈가 많거나 미성숙한 역사적 상태가 최적화를 방해하는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. Hybrid Forcing 프레임워크: 선형 어텐션 (장기 역사 유지), 블록 희소 어텐션 (효율적 로컬 모델링), 분리된 증류 전략을 통합하여 고품질이고 저지연인 장기 스트리밍 비디오 생성을 가능하게 함.
2. 스트리밍 증류 파이프라인의 문제 해결: 시간적 위치 임베딩 불일치 (RoPE 제약) 와 장기 모드 붕괴 (정규화 손실) 를 해결하여 안정적인 무제한 (Unbounded) 생성을 달성함.
3. 실시간 성능 달성: 단일 NVIDIA H100 GPU 에서 양자화나 모델 압축 없이 29.5 FPS로 832x480 해상도의 무제한 비디오 생성을 실현함.

4. 실험 결과 (Results)

• 단기 및 장기 벤치마크: VBench 및 VBench-Long 벤치마크에서 기존 최첨단 (SOTA) 모델 (Wan2.1, Self-Forcing, LongLive 등) 을 압도하는 성능을 기록했습니다.
  • 품질: 총점 (Total), 품질 (Quality), 의미론적 일관성 (Semantic Consistency) 등 모든 지표에서 최상위 성능을 보임.
  • 동적 성능 (Dynamic): 장기 생성 시 운동 다양성과 일관성이 기존 방법들보다 월등히 우수함 (예: 30 초 영상에서 Dynamic 점수 74 점 달성).
• 처리량 (Throughput): 기존 스트리밍 모델 중 2 위인 방법보다 35% 빠른 29.5 FPS를 기록하며, 양방향 모델 (Wan2.1) 대비 약 30 배 높은 처리량을 달성함.
• 정성적 평가: 긴 영상 (30 초 이상) 에서도 카메라 드리프트, 색상 왜곡, 운동 일관성 저하가 발생하지 않고, "집이 녹아내리는" (house melt) 같은 복잡한 운동 패턴을 정밀하게 재현함.

5. 의의 및 결론 (Significance)

이 논문은 스트리밍 비디오 생성의 핵심 병목 현상인 '장기적 맥락 손실'과 '계산 효율성' 사이의 트레이드오프를 성공적으로 해결했습니다.

• 기술적 혁신: 단순한 메모리 최적화를 넘어, 선형 어텐션과 희소 어텐션을 결합한 하이브리드 구조와 이를 위한 분리된 증류 전략을 통해 모델의 최적화 안정성을 크게 향상시켰습니다.
• 실용성: 단일 GPU 에서 실시간 (29.5 FPS) 으로 무제한 길이의 고품질 비디오를 생성할 수 있게 되어, 대화형 비디오 생성, 실시간 콘텐츠 제작 등 실제 응용 분야에 대한 가능성을 열었습니다.
• 확장성: 제안된 방법은 다양한 비디오 생성 모델에 적용 가능한 일반적인 아키텍처 및 최적화 패러다임을 제시합니다.

요약하자면, Hybrid Forcing은 장기 비디오 생성의 일관성을 해치지 않으면서도 실시간 처리 속도를 달성한 획기적인 솔루션으로, 스트리밍 비디오 생성 분야의 새로운 기준 (SOTA) 을 제시합니다.