기술 요약: 메모리 효율적인 비디오 생성을 위한 인스턴스별 파라미터 흡수(ISPA)

1. 문제 정의

자기회귀(Autoregressive, AR) 스트리밍 모델은 긴 비디오 생성의 주요 패러다임으로 부상하였으며, 키-값(Key-Value, KV) 캐시를 통해 과거 컨텍스트에 조건화된 시퀀스 청크를 생성함으로써 임의의 길이의 비디오를 합성할 수 있게 합니다. 그러나 이 방식은 심각한 병목 현상에 직면해 있습니다: KV 캐시는 비디오 길이에 따라 선형적으로 증가하며, 결국 GPU 메모리를 포화시키고 추론 처리량(throughput)을 저하시킵니다.

기존 솔루션들은 주로 캐시 크기를 줄이기 위해 토큰 드롭핑(token dropping) 또는 프루닝(pruning) 전략(대규모 언어 모델에서 흔히 사용됨)에 의존합니다. 저자들은 이러한 방법을 비디오 생성에 직접 적용하는 것이 불안정하다고 주장합니다. 텍스트와 달리 비디오 신호는 조밀한 시간적 일관성(temporal coherence)을 필요로 하기 때문입니다. 과거의 KV 토큰을 버리는 것은 장기 의존성(long-range dependencies)을 깨뜨려 배경 깜빡임, 구조적 왜곡, 정체성 상실(예: 캐릭터의 얼굴 형상이 시간이 지남에 따라 변함)과 같은 심각한 아티팩트를 유발합니다. 핵심 과제는 고충실도 비디오 합성에 필요한 전역적 일관성을 희생하지 않으면서 KV 캐시를 압축하는 것입니다.

2. 방법론: 인스턴스별 파라미터 흡수 (ISPA)

본 논문은 **인스턴스별 파라미터 흡수(Instance-Specific Parametric Absorption, ISPA)**를 제안합니다. 이는 컨텍스트를 "버리는" 것에서 모델의 가중치로 "증류(distilling)"하는 것으로 패러다임을 전환하는 프레임워크입니다. ISPA는 KV 캐시를 편집 가능한 외부 메모리로 취급하는 대신, 테스트 타임 적응(test-time adaptation)을 통해 이 역사의 일부를 모델 파라미터 내부로 내재화합니다.

핵심 프레임워크

ISPA는 추론 과정에서 다음과 같은 3단계 파이프라인을 통해 작동합니다:

1. 이중 스트림 웜업 (Dual-Stream Warmup):
   초기 $T_{warm}$ 프레임(예: 첫 12개 잠재 프레임) 동안, 모델은 **전체 주의력 레이어(Full-Attention Layers, F-Layers)**를 사용하여 이중 스트림 구성으로 동작합니다. 모델은 동시에 다음을 계산합니다:

   • $A_{full}$: 전체 역사적 컨텍스트(Ground Truth)를 활용한 어텐션 출력.
   • $A_{loc}$: 로컬 컨텍스트(현재 프레임 및 "싱크(sink)" 토큰)만을 활용한 어텐션 출력.
     계산 오버헤드를 피하기 위해, ISPA는 분해 가능한 어텐션(Decomposable Attention) 메커니즘을 사용합니다. 하드웨어 인식 커널(예: FlashAttention)에 의해 추적되는 Log-Sum-Exp (LSE) 상태를 활용하여, 어텐션을 로컬 브랜치와 히스토리 브랜치로 분리하고 사후에 결합합니다. 이를 통해 무시할 수 있는 수준의 FLOP 오버헤드로 두 신호를 모두 수집할 수 있습니다.

2. 레이어 흡수 (Layer Absorb, 가중치 변조):
   전환 시점($T_{warm}$)에서 시스템은 어떤 레이어를 **로컬 주의력 레이어(Local-Attention Layers, L-Layers)**로 변환할 수 있는지 식별합니다. 선택된 레이어들에 대해, 역사적 컨텍스트는 폐쇄형 최소제곱 최적화(closed-form least-squares optimization) 문제를 해결함으로써 "흡수"됩니다. 목표는 새로운 가중치에 의해 투영되었을 때 로컬 스트림 출력이 전체 스트림 출력을 재구성하도록 하는 가중치 변조 행렬 $\Delta W$를 찾는 것입니다:
   $$\min_{\Delta W} || A_{loc}(W + \Delta W) - A_{full}W ||^2_2 + \lambda || \Delta W ||^2_2$$
   최적의 $\Delta W$는 다음과 같이 해석적으로 도출됩니다:
   $$\Delta W = (A_{loc}^\top A_{loc} + \lambda I)^{-1} A_{loc}^\top (A_{full} - A_{loc})W$$
   이 과정은 비반복적(non-iterative)이며 그래디언트 기반 최적화를 요구하지 않으므로, 실시간 추론 레이턴시를 보존합니다.

3. 메모리 효율적 추론 (Memory-Efficient Inference):
   이후 모든 프레임($t > T_{warm}$)에 대해, 선택된 $K$개의 레이어는 영구적으로 L-Layer로 전환됩니다. 이들은 역사적 KV 캐시($K_{hist}, V_{hist}$)를 제거하고, 업데이트된 가중치 $W_{new} = W + \Delta W$에 의해 보상된 로컬 컨텍스트만을 사용하여 동작합니다. 나머지 $N-K$개의 레이어는 전역적 일관성을 유지하기 위해 F-Layer로 남습니다.

동적 레이어 선택 (Dynamic Layer Selection)

ISPA는 **인스턴스별 선택(Instance-Specific Selection)**을 채택합니다. 어떤 레이어를 압축할지 고정하는 대신, 웜업 단계 이후 재구성 오차($\epsilon$)를 기준으로 모든 레이어를 순위 매깁니다. 오차가 가장 낮은 레이어(선형 가중치 변조가 누락된 역사를 가장 잘 근사하는 레이어)가 L-Layer로 변환 대상으로 선택됩니다. 이를 통해 모델 토폴로지가 생성 중인 비디오 인스턴스의 특정 시간적 역학에 적응할 수 있습니다.

3. 주요 기여

저자들은 세 가지 주요 기여를 식별했습니다:

1. 패러다임 전환: KV 캐시 압축을 토큰 프루닝에서 **파라미터 메모리 통합(parametric memory consolidation)**으로 재정의하는 ISPA를 도입했습니다. 이는 인스턴스 특화된 컨텍스트를 가중치로 증류하여, 레이어가 최소한의 로컬 캐시만으로도 전역적 일관성을 유지하며 동작할 수 있게 합니다.
2. 비반복적 최적화: 폐쇄형(closed-form)의 비반복적 가중치 변조 솔루션을 제안했습니다. 온라인 소프트맥스(Online Softmax)에 기반한 분해 가능한 어텐션 메커니즘을 활용하여, 표준 순전파(forward pass) 과정 중에 무시할 수 있는 오버헤드로 필요한 신호를 수집하고 파라미터를 업데이트합니다.
3. 포괄적 검증: 다양한 자기회귀 아키텍처(1.3B에서 14B 파라미터 범위) 및 작업(텍스트-투-비디오 및 음성-투-비디오)에 걸친 광범위한 실험을 수행했습니다.

4. 실험 결과

논문은 VBench-Long 및 MovieGen 프롬프트를 포함한 벤치마크에서 ISPA를 평가하였으며, LongLive (1.3B), Reward-Forcing (1.3B), Krea-Realtime (14B), LiveAvatar (speech-to-video)와 같은 모델들을 다룹니다.

• KV 캐시 감소: ISPA는 시각적 품질의 손실 없이 최대 50%의 KV 캐시를 성공적으로 제거(절반의 레이어를 L-Layer로 변환)했습니다.
• 시각적 품질: 5초 및 30초 생성 작업에서 ISPA는 풀 캐시(full-cache) 베이스라인과 거의 동일한 지표를 달성했습니다. 특히 14B Krea 모델의 30초 생성 작업에서, ISPA는 방대한 역사적 토큰으로부터 고주파 노이즈를 필터링하는 "거시적 정규화(macroscopic regularization)" 효과 덕분에 미적 점수와 시간적 일관성이 약간 향상되었습니다.
• 메모리 효율성: 14B Krea 모델에서 ISPA는 피크 GPU 메모리 사용량을 23.7GB 감소시켜, 소비자급 하드웨어에서도 긴 비디오 생성을 가능하게 했습니다.
• 속도 향상: 사후 학습 양자화(W8A8)와 결합했을 때, ISPA는 풀 정밀도(full-precision) 베이스라인 대비 총 1.86배의 추론 속도 향상을 달달성했습니다.
• 절제 연구 (Ablation Studies):
  • No Absorb: 가중치 적응을 제거하면 치명적인 "대상 불일치(subject mismatch, 형태가 변하는 현상)"가 발생합니다.
  • No Sink: 싱크 프레임(초기 KV 쌍)을 제거하면 과도하게 부드럽고 저충실도의 출력이 나타납니다.
  • 웜업 기간: $T_{warm} \ge 12$ 프레임의 웜업은 시간적 역학을 포착하기에 충분하며, 이보다 짧으면 정보 부족 현상이 발생합니다.

5. 의의 및 주장

본 논문은 ISPA가 스트리밍 생성 모델에서 컨텍스트를 관리하는 방식에 대한 근본적인 재고를 제공한다고 주장합니다. 외부 토큰 수준의 캐시 관리를 넘어, 파라미터 메모리 통합이 장기 의존성 모델링을 위한 실행 가능하고 효율적인 경로임을 입증했습니다.

저자들은 이 방법이 단순한 효율성 최적화가 아니라, 긴 범위의 어텐션으로부터 노이즈를 필터링하여 장기 생성의 안정성을 높이는 정규화 기제로 작용할 수 있다고 강조합니다. 그들은 ISPA를 초효율적인 스트리밍 시스템을 위한 강력한 기초로서 포지셔닝하며, 이는 양자화와 호환되고 다양한 자기회귀 아키텍처에 적응 가능하므로, 외부 버퍼를 관리하는 것을 넘어 메모리를 내재화하는 미래 연구를 독려합니다.