기술 요약: 긴 비디오 이해를 위한 선형 스케일링 비디오 VLM (StateKV)

1. 문제 정의

비디오 시각-언어 모델(VLM)은 자율 주행 및 체화된 로보틱스와 같이 몇 분 또는 몇 시간 동안의 증거를 통합해야 하는 장기적(long-horizon) 및 스트리밍 애플리케이션에서 점점 더 중요해지고 있습니다. 그러나 근본적인 병목 현상이 존재합니다: 표준 VLM에서 긴 비디오를 처리하는 데 드는 계산 비용은 프레임 수($N$)에 따라 이차적($O(N^2)$)으로 증가합니다. 이는 지배적인 아키텍처가 모든 프레임이 이전의 모든 비디오 토큰을 참조하는 시공간적 셀프 어텐션(spatiotemporal self-attention)에 의존하기 때문입니다.

기존의 효율성 전략은 다음과 같은 방식으로 이를 완화하려고 시도합니다:

1. 프레임 또는 토큰 서브샘플링: 입력 크기를 줄이는 것은 많은 비율의 토큰을 유지하지 않는 한(예: 약 60%) 성능을 크게 저하시킵니다.
2. KV 캐시 압축: 공격적인 압축은 추론에 필요한 시간적 및 공간적 단서를 상실할 수 있습니다.
3. 슬라이딩 윈도우/최신성 기반 휴리스틱: ReKV와 같은 방법은 최근의 프레임들을 고정된 윈도우로 사용하여 순차적으로 프레임을 처리합니다. 이러한 방식은 프리필(prefill) 복잡도를 선형($O(N)$)으로 줄여주지만, 가장 관련 있는 정보가 항상 최신이라는 임의적인 가정에 의존하며, 복잡한 추론에 필요한 장거리 의존성을 포착하는 데 실패하는 경우가 많습니다.

과제는 전체 셀프 어텐션의 정확도를 희생하거나 아키텍처 변경 및 미세 조정(fine-tuning)을 요구하지 않으면서, 선형 시간 비디오 프리필(프레임당 상수 비용)을 달리는 것입니다.

2. 방법론: StateKV

저자들은 StateKV를 소개합니다. 이는 프리트레인된(pretrained) 롱 비디오 VLM을 선형 시간 비디오 프리필에 적응시키는 인퍼런스 타임(inference-time) 방법입니다. 핵심 통찰은 프리트레인된 VLM의 롱 비디오 어텐션이 매우 구조화되어 있다는 점입니다. 즉, 대부분의 상호작나은 프레임 내부에서 일어나지만, 장거리 시간적 상호작용은 시간이 지나도 천천히 진화하는 작은 세트의 "시간적 싱크(temporal sink)" 토큰들에 집중됩니다.

핵심 가정

StateKV는 프리트레인된 VLM의 어텐션에 관한 두 가지 경험적 가정에 기반합니다:

1. 프레임 간 어텐션의 집중: 특정 프레임에 대해, 유용한 교차 프레임 어텐션 질량(mass)의 대부분은 전체 비디오 길이와 관계없이 소수의 과거 토큰($K \ll N$)에 집중됩니다.
2. 시간적 상태의 느린 진화: 이러한 "싱크" 토큰 세트는 천천히 진화합니다. 프레임 $n+1$을 위한 유용한 상태는 프레임 $n$의 상태와 프레임 $n+1$의 토큰을 결합함으로써 잘 근사될 수 있습니다.

아키텍처 및 메커니즘

StateKV는 프리트레인된 백본을 유지하면서, 트랜스포머 레이어당 두 개의 캐시 구조를 통해 작동합니다:

1. 상세 상태 ($D_n$): 지금까지 처리된 모든 프래임의 모든 비주얼 토큰을 저장하는 전체 길이 캐시입니다. 이 캐시는 정보 손실을 방지하기 위해 생성(generation) 단계의 최종 텍스트 디코딩을 위해 보존되지만, 프리필 단계 중에는 쿼리되지 않습니다.
2. 압축 상태 ($C_n$): 교차 프레임 상호작용을 근사하기 위해 사용되는 고정 용량의 재귀적 상태(예: 1024개 토크)입니다. 오직 비디오 프리필 단계에서만 사용됩니다.

프로세스:

• 스트리밍 프리필: 프레임이 도착함에 따라 모델은 점진적으로 처리합니다. 프레임 $n$은 현재 프레임의 토큰과 **이전 프레임의 압축 상태($C_{n-1}$)**의 결합체에 어텐션을 수행합니다.
• 중요도 기반 선택: 프레임 $n$을 처리한 후, 압축 상태가 업데이트됩니다. 모델은 모든 후보 토큰(이전 압축 상태 + 현재 프레임 토큰)에 대해 어텐션 점수(비디오 전용)를 계산합니다. 모델은 새로운 압축 상태 $C_n$을 형성하기 위해 상위 $B$개의 토큰(여기서 $B$는 고정된 예산)을 선택하고, 중요도가 낮은 항목을 제거합니다.
• 디코딩: 모든 프레임이 처리되면, 표준 자기회귀(autoregressive) 텍스트 생성이 시작됩니다. 결정적으로, 디코딩은 모든 원본 비디오 토큰을 포함하는 **상세 상태($D_N$)**를 조건으로 하며, 이를 통해 생성 단계에서 전체 컨텍스트에 접근할 수 있도록 보장합니다.

이 설계는 비디오 인코딩의 복잡도(선형, $O(N)$)를 최종 생성의 충실도(전체 컨텍스트)와 분리합니다.

3. 주요 기여

• 미세 조정 없는 선형 시간 프리필: StateKV는 아키텍처 수정이나 재학습 없이도 프리트레인된 VLM이 선형 계산 복잡도($O(N)$)와 프레임당 상수 비용으로 긴 비디오를 처리할 수 있게 합니다.
• 전체 어텐션의 원칙적 근사: 최신성에 의존하는 슬라이딩 윈도우 방식과 달리, StateKV는 "시간적 싱크"를 전달하기 위해 중요도 기반 메커니즘을 사용합니다. 이는 최신성 기반 휴리스틱이 놓치는 장거리 의존성을 포착함으로써 전체 셀프 어텐션을 더 원칙적으로 근사합니다.
• 계산-정확도 트레이드오프: 비디오 프리필에 필요한 FLOPs를 획기적으로 줄임으로써, StateKV는 사용자가 동일한 계산 예산 내에서 더 큰 모델을 실행할 수 있게 합니다. 논문은 StateKV를 사용하는 더 큰 모델이 유사하거나 더 낮은 계산 비용을 사용하는 전체 셀프 어텐션 모델보다 성능이 뛰어남을 보여줍니다.
• 경험적 검증: 이 방법은 세 가지 롱 비디오 벤치마크(VideoMME, MLVU, OVOBench)와 세 가지 계열(InternVL3, Qwen-VL, Eagle2.5) 및 다양한 규모(1B ~ 8B 파라미터)에 걸친 7개의 모델을 통해 검증되었습니다.

4. 결과

• 정확도 vs. 전체 셀프 어텐션: 모든 벤치마크와 모델 규모에 걸쳐, StateKV는 전체 셀프 어텐션(Full SA) 성능에 근접한 모습을 보입니다. 평균적으로 Full SA 정확도에서 약 1% 이내의 차이를 유지하며, 슬라이딩 윈도우 베이스라인인 ReKV(종종 ~10포인트 뒤처짐)보다 성능이 월등히 높습니다.
• 최신성 기반 방법론 대비 우월성: StateKV는 VideoMME, MLVU, OVOBench 전반에서 ReKV(지배적인 슬라이딩 윈도우 방식)를 일관되게 능가합니다. 저자들은 이를 롱 비디오의 어텐션 패턴이 순수하게 최신성 기반이 아니라, 슬라이딩 윈도우가 버려버리는 먼 프레임으로부터의 지속적인 "앵커(anchors)"에 의존하기 때문이라고 설명합니다.
• 스케일링 동작: 성능은 압축 상태 용량($B$)이 증가함에 따라 단조롭게 향상됩니다. 더 큰 모델은 캐시 크기에 따라 더 강력한 스케일링을 보이며, 높은 예산에서는 Full SA 정확도와 일치하기도 합니다.
• 계산 효율성:
  • StateKV는 비디오 프리필 FLOPs를 극적으로 감소시킵니다.
  • 손익 분기점 분석: 충분히 긴 비디오의 경우, StateKV를 사용하여 더 큰 모델(예: InternVL3-8B)을 실행하는 것이 Full Self-Attention을 사용하는 더 작은 모델(예: InternVL3-1B)을 실행하는 것보다 계산 비용이 저렴합니다.
  • 예시: 4096의 캐시 예산을 가진 StateKV-8B는 VideoMME에서 62.5%의 정확도를 달리는 반면, 이는 Full SA-1B(46.2% 정확도)와 유사한 계산 비용으로, 동일한 예산에서 약 16포인트의 정확도 이득을 얻는 효과를 냅니다.

5. 의의 및 주장

본 논문은 StateKV를 확장 가능한 롱 비디오 이해를 향한 실질적인 단계로 자리매김합니다. 그 의의는 다음과 같습니다:

• 실시간 스트리밍 가능: 프레임당 상수 비용을 달성함으로써, StateKV는 현재 긴 비디오에 대한 실시간 스트리밍 애플리케이션(예: 한 시간 동안 주행하는 자동차는 이제 막 주행을 시작한 자동차보다 쿼리하기가 더 어려워짐)을 가로막는 이차적 병목 현상을 제거합니다.
• 계산의 경계를 재정의: 이 방법은 패러다임을 "맞추기 위한 압축"에서 "근사하기 위한 압축"으로 전환합니다. 중요도 기반 메모리 유지가 엄격한 최신성보다 전체 어텐션에 대한 더 강력한 근사임을 입증하여, 고정된 계산 예산에서 더 나은 정확도를 허용합니다.
• 일반화 가능성: 이 접근 방식은 모델별 튜닝 없이 다양한 모델 계열과 파라미터 규모에 걸쳐 일관되게 전이되며, 이는 어텐션 구조(시간적 싱크)가 현재 프리트레인된 VLM의 견고한 속성임을 시사합니다.

저자들은 메커니즘적 검증이 현재 기존 모델과 테스트된 입력값에 국한되어 있음을 인정하며 한계점을 언급했습니다. 이들은 향arian 연구가 이러한 어텐션 패턴이 더 넓은 백본과 비디오 영역에서도 유지되는지 탐구해야 한다고 제안합니다. 그러나 테스트된 범위 내에서 StateKV는 롱 비디오 스케일링 문제를 해결하기 위한 견고하고 학습이 필요 없는(training-free) 솔루션을 제공합니다.