1. 문제 정의 (Problem Statement)

비디오 대형 언어 모델 (VideoLLM) 은 비디오 이해 분야에서 뛰어난 성능을 보이지만, 긴 컨텍스트 (Long-context) 추론 시 압도적인 수의 시각 토큰 (Visual Tokens) 으로 인해 효율성 병목 현상이 발생합니다. 특히 프리필 (Prefill) 단계에서 메모리 사용량과 계산 비용이 급증합니다.

기존의 토큰 압축 방법들은 다음과 같은 두 가지 주요 한계를 가지고 있습니다:

1. 불연속적인 시공간 정보 커버리지 (Discontinuous Spatio-temporal Coverage):
   • 균일 할당 (Uniform Allocation): 모든 프레임에 동일한 토큰 예산을 할당하여, 중요한 순간 (예: 급격한 행동 변화) 을 놓치거나 불필요한 정적 프레임에 예산을 낭비합니다.
   • 세그먼트 기반 (Segment-based): 비디오를 장면으로 나누어 처리하지만, 장면 전환 경계에서 예산이 급격히 변동하거나 과도하게 할당되어 시간적 연속성이 깨집니다.
   • 전역 고유성 (Global Uniqueness): 전체 비디오에서 가장 독특한 프레임에 예산을 집중시키지만, 국소적으로 중요한 전환 구간을 간과하여 정보의 단절이 발생합니다.
2. 시공간 정보의 불일치 (Misaligned Spatio-temporal Information):
   • 최신 VideoLLM(예: Qwen3-VL) 은 MRoPE(Multimodal Rotary Positional Embedding) 을 사용하여 토큰을 이산적인 $(t, h, w)$ 좌표에 바인딩합니다.
   • 기존 방법 중 토큰 병합 (Token Merging, 예: 평균 풀링) 은 여러 토큰을 하나로 합치면서 원래의 격자 (Grid) 좌표에서 벗어나게 만들어 MRoPE 의 위치 인코딩과 불일치를 초래합니다. 이는 모델의 성능을 저하시킵니다.

핵심 질문: 제한된 예산 하에서 비디오 이해 성능을 유지하기 위해, 연속적이고 정렬된 (Well-aligned) 시공간 정보 커버리지를 보존하면서 어떻게 시각 토큰을 선택할 것인가?

2. 제안 방법론: V-CAST (Video Curvature-Aware Spatio-Temporal Pruning)

V-CAST 는 학습이 필요 없는 (Training-free) 플러그 앤 플레이 (Plug-and-play) 토큰 가지치기 프레임워크로, 비디오의 시공간 곡률 (Spatio-temporal Curvature) 관점에서 토큰 압축을 최적의 궤적 근사 문제로 재정의합니다.

2.1 곡률 기반 시간적 할당 (Curvature-Guided Temporal Allocation)

• 개념: 프레임별 토큰 예산을 할당할 때, 비디오의 의미적 변화 (Semantic Transition) 를 추적합니다.
• 구현:
  1. 각 프레임의 시각 토큰들을 평균화하여 의미 벡터 $\bar{x}_t$를 생성하고, 이를 단위 벡터 $\hat{x}_t$로 정규화합니다.
  2. 시간 순서대로 연결된 벡터들의 궤적에서 곡률 (Curvature, $\kappa_t$) 을 계산합니다. 이는 인접 프레임 간의 방향 변화량을 의미하며, 급격한 의미 변화 (예: 장면 전환, 중요한 사건) 가 발생할 때 값이 커집니다.
  3. 엔트로피 정규화 (Entropy-regularized) 목적 함수를 통해 곡률이 높은 프레임에 더 많은 토큰 예산을 할당하도록 최적화합니다.
  • 효과: 중요한 순간과 전환 구간에는 토큰을 집중시키고, 정적인 구간에는 할당을 줄여 시간적 연속성을 유지합니다.

2.2 듀얼 앵커 공간적 토큰 선택 (Dual-Anchor Spatial Token Selection)

• 개념: 각 프레임 내에서 어떤 토큰을 남길지 결정할 때, 다양성 (Diversity) 과 주목도 (Saliency) 를 동시에 고려합니다.
• 구현: 각 토큰 $x_{t,i}$에 대해 다음 두 가지 점수를 합산하여 순위를 매깁니다.
  1. Contextual Diversity Anchor: 프레임 전체의 평균 벡터 $\bar{x}_t$와의 코사인 유사도 차이를 계산합니다. 이는 배경과 다른 독특한 지역 (주체, 상호작용 등) 을 선택하도록 유도합니다.
  2. Feature Activation Anchor: 토큰의 $L_2$ 노름을 정규화하여 사용합니다. 이는 ViT 특징에서 강한 활성화 (정보량이 많은 패턴) 를 가진 토큰을 선별합니다.
• 좌표 보존: 가지치기 (Pruning) 는 기존 토큰을 선택하는 방식이므로, 원래의 $(t, h, w)$ 격자 좌표를 유지합니다. 이는 MRoPE 기반 모델과의 정렬을 완벽하게 유지하여 병합 (Merging) 방식의 단점을 해결합니다.

3. 주요 기여 (Key Contributions)

1. 시공간 커버리지 재고찰: VideoLLM 의 토큰 압축에서 '불연속적인 커버리지'와 'MRoPE 하의 위치 불일치'가 핵심 병목임을 규명하고, 이를 해결하기 위한 새로운 관점을 제시했습니다.
2. V-CAST 프레임워크 제안: 곡률 기반 시간적 할당과 듀얼 앵커 공간적 선택을 결합하여, 학습 없이도 연속적이고 정렬된 시공간 정보를 보존하는 가지치기 전략을 개발했습니다.
3. 최고 수준의 성능과 효율성: 다양한 아키텍처 (Qwen3-VL, LLaVA-OV, LLaVA-Video 등) 와 규모 (8B~32B) 에서 SOTA 성능을 달성했습니다.

4. 실험 결과 (Results)

V-CAST 는 Qwen3-VL-8B/32B, LLaVA-OV, LLaVA-Video 등 다양한 모델과 벤치마크 (MVBench, LongVideoBench, MLVU, VideoMME 등) 에서 검증되었습니다.

• 성능 (Accuracy):
  • 긴 비디오 벤치마크: 256 프레임 입력 기준, 4 개 벤치마크에서 2 위 방법보다 +1.5 점 높은 성능을 기록했습니다.
  • 원본 성능 유지: 256 프레임에서 원본 모델 성능의 98.2% 를 유지하며, 2 위 방법보다 +1.9% 더 높은 성능을 보였습니다.
  • 압축 강도: 토큰 유지율 (Retention Ratio) 이 25% 일 때에도 Qwen3-VL-8B 에서 98.6% 의 성능을 유지했습니다.
• 효율성 (Efficiency):
  • 메모리 및 지연 시간: Vanilla Qwen3-VL-8B 대비 피크 메모리 86.7%, 총 추론 지연 시간 86.4% 수준으로 감소시켰습니다.
  • FlashAttention 호환성: 기존 방법 (FlashVID 등) 이 긴 비디오에서 OOM(Out-of-Memory) 이 발생하거나 FlashAttention 과 호환되지 않는 것과 달리, V-CAST 는 FlashAttention 을 지원하며 가장 빠른 추론 속도를 기록했습니다.
• 확장성: MoE(Mixture of Experts) 기반 모델 (Qwen3-VL-30B-A3B) 에서도 OOM 없이 안정적으로 추론이 가능했으며, 긴 컨텍스트 (256 프레임) 에서 성능이 더욱 향상되는 경향을 보였습니다.

5. 의의 및 결론 (Significance)

V-CAST 는 VideoLLM 의 긴 컨텍스트 추론 문제를 해결하기 위해 시각 토큰의 시공간적 곡률을 핵심 지표로 활용했습니다.

• 기술적 혁신: 단순한 토큰 제거를 넘어, 비디오의 의미적 궤적을 근사하는 방식으로 예산을 할당함으로써 정보의 연속성을 확보했습니다. 또한, 토큰 병합 대신 가지치기를 사용하여 MRoPE 와 같은 정교한 위치 인코딩과의 호환성을 완벽하게 유지했습니다.
• 실용성: 추가 학습 없이 플러그 앤 플레이로 적용 가능하며, 메모리 효율성과 추론 속도를 크게 개선하여 실제 긴 비디오 이해 애플리케이션의 배포를 가능하게 합니다.
• 일반화: 다양한 비디오 길이와 모델 아키텍처에 걸쳐 일관된 성능 향상을 보여주어, VideoLLM 효율화 분야의 새로운 표준 (SOTA) 으로 자리 잡았습니다.

이 연구는 비디오 이해 모델이 긴 컨텍스트를 처리할 때 발생하는 효율성과 정확성 간의 트레이드오프를 효과적으로 해결하는 중요한 이정표가 됩니다.