CoPE-VideoLM: 비디오 언어 모델링을 위한 코덱 원시 데이터 (Codec Primitives) 활용 기술 요약

이 논문은 비디오 언어 모델 (VideoLM) 의 효율성과 성능을 획기적으로 개선하기 위해, 기존 비디오 코덱 (MPEG-4, H.264 등) 에서 생성되는 **코덱 원시 데이터 (Codec Primitives)**를 직접 활용하는 새로운 프레임워크인 CoPE-VideoLM을 제안합니다.

1. 문제 정의 (Problem Statement)

기존의 비디오 언어 모델들은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 희소성 (Sparsity) 과 맥락 창 제약: 최대 컨텍스트 윈도우 제한으로 인해, 현재 방법론들은 비디오를 이해하기 위해 핵심 프레임 (Keyframe) 만을 샘플링합니다. 이는 거시적인 사건 (Macro-level events) 과 미세한 동작 (Micro-level details) 을 모두 놓치게 만듭니다.
• 계산 비용 과다: 모든 프레임을 고해상도 RGB 이미지로 처리하고 토큰화하는 방식은 막대한 계산 오버헤드를 발생시킵니다.
• 지연 시간 (Latency): 긴 비디오를 처리할 때 '첫 번째 토큰 생성 시간 (Time-to-First-Token, TTFT)'이 길어져 실시간 응용 (로보틱스 등) 에 부적합합니다.
• 중복성 무시: 연속된 프레임 간에는 높은 중복성이 존재하지만, 기존 모델들은 이를 고려하지 않고 매 프레임마다 동일한 토큰 예산을 할당합니다.

2. 방법론 (Methodology)

CoPE-VideoLM 은 비디오 코덱의 구조적 특성을 활용하여 이러한 문제를 해결합니다.

2.1 코덱 원시 데이터 활용

비디오 코덱은 I-프레임 (완전 이미지) 과 P-프레임 (이전 프레임과의 차이) 로 구성됩니다. CoPE-VideoLM 은 다음과 같이 처리합니다:

• I-프레임: 기존 비전 인코더 (Vision Encoder) 를 사용하여 일반적인 RGB 토큰으로 변환합니다.
• P-프레임: 전체 이미지를 디코딩하지 않고, 코덱에서 추출된 **모션 벡터 (Motion Vectors)**와 **잔차 (Residuals)**만 활용합니다.
  • 모션 벡터: 프레임 간의 블록 단위 이동 정보를 담습니다.
  • 잔차: 모션 보정 후 남은 픽셀 보정 정보를 담습니다.

2.2 경량화된 $\Delta$-Encoder 아키텍처

P-프레임의 원시 데이터를 효율적으로 처리하기 위해 두 가지 분기 (Branch) 를 가진 경량 트랜스포머 인코더를 도입했습니다:

1. 모션 분기: 모션 벡터를 MLP 와 모션 트랜스포머를 통해 압축된 토큰으로 변환합니다.
2. 잔차 분기: 잔차 데이터를 경량 ResNet-18 과 잔차 트랜스포머를 통해 압축된 토큰으로 변환합니다.
   이 두 가지 토큰을 결합하여 $\Delta$-토큰을 생성하며, 이는 I-프레임 토큰에 비해 토큰 수를 획기적으로 줄입니다 (예: 196 개 토큰 $\rightarrow$ 8 개 토큰).

2.3 인터리브드 토큰 스트림 및 학습 전략

• 인터리브드 시퀀스: I-프레임 토큰과 P-프레임의 $\Delta$-토큰을 시간 순서대로 교차 배치하여 LLM 에 입력합니다. 이를 통해 시간적 연속성을 유지하면서도 토큰 수를 줄입니다.
• 2 단계 학습 (Two-Stage Training):
  1. 프리-트레이닝: $\Delta$-Encoder 를 사전 학습시켜, 코덱 원시 데이터가 RGB 이미지 인코더의 임베딩 공간과 정렬되도록 합니다. (Reference Transformer 와 Warped Transformer 를 사용하여 재구성 작업을 통해 학습).
  2. 엔드 - 투 - 엔드 파인튜닝: 사전 학습된 인코더를 VideoLM 에 통합하여 전체 파이프라인을 미세 조정합니다.

3. 주요 기여 (Key Contributions)

1. 코덱 기반 토큰화 프레임워크: 비디오를 RGB 프레임 집합이 아닌, 모션 벡터와 잔차를 활용한 시간적 순서가 보존된 토큰 시퀀스로 인코딩하여, 불필요한 RGB 처리를 제거하고 토큰 사용량을 최대 **93%**까지 감소시켰습니다.
2. 경량 이중 분기 아키텍처: 기존 이미지 기반 인코더보다 훨씬 높은 압축률과 낮은 토큰 수를 달성하는 경량 $\Delta$-Encoder 를 제안했습니다.
3. 정렬된 프리-트레이닝 전략: 코덱 원시 데이터와 이미지 인코더의 표현 공간을 정렬하는 프리-트레이닝 방식을 도입하여, VideoLM 통합 시 수렴 속도를 가속화하고 성능을 향상시켰습니다.

4. 실험 결과 (Results)

14 개의 다양한 비디오 이해 벤치마크 (일반 QA, 시간적 추론, 장편 이해, 공간적 장면 이해 등) 에서 CoPE-VideoLM 을 평가했습니다.

• 성능: 오픈 소스 VideoLM 들 중 최상위 성능을 기록했습니다. 특히 PerceptionTest(+2.4%), NextQA(+1.6%) 등에서 기존 모델 (LLaVA-Video-7B) 을 능가하거나 동급의 성능을 유지하면서도 토큰 사용량은 크게 줄였습니다.
• 효율성:
  • TTFT (첫 번째 토큰 생성 시간): 최대 86% 단축.
  • 토큰 사용량: 최대 93% 감소.
  • 장편 처리: 1M 토큰 컨텍스트 윈도우 내에서 8 시간 분량의 비디오를 처리 가능 (기존 모델은 1 분 미만만 처리 가능).
• 시간적 추론: 모션 벡터와 잔차의 명시적 인코딩 덕분에 시간적 추론 및 모션 이해 벤치마크 (TempCompass, TOMATO 등) 에서 오픈 소스 모델 중 가장 높은 정확도를 달성했습니다.

5. 의의 및 결론 (Significance)

CoPE-VideoLM 은 비디오 언어 모델의 효율성 문제를 해결하기 위해 **"비디오 코덱의 구조를 다시 활용한다"**는 통찰을 제공합니다.

• 실시간성: TTFT 의 획기적인 감소는 로보틱스 및 실시간 상호작용이 필요한 응용 분야에 필수적입니다.
• 확장성: 토큰 예산을 줄임으로써 기존 하드웨어 제약 내에서 훨씬 더 긴 비디오를 처리할 수 있게 하여, 장편 비디오 이해 (Long-form Understanding) 를 가능하게 합니다.
• 미래 지향성: 이 접근법은 비디오 처리 파이프라인에서 이미 존재하는 중복성 제거 메커니즘을 AI 모델에 직접 통합함으로써, 향후 대규모 비디오 모델의 확장성을 위한 실용적이고 효율적인 기반을 마련했습니다.

요약하자면, CoPE-VideoLM 은 불필요한 RGB 데이터 처리를 피하고 코덱이 제공하는 본질적인 시간적 정보 (모션 및 변화) 만을 활용하여, 성능은 유지하거나 향상시키면서 계산 비용과 지연 시간을 극적으로 낮춘 차세대 비디오 언어 모델링 패러다임을 제시합니다.