Dynamic Token Compression for Efficient Video Understanding through Reinforcement Learning

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 멀티모달 대규모 언어 모델 (MLLM) 은 비디오 이해 분야에서 뛰어난 성능을 보이지만, 긴 비디오를 처리할 때 심각한 계산 비용과 성능 저하에 직면합니다.
• 주요 문제:
  • 토큰 과부하 (Token Redundancy): 표준 비전 인코더는 비디오 프레임당 수만 개의 시각 토큰을 생성하며, 이는 정적 배경과 반복적인 동작으로 인해 많은 중복 정보를 포함합니다.
  • 컨텍스트 로트 (Context Rot): 시퀀스 길이가 길어질수록 모델이 중간 토큰의 정보를 활용하는 능력이 저하되는 현상이 발생합니다. 불필요한 토큰이 핵심 정보를 가려 모델 성능이 떨어집니다.
  • 기존 방법의 한계:
    • 변환 기반 (Transformation-based): 컨볼루션이나 풀링 등 고정된 연산을 사용하므로 콘텐츠 적응성이 부족합니다.
    • 휴리스틱 기반 (Heuristic-based): 유사도 측정이나 클러스터링을 사용하지만, 하류 작업 (downstream task) 목표와 분리되어 최적화 간극 (optimization gap) 이 존재합니다.

2. 제안 방법론: SCORE (Methodology)

저자들은 **SCORE (Surprise-augmented token COmpression via REinforcement learning)**라는 강화학습 기반의 적응형 토큰 압축 프레임워크를 제안합니다.

2.1 아키텍처 개요

• 고정된 비전 인코더와 고정된 LLM 사이에 경량화된 **토큰 레벨 시각 압축기 (Token-level Visual Compressor)**를 삽입합니다.
• 이 압축기는 각 시각 토큰을 유지할지 말지 결정하는 확률적 정책을 학습합니다.

2.2 핵심 구성 요소

1. 놀라움 증강 상태 표현 (Surprise-Augmented State Representation):

   • 단순한 토큰 임베딩 ($X[t]$) 만으로는 인접 프레임 간의 높은 상관관계로 인해 중요한 움직임이나 변화를 감지하기 어렵습니다.
   • 이를 해결하기 위해 **프레임 간 잔차 (Inter-frame residuals, $\Delta X[t] = X[t] - X[t-1]$)**를 '놀라움 (Surprise)' 신호로 추가합니다.
   • 상태 표현 $H[t] = [X[t]; \Delta X[t]]$를 사용하여 정적 배경은 억제하고, 움직임이나 의미 있는 변화가 있는 영역을 강조합니다.

2. 베르누이 게이팅 정책 (Bernoulli Gating Policy):

   • 경량 MLP 를 통해 각 토큰에 대한 유지 확률 ($p_{t,i}$) 을 출력합니다.
   • 학습 중에는 베르누이 분포를 통해 확률적으로 마스킹 (pruning) 을 수행합니다.

3. 그룹 기반 강화학습 최적화 (Group-wise RL Optimization):

   • 그룹 롤아웃 (Group Rollouts): 각 비디오당 $K$개의 서로 다른 마스킹 시나리오를 샘플링하여 평가합니다.
   • 분할 이득 추정기 (Split-Advantage Estimator):
     • 안전 구역 (Safe Zone): 성능 저하가 허용 범위 ($\Delta CE > 0$) 내일 때, 희소성 (Sparsity) 이 높은 시나리오에 더 높은 이득 (Advantage) 을 부여합니다.
     • 페널티 구역 (Penalty Zone): 성능이 허용 범위 이하로 떨어지면, 성능 저하 정도에 비례하여 페널티를 부여하여 정책을 토큰을 더 많이 유지하도록 유도합니다.
   • 이를 통해 정확도와 효율성 사이의 균형을 자동으로 학습합니다.

4. 커리큘럼 학습 전략 (Curriculum Learning):

   • 1 단계 (가상 비디오 Warm-up): 이미지 - 캡션 데이터셋에서 이미지를 반복하여 만든 '가상 비디오'로 초기 학습합니다. 이는 프레임 간 변화가 명확 (0 또는 급격한 변화) 하여 정책이 시간적 잔차와 토큰의 중요성 간의 관계를 빠르게 학습하게 합니다.
   • 2 단계 (실제 비디오 학습): 실제 비디오 - 캡션 데이터로 미세 조정하여 미세한 움직임과 잡음이 포함된 환경에서도 강건한 선택 전략을 학습합니다.

3. 주요 기여 (Key Contributions)

1. SCORE 프레임워크 제안: 비디오 MLLM 을 위한 RL 기반 토큰 레벨 압축기를 제안하며, 하류 생성 품질을 직접 최적화하여 토큰 예산 제약 하에서 적응형 유지 정책을 학습합니다.
2. 놀라움 증강 상태 및 학습 전략: 시간적 역동성을 명시적으로 포착하기 위해 '놀라움 (잔차)' 신호를 도입하고, 그룹 정책 경량, 분할 이득 추정기, 점진적 커리큘럼 학습을 결합한 종합적인 학습 전략을 제시했습니다.
3. 성능 및 효율성 입증: 다양한 벤치마크에서 기존 최첨단 (SOTA) 방법들을 일관되게 능가하며, 높은 압축률에서도 오히려 압축되지 않은 모델보다 성능이 향상되는 것을 증명했습니다.

4. 실험 결과 (Results)

• 벤치마크: Video-MME, MLVU, LVBench 등 다양한 비디오 이해 벤치마크에서 Qwen2.5-VL 및 LLaVA-Video 모델로 평가했습니다.
• 성능 (Accuracy):
  • 25% 유지 비율 (Retention Ratio): SCORE 는 평균 점수 58.9를 기록하여, 압축되지 않은 베이스라인 (Vanilla, 57.3) 을 능가했습니다. 이는 불필요한 토큰 제거가 오히려 컨텍스트 로트를 완화하고 성능을 향상시킬 수 있음을 시사합니다.
  • 10% 유지 비율: 원본 성능의 **99.5%**를 유지하면서도 기존 방법들보다 우월한 성능을 보였습니다.
• 효율성 (Efficiency):
  • 10% 유지 시: LLM 프리필 (Prefill) 지연 시간이 16 배 이상 (16.2x) 단축되었습니다.
  • 압축기 자체의 계산 오버헤드는 전체 추론 시간의 1% 미만으로 매우 경량화되어 있습니다.

5. 의의 및 결론 (Significance)

• 컨텍스트 로트 해결: 단순히 토큰을 줄이는 것을 넘어, 불필요한 정보를 제거함으로써 모델이 핵심 정보에 집중하게 하여 '컨텍스트 로트' 현상을 효과적으로 완화합니다.
• 실용성: 긴 비디오 이해 작업에서 발생하는 계산 비용의 제약을 해결하여, 지연 시간에 민감한 환경 (Real-time deployment) 에서 비디오 MLLM 의 배포를 가능하게 합니다.
• 적응형 학습: 휴리스틱 규칙에 의존하지 않고, 강화학습을 통해 콘텐츠와 시간적 역동성에 기반한 지능적인 토큰 선택 정책을 학습함으로써 다양한 비디오 유형과 작업에 유연하게 대응합니다.

요약하자면, SCORE는 비디오 이해 모델의 계산 병목 현상을 해결하기 위해 강화학습과 시간적 변화 감지 (Surprise) 를 결합한 혁신적인 토큰 압축 솔루션으로, 높은 효율성과 동등하거나 더 나은 성능을 동시에 달성한 획기적인 연구입니다.