기술 요약: MARC – 효율적인 비디오 이해를 위한 메모리 증강 강화 학습 기반 토큰 압축

문제 정의

시각 언어 모델(VLM)은 비디오 이해를 위해 이미지에서 확장할 때 심각한 계산 병목 현상에 직면합니다. 높은 프레임 레이트와 긴 비디오 길이는 수천 개의 토큰을 처리해야 함을 의미하며, 이는 추론 비용, 지연 시간 및 GPU 메모리 사용량의 급격한 증가로 이어집니다. 이는 자율 주행 및 감시와 같이 자원이 제한적이고 지연 시간에 민감한 환경에서의 배포를 저해합니다.

토큰 압축은 유망한 해결책이지만, 기존 방법들은 주로 훈련이 필요 없는(training-free) 전략(예: 공간적 또는 시간적 토큰 병합)에 의존합니다. 저자들은 이러한 훈련 불필요 방식이 압축 과정에서 필연적으로 정보 손실을 유발하여 모델 성능의 상당한 저하를 초래한다고 주장합니다. 핵심 과제는 모델의 추론 능력을 희생하지 않으면서 공격적인 토큰 감소(예: 비디오를 단일 이미지의 토큰 수로 축소)를 달려내는 것입니다.

방법론

본 논문은 정보를 압축하기 전에 관련 정보를 검색하도록 설계된 2단계 프레임워크인 MARC(Memory-Augmented Reinforcement Learning-based Token Compression)를 제안합니다.

1. 시각적 메모리 리트리버 (Visual Memory Retriever, VMR)

인지 과학과 사건 분절 이론(event segmentation theory)에서 영감을 받은 VMR은 고정된 길이의 시간 창(temporal window)을 의미론적, 사건 기반 접근 방식으로 대체합니다.

• 사건 기반 분절 (Event-Based Segmentation): 심층 사건 탐지 네트워크가 장면 변화, 주제 전환 또는 동작의 시작을 기준으로 연속적인 비디오 스트림을 의미론적으로 일관된 짧은 클립(시각적 메모리 파편)으로 분할합니다.
• 메모리 검색 (Memory Retrieval): 질의 표현(query representations)과 시각적 파편들을 대조 학습(contrastive learning)을 통해 공유 잠재 공간으로 매핑합니다. 근접 이웃 탐색을 통해 사용자 질의와 가장 관련성이 높은 상위 $k$개의 파편을 검색합니다.
• 기능: 이 단계는 필터 역할을 하여 탐색 공간을 줄이고, 이후의 압축이 중복되는 프레임이 아닌 가장 인과적으로 유용한 증거를 포함하는 "일화적 기억(episodic memories)"에 대해서만 수행되도록 보장합니다.

2. 메모리 인식 시간적 압축 (Memory-Aware Temporal Compression)

RL 증류(distillation)를 적용하기 전, 검색된 세그먼트에 특정 압축 레이어가 적용됩니다:

• 국소적 일관성 (Local Coherence): 검색된 각 사건 세그먼트 내에서, 국소적 역동성을 유지하면서 중복을 줄이기 위해 코사인 유사도를 기반으로 연속된 프레임을 병합합니다.
• 전역적 통합 (Global Consolidation): 토큰 예산이 여전히 초과될 경우, 경량화된 교차 세그먼트 병합이 적용됩니다. 이를 통해 VMR에 의해 정의된 사건 구조가 보존되도록 합니다.

3. 압축 그룹 상대 정책 최적화 (Compression Group Relative Policy Optimization, C-GRPO)

극단적인 압축(입력을 단일 프레임 수준의 토큰으로 감소) 상황에서도 성능을 유지하기 위해, 저자들은 사후 학습 강화 학습 전략인 C-GRPO를 도입합니다.

• 교사-학생 증류 (Teacher-Student Distillation): "교사(Teacher)" 네트워크는 64개 프레임을 처리하는 반면, "학생(Student)" 네트워크는 압축된 단일 프레임 입력을 처리합니다.
• 보존 정렬 보상 (Retention Alignment Reward): 정답의 정확도에 집중하는 표준 GRPO와 달리, C-GRPO는 **보존 비율($\eta$)**에 기반한 **압축 보상($r_c$)**을 도입합니다. 보존 비율은 교사의 성능을 학생이 얼마나 유지하는지를 측정합니다.
  • $r_c = \alpha \cdot \max(0, \eta - \tau)$, 여기서 $\tau$는 최소 허용 보존 임계값(0.6으로 설정)입니다.
• 게이팅 메커니즘 (Gating Mechanism): 보존 보상은 정확도($1[\text{correct}]$)에 의해 게이팅되어, 의미론적으로 유효한 생성에 대해서만 보너스가 부여되도록 합니다. 이는 모델이 실제 추론 능력을 유지하지 못한 채 우연히 정답을 맞히는 "보상 해킹(reward hacking)"을 방지합니다.
• 목표: 정책은 엄격한 토큰 예산을 준수하면서 교사의 추론 능력을 극대화하도록 최적화됩니다.

주요 기여

1. MARC 프레임워크: 인간의 일화적 기억을 모방하여 효율적인 비디오 이해를 가능하게 하는, 구조화된 시각적 검색(VMR)과 RL 기반 토큰 압축이 통합된 새로운 아키텍처를 제시합니다.
2. C-GRPO 알고리ց: 비디오 토큰 압축을 위해 특별히 설계된 최초의 사후 학습 RL 전략입니다. 이는 성능 보존을 명시적으로 최적화함으로써 고토큰 교사로부터 저토큰 학생으로 복잡한 추론 능력을 성공적으로 증류합니다.
3. 실증적 검증: 6개의 벤치마크에서 수행된 광범위한 실험을 통해, 이 방법이 모델 성능을 거의 유지하면서도 계산 비용을 획기적으로 낮출 수 있음을 입증했습니다.

실험 결과

저자들은 Qwen2.5-VL-3B를 백본으로 사용하여 VSI-Bench, VideoMMMU, MMVU, MVBench, TempCompass, VideoMME의 6개 벤치마크에서 MARC를 평가했습니다.

• 성능: MARC는 64프레임 베이스라인인 42.21과 거의 동일한 42.20의 평균 점수를 달성했습니다.
  • MMVU, MVBench, TempCompass에서는 베이스라인보다 높은 성능을 보였습니다.
  • 더 큰 모델들(예: InternVL3.5-4B, Gemma-3-4B)보다 높은 성능을 기록했습니다.
• 토큰 감소: 이 방법은 시각적 토큰을 95% 감소시켰습니다(약 2590개에서 약 123개로). 이는 원래 토큰의 4.71%만을 사용하는 효과적인 수준입니다.
• 효율성 이득:
  • GPU 메모리: 72.4% 감소했습니다 (A6000 기준 41.63 GB에서 11.48 GB로).
  • 지연 시간 (Latency): 생성 지연 시간이 23.9% 감소했으며, 샘플 처리에 대한 엔드 투 엔드 지연 시간은 11.1% 감소했습니다.
• 절제 연구 (Ablation Studies):
  • VMR: VMR만 사용했을 때 베이스라인 정확도가 상승(평균 45.56 vs 42.21)하여, 사건 기반 검색의 가치를 입증했습니다.
  • C-GRPO vs. SFT: MARC(C-GRPO)는 지도 학습 미세 조정(SFT) 베이스라인보다 평균 점수에서 9.6% 높은 성능을 보여, 압축 작업에서 RL 증류의 우월성을 강조했습니다.
  • 임계값 ($\tau$): 임계값 0.6이 안정성과 성능 보존 사이의 최적의 균형을 제공했습니다.

의의 및 주장

본 논문은 MARC가 대규모 모델의 사후 학습 압축을 위한 강력한 솔루션으로서, 효율성과 정확도 사이의 간극을 메운다고 주장합니다. 인지 과학에서 영감을 얻은 검색과 RL 기반 증류를 결려함으로써, 이 방법은 실시간 비디오 질의응답, 감시, 자율 주행과 같이 자원이 엄격히 제한된 시나리오에서 VLM을 배포할 수 있게 합니다.

저자들은 자신들의 접근 방식이 훈련이 필요 없는 압축 방식에서 나타나는 성능 저하 문제를 피한다는 점을 강조합니다. 대신, 압축을 학생이 교사의 추론을 일치시켜야 하는 정렬 문제로 다룸으로써, MARC는 입력을 단일 프레임 수준의 토큰으로 줄였음에도 불구하고 높은 충실도를 유지합니다. 이 연구는 비디오 이해를 실제 지연 시간에 민감한 애플리케이션에 확장 가능하고 배포 가능한 형태로 만드는 실질적인 경로를 제시합니다.