Contribution-aware Token Compression for Efficient Video Understanding via Reinforcement Learning

이 논문은 비디오 토큰의 실제 기여도를 기반으로 강화 학습을 통해 최적의 토큰 조합을 능동적으로 탐색하는 'CaCoVID' 알고리즘을 제안하여 비디오 이해 모델의 추론 효율성을 크게 향상시킵니다.

핵심

🎬 배경: AI 가 너무 많은 정보를 보고 있어요

지금까지의 AI 는 비디오를 볼 때, 프레임 하나하나에 들어있는 수천 개의 작은 점들 (토큰) 을 모두 꼼꼼히 분석합니다.

• 비유: 마치 1 시간짜리 영화를 볼 때, 화면에 있는 모든 픽셀 (점) 을 1 초 단위로 다 외우려고 노력하는 학생과 같습니다.
• 문제: 이렇게 하면 정답을 맞출 수는 있지만, 시간이 너무 오래 걸리고 컴퓨터가 과부하가 걸려서 실제로 쓰기 어렵습니다.

❌ 기존 방법의 한계: "눈에 띄는 것"만 고르다

기존의 압축 기술들은 "어떤 부분이 가장 주목받았는지 (Attention Score)"를 기준으로 중요한 정보를 남기고 나머지를 버렸습니다.

• 비유: 경비원이 "화면에서 가장 크게 빛나는 것"만 보고 나머지는 무시하는 것입니다.
• 문제: 하지만 문제는 가장 빛나는 것이 정답과 상관없는 것일 수 있다는 점입니다. (예: 질문이 "남자가 입은 옷이 뭐야?"인데, AI 는 남자의 얼굴이나 배경의 나무에 더 집중할 수 있음). 그래서 중요한 옷 부분을 잘라내버려 정답을 못 맞추는 경우가 생깁니다.

✅ 새로운 해결책: CaCoVID (기여도 기반 압축)

이 논문에서 제안한 CaCoVID는 "눈에 띄는 것"이 아니라 **"정답을 맞추는 데 실제로 기여한 것"**을 기준으로 정보를 골라냅니다.

1. "현명한 경비원" (강화 학습 기반 정책 네트워크)

기존 AI 가 수동적으로 정보를 고르던 것과 달리, 이 기술은 **정답을 맞출 수 있는 '최고의 조합'을 스스로 찾아내는 작은 AI(경비원)**를 훈련시킵니다.

• 비유: 이 경비원은 "이 비디오의 어떤 장면과 어떤 부분만 보여주면 질문을 정확히 답할 수 있을까?"를 스스로 실험하며 배웁니다.
• 결과: 남자의 옷 (정답 핵심) 은 남기고, 배경의 구름 (불필요한 정보) 은 과감히 잘라냅니다.

2. "효율적인 탐색" (온라인 조합 공간 샘플링)

비디오 토큰은 수천 개가 넘어서, 모든 조합을 다 시도해볼 수는 없습니다. (우주만큼 많은 경우의 수!)

• 비유: 만약 모든 조합을 다 찾아보려면 우주 전체를 뒤져야 하는 것입니다.
• 해결책: 이 기술은 유사한 중요도를 가진 정보끼리 그룹을 지어 효율적으로 탐색합니다.
  • "옷" 관련 정보끼리, "얼굴" 관련 정보끼리 묶어서, "어떤 옷 조합이 정답에 가장 도움이 될까?"를 빠르게 찾아냅니다.
  • 이렇게 하면 탐색 시간을 25 분의 1 로 줄이면서도 최적의 조합을 찾을 수 있습니다.

🚀 이 기술의 장점

1. 빠름: 불필요한 정보를 미리 잘라내서 AI 가 처리해야 할 양이 줄어듭니다. (컴퓨터가 훨씬 빨라짐)
2. 똑똑함: 질문의 핵심에 맞는 정보만 남기므로, 정보를 줄였음에도 정답률은 오히려 더 높아집니다.
3. 재사용 가능: 기존에 훈련된 거대 AI 모델을 다시 처음부터 훈련시킬 필요 없이, 이 '경비원'만 훈련시켜 바로 쓸 수 있습니다.

📝 한 줄 요약

"비디오를 볼 때, 모든 장면을 다 보지 말고 '정답을 알려줄 핵심 장면'만 골라내는 현명한 AI 비서를 만들어, 속도는 빠르게 하고 정확도는 더 높인 기술입니다."

이 기술은 앞으로 스마트폰이나 태블릿에서도 고화질 비디오를 실시간으로 분석하고 대화할 수 있는 AI 서비스를 가능하게 하는 핵심 열쇠가 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비디오 대형 언어 모델 (Video LLM) 은 비디오 이해 작업에서 뛰어난 성능을 보이지만, 밀집된 비디오 토큰과 어텐션 (attention) 메커니즘의 2 차 복잡성으로 인해 추론 시 막대한 계산 비용이 발생합니다.
• 기존 방법의 한계:
  • 기존 토큰 압축 알고리즘들은 주로 콘텐츠 기반 (다양성 유지) 이나 모델 기반 (어텐션 점수 기반) 접근법을 사용합니다.
  • 특히 모델 기반 방법 (FastV, PyramidDrop 등) 은 낮은 어텐션 점수를 가진 토큰을 제거하는 방식을 취합니다.
  • 핵심 문제: 논문은 어텐션 점수와 실제 정답 예측에 대한 토큰의 기여도 (contribution) 간의 상관관계가 모호함을 지적합니다. Figure 1 에서 보듯, 높은 어텐션 점수를 받은 토큰이 반드시 질문 해결에 중요한 영역 (예: 남성의 옷차림) 을 나타내지 않을 수 있으며, 이는 '비주얼 어텐션 싱크 (Visual Attention Sink)' 현상 등으로 인해 최적의 압축을 방해합니다.
• 목표: 비디오 토큰의 압축을 수동적인 보존에서 정답 예측에 대한 기여도를 기반으로 한 능동적인 최적 토큰 조합 탐색으로 전환하는 것입니다.

2. 제안 방법론 (Methodology)

저자들은 **CaCoVID (Contribution-aware token Compression for VIDeo understanding)**를 제안하며, 이는 강화 학습 (Reinforcement Learning) 기반의 프레임워크를 핵심으로 합니다.

A. 기여도 인식 토큰 압축 정책 네트워크 (Contribution-aware Token Compression Policy Network)

• 구조: 비디오 토큰과 질문 토큰 간의 상호작용을 학습하는 자기 어텐션 (Self-attention) 레이어와 두 개의 MLP(MLP_t, MLP_f) 로 구성됩니다.
• 작동 원리:
  1. 비디오 토큰과 질문 토큰을 입력받아 크로스 모달 상호작용을 수행합니다.
  2. 각 비디오 토큰과 프레임이 정답 예측에 기여하는 정도를 2 차원 로짓 (logits) 으로 추정합니다.
  3. 두 채널의 차이값을 통해 토큰/프레임의 **기여도 점수 (Contribution Score)**를 산출합니다.
  4. 추론 시, 기여도가 높은 토큰과 프레임을 선택하여 LLM 에 입력합니다.

B. 온라인 조합 공간 샘플링을 통한 조합 정책 최적화 (Combinatorial Policy Optimization with OCSS)

• 도전 과제: $n$개의 비디오 토큰 중 최적의 조합을 찾는 탐색 공간은 $2^n$으로 매우 커서, 기존 강화 학습의 무작위 샘플링이나 순차적 탐색은 비효율적이고 발산하기 쉽습니다.
• 해결책: 온라인 조합 공간 샘플링 (OCSS, Online Combinatorial Space Sampling)
  1. 하위 공간 분할: 정책 네트워크가 추정한 기여도 점수로 토큰을 정렬한 후, 유사한 기여도를 가진 토큰들을 묶어 여러 개의 조합 하위 공간 (Combinatorial Sub-spaces) 으로 나눕니다.
  2. 2 단계 샘플링:
     • 1 단계: 각 하위 공간의 총 기여도 점수에 따라 확률적으로 하위 공간을 선택 (Categorical Distribution).
     • 2 단계: 선택된 하위 공간 내에서 토큰들을 다항 분포 (Multinomial Distribution) 를 통해 샘플링하여 최종 토큰 조합을 생성합니다.
  • 효과: 무작위 탐색 대신 유망한 조합 영역을 집중적으로 탐색하여 탐색 공간을 획기적으로 줄이고 정책 수렴 속도를 가속화합니다.

C. 데이터 탐색 효율성 향상 전략

• 무효 샘플 필터링 (ISF): 비디오 없이도 정답을 맞출 수 있는 단순한 질문을 제거하여 정책 네트워크 학습의 노이즈를 줄입니다.
• 경험 재플레이 (Experience Replay): 각 샘플을 여러 번 반복하여 다양한 토큰 조합을 탐색할 기회를 제공합니다.
• 동적 샘플 비율 (DSR): 학습 중 평균 보상이 높으면 샘플 비율을 줄이고, 낮으면 늘려 난이도에 따른 적응적 탐색을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 RL 기반 비디오 토큰 압축 알고리즘: 정답 예측에 대한 기여도를 직접 추정하여 토큰을 순위 매기고 제거하는 최초의 강화 학습 기반 프레임워크 (CaCoVID) 를 제안했습니다.
2. 혁신적인 조합 최적화 알고리즘: 온라인 조합 공간 샘플링 (OCSS) 을 도입하여 비디오 토큰 조합의 탐색 공간을 대폭 축소하고 정책 최적화의 수렴 속도를 가속화했습니다.
3. SOTA 성능 달성: 다양한 비디오 이해 벤치마크 (LongVideoBench, MLVU, VideoMME) 에서 기존 최첨단 방법론들 (FastV, VisionZip, DivPrune 등) 보다 낮은 지연 시간 (latency) 으로 더 높은 정확도를 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • LLaVA-OneVision-7B 및 Qwen2.5-VL-3B 모델에서 10%~25% 의 토큰 유지 비율 (Retention Ratio) 로 실험을 수행했습니다.
  • CaCoVID는 모든 유지 비율에서 기존 방법론들 (FastV, VisionZip, DivPrune 등) 보다 평균 정확도 (Avg. Acc.) 에서 우위를 보였습니다.
  • 예: LLaVA-OneVision-7B 에서 25% 유지 시, CaCoVID 는 55.8% 의 정확도를 기록하여 기존 SOTA(55.1%) 를 상회했습니다.
• 압축 효율성:
  • 압축 시간: CaCoVID 는 병렬 기여도 추정을 통해 압축 지연 시간을 크게 단축했습니다. (예: LLaVA-OneVision 기준, DivPrune 134.3ms 대비 CaCoVID 11.2ms).
  • LLM 전처리 시간: 압축 후 LLM 에 입력되는 토큰 수가 줄어들어 전체 추론 시간을 단축했습니다.
• Ablation Study:
  • OCSS 전략이 무작위 샘플링이나 다항 분포 샘플링보다 성능이 월등히 우수함을 입증했습니다.
  • 프레임별 기여도에 따라 토큰 할당량을 동적으로 조절하는 전략 (FrameAda) 이 고정 비율 할당보다 성능이 좋았으며, 시공간 구조를 유지하기 위한 보충 토큰 추가 (FrameAda+ST) 가 추가적인 향상을 가져왔습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 기존 토큰 압축이 "어떤 토큰이 중요한가 (Attention)"에 집중했다면, CaCoVID 는 **"어떤 토큰 조합이 정답을 도출하는가 (Contribution)"**에 초점을 맞춘 능동적인 학습 패러다임을 제시했습니다.
• 실용성: LLM 자체를 재학습 (Retraining) 시키지 않고, 작은 정책 네트워크만 학습시켜 기존 모델의 추론 효율성을 극대화할 수 있어 실제 배포에 매우 유리합니다.
• 확장성: 제안된 OCSS 및 강화 학습 프레임워크는 비디오뿐만 아니라 다른 시퀀스 기반의 대규모 모델 압축 문제에도 적용 가능한 잠재력을 가지고 있습니다.

요약하자면, CaCoVID 는 비디오 이해를 위한 토큰 압축의 한계를 깨고, 강화 학습을 통해 질문 해결에 실제로 기여하는 토큰을 지능적으로 선별함으로써 높은 정확도와 낮은 계산 비용을 동시에 달성한 획기적인 연구입니다.