AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding

1. 문제 정의 (Problem Statement)

멀티모달 대규모 언어 모델 (MLLM) 은 짧은 영상 클립에 대한 질문 응답 및 지시 따르기에서 뛰어난 성능을 보이지만, 긴 영상 (Long Video) 이해에는 여전히 큰 한계가 있습니다.

• 메모리 및 컨텍스트 길이 제한: 시간당 영상과 같은 긴 입력을 처리하려면 방대한 양의 시각 토큰이 생성되어 모델의 메모리 용량과 컨텍스트 윈도우 길이를 초과합니다.
• 기존 방법의 한계:
  • 프레임 단위 선택: 텍스트 프롬프트와 시각적 내용을 기반으로 중요한 프레임을 선별하지만, 선택된 프레임 내에도 여전히 많은 불필요한 배경 정보가 포함되어 신호를 희석시킵니다.
  • 토큰 단위 선택: 기존 토큰 선택 방법들은 주로 짧은 클립 내부에서만 토큰의 중요도를 평가합니다. 이는 멀리 떨어진 영상 클립 간의 관련성을 비교할 수 있는 전역적 (Global) 기준이 부족하고, 모델이 충분한 정보를 얻었음에도 불구하고 모든 샘플링된 프레임을 처리하여 불필요한 연산이 발생한다는 문제가 있습니다.

2. 제안 방법: AdaptToken (Methodology)

저자들은 학습이 필요 없는 (Training-free) 프레임워크인 AdaptToken을 제안합니다. 이 방법은 MLLM 의 **자기 불확실성 (Self-uncertainty)**을 긴 영상 토큰 선택을 위한 전역 제어 신호로 활용합니다.

핵심 구성 요소

1. 그룹 기반 처리 및 전역 관련성 평가 (Group Relevance with Response Entropy):

   • 긴 영상을 여러 프레임 그룹 (Group) 으로 분할하여 메모리 병목 현상을 피합니다.
   • 각 그룹을 MLLM 에 입력하여 응답을 생성하고, **응답 엔트로피 (Response Entropy)**를 계산합니다.
   • 가설: 모델이 프롬프트와 관련된 명확한 증거를 포착하면 응답의 엔트로피가 낮아지고 (확신도가 높아짐), 관련성이 없는 그룹은 엔트로피가 높습니다. 이를 통해 각 그룹의 프롬프트 관련성을 정량화합니다.

2. 엔트로피 기반 전역 토큰 할당 (Entropy-guided Global Token Selection):

   • 전체 영상에 대한 토큰 예산 (Budget) 을 설정하고, 각 그룹의 엔트로피 점수 (확신도) 에 따라 그룹별 예산을 동적으로 할당합니다. (확신이 높은 그룹 = 더 많은 토큰 할당)
   • 각 그룹 내에서는 **교차 모달 어텐션 (Cross-modal attention)**을 사용하여 프롬프트와 가장 관련성이 높은 시각 토큰을 선별합니다.

3. 위치 인식 전역 토큰 제거 (Location-aware Global Token Removal):

   • 단순히 관련성만 고려하면 시간적으로 인접한 그룹들 사이에서 중복된 토큰이 선택될 수 있습니다.
   • 선택된 토큰 간의 코사인 유사도와 시간적 거리를 결합하여 유사도를 계산하고, 중복되는 토큰을 제거하여 토큰의 다양성과 시간적 커버리지를 보장합니다.

4. AdaptToken-Lite (조기 종료, Early Stopping):

   • 모델이 충분한 증거를 수집했을 때 (예: 연속된 여러 그룹에서 낮은 엔트로피가 관측될 때) 나머지 그룹의 처리를 중단합니다.
   • 이는 불필요한 연산을 줄여 추론 시간을 대폭 단축하면서도 성능을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 전역적 토큰 중요도 평가: 교차 모달 어텐션과 응답 엔트로피를 결합하여 긴 영상 이해를 위해 토큰의 중요도를 **전역적 (Global)**으로 평가하는 학습 불필요 프레임워크를 제안했습니다.
2. 효율적인 조기 종료: 응답 엔트로피를 활용하여 불필요한 영상 그룹 처리를 중단하는 메커니즘을 도입하여 추론 속도를 획기적으로 개선했습니다.
3. 광범위한 검증: 다양한 아키텍처와 규모 (7B~72B 파라미터) 의 MLLM 에 적용되었으며, 4 개의 긴 영상 벤치마크에서 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

저자들은 VideoMME, LongVideoBench, LVBench, MLVU라는 4 개의 주요 긴 영상 벤치마크에서 실험을 수행했습니다.

• 성능 향상:
  • Qwen2.5-VL 7B를 베이스로 했을 때, 기존 최첨단 방법들보다 평균 +6.7 포인트의 정확도 향상을 기록했습니다.
  • InternVL2.5 8B에서도 평균 +5.6 포인트 향상.
  • Qwen2.5-VL 72B와 같은 초대규모 모델에서도 기존 토큰 선택 방법들을 능가하는 성능을 보였습니다.
• 초장길이 영상 처리:
  • 10,000 프레임까지의 입력을 처리할 수 있으며, 프레임 수가 증가할수록 성능이 유지되거나 오히려 향상되는 것을 확인했습니다. (기존 방법들은 이 규모에서 'Haystack' 실험만 보고하는 경우가 많음)
• 효율성 (AdaptToken-Lite):
  • 추론 시간을 약 50% 단축하면서도 AdaptToken 전체 버전과 유사한 (혹은 더 나은) 정확도를 유지했습니다.
  • 예: VideoMME 에서 17.8 초 (전체) → 8.6 초 (Lite) 로 단축.
• 기존 방법 대비 우위:
  • 단순 투표 기반 (Voting) 방법론이나 기존 프레임 선택 방법들보다 전역적으로 정보 밀도가 높은 토큰을 선별하여 더 나은 성능을 달성했습니다.

5. 의의 및 결론 (Significance)

• 실용성: 별도의 미세 조정 (Fine-tuning) 없이 기존 MLLM 에 바로 적용 가능하여, 다양한 모델에 대한 확장성이 뛰어납니다.
• 자원 효율성: 긴 영상 이해에 필요한 막대한 컴퓨팅 자원과 메모리 비용을 줄이면서도 정확도를 높여, 실제 응용 (예: embodied AI, 웹 에이전트) 에의 적용 가능성을 높였습니다.
• 패러다임 전환: 단순히 프레임을 잘라내는 것을 넘어, 모델의 **불확실성 (Uncertainty)**을 입력 데이터의 관련성 판단과 계산 리소스 할당의 핵심 신호로 활용한다는 새로운 관점을 제시했습니다.

이 논문은 긴 영상 이해의 핵심 병목 현상인 메모리 및 계산 효율성 문제를 해결하면서도, 모델이 필요한 정보를 스스로 판단하여 처리하는 지능적인 토큰 선택 메커니즘을 성공적으로 구현했다는 점에서 의의가 큽니다.