Rethinking Token Reduction for Large Vision-Language Models

1. 문제 정의 (Problem)

배경:
대형 비전 - 언어 모델 (LVLMs) 은 이미지와 텍스트를 결합하여 시각적 이해와 추론 능력을 갖추고 있습니다. 최근 모델들은 더 정교한 시각적 이해를 위해 전역 (global) 및 로컬 (local) 뷰를 통합하는 멀티스케일 비전 입력을 사용하며, 이로 인해 생성되는 시각 토큰 (visual tokens) 의 수가 급증했습니다.

핵심 문제:

1. 높은 추론 비용: 시각 토큰 수의 증가는 어텐션 메커니즘의 $O(n^2)$ 복잡도로 인해 메모리 및 계산 비용을 크게 증가시켜, 저지연 또는 리소스 제약 환경에서의 배포를 어렵게 만듭니다.
2. 기존 방법의 한계 (MT-VQA): 기존 토큰 축소 방법들은 주로 단일 턴 질문 답변 (Single-turn VQA) 에 최적화되어 있습니다. 그러나 실제 응용인 **멀티턴 비전 질문 답변 (MT-VQA)**에서는 다음과 같은 문제가 발생합니다.
   • 프롬프트 의존성 (Prompt-dependent): 초기 질문 프롬프트에 맞춰 토큰을 선택하는 방식 (예: FastV) 은 이후 턴에서 중요해질 수 있는 이미지 영역 (예: 배경) 의 정보를 미리 삭제하여 성능 저하를 초래합니다.
   • 휴리스틱 기반의 비효율성 (Prompt-agnostic): 프롬프트와 무관하게 이미지 토큰만 기반으로 축소하는 방식 (예: PruMerge) 은 존재하지만, [CLS] 토큰 어텐션 점수나 프롬프트 토큰 어텐션과 같은 휴리스틱 기준에 의존합니다. 논문은 이러한 휴리스틱이 최적의 축소 전략이 아님을 증명합니다.

2. 제안 방법: MetaCompress (Methodology)

저자들은 휴리스틱에 의존하지 않고, 학습 기반의 프롬프트 무관 (prompt-agnostic) 토큰 축소 방법인 MetaCompress를 제안합니다.

핵심 아이디어:

• 학습 가능한 압축 매핑: 토큰 축소 (가지치기 또는 병합) 를 입력 시각 토큰의 최적 압축 매핑 (Compression Mapping) 을 찾는 최적화 문제로 재정의합니다.
• 휴리스틱의 부재: 기존 방법들이 사용하는 어텐션 점수 (Attention Scores) 를 축소 기준으로 사용하지 않습니다. 실험 결과, 학습된 행렬이 유지하는 토큰들은 높은 어텐션 점수를 가진 토큰과 큰 상관관계가 없음을 발견했습니다.

아키텍처 및 학습 전략:

1. 메타 생성기 (Meta Generator, $P_{meta}$):

   • 입력 이미지 시퀀스 ($X_{IMG}$) 만을 조건으로 하여 압축 행렬 $P$를 생성하는 경량 모듈입니다.
   • 다양한 해상도와 토큰 길이에 적응하기 위해 위치 임베딩, 쿼리 다운샘플링, 키 프로젝션, 가중 내적 계층으로 구성됩니다.
   • 수식: $P = \sigma(\tilde{X}_q \text{diag}(\omega) X_k^\top / \sqrt{d_c})$
   • 이 방식은 LLM 디코더 직전에 적용되어 추가적인 어텐션 계산을 최소화합니다.

2. 데이터 효율적 학습 패러다임:

   • 목표 함수: 원본 토큰 시퀀스와 압축된 토큰 시퀀스를 입력했을 때 LLM 이 생성하는 응답 분포 간의 **KL 발산 (KL Divergence)**을 최소화합니다.
   • 정규화:
     • Entropy Loss: 압축 행렬의 희소성을 유도하여 불필요한 토큰 삭제를 장려합니다.
     • Collapse Regularization: 모든 압축 토큰이 동일한 입력 소스에서 유래하는 '붕괴 (Collapse)' 현상을 방지하기 위해 최대값을 제한합니다.
   • 학습 데이터: 전체 모델 파인튜닝이 아닌, 소량의 데이터 (약 2 만 개) 로만 MetaCompress 모듈을 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. MT-VQA 시나리오에서의 토큰 축소 재정의: 멀티턴 대화 환경에서 휴리스틱 기반 (어텐션 점수 등) 의 축소 방법이 최적이지 않음을 최초로 규명하고, 이를 학습 기반 접근법으로 대체할 필요성을 제시했습니다.
2. MetaCompress 제안: 프롬프트에 의존하지 않고, 데이터 기반으로 최적의 압축 매핑을 학습하는 새로운 토큰 축소 방법을 제안했습니다. 이는 기존 휴리스틱의 한계를 극복합니다.
3. 효율적이고 강력한 일반화: 데이터 효율적인 학습 패러다임을 통해 다양한 LVLM 아키텍처 (LLaVA-1.5, LLaVA-NeXT, XComposer 등) 와 다양한 MT-VQA 벤치마크에서 우수한 효율성 - 정확도 트레이드오프를 달성했습니다.

4. 실험 결과 (Results)

벤치마크: MT-VQA-v2, MT-GQA, ConvBench (3 가지 멀티턴 벤치마크).
모델: LLaVA-1.5 (7B/13B), LLaVA-NeXT (7B/13B), InternLM-XComposer-2.5 (7B).

성능 비교:

• 정확도: 90% 토큰 축소율 (Reduction Rate) 에서 MetaCompress 는 모든 모델과 벤치마크에서 기존 방법 (Random, Sample, FastV, PruMerge) 보다 일관되게 높은 정확도를 기록했습니다.
  • 예: LLaVA-1.5-13B 기준, MetaCompress 는 평균 72.94% 정확도를 기록하여 PruMerge(70.68%) 보다 약 2.26%p 높았습니다.
• 효율성: 토큰 축소로 인해 첫 번째 토큰 생성 시간 (TTFT) 과 전체 생성 시간 (E2ET) 이 크게 단축되었으며, GPU 메모리 사용량도 감소했습니다. MetaCompress 는 단순 샘플링 (Sample) 과 유사한 효율성을 유지하면서 정확도는 크게 향상시켰습니다.
• 전송 학습 (Transferability): MT-GQA 에서 학습된 모델을 MT-VQA-v2 나 ConvBench, 심지어 비디오 질문 답변 (MT-Video-MME) 과 같은 다른 데이터셋에 적용했을 때도 뛰어난 성능을 유지하여 강력한 일반화 능력을 입증했습니다.

시각화 분석:

• 학습된 압축 행렬을 시각화한 결과, 유지된 토큰들이 높은 어텐션 점수를 가진 토큰과 일치하지 않음이 확인되었습니다. 이는 어텐션 기반 휴리스틱이 실제로는 중요한 정보를 놓칠 수 있음을 의미합니다.

5. 의의 및 결론 (Significance)

이 논문은 LVLM 의 효율성 향상을 위한 토큰 축소 분야에서 중요한 전환점을 제시합니다.

• 휴리스틱의 탈피: 단순히 어텐션 점수나 인간의 선입견에 의존하던 기존 접근법의 한계를 지적하고, 데이터 기반 학습을 통해 최적의 압축 전략을 자동으로 학습할 수 있음을 증명했습니다.
• 실용성: 멀티턴 대화와 같은 복잡한 실제 시나리오에서도 작동하며, 다양한 모델 아키텍처에 쉽게 적용 가능합니다.
• 자원 효율성: 전체 모델을 파인튜닝하지 않고도 소량의 데이터로 경량 모듈만 학습하여 높은 성능을 얻을 수 있어, 리소스가 제한된 환경에서의 LVLM 배포에 큰 기여를 할 것으로 기대됩니다.

결론적으로, MetaCompress는 멀티턴 비전 - 언어 작업에서 계산 비용을 획기적으로 줄이면서도 정확도를 유지하는 새로운 표준을 제시하는 방법론입니다.