기술 요약: MLLM을 위한 사전 확률 교정 토큰 감소 (Prior-Corrected Token Reduction)

문제 정의

멀티모달 대규모 언어 모델(MLLM)은 이미지를 긴 시각적 토큰 시퀀스로 변환하며, 이는 특히 고해상도 이미지와 비디오의 경우 상당한 추론 비용을 초래합니다. 기존의 훈련 불필요(training-free) 방식들은 텍스트-시각 어텐션 점수를 기반으로 중복된 시각적 토큰을 제거하여 추론을 가속화하지만, 본 논문은 이러한 방식들의 근저에 깔린 가정—즉, 어텐션 크기가 지시어(instruction)에 조건화된 의미적 관련성을 신뢰성 있게 반영한다는 가정—에 심각한 결함이 있음을 지적합니다.

저자들은 MLLM이 강력한 **모델 유도 사전 확률(model-induced prior)**을 보인다는 점을 입증했습니다. 텍스트 지시어가 없는 상황에서도 모델은 특정 작업 불가지론적(task-agnostic)이고 시각적으로 두드러진 영역(예: 고대비 배경 또는 질감이 있는 영역)에 높은 어텐션을 할당하는 경향이 있습니다. 만약 프루닝(pruning)이 절대적인 어텐션 점수에 의존한다면, 이 사전 확률이 순위에 지배적인 영향을 미치게 됩니다. 결과적으로, 지시어 특유의 결정적 증거를 포함하는 토큰은 억제되어 버려지는 반으로, 무관한 배경 토큰은 유지되는 현상이 발생합니다. 이 문제는 공격적인 토큰 예산(aggressive token budgets) 하에서 특히 심각하며, 잘못된 선택은 올바른 추론에 필요한 시각적 증거를 돌이킬 수 없이 제거하게 됩니다.

방법론: PriorTR

이를 해결하기 위해 저자들은 작업 조건부 어텐션과 모델 유도 사전 확률을 명시적으로 분리하는 훈련 불필요 방식인 PriorTR(Prior-Corrected Token Reduction)을 제안합니다.

핵심 개념: V-사용 가능 정보 (V-Usable Information)

PriorTR은 토큰 선택을 모델의 내재적 편향을 넘어 추가적인 사용 가능 정보를 기여하는 토큰을 식별하는 문제로 재정의합니다. 이 방식은 관찰된 사후 확률 어텐션 $P_\theta(v | X)$ (지시어 $X$에 조건화됨)를 다음 두 가지 구성 요소로 분해합니다:

1. 모델 유도 사전 확률 ($Q_\theta(v)$): 지시어가 존재하지 않을 때(또는 null 지시어가 사용될 때)의 어텐션 분포.
2. 의미적 리프트 (Semantic Lift, $L(v, X)$): 지시어에 의해 구체적으로 유도된 중요도의 승수적 증가분.

이 방법은 다음과 같이 정의된 **점별 V-정보 (Pointwise V-Information, PVI)**를 기준으로 토큰 점수를 매깁니다:
$$\text{PVI}(v) = \log \frac{P_\theta(v | X)}{Q_\theta(v)}$$
확률이 미미한 토큰이 선택되지 않도록 하기 위해, 최종 중요도 점수($S_{\text{PriorTR}}$)는 사후 질량(posterior mass)과 로그 비율을 결 조합합니다:
$$S_{\text{PriorTR}}(v_i) = P_\theta(v_i | X) \cdot \log \left( \frac{P_\theta(v_i | X)}{Q_\theta(v_i)} \right)$$
토큰은 이 점수에 따라 순위가 매겨지며, 상위 $K$개가 유지됩니다.

효율적인 단일 패스(Single-Pass) 구현

PriorTR의 핵심 혁신은 모델을 두 번 실행하는 오버헤드 없이 단일 순방향 패스(single forward pass) 내에서 사전 확률과 사후 확률을 모두 추정할 수 있다는 점입니다.

• 탐침으로서의 Null 토큰: 이 방법은 자기회귀 디코더(autoregressive decoder)의 인과적 어텐션 구조를 활용합니다. 시각적 토큰 바로 뒤, 지시어 토큰 앞에는 'null 토큰'(예: \n과 같은 구분자)을 배치합니다.
• 인과적 마스킹 (Causal Masking): 인과적 마스킹 덕분에 null 토큰은 후속 지시어 토큰을 어텐션할 수 없습니다. 따라서 null 토큰의 시각 시퀀스에 대한 어텐션 분포는 자연스럽게 지시어 불가지론적 사전 확률($Q_\theta$)을 나타냅니다.
• 동시 추출: 동일한 어텐션 블록 내에서, 실제 지시어 토큰이 시각 시퀀스에 가하는 어텐션은 작업 조건부 사후 확률($P_\theta$)을 제공합니다.
• 물리적 프루닝 (Physical Pruning): 단순히 토큰을 마스킹하는 다른 방식들과 달리, PriorTR은 선택되지 않은 은닉 상태(hidden states)와 KV-캐시 항목을 물리적으로 제거합니다. 이를 통해 후속 레이어가 실제로 단축된 시퀀스 상에서 동작하도록 하여, 메모리와 연산량의 실질적인 감소를 보장합니다.

주요 기여

1. 모델 유도 사전 확률의 식별: 저자들은 어텐션 기반 프루닝이 종종 지시어 불가지론적인 돌출 패턴에 의해 지배되어, 엄격한 예산 하에서 작업 관련 토큰을 억제한다는 관찰 결과를 공식화했습니다.
2. PriorTR 알고리즘: 원시 어텐션 크기가 아닌 "V-사용 가능 정보"(사전 확률 대비 의미적 리프트)를 기준으로 시각적 토큰의 순위를 매기는 훈련 불필요 토큰 감소법을 제안했습니다.
3. 효율적인 단일 패스 설계: 단일 순방향 패스 내에서 null 토큰 탐침을 사용하여 사전 확률을 추정함으로써, 중복된 전파 없이 물리적 프루닝과 실질적인 추론 가속화를 가능하게 하는 구현을 제시했습니다.
4. 실증적 검증: 여러 MLLM(LLaVA-1.5, Qwen3-VL)과 벤치마크(이미지 및 비디오 이해)에 대해 PriorTR이 정확도-효율성 트레이드오프를 일관되게 개선함을 광범위한 실험을 통해 입증했습니다.

실험 결과

본 논문은 LLaVA-1.5-7B, LLaVA-1.5-13B, Qwen3-VL-8B를 사용하여 12개의 멀티모달 벤치마크(GQA, MME, MMB, POPE 및 비디오 QA 작업 포함)에서 PriorTR을 평가했습니다.

• 정확도 대 효율성: PriorTR은 강력한 훈련 불필요 베이스라인들(FastV, PDrop, SparseVLM, VisPruner, PruMerge)을 일관되게 능가합니다.
  • LLaVA-1.5-7B에서 64개의 토큰을 유지했을 때(88.9% 감소), PriorTR은 평균 **94.5%**의 정확도를 달성하여 FastV(70.7%)와 VisPruner(91.7%)보다 현저히 높았습니다.
  • Qwen3-VL-8B에서 11.1%의 토큰 비율로 작동할 때, PriorTR은 **87.8%**의 상대적 성능을 달성하여 베이스라인인 FastV(75.5%)를 앞질렀습니다.
• 비디오 이해: Video-LLaVA에서 PriorTR은 토큰 병합(token merging)과 결합했을 때 GPT 평가 기준으로는 압축되지 않은 베이스라인과 거의 유사한 정확도(38.7% vs 38.7%)를 보였으며, Gemini 평가 기준으로는 SparseVLM을 능가하며 베이스라인을 넘어섰습니다.
• 효율성 이득: PriorTR은 상당한 속도 향상(LLaVA-1.5-7B에서 최대 2.21배)을 달성했으며, KV 캐시 메모리 사용량을 토큰 감소량에 비례하여 줄임으로써 물리적 프루닝이 계산 부하를 효과적으로 낮춘다는 것을 확인했습니다.
• 절제 연구 (Ablation Studies): 점수 함수 비교를 통해 제안된 $P \cdot \log(P/Q)$ 공식이 단순 차이($P-Q$), 로그 비율($\log(P/Q)$), 또는 원시 사후 확률($P$)과 같은 대안들보다 우수함을 보여주었으며, 이는 관련성 크기와 상대적 리프트를 공동으로 고려하는 것의 필요성을 입증합니다.

의의

본 논문은 PriorTR이 내재적 돌출도(saliency)와 작업 주도적 관련성을 분리함으로써 효율적인 멀티모달 추론을 위한 원칙적인 방향을 제시한다고 주장합니다. 모델 유도 사전 확률을 교정함으로써, PriorTR은 토큰 선택이 시각적 지배력이 아닌 지시어에 조건화된 의미론에 의해 주도되도록 보장합니다. 이 접근 방식은 공격적인 토큰 압축 하에서도 높은 정확도를 유지하는 견고하고 즉시 적용 가능한(plug-and-play) 솔루션을 제공하며, 현재의 어텐션 기반 프루닝 전략의 근본적인 한계를 해결합니다. 저자들은 이 방법이 기존 방식들과 직교(orthogonal)하며, 기존 방식들과 원활하게 통합될 수 있음을 강조합니다.