기술 요약: TOPS - 제1원리에 기반한 시각적 토큰 프루닝 (First-Principles Visual Token Pruning)

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 추론 및 이해 측면에서 상당한 진전을 이루었으나, 높은 계산 및 메모리 오버헤드 문제를 겪고 있습니다. 이러한 비효율성은 토큰화 과정에서 생성되는 방대한 양의 시각적 토큰으로부터 기인하며, 이들은 모든 트랜스포머 레이어를 통과하며 처리됩니다. 셀프 어텐션 메커니즘은 시퀀스 길이에 따라 제곱 비례로 증가하기 때문에, 고해상도 이미지와 비디오 입력은 상당한 병목 현상을 초래합니다.

기존의 시각적 토큰 프루닝 방법들은 중복된 토큰을 제거함으로써 이를 완화하려고 시도하지만, 원칙적인 목적 함수보다는 **휴리스틱 점수 산정 방식(heuristic scoring schemes)**에 의존합니다. 현재의 접근 방식은 크게 세 가지 범주로 나뉘며, 각각 구체적인 한계를 가집니다:

• 어텐션 기반 방법 (Attention-based methods): 높은 어텐션 점수를 가진 토큰을 유지하지만, 종종 의미론적으로 중복된 토큰을 보존합니다.
• 다양성 기반 방법 (Diversity-based methods): 의미적 분산을 장려하지만, 사용자 지시문(instruction)에 무관할 수 있어 작업에 필수적인 증거를 유실할 가능성이 있습니다.
• 결합 방법 (Combined methods): 여러 기준을 통합하지만, 토큰 프루닝의 본질적인 목적에 대한 근본적인 정식화가 부족하며, 특정 기준이 왜 충분한지에 대한 이론적 근거 없이 단순히 순위 결정 문제로만 취급합니다.

2. 방법론: 제1원리 기반 정식화 (First-Principles Formulation)

저자들은 정보 이론을 사용하여 제1원리 관점에서 도출된, 학습이 필요 없고 모델 불가지론적인(model-agnostic) 프루닝 모듈인 **TOPS (Token Optimal Preservation Sets)**를 제안합니다.

2.1 이론적 기초

토큰 프루닝의 핵심 목적은 전체 시각적 토큰 집합 $V$의 부분 집합 $S \subseteq V$ (단, $|S| \le K$)를 찾아, 해당 부분 집합과 시각적 토큰 및 텍스트 쿼리 $Q$의 결합 분포 사이의 상호 정보량(mutual information)을 최대화하는 것입니다:
$$\max_{S \subseteq V, |S| \le K} I(S; V, Q)$$

저자들은 상호 정보량의 연쇄 법칙(chain rule)을 적용하여, 이 목적 함수를 세 가지 근본적인 원칙으로 분해합니다:

1. 작업 관련성 (Task Relevance, $I(S; Q)$): 부분 집합은 사용자의 쿼리에 대해 유익한 정보를 담고 있어야 합니다.
2. 정보 커버리지 (Information Coverage, $I(S; V | Q)$): 부분 집합은 쿼리가 주어졌을 때 원래의 시각적 집합 $V$에 대한 충분한 정보를 보존해야 하며, 조건부 엔트로피 $H(V | S, Q)$를 최소화해야 합니다.
3. 의미적 다양성 (Semantic Diversity): 조건부 상호 정보량의 상한선으로부터 도출된 이 원칙은, 고정된 예산 내에서 선택된 토큰들은 정보 이득을 극대화하기 위해 이미 선택된 토큰들과 의미적으로 구별되어야 함을 규정합니다.

2.2 TOPS 알고리즘

TOPS는 각 프루닝 시점에서 최적의 토큰 부분 집합을 탐욕적(greedy)으로 구성합니다. 과정은 다음과 같습니다:

1. 점수 산정 (Scoring): 각 후보 토큰 $i$에 대해 알고리즘은 다음을 계산합니다:
   • 작업 관련성 ($r_i$): 텍스트-레이터 어텐션(또는 초기 단계의 CLS 어텐션)을 통해 추정합니다.
   • 정보 커버리지 ($c_i$): 후보와 남은 미선택 토큰들 사이의 최대 유사도를 기반으로 계산하되, 이미 선택된 토큰들과의 유사도에 의해 조정됩니다.
   • 의미적 다양성 ($d_i$): $1 - \max_{j \in S} \text{sim}(h_i, h_j)$로 측정되며, 새로운 토큰이 현재 집합과 구별되도록 보장합니다.
2. 선택 (Selection): 알고리즘은 이 점수들을 하나의 정보 보존 점수로 결합합니다:
   $$\tilde{g}_{info_i} = \tilde{r}_i + \lambda \tilde{c}_i(U) + \alpha \tilde{d}_i(S)$$
   여기서 $\alpha$와 $\lambda$는 균형 계수입니다. 이 점수를 최대화하는 토큰이 부분 집합 $S$에 추가됩니다.
3. 다단계 파이프라인 (Multi-Stage Pipeline): 미세한 수준의 감소를 처리하기 위해 TOPS는 두 단계로 구현됩니다:
   • 1단계 (Stage I): 멀티모달 프로젝터 이후, LLM 이전에 적용됩니다. 거친 수준의 중복을 제거하기 위해 CLS 어텐션을 사용하여 관련성을 파악합니다.
   • 2단계 (Stage II): LLM 내부의 지정된 레이어에서 적용됩니다. 텍스트 인지적 정교화를 위해 LLM의 텍스트-투-비주얼 어텐션을 활용합니다.

3. 주요 기여

1. 제1원리 관점: 본 논문은 토큰 프루닝을 단순한 휴리스틱 순위 결정 문제가 아니라, 정보 이론에 근거한 최적 부분 집합 선택 문제로 재정의합니다.
2. 세 가지 근본 원칙: 효과적인 프루닝을 위한 필수 조건으로서 작업 관련성, 정보 커버리지, 의미적 다양성을 식별하고 정식화했습니다.
3. TOPS 모듈: 동적으로 토큰 최적 보존 집합을 구축하는 플러그 앤 플레이(plug-and-play), 학습 불필요(training-free), 모델 불가지론적(model-agnostic) 프루닝 알고리즘을 제공합니다.
4. 광범 ***한 검증***: 7개의 MLLM 백본(LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL, InternVL3, LLaVA-Video 포함)과 14개의 다양한 벤치마크를 통한 포괄적인 실험을 수행했습니다.

4. 실험 결과

저자들은 TOPS가 다양한 압축 비율과 모델 아키텍처에 대해 기존의 최첨단 방법들(예: FastV, VisionZip, DivPrune, SCOPE)을 일관되게 능가한다고 보고합니다.

• LLaVA-NeXT: 7B 모델에서 TOPS는 원래 성능의 **100.0%**를 유지하면서 시각적 토큰의 **77.8%**를 제거합니다. 더 높은 압축률(88.9% 및 94.4% 감소)에서도 각각 99.1% 및 96.4%의 성능을 유지합니다.
• LLaVA-1.5: 77.8% 압축 시, TOPS는 98.3%의 성능을 유지하여 차순위 방법인 SCOPE보다 0.5% 높았습니다. 극단적인 압축(94.4% 감소, 32개 토큰 잔류) 상황에서도 94.6%의 성능을 유지합니다.
• 고급 아키텍처: Qwen2.5-VL-7B 및 InternVL3-8B에서 TOPS는 테스트된 모든 프루닝 비율에 대해 가장 높은 정확도를 달성하여, 아키텍처 불가지론적 효과를 입증했습니다.
• 비디오 이해: 64개 프레임을 사용하는 LLaVA-Video에서, TOPS는 62.1%의 토큰 감소 시 98.4%의 성능을, 90.5% 감소 시 92.3%의 성능을 유지하며 FastV와 같은 베이스라인을 크게 앞질렀습니다.
• 효율성: TOPS는 베이스라인 대비 거의 10배의 FLOPs 감소를 달성하고 GPU 메모리 사용량을 1.9GB 줄였으며, 프리필(prefill) 지연 시간을 크게 개선했습니다.
• 환각 완화 (Hallucination Mitigation): 특히 HallusionBench에서 TOPS는 환각에 대한 더 강한 저항력을 보여주는데, 이는 중복된 토큰을 제거하는 것이 때때로 추론의 충실도를 향상시킬 수 있음을 시사합니다.

5. 의의 및 주장

본 논문은 효과적인 토큰 프루닝이 단순히 휴리스틱한 중요도 점수에 의존해서는 안 되며, 작업 관련적이고, 대표적이며, 중복되지 않은 시각적 정보를 공동으로 보존해야 한다고 주장합니다. 토큰 프루닝을 정보 이론적 최적화 문제로 정식화함으로써, TOPS는 효율적인 멀티모달 추론을 위한 원칙적인 토대(principled foundation)를 제공합니다.

저자들은 공격적인 프루닝이 때때로 환각을 완화할 수 있다는 점을 언급하며, 본 연구가 향후 경량 MLLM 설계에 가이드를 제공할 것이라고 제안합니다. 그러나 저자들은 탐욕적 구성 루프($O(KN)$)의 계산 오버헤드, 관련성 신호를 위한 어텐션 메커니즘에 대한 의존성, 레이어 및 작업 전반에 걸친 고정된 하이퍼파라미터 사용 등의 한계점을 인정합니다. 또한, 이 프레임워크가 의료 영상이나 밀집 캡셔닝(dense captioning)과 같이 매우 전문화된 영역에서는 아직 체계적으로 평가되지 않았음을 명시합니다.