기술 요약: 멀티모달 거대 언어 모델의 학습 불필요한 토큰 프루닝을 위한 토큰 경향성 포착

문제 정의

멀티모달 거대 언어 모델(MLLM)은 고해상도 이미지 및 다중 이미지 입력을 처리할 때 어텐션 메커니즘의 이차 복잡도(quadratic complexity)로 인해 상당한 계산 병목 현상에 직면합니다. 이는 과도한 수의 시각적 토큰을 생성하며, 결과적으로 효율적인 추론을 방해하는 심각한 중복성을 초래합니다.

기존의 학습 불필요(training-free) 토큰 프루닝 방식은 초기 레이어에서 토큰을 필터링하기 위해 정적이고 즉각적인 휴리스틱(예: 어텐션 기반 Top-$k$ 선택)에 의존합니다. 본 논문은 이러한 접근 방식의 결정적인 결함을 지적합니다. 즉, 토큰의 중요성을 고정된 단판 결정(single-shot decision)으로 취급한다는 점입니다. 그러나 MLLM은 토큰의 중요성이 레이어를 거치며 동적으로 진화하는 계층적 특성을 보입니다. 저수준 특징(low-level features)을 나타내는 얕은 레이어에서 중복되거나 활성화가 약하게 나타나는 시각적 토큰이, 더 깊은 레이어에서는 고수준 추론을 위한 핵심적인 요소가 될 수 있습니다. 정적 프루닝은 얕은 레이어의 추정치를 바탕으로 이러한 "늦게 피어나는(late-blooming)" 토큰들을 돌이킬 수 없이 폐기하며, 이는 필수적인 의미론적 단서의 손실과 특히 복잡한 추론 작업에서의 성능 저하를 야기합니다.

방법론: 경향성 인지 프루닝 (Trend-aware Pruning)

정적 프ру닝과 동적인 의미 진화 사이의 불일치를 해결하기 위해, 저자들은 토큰 프루닝을 로컬 스냅샷 결정이 아닌 시간적 궤적 모델링(temporal trajectory modeling) 문제로 재정의하는 학습 불필요 프레임워크인 **경향성 인지 프루닝(Trend-aware Pruning)**을 제안합니다. 이 프레임워크는 네 가지 핵심 구성 요소로 이루어져 있습니다:

1. 레이어별 토큰 수집기 (Layer-wise Token Collector):
   토큰을 개별적으로 평가하는 대신, 이 모듈은 슬라이딩 관찰 창($W$) 동안의 과거 어텐션 상태를 집계합니다. 이는 어텐션 점수의 단기 메모리 캐시를 유지하여, 시스템이 단순히 현재 값뿐만 아니라 토큰 중요성의 "모멘텀(momentum)"을 추적할 수 있도록 합니다.

2. 토큰 흐름 모델링 (Token Flow Modeling):
   이 방법은 관찰 창 내에서 어텐션 점수의 단계별 차이를 계산하여 토큰 흐름(Token Flow, $F_l$)을 산출합니다. 이는 표현의 변화 방향을 단일 레이어의 중요도 점수와 분리함으로써, 각 토큰의 동적인 진화를 효과적으로 포착합니다.

3. 적응형 흐름 식별 (Adaptive Flow Identification):
   토큰 흐름을 기반으로 토큰을 세 가지 진화 패턴으로 분류합니다:

   • 상승 경향 (Upward-trending): 어텐션 점수가 증가하는 토큰으로, 의미론적 중요성이 축적되고 있음을 나타냅니다.
   • 하락 경향 (Downward-trending): 점수가 감소하는 토큰으로, 무관성 또는 표현의 변화를 시사합니다.
   • 변동 경향 (Fluctuating): 레이어에 따라 맥락 관련 단서가 변동하는 패턴을 보이는 토큰입니다.

   시스템은 고정된 경험적 임계값이 아닌, 이러한 경향성에 기반한 분포 인식 적응형 임계값 전략을 사용하여 토큰을 선택합니다.

4. 흐름 활성화 및 동적 유지 (Flow Activation and Dynamic Retention):
   이는 가역적(reversible) 프루닝을 가능하게 하는 핵심 메커즘입니다. 이는 거친(coarse) 정적 Top-$k$ 프루닝(효율성을 위함)과 미세한 경향성 인지 활성화를 결합합니다. 결정적으로, 정적 Top-$k$에 의해 처음에 필터링되었으나 양의 의미론적 경향(상승 또는 변동)을 보이는 토큰들을 선택적으로 재활성화합니다. 이를 통해 얕은 레이어에서 저평가되었더라도 깊은 레이어의 추론에 필수적인 토큰들이 보존될 수 있도록 보장합니다.

주요 기여

• 프루닝의 재정의: 본 논문은 토큰 필터링을 정적인 단판 결정에서 시각적 토큰의 의미 진화를 명시적으로 모델링하는 동적인 교차 레이어 프로세스로 패러다임을 전환했습니다.
• 경향성 인지 프루닝 프레임워크: 토큰 폐기와 선택적 재활성화를 결과적으로 유도하는 새로운 방법을 제안합니다. 이는 깊은 레이어에서 의미론적 중요성이 나타나는 토큰을 동적으로 복구하는 메커니즘을 도입하여, 돌이킬 수 없는 시각적 단서 손실로 인한 성능 저하를 완화합니다.
• 학습 불필요 효율성: 이 접근 방식은 추가적인 학습이나 미세 조정 없이 즉시 적용 가능한 플러그 앤 플레이(plug-and-play) 방식으로, 다양한 MLLM 아키텍처에 적용 가능합니다.

실험 결과

저자들은 다양한 벤치마크(MME, GQA, POPE, SQA, MMBench 등)에서 여러 주류 MLLM(LLaVA 시리즈 및 Qwen2.5-VL)을 대상으로 Trend-aware Pruning을 평가했습니다.

• 효율성-성능 트레이드오프: 이 방법은 계산 비용을 크게 줄이면서도 우수한 성능 유지를 달려냅니다. 50% 프루닝 비율에서, 평균 성능의 **98.89%**를 유지하면서 FLOPs를 **55.10%**로 감소시켜 FastV, PDrop, SparseVLM과 같은 최신 기술(SOTA)보다 뛰어난 성능을 보였습니다.
• 공격적인 프루닝: 가장 공격적인 설정(77.8% 프루닝) 하에서도, 이 방법은 최종 레이어의 시각적 토큰 수를 약 23개(비교 대상 중 가장 낮은 수치)로 줄이면서도 경쟁력 있는 성능(평균 96.03% 유지)을 유지했습니다.
• 일반화 성능: 이 접근 방식은 다양한 모델 크기(0.5B, 7B, 13B)와 Qwen2.5-VL을 포함한 다양한 아키텍처에서 일관된 우수성을 입증했습니다. 특히 세밀한 디테일이 필요한 작업(예: OCRBench, InfoVQA)에서 정적 Top-$k$ 프루닝보다 크게 앞섰습니다.
• 절제 연구 (Ablation Studies): 모든 세 가지 경향(상승, 변동, 하락)을 모델링하는 것이 매우 중요하다는 점이 실험을 통해 확인되었습니다. 구체적으로, 상승 경향 토큰을 포함하는 것은 디테일 중심 작업의 성능을 크게 향상시키며, 변동 및 하락 토큰은 추가적인 정교함을 제공합니다.

의의 및 주장

본 논문은 Trend-aware Pruning이 고효율 멀티모달 추론을 위한 강건하고 가역적인 솔루션을 제공한다고 주장합니다. 토큰의 중요성이 고정된 것이 아니라 동적으로 진화한다는 점을 인정함으로써, 정적 방식이 필연적으로 폐기하게 되는 중요한 시각적 단서의 조기 손실을 방지합니다.

저자들은 자신들의 접근 방식이 레이어 간 토큰 역학 모델링의 중요성을 강조한다고 역설합니다. 그들은 단일 레이어의 중요성만으로는 시각적 토큰의 최종적인 의미 가치를 결정하기에 불충분하다고 주장합니다. 프루닝을 로컬 결정에서 시간적 궤적 문제로 격상함으로써, 이 방법은 보다 정밀하고 안정적인 프루닝 결정을 달성하여, 복잡한 추론 작업에 필요한 표현의 완전성을 희생하지 않으면서도 공격적인 토큰 감소를 가능하게 합니다.

이 연구는 가역적이고 표현 일관적인(representation-consistent) 프루닝 전략을 향한 단계로 제시되며, 재학습 없이 MLLM의 계산 병목 현상을 처리하는 새로운 관점을 제공합니다.