기술 요약: 멀티모달 대규모 언어 모델에서의 스펙트럼 진화 기반 토큰 프루닝 (Spectral Evolution-Guided Token Pruning in Multimodal Large Language Models)

1. 문제 정의

멀티모달 대규모 언어 모델(MLLM)은 시각적 추론과 대화 측면에서 상당한 발전을 이루었으나, 샘플당 수백에서 수천 개의 시각적 토큰을 처리해야 하는 높은 계산 비용 문제에 직면해 있습니다. 이러한 비효력성은 고해상도 이미지 및 비디오 시나리오에서 특히 두드나게 나타납니다.

기존의 토큰 프루닝(pruning) 방법들은 시각적 토큰의 중복성을 줄임으로써 이를 완화하려고 시도합니다. 그러나 현재의 접근 방식들은 일반적으로 특정 트랜스포머 레이어 내에서 계산된 어텐션 점수(attention scores), 특징량(feature magnitudes), 또는 유사도 지표와 같은 **단일 레이어 신호(single-layer signals)**에 의존합니다. 저자들은 이러한 방법들의 두 가지 결정적인 한계를 지적합니다:

1. 위치 편향(Positional Bias): 어텐션 점수는 실제 의미론적 중요성을 반영하기보다는, 위치 인코딩 효과로 인해 평탄화된 시퀀스의 후반부에 등장하는 토큰에 편향되는 경향이 있습니다.
2. 정적 표현(Static Representation): 단일 레이어 신호는 시각적 표현의 레이어 간 변환(cross-layer transformation) 과정을 간과합니다. MLLM에서 시각적 토큰은 LLM 디코더 레이어를 통과함에 따라 저수준의 공간적 세부 사항에서 고수준의 의미론적 추상화로 구조적인 진화를 거칩니다. 순간적인 신호는 이러한 역동적인 전이를 포착하지 못하여, 의미적으로 활발한 토큰을 제거하거나 중복된 배경 토큰을 유지하는 결과를 초래할 수 있습니다.

2. 방법론: 교차 레이어 스펙트럼 진화 (Cross-Layer Spectral Evolution, CLSE)

이러한 한계를 해결하기 위해, 저자들은 훈련이 필요 없는(training-free) 토큰 프루닝 프레임워크인 **교차 레이어 스펙트럼 진화(CLSE)**를 제안합니다. CLSE는 특정 시점의 특징량이나 어텐션 강도를 기준으로 토현 중요도를 측정하는 대신, 주파수 영역(frequency domain)에서 토큰 표현이 트랜스포머 레이어를 가로질러 어떻게 진화하는지를 정량화합니다.

핵심 메커니즘

이 방법은 의미론적으로 활발한 토큰은 레이어를 거치며 상당한 스펙트럼 재분배(고주파 구조적 세부 사항에서 저주파 의미론적 추상화로의 전이)를 겪는 반면, 중복된 배경 토큰은 주파수 영역에서 상대적으로 정체되어 있다는 관찰에 기반합니다.

CLSE 파이프라인은 다음 단계로 구성됩니다:

1. 주파수 투영(Frequency Projection): 특정 레이어 $\ell$에서의 시각적 토큰을 2D 공간 특징 맵으로 재구성하고, 고속 푸리에 변变换(FFT)을 사용하여 주파수 영역으로 변환합니다.
2. 하이패스 필터링(High-Pass Filtering): 가우시안 하이패스 필터를 스펙트럼에 적용하여 저주파 글로벌 패턴을 억제하고 고주파 구조 에너지를 격리합니다. 이를 통해 "잔여(residual)" 구조 정보를 추출합니다.
3. 스펙트럼 진화 계산: 인접한 레이어($\ell$ 및 $\ell+1$) 간의 고주파 에너지 분포의 정규화된 차이를 계산합니다.
   • $\mathbf{S}_\ell$을 레이어 $\ell$에서의 고주파 에너지의 공간 분포라고 할 때,
   • 진화 강도 $\mathcal{I}^{(\ell)}$는 다음과 같이 계산됩니다:
     $$\mathcal{I}^{(\ell)} = \text{clip}\left( \frac{|\mathbf{S}_{\ell+1} - \mathbf{S}_{\ell}|}{\mathbf{S}_{\ell} + \overline{\mathbf{S}}_{\ell} + \epsilon}, 0, \tau_{\max} \right)$$
   • 여기서 $\overline{\mathbf{S}}_{\ell}$은 토큰 전체의 평균 에너지이며, 비활성 영역에서의 미세한 변동을 억제하는 정규화 역할을 합니다.
4. 토큰 선택: 진화 강도 점수가 높은 토큰은 의미론적으로 활발한 것으로 간주하여 보존합니다. 점수가 낮은 토큰(정적인, 중복된 표현을 나타냄)은 제거(pruning)합니다.

통합

CLSE는 LLM 디코더의 초기 레이어(구체적으로 입력 임베딩과 첫 번째 디코더 레이어 출력 사이)에 통합됩니다. 이는 이후 레이어가 축소된 시퀀스를 처리하기 전에 토큰 선택을 가이드하는 플러그 앤 플레이(plug-and-play) 모듈 역할을 합니다. 이 프레임워크는 토큰 병합(token merging) 전략과 직교하며, 토큰 병합 전략(예: CLSE-M)과 결합될 수 있습니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. 교차 레이어 스펙트럼 진화 프레임워크 (CLSE): 단일 레이어 통계치를 넘어, LLM 레이어를 가로지르는 시각적 표현의 구조적 세부 사항에서 의미론적 추상화로의 진화를 특징짓는 새로운 토큰 중요도 추정 원리를 제시합니다.
2. 훈련이 필요 없는 프루닝 전략 (Training-Free Pruning Strategy): 모델 재학습이나 가중치 수정 없이 추론 과정에서 중복된 토큰을 식별하고 제거하는 실용적인 구현을 제공합니다. 이는 스펙트럼 역동성을 활용하여 유의미한 표현 변화를 보이는 토큰을 보존합니다.
3. 실증적 검증: 다양한 이미지 및 비디오 벤치마크에 대한 광범위한 실험을 통해, CLSE가 특히 공격적인 토큰 감소 비율 하에서도 효율성과 정확도 사이의 우수한 트레이드오프를 달성함을 입증했습니다.

4. 실험 결과

저자들은 여러 MLLM(LLaVA-1.5, LLaVA-Next, Qwen2-VL)과 벤치마크(GQA, MMB, POPE, SQA, VQAText 등)에서 CLSE를 평가했습니다.

이미지 이해

• 성능: LLaVA-1.5-7B에서 CLSE는 토큰을 192개만 유지했을 때(66.7% 감소) 전체 토큰 모델 대비 평균 **99.4%**의 정확도를 달ach성하였으며, 이는 FastV(92.1%) 및 PDrop(96.9%)과 같은 최신 기술(SOTA) 방법들을 능가하는 수치입니다.
• 공격적 감소: 88.9% 감소(64개 토큰)라는 극단적인 상황에서도 CLSE는 **94.8%**의 성능을 유지하며, 큰 성능 저하를 보인 경쟁 모델들과 확연한 차이를 보였습니다.
• 일반화: 이 방법은 다양한 모델 아키텍처(LLaVA-Next-7B, Qwen2-VL-7B/72B)에서 일관된 개선을 보여주었으며, 어텐션 기반 방법들이 실패하는 지점에서도 높은 정확도를 유지했습니다.

비디오 이해

• 극한 압축: Video-LLaVA에서 토큰을 2048개에서 194개로 압축했을 때(90% 이상 감소), CLSE는 GPT-4o-mini 평가 기준 **35.7%**의 평균 정확도를 기록하여 FastV(26.1%)보다 높은 성능을 보였습니다.
• 토큰 병합 변형 (CLSE-M): 제거된 토큰을 다시 호출하고 스펙트럼 점수를 기반으로 클러스터링함으로써, CLSE-M은 FLOPs를 약 90% 줄이면서도 바닐라 모델의 성능(38.7% 정확도)에 근접하는 결과를 얻었습니다.

효율성

• 계산 비용: CLSE는 FLOPs와 KV 캐시 메모리를 크게 줄입니다. LLaVA-1.5-7B에서 CLSE는 비교된 방법들 중 가장 낮은 FLOPs(43.9%)를 기록하며 프리필링(prefilling) 시간에서 1.50배의 속도 향상을 달성했습니다.
• 확장성: 가중치 추출을 위해 "Eager" 어텐션 계산(이차 복잡도 $O(N^2)$)이 필요한 어텐션 기반 프루닝과 달리, CLSE는 FFT에 의존하여 근사 선형 복잡도 $O(N \log N)$를 유지합니다. 이는 프루닝 메커니즘 자체의 오버헤드가 긴 시퀀스에서도 낮게 유지됨을 보장합니다.

5. 의의 및 주장

본 논문은 교차 레이어 스펙트럼 진화가 순간적인 어텐션이나 크기 기반 지표보다 토큰 중요성에 대해 더 신뢰할 수 있는 신호를 제공한다고 주장합니다.

• 편향 완화: 단일 레이어의 상태가 아닌 레이어를 가로지르는 표현의 변화를 분석함으로써, CLSE는 어텐션 점수에 내재된 위치 편향을 완화합니다.
• 의미론적 충실도: 이 방법은 MLLM 디코딩이 공간적 세부 사항에서 의미론적 추상화로 전환된다는 이론적 이해와 일치합니다. 이 전환에 적극적으로 참여하는(스펙트럼 진화를 보이는) 토큰은 보존되는 반면, 정적인 배경 토큰은 제거됩니다.
• 강건성: 이 접근 방식은 다양한 압축 수준과 모델 규모에 걸쳐 강건하며, 재학습 없이 MLLM을 가속화할 수 있는 안정적인 경로를 제공합니다.

저자들은 주파수 영역에서 표현 역동성을 모델링하는 것이 효율적인 멀티모달 추론을 위한 유망한 방향임을 결론지으며, MLLM에서의 스펙트럼 표현에 대한 추가적인 탐구를 권장합니다.