기술 요약: 대규모 시각-언어 모델을 위한 태스크 인지형 토큰 프루닝을 위한 디커플드 유사도 (Decoupled Similarity)

1. 문제 정의

대규모 시각-언어 모델(LVLMs)은 시각 및 언어 모달리티를 연결하는 데 있어 상당한 진전을 이루었으나, 상당한 계산 오버헤드 문제를 겪고 있습니다. 이러한 비효율성은 주로 시각적 토큰의 수가 텍스트 토큰보다 훨씬 많기 때문에 발생하며, 특히 고해解상도 이미지나 다중 프레임 비디오에서 두드로 나타납니다.

기존의 학습이 필요 없는(training-free) 토큰 프러닝 방법들은 정보가 적은 토큰을 제거함으로써 이를 완화하고자 합니다. 그러나 현재의 접근 방식은 일반적으로 다음과 같은 내재적 한계를 가진 두 가지 패러다임으로 나뉩니다:

• 시각 중심 프러닝(Visual-Centric Pruning): 시각 인코더의 어텐션 신호(예: [CLS] 어텐션)에 의존합니다. 이러한 방법들은 전역적 의미론(global semantics)과 돌출된 영역(salient regions)에 집중하는 경서가 있어, 미세한 국소적 세부 사항을 간과하고 특정 태스크 요구사항과 정렬되지 못하는 경향이 있습니다.
• 태스크 중심 프러닝(Task-Centric Pruning): 대규모 언어 모델(LLM) 디코더의 교차 모달 어텐션(cross-modal attention)에 의존합니다. 이러한 방법들은 태스크 가이드가 너무 늦게 도입되며(prefill 단계 중), 공간적 편향(예: 시퀀스 순서로 인해 이미지 하단 영역을 선호함)이나 토큰의 중요성을 충실히 반영하지 못하는 전역적 의미론적 편향을 보입니다.

식별된 핵심 문제는 기존 방법들이 편향되고 불완리한 개별 어텐션 소스에 의존함으로써, 시각적 세부 사항을 손실하거나 공격적인 프러닝 비율 하에서 태스크 관련 정보를 보존하지 못하는 최적화되지 않은 프러닝 결정을 내린다는 점입니다.

2. 방법론: DeSAP

저자들은 LLM 디코딩 전 단계에서 정밀하고 태스크 인지적인 시각 토큰 프러닝을 수행하도록 설계된 새로운 방법인 DeSAP(Decoupled Similarity-Aware Pruning)를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 구축되었습니다:

A. 경험적 분석 및 분해

경험적 연구를 통해 저자들은 다음을 관찰했습니다:

1. 시각 인코더의 전역 의미론적 편향이 일반적인 토크별 유사도 추정을 왜곡하여, 시각 토큰과 텍스트 토큰 사이의 불일치를 초래합니다.
2. 시각 인코더의 은닉 상태(hidden state)를 **잔차(residual)**와 어텐션(attention) 성분으로 분해하면, 디커플된 어텐션 성분이 잔차(전역) 성분보다 국소적 세부 사항과 미세한 의미론을 더 잘 보존한다는 것을 알 수 있습니다.

이를 바탕으로 DeSAP은 최종 레이어의 시각 은닉 상태($S^l_v$)를 다음과 같이 분해합니다:

• 디커플된 잔차 ($S^d$): 전역적 의미 패턴을 포착합니다.
• 디커플된 어텐션 ($A^d$): 국소적이고 미세한 의미 세부 사항을 포착합니다.

B. 미세 조정된 교차 모달 정렬 (Fine-Grained Cross-Modal Alignment)

전역적 편향을 상속받는 표준 코사인 유사도를 사용하는 대신, DeSAP은 **디커플된 유사도(Decoupled Similarity)**를 계산합니다. 이는 디커플된 어텐션 성분($A^d$)과 텍스트 임베딩($S_q$) 사이의 코사인 유사도를 계산하는 과정을 포함합니다.
이를 더욱 정교하게 하기 위해, DeSAP은 미세 조정된 교차 모달 정렬(FCMA) 전략을 채택합니다. 이 방법은 각 토큰이 보완적인 모달리티의 전역 표현에 대한 관련성(텍스트의 경우 [EOS], 시각의 경우 전역 시각 토큰 사용)에 따라 토큰 쌍의 유사도에 가중치를 부여합니다. 이를 통해 텍스트 쿼리와 정렬된 특정 영역을 강조하는 신뢰할 수 있는 태스크 관련 어텐션 맵($A_t$)을 생성합니다.

C. 이중 소스 가이드 토큰 프러닝 (Dual-Source Guided Token Pruning)

DeSAP은 토큰 중요도를 평가하기 위해 두 가지 정보원을 통합합니다:

1. 태스크 관련 어텐션 ($A_t$): 디커플된 유사도에서 유도되며, 특정 쿼리에 관련된 토큰을 선택하도록 가이드합니다.
2. 돌출된 의미론적 어텐션 ($A_s$): 시각 인코더의 셀프 어텐션(예: [CLS] 어텐션)에서 유도되며, 총체적인 시각적 단서를 제공합니다.

프러닝 프로세스는 랭크 및 프러닝(Rank & Prune) 전략을 따릅니다:

• $A_t$(태스크 관련성)를 기준으로 상위 $k_1$개 토큰을 선택합니다.
• 남은 집합에서 $A_s$(시각적 돌출도)를 기준으로 상위 $k_2$개 토큰을 선택합니다.
• 최종 집합은 태스크 특화 및 전역 시각 단서를 모두 결합합니다.
• 토큰 병합(Token Merging): 정보 손실을 완화하면서 토큰 수를 늘리지 않기 위해, 버려지는 토큰들을 클러스터링을 통해 가장 유사한 유지 토큰들로 병합합니다.

3. 주요 기여

• 경험적 분석: 본 논문은 기존 프러닝 패러다임을 심층 분석하여, 시각 인코더의 어텐션이 전역 의미론에 편향되어 있고 일반적인 유사도가 미세한 정렬에는 불충분하다는 점을 밝혀냈습니다. 또한 로컬 디테일을 보존하기 위해 시각적 특징을 잔차와 어텐션 성분으로 디커플링하는 관점을 도입했습니다.
• DeSAP 프레임워크: 미세 조정된 교차 모달 정렬을 통해 정밀한 태스크 단서를 도출하기 위해 디커플된 어텐션을 활용하는 새로운 프러닝 방법을 제안합니다. 이는 태스크 단서를 시각적 돌출 신호와 독특하게 결합하여 LLM 디코딩 전 단계에서 강력한 프러닝을 가능하게 합니다.
• 성능: 광범적인 실험을 통해 DeSAP이 다양한 벤치마크와 모델 아키텍처에서 최첨단(SOTA) 방법들을 일관되게 능가함을 입증했습니다.

4. 실험 결과

저자들은 세 가지 LVLM(LLaVA-1.5-7B, LLaVA-NeXT-7B, Qwen2.5-VL-7B)을 대상으로 8개의 벤치마크(GQA, MME, POPE, VQAv2 등 포함)에서 DeSAP을 평가했습니다.

• 정확도: 88.9%의 공격적인 프러닝 비율(전체 토큰의 11.1%인 64개 토큰만 유지) 조건에서, LLaVA-1.5-7B에 적용된 DeSAP은 원본 모델 성능의 **98.1%**를 달성했습니다. 특히, 192개 토큰 예산에서는 전체 모델의 성능을 0.3% 상회했습니다.
• 비교: DeSAP은 HoloV, FlowCut, VisionZip와 같은 SOTA 방법들을 능가했습니다. 88.9% 프러닝 비율에서 DeSAP은 LLaVA-1.5-7B 기준 두 번째로 우수한 방법(HoloV)보다 평균 2.3% 높은 성능을 보였습니다.
• 효율성: POPE 벤치마크에서 DeSAP은 전체 모델 대비 9.1배의 FLOPs 감소와 2.3배의 프리필(prefill) 속도 향상을 달면서도 정확도 하락은 단 0.1%에 불과했습니다. 또한 동일한 FLOPs 하에서 SparseVLM 및 HoloV와 비교했을 때 우수한 효율성-정확도 트레이드오프를 보여주었습니다.
• 일반화 가능성: DeSAP은 LLaVA-NeXT-7B(고해상도) 및 Qwen2.5-VL-7B에서도 견고한 성능을 유지하며, 다양한 프러닝 비율에서 베이스라인들을 지속적으로 앞질렀습니다.

5. 의의 및 주장

본 논문은 DeSAP이 편향된 어텐션 분포에 의존하지 않고, 파이프라인의 더 이른 단계(인코더 측)에서 **태스크 인지성(task awareness)**을 도입함으로써 기존 프러닝 방법의 결정적인 한계를 해결한다고 주장합니다. 시각적 특징을 디커플링하고 미세 조정된 교차 모달 정렬을 활용함으로써, DeSAP은 시각적 및 태스크 관점 모두에서 발생하는 표현 붕괴(representational collapse)를 완화합니다.

저자들은 이중 소스 가이드 방식이 공격적인 비율 하에서도 견고한 토큰 프러닝을 가능하게 하여, 다른 방법들이 버리는 핵심 정보를 보존한다고 단언합니다. 이 연구는 태스크 가이드를 시각적 돌출도와 통합하는 것이 단일 어텐션 소스 내에서의 편향 수정보다 효과적임을 보여주며, 이는 실제 응용 분야에서 LVLM의 효율성과 확장성을 위한 중요한 진전입니다.