기술 요약: 엔트로피 인지형 밀집 시각 토큰 프루닝 (EADP)

문제 정의

시각-언어 모델(VLM)은 조밀한 그리드 형태의 시각적 패치 토큰을 처리할 때 발생하는 이차 함수적 자기 주의(self-attention) 비용으로 인해 상당한 계산 병목 현상에 직면합니다. 시각적 토큰 프루닝은 정보가 풍부한 일부 토큰만을 유지함으로써 이를 완화하기 위한 표준적인 전략이지만, 기존 방식들은 엄격한 배포 제약 조건 하에서 종종 실패합니다. 저자들은 현재의 패러다임에서 두 가지 결정적인 실패 모드를 식별했습니다:

1. 텍스트 노이즈 분산: 모든 텍스트 토큰과 시각적 토큰 사이의 교차 모달 유사도를 계산하는 표준 밀집 가이드 전략은 기능어(functional words)와 문장 부호에 의해 오염됩니다. 이러한 요소들은 광범위하게 분산된, 거의 균일한 유사도 응답을 생성하여 의미 있는 시맨틱 엔티티의 국소적인 피크(peak)를 묻어버리는 무차별적인 "노이즈 플로어(noise floor)"를 만듭니다.
2. 특징 파편화 및 중복성: 표준 Top-K 선택 전략은 몇몇 고도로 판별적인 국소 영역(예: 객체의 머리 부분을 반복적으로 샘양)에 과도하게 집중하는 경향이 있는 반면, 필수적인 시맨틱 부분들을 간과하는 경 경향이 있습니다. 이는 특징의 파편화를 초래하며, 한정된 토큰 예산을 중복된 로컬 맥시마(local maxima)에 낭비하게 만들어 총체적인 시각적 표현을 제공하는 데 실패하게 합니다.

방법론: 엔트로피 인지형 밀집 프루닝 (EADP)

EADP는 시각적 토큰 프루닝을 '강건한 지시문 관련성 점수 산출'과 '비중복 토큰 선택'의 두 단계로 구성된 구조적 압축 문제로 재정의합니다.

1. 분산 인지형 밀집 점수 산출 (Dispersion-Aware Dense Scoring)

텍스트 노이즈 문제를 해결하기 위해, EADP는 지시문 관련성 점수 산출을 위한 엔트로피 가이드 디노이징 메커니즘을 도입합니다:

• 밀집 유사도 계산: 비-EOS(non-EOS) CLIP 텍스트 토큰과 투영된 시각적 토큰 사이의 교차 모달 코사인 유사도를 계산합니다.
• 엔트로피 가이드 필터링: 각 텍스트 토큰의 공간적 유사도 분포를 확률 분포로 변환합니다. 이 분포의 정보 엔트로피(Information Entropy)를 계산하여 분산 정도를 정량화합니다. 높은 엔트로피를 가진 토큰(분산된 주의력을 나타내며, 기능어에서 전형적으로 나타남)은 필터링하고, 낮은 엔트로피를 가진 토큰(특정 엔티티에 집중된 주의력을 나타냄)은 유지합니다.
• 가중치 합산: 유지된 텍스트 토큰은 그들의 엔트로피에 따라 가중치를 부여받으며(낮은 엔트로피일수록 높은 가중치), 이를 합산하여 밀집 가이드 점수($S_D$)를 형성합니다.
• 점수 융합: 이 밀집 점수는 미시적 세부 사항과 거시적 시맨틱 컨텍스트 사이의 균형을 맞추기 위해 CLIP EOS 토큰으로부터 유도된 글로벌 가이드 점수($S_G$)와 융합되어, 강건한 지시문 관련성 점수($S_I$)를 생성합니다.

2. 공간적 평활화 및 서브모듈러 선택 (Spatial Smoothing and Submodular Selection)

특징 파편화와 중복성을 해결하기 위해, EADP는 단순한 Top-K 선택을 대신하여 구조화된 접근 방식을 사용합니다:

• 공간적 연속성 및 극성화: 관련성 점수 맵을 2D로 재구성하고 가우시안 커널을 사용하여 평활화함으로써 인접한 구조적 부분으로 활성화를 전파합니다. 그 후, 비선형 점수 극성화(exponential sharpening) 단계를 적용하여 돌출된 영역을 다시 증폭시키고 평활화된 배경 노이즈를 억제합니다.
• 서브모듈러 최대화: 토큰 선택을 시설 위치 서브모듈러 최대화(Facility Location Submodular Maximization) 문제로 정식화합니다. 목적 함수는 가중치가 적용된 유사도의 합을 최대화하며, 이를 통해 원래 이미지의 모든 토큰이 선택된 부분 집합 내의 가장 유사한 대응 요소에 의해 잘 표현되도록 보장합니다.
• 탐욕적 최적화: 이 목적 함수는 서브모듈러(submodular) 속성을 가지므로, 이론적인 $(1 - 1/e)$ 근사 보장을 갖는 효율적인 탐욕 알고리즘을 허용합니다. 이는 선택된 부분 집합이 이미지의 모든 시맨틱 부분을 포괄하도록 보장하는 동시에 국소적 중복성에 대해 페널티를 부여합니다.

주요 기여

1. 프루닝 병목 현상 식별: 본 논문은 밀집 가이드에서의 텍스트 노이즈 분산과 표준 Top-K 선택에 내재된 특징 파편화를 기존 프루닝 방식의 성능 저하를 일으키는 주요 원인으로 체계적으로 분석하고 식별했습니다.
2. 엔트로피 인지형 밀집 점수 산출: 외부 NLP 파서를 사용하지 않고 통계적 엔트로피를 사용하여 텍스트 노이즈를 정량화하고 필터링하는 새로운 메커니즘을 제안했습니다. 이를 통해 미세하고 노이즈에 강한 지시문 관련성 점수를 얻습니다.
3. 공간적 사전 지식을 활용한 서브모듈러 토큰 선택: 토큰 선택을 시설 위치 서브모듈러 최대화 문제로 재정의했습니다. 공간적 평활화 및 점수 극성화와 결합된 이 방식은 총체적인 특징 표현력을 보장하며, 국소적 중복성을 명시적으로 억제하여 탐욕적인 피크 추적(peak-chasing)의 한계를 극복합니다.

실험 결과

EADP는 다양한 VLM 아키텍처(LLaVA-1.5, LLaVA-NeXT, LLaVA-Video, Qwen2.5-VL, Qwen3-VL)와 다양한 벤치마크(VQAv2, GQA, MME, MMBench, MM-Vet, DocVQA 등)에서 평가되었습니다.

• 성능: EADP는 테스트된 모든 토큰 예산 범위에서 일관되게 최첨단(SoTA) 성능을 달성했습니다. 예를 들어, LLaVA-1.5-7B에서 128개의 토큰을 유지할 때(77.8% 프루닝), EADP는 평균 정확도 63.5를 기록하여 CDPruner(63.2) 및 DivPrune(62.5)과 같은 강력한 베이스라인을 능가했습니다.
• 강건성: 이 방법은 극단적인 압축(예: 32개 토큰만 유지) 및 고해상도 입력(2880개 토큰을 가진 LLaVA-NeXT) 상황에서도 우수한 강건성을 보여주며, 전체 토큰 베이스라인과 비교하여 거의 손실 없는 성능을 유지합니다.
• 효율성: EADP는 밀집 점수 산출 및 서브모듈러 최적화로 인해 미미한 계산 오버헤드를 발생시키지만, 엔드 투 엔드 추론 지연 시간에서 상당한 가속(예: 1.5배~2.0배 속도 향상)을 제공하며, 프루닝되지 않은 모델에 비해 FLOPs를 최대 66%까지 줄입니다.
• 일반화: 이 접근 방식은 다양한 모델 규모(3B에서 13B 파라미터까지)와 모달리티(정적 이미지 및 비디오)에 걸쳐 효과적으로 일반화되며, 특히 미세한 추론과 문서 이해를 요구하는 작업에서 탁월한 성능을 보입니다.

의의 및 주장

본 논문은 시각적 토큰 프루닝이 단순히 점수를 매기는 작업이 아니라, 노이즈에 강한 돌출도(saliency)와 총체적인 시각적 커버리지를 모두 요구하는 구조적 압축 문제라고 주장합니다. 텍스트 노이즈 분산과 특징 파편화라는 특정 병목 현상을 해결함으로써, EADP는 VLM의 정확도-효율성 트레이드오프를 크게 진전시켰습니다. 저자들은 자신들의 프레임워크가 엄격한 토큰 예산 하에서도 미세한 시각적 단서를 견고하게 보존하는 수학적으로 원칙 있는 솔루션을 제공하며, 이를 통해 실시간 및 자원 제한적인 멀티모달 애플리케이션에 매우 적합하다고 단언합니다. 본 연구는 향후 프루닝 전략이 단순한 Top-K 휴리스틱을 넘어 구조적 사전 지식과 노이즈 인지형 점수 산출 메커니즘을 통합해야 함을 시사합니다.