기술 요약: COAST – 비전 - 언어 모델을 위한 대비적 적응형 의미 토큰 가지치기

1. 문제 제기: 토큰 가지치기에서의 시각적 실어증

대규모 비전 - 언어 모델 (LVLM) 은 밀집된 시각 토큰 시퀀스를 처리함으로써 강력한 다중 모달 추론을 달성합니다. 그러나 디코더 자기 주의 (self-attention) 의 이차적 복잡성으로 인해 추론 효율성을 높이기 위해 시각 토큰을 줄여야 합니다. 기존 학습 없는 가지치기 방법들 (예: FastV, LLaVA-PruMerge) 은 일반적으로 얕은 계층의 스칼라 주의 점수에 의존하여 '주의가 낮은' 토큰을 순위 매기고 제거합니다.

저자들은 이 접근법에서 **시각적 실어증 (Visual Aphasia)**이라 명명된 치명적인 실패 모드를 식별했습니다. 이 현상은 얕은 주의에 기반한 조기 가지치기로 인해 초기에는 점수가 낮았으나, 더 깊은 계층에서 보조 객체, 공간적 관계, 그리고 문맥적 단서를 해결하는 데 필수적인 토큰이 제거될 때 발생합니다. 이러한 토큰이 폐기되면 모델은 시각적 근거를 상실하고 언어 사전 지식에 의존하게 되어 환각 (예: 낙타가 주를 이루는 이미지 속 작은 간판에 대해 질문했을 때 "The Camel Cafe"라고 답변하는 경우) 을 초래합니다. 본 논문은 스칼라 중요도가 본질적으로 구성적 추론에 필요한 문맥상 발생하는 시각적 증거를 과소평가한다고 주장합니다.

2. 방법론: COAST

시각적 실어증을 해결하기 위해 저자들은 **COAST (COntrastive Adaptive Semantic Token Pruning, 대비적 적응형 의미 토큰 가지치기)**를 제안했습니다. 이는 학습이 필요 없는 프레임워크로, 시각적 압축을 적응형 의미 라우팅으로 재정의합니다. 단일 스칼라 결정 대신, COAST 는 유지 예산을 **의미적 증거 (쿼리 정렬)**와 **공간적 문맥 (상호 보완적)**이라는 두 가지 보완적 역할로 분리합니다.

이 프레임워크는 예정된 가지치기 계층에서 두 가지 주요 단계로 작동합니다:

A. 엔트로피 기반 동적 예산 할당

COAST 는 시각적 증거의 분산을 추정하기 위해 네이티브 교차 모달 주의를 재사용합니다.

1. 주의 엔트로피 계산: 이전 계층에서 글로벌 텍스트 - 이미지 주의 엔트로피 ($H$) 를 계산합니다. 낮은 엔트로피는 특정 영역에 집중된 주의를 나타내는 반면, 높은 엔트로피는 더 넓은 문맥이 필요한 분산된 증거를 시사합니다.
2. 적응형 분할: 쿼리별 앵커를 예약한 후 남은 토큰 예산은 $H$에 따라 두 부분으로 나뉩니다:
   • $n_1$ (의미적 증거): 쿼리와 정렬된 토큰.
   • $n_2$ (상호 보완적 공간적 문맥): 장면 수준의 문맥을 제공하는 토큰.
   • 분할은 적응적입니다: 주의 엔트로피가 증가함에 따라 예산은 더 많은 공간적 문맥 ($n_2$) 을 보존하는 방향으로 이동하여 분산된 단서가 손실되지 않도록 합니다.

B. 앵커 - 참조 대비적 의미 라우팅

예산이 할당되면 COAST 는 단일 스칼라 점수 대신 대비 메커니즘을 사용하여 후보 토큰에 점수를 매깁니다.

1. 세트 구성:
   • 앵커 ($A$): 마지막 토큰 주의를 통해 선택됨 (쿼리와 높은 관련성).
   • 참조 ($R$): 글로벌 주의를 통해 점수가 가장 낮은 토큰으로 선택됨 (낮은 중요도 문맥).
   • 후보 ($C$): 나머지 앵커가 아닌 토큰.
2. 대비 점수 매기기: 각 후보 $c_i$에 대해, 앵커와의 유사성과 참조 세트와의 유사성을 대비하여 점수를 계산합니다:
   $$\text{Score}(c_i) = \text{Sim}_A(c_i) - \text{Sim}_R(c_i)$$
   여기서 $\text{Sim}_A$는 모든 앵커에 대한 최대 코사인 유사도이고, $\text{Sim}_R$은 참조 세트에 대한 평균 코사인 유사도입니다.
3. 양쪽 끝 유지 (Two-Tail Retention):
   • 상위-$n_1$: 가장 높은 점수를 받은 후보는 앵커 정렬 증거로 유지됩니다.
   • 하위-$n_2$: 가장 낮은 점수를 받은 후보는 상호 보완적 공간적 문맥으로 유지됩니다. 이러한 토큰은 앵커와 구별되지만, 스칼라 가지치기가 폐기할 만한 장면 커버리지와 공간적 관계를 유지하는 데 필수적입니다.
4. 순서 재구성: 유지된 토큰 (앵커 + 상위-$n_1$ + 하위-$n_2$) 은 후속 디코더 계층을 위한 공간적 레이아웃을 보존하기 위해 원래 시퀀스 인덱스에 따라 정렬됩니다.

3. 주요 기여

• 시각적 실어증 식별: 본 논문은 공격적인 초기 가지치기가 LVLM 의 시각적 근거 상실을 초래하고 대신 언어 사전 지식에 의존하게 만드는 특정 실패 모드를 정의하고 입증합니다.
• COAST 프레임워크: 엔트로피를 활용하여 의미적 증거와 공간적 문맥의 균형을 맞추는 적응형 의미 라우팅으로 압축을 다루는 학습 없는 가지치기 방법입니다.
• 대비적 라우팅 메커니즘: 가장 중요한 객체로만 '주의 붕괴'를 피하면서 높은 관련성 앵커와 낮은 중요도 상호 보완적 문맥 모두를 보존하는 새로운 점수 매기기 전략입니다.
• 종합적 평가: MME, MMBench, AI2D, GQA, VizWiz, POPE, ScienceQA-IMG 등 일곱 가지 벤치마크와 LLaVA-1.5, LLaVA-NeXT, LLaVA-OneVision, Qwen2.5-VL 등 여러 LVLM 계열에 걸친 광범위한 실험.

4. 실험 결과

일곱 가지 벤치마크에서 COAST 는 강력한 베이스라인 (FastV, PDrop, SparseVLM, V2Drop, MMTOK) 에 비해 우수한 성능 - 효율성 트레이드오프를 입증했습니다:

• 성능 유지: COAST 는 시각 토큰을 77.8% 줄이면서 (128 개 토큰 유지) 원래 평균 성능의 **98.64%**를 유지합니다. 192 개 토큰 예산 하에서는 **0.21%**의 성능 저하만 발생하여 베이스라인 (예: 1.61% 저하의 SparseVLM) 을 크게 능가합니다.
• 지연 시간 가속: COAST 는 2.15 배의 지연 시간 가속을 달성합니다. 특히 효율적인 라우팅과 순서화된 토큰 재구성으로 인해 유사한 FLOPs 감소 수준에서도 베이스라인보다 낮은 지연 시간을 달성합니다.
• 일반화: 이 방법은 다양한 모델 규모 (0.5B~13B) 와 아키텍처에서 일관되게 베이스라인을 능가하며, 중간 및 공격적인 압축 설정 모두에서 견고성을 보입니다.
• 절대 연구 (Ablation Studies):
  • 양쪽 끝 유지: 앵커 정렬 브랜치 ($n_1$) 나 상호 보완적 문맥 브랜치 ($n_2$) 중 하나를 제거하면 성능이 저하되어 두 가지 유형의 증거를 모두 보존해야 함이 확인됩니다.
  • 엔트로피 기반 예산 할당: 주의 엔트로피에 기반한 적응형 분할은 고정 비율 분할보다 우수하며, 특히 복잡한 추론이 필요한 벤치마크 (MME, GQA) 에서 두드러집니다.
  • 대비 점수 매기기: 앵커 - 참조 대비 점수는 스칼라 주의 또는 MaxSim 만을 사용하는 점수 매기기보다 현저히 우수합니다.

5. 중요성과 주장

본 논문은 적응형 의미 라우팅이 일회성 스칼라 가지치기에 대한 견고한 대안이라고 주장합니다. 토큰의 중요성이 동적이고 문맥에 의존적임을 인정함으로써 COAST 는 '시각적 실어증' 실패 모드를 완화하여 LVLM 이 공격적인 토큰 감소 하에서도 세밀한 시각적 근거를 유지할 수 있게 합니다. 저자들은 이 방법이 미세 조정이 필요 없으며, 최소한의 계산 오버헤드를 추가하고 다양한 LVLM 아키텍처에 적용 가능하다고 강조합니다. 이는 효율적이고 고충실도 다중 모달 추론 시스템을 배포하기 위한 실용적인 해결책을 제공합니다.