기술 요약: 제거하지 말고 경로를 재설정하라 (Reroute, Don't Remove)

1. 문제 정의

시각-언어 모델(VLM)은 이미지를 수백 또는 수천 개의 시각적 토큰으로 투영하며, 이는 디코더 추론 비용이 어텐션에 대해서는 이차적(quadratic)으로, KV-캐시 메모리에 대해서는 선형적(linear)으로 증가하게 만듭니다. 이를 완화하기 위해 기존의 시각적 토큰 감소 방법들(예: FastV, PDrop, Nüwa)은 주로 "순위 매기기 및 제거(rank-and-remove)" 패러다임을 따릅니다. 이 접근 방식에서는 시각적 토큰의 점수를 매긴 후(일반적으로 텍스트-시각 어텐션을 통해), 압축된 부분 집합만을 유지하고 나머지는 시퀀스에서 영구적으로 폐기합니다.

저자들은 이 패러다임의 결정적인 결함을 식별했습니다: 토큰의 중요도는 디코더 깊이에 따라 안정적이지 않다는 점입니다.

• 동적 중요도 (Dynamic Importance): 얕은 디코더 레이어는 종종 확산적인(diffuse) 방식으로 어텐션을 수행하는 반면, 타겟 관련 영역은 중간 또는 깊은 레이어에서 비로소 나타날 수 있습니다.
• 가역 불가능성 (Irreversibility): 초기 프루닝 단계(예: 레이어 3)에서 낮은 순위를 받은 토큰이 더 깊은 레이어(예: 레이어 25)의 특정 쿼리에는 필수적일 수 있습니다. 일단 제거되면, 해당 토큰은 이후의 연산에 기여할 수 없습니다.
• 결과: 공격적인 토큰 감소(예: 88.9% 감소) 상황에서, 이러한 가역 불가능성은 일반적인 VQA 성능은 어느 정도 유지하더라도, 그라운딩(grounding) 성능의 붕괴(예: IoU가 0.4 미만으로 하락)를 초래합니다.

2. 방법론: Reroute

본 논문은 비가역적인 제거를 **가역적인 라우팅(recoverable routing)**으로 대체하는 **학습이 필요 없는 플러그인(training-free plug-in)**인 Reroute를 제안합니다.

핵심 메커니즘

Reroute는 디코더 측의 시각적 토큰 감소를 단일 프루닝 이벤트가 아닌, 일련의 **단계별 라우팅 결정(stage-wise routing decisions)**으로 재구성합니다.

1. 단계별 선택 (Stage-wise Selection): 디코더를 $S$개의 단계로 분할합니다. 각 라우팅 레이어 $\ell_i$에서, 스코어러(기존의 텍스트-시각 어텐션 점수 재사용)는 현재 후보 시각 토큰 집합의 순위를 매깁니다.
2. 라우팅 vs. 유예 (Routing vs. Deferral):
   • 선택된 토큰 ($V_{sel}$): 상위 $r_i$ 비율의 토큰들이 현재 단계의 전체 디코더 블록(Attention + FFN)을 통과하도록 라우팅됩니다.
   • 유예된 토큰 ($V_{def}$): 나머지 토큰들은 잔차 경로(residual path)를 통해 현재 단계의 Attn+FFN 연산을 **우회(bypass)**합니다. 결정적으로, 이들은 삭제되지 않습니다.
3. 재진입 (Re-entry): 다음 라우팅 레이어에서, 후보 집합은 모든 유예된 토큰을 포함하도록 복구됩니다 ($C_{i+1} = V$). 유예된 토큰들은 전체 시각 집합에 대해 다시 평가됩니다. 만약 이들의 어텐션 점수가 더 깊은 레이어에서 개선된다면, 이들은 다시 선택되어 후속 블록을 통과할 수 있습니다.

이론적 효율성

• 일치된 예산 (Matched Budget): Reroute는 자신이 보완하는 프루닝 베이스라인의 이론적 FLOPs 및 KV-캐시 예산을 보존합니다. 오직 선택된 토큰($V_{sel}$)만이 각 단계에서 무거운 연산(Attn+FFN)을 소비합니다.
• 학습 불필요 (No Training): 이 방법은 기존 프루닝 방법들이 이미 계산한 어텐션 점수를 재사용합니다. 새로운 라우터 파라미터를 학습할 필요가 없습니다.
• MoD와의 관계: 이 방법은 VLM의 시각적 토큰을 위한 **Mixture-of-Depth (MoD)**의 학습이 필요 없는 인스턴스화로 프레임화되었으며, 여기서 "라우터"는 기존의 어텐션 메커니즘입니다.

3. 주요 기여

1. 가역적 라우팅 공식화 (Recoverable Routing Formulation): 저자들은 시각적 토큰 프루닝을 유예된 토큰의 우회를 포함하는 단계별 라우팅으로 재정의했습니다. 이는 기존의 비가역적 프루닝을 재진입이 금지된 퇴보된 사례(degenerate case)로 만듭니다.
2. 플러그인 메커니즘 (Plug-in Mechanism): Reroute는 재학습이 필요 없고, 기존의 스코어링 규칙과 스케줄을 재사용하며, 기반이 되는 프루닝 방법의 이론적 효율성 클래스(TFLOPs 및 KV-cache)를 유지하는 드롭인(drop-in) 증강 방식입니다.
3. 경험적 검증 (Empirical Validation): 이 방법은 세 가지 백본(LLaVA-1.5-7B, Qwen2.5-VL-7B, Qwen3.5-9B-Hybrid)과 세 가지 프루닝 베이스라인(FastV, PDrop, Nüwa)에 대해 검증되었습니다.

4. 실험 결과

본 논문은 RefCOCO 시리즈와 일반 VQA 벤치마크에서 Reroute를 평가합니다.

• 시각적 그라운딩 (RefCOCO):

  • 공격적 감소: 88.9% 토큰 감소(576 $\to$ 64개 토큰) 상황에서, 표준 프루닝(예: FastV)은 그라운딩 정확도를 붕괴시킵니다(예: IoU < 0.4). Reroute는 이 성능을 크게 회복시킵니다.
  • 정량적 이득: LLaVA-1.5(HuggingFace 포맷)에서, PDrop+Reroute는 64개 토큰에서 평균 그라운딩 비율을 22.2%에서 34.0%로 향상시킵니다. Qwen3.5-9B-Hybrid에서, PDrop+Reroute는 88.9% 감소 시 비율을 19.3%에서 37.4%로 향상시킵니다.
  • 교차 백본 (Cross-Backbone): 개선 효과는 하이브리드 아키텍처(Mamba-Transformer)를 포함한 Qwen 제품군 모델에도 효과적으로 전이됩니다.

• 일반 VQA:

  • Reroute는 프루닝 베이스라인과 비교하여 일반 VQA 성능(GQA, MME, TextVQA)을 유지하거나 약간 향상시키며, 이는 가역적 라우팅이 일반적인 멀티모달 능력을 희생하지 않음을 나타냅니다.

• 효율성:

  • Reroute는 프루닝 베이스라인과 유사한 TFLOPs 및 KV-캐시 감소를 달성합니다(예: 64개 토큰에서 TFLOPs 약 80% 감소 및 KV-캐시 약 86% 감소).
  • 단일 단계 프루닝에 비해 추가적인 라우팅 단계로 인한 미세한 TFLOPs 오버헤드가 존재하지만, 이론적 클래스는 동일하게 유지됩니다.

• 절제 연구 (Ablation Studies):

  • 빈도 (Frequency): 라우팅 단계의 수를 늘리면 특정 지점까지 성능이 일반적으로 향상되며, 이는 반복적인 재평가가 유익함을 시사합니다.
  • 위치 (Location): 라우팅 레이어의 배치가 중요합니다. 초기-중기 디코더 레이어가 재진입 결정을 내리기에 최적입니다.

5. 의의 및 주장

본 논문은 시각적 토큰 감소를 단순히 비가역적인 프루닝이 아니라, 가역적인 라우팅으로 보아야 한다고 주장합니다.

• 패러다임 전환: 기존 방법의 한계는 스코어링 메커니즘이 아니라 "제거(remove)" 동작에 있습니다. 제거를 유예(deferral)로 대체함으로써, 모델은 디코더 깊이에 따른 시각적 토큰의 변화하는 중요도에 적응할 수 있습니다.
• 그라운딩 민감도: 이점은 특히 그라운딩 중심의 작업과, 필수적인 시각적 증거를 폐기할 위험이 가장 높은 공격적인 토건 감소 상황에서 가장 두드러집니다.
• 제한적 범위: 저자들은 Reroute가 어텐션-스코어 라우터의 한계(낮은 순위가 여전히 비활성 토큰을 초래할 수 있음)를 물려받았으며, 실제 지연 시간은 최적화된 gather/scatter 커널에 달려 있음을 인정합니다. 또한 하이브리드 아키텍처(Qwen3.5와 같은)에서 라우팅은 현재 소프트맥스-어텐션 블록에만 적용되며, 리니어-어텐션 상태 역학과의 상호작용은 향후 과제로 남겨두고 있다고 언급합니다.

결론적으로, Reroute는 유예된 증거를 복구할 수 있는 옵션을 보존하는 것이 VLM이 계산 예산이 엄격히 제한된 상황에서도 높은 그 grounding 정확도를 유지할 수 있게 하며, 추가적인 학습이나 이론적 계산 비용의 증가 없이 가능하다는 것을 보여줍니다.