Variation-aware Vision Token Dropping for Faster Large Vision-Language Models

이 논문은 기존 토큰 압축 방법의 한계를 극복하고 LLM 내 시각 토큰의 변이 특성을 활용하여 동적으로 토큰을 제거하는 V²Drop 을 제안함으로써, 성능 저하 없이 이미지 및 비디오 이해 작업의 추론 지연을 각각 31.5% 와 74.2% 획기적으로 단축합니다.

핵심

🎨 그림과 영상을 더 똑똑하고 빠르게 이해하는 'V2Drop'의 비밀

이 논문은 **거대한 AI 모델 (LVLM)**이 이미지나 긴 영상을 볼 때, 어떻게 하면 더 빠르고 효율적으로 작동하면서도 똑똑한 답을 내놓을 수 있는지에 대한 해결책을 제시합니다.

기존의 방법들은 AI 가 "어떤 부분이 중요할까?"를 계산하는 과정에서 시간과 메모리를 너무 많이 낭비하거나, **오해 (편향)**를 일으켰습니다. 이 논문은 이를 해결하기 위해 **"변화 (Variation)"**에 주목한 새로운 방법인 V2Drop을 소개합니다.

---

🧐 문제: 왜 AI 는 느리고 비효율적일까요?

상상해 보세요. AI 가 고해상도 사진을 보거나 1 시간짜리 영상을 볼 때, 그 이미지는 수천 개의 작은 조각 (토큰) 으로 나뉩니다.

• 기존 방식 (Attention 기반): AI 가 "어떤 조각이 중요할까?"를 매번 계산합니다. 마치 수천 명의 학생 중에서 누가 발표할지 정하기 위해, 교실 전체를 돌아다니며 학생들의 표정을 일일이 확인하는 선생님과 같습니다.
  • 문제점 1 (위치 편향): 이 방식은 종종 내용과 상관없이 '뒤에 있는' 학생들 (이미지 끝부분) 을 더 중요하게 여깁니다. 중요한 정보가 앞에 있어도 무시해버릴 수 있습니다.
  • 문제점 2 (비효율): 모든 학생의 표정을 확인하는 과정 자체가 너무 많은 에너지를 소모합니다.

💡 해결책: V2Drop (변화 감지형 토큰 제거)

저자들은 새로운 관점을 제시합니다. "중요한 정보는 움직이고 변한다!"

• 핵심 아이디어: AI 가 정보를 처리할 때, **중요한 정보 (예: 선수의 등번호, 물병의 라벨)**는 AI 의 두뇌 (레이어) 를 통과할 때마다 크게 변형됩니다. 반면, **불필요한 정보 (예: 배경의 하늘, 빈 공간)**는 변하지 않고 그대로 유지됩니다.
• 비유:
  • 중요한 토큰: 무대에서 열정적으로 춤을 추거나 연기하는 배우입니다. 매 순간 표정과 동작이 변합니다.
  • 불필요한 토큰: 무대 배경에 서서 한 번도 움직이지 않는 조연입니다.
  • V2Drop 의 역할: 이 방법은 "배경에 서서 움직이지 않는 조연들"을 점진적으로 잘라내서 무대 (AI) 를 가볍게 만듭니다. 중요한 배우들만 남기면 되니까요.

🚀 V2Drop 이 어떻게 작동하나요?

1. 변화 측정: AI 가 이미지를 처리하는 각 단계 (레이어) 에서, 각 조각이 이전 단계와 얼마나 달라졌는지를 측정합니다. (예: L2 Norm 같은 수학적 거리 계산)
2. 게으른 토큰 제거: 변화가 거의 없는 '게으른' 조각들을 찾아냅니다.
3. 점진적 삭제: 한 번에 다 자르는 게 아니라, AI 가 깊어질수록 (레이어가 깊어질수록) 서서히 불필요한 조각들을 제거합니다.
   • 비유: 처음에는 큰 덩어리를 다듬고, 점점 더 정교하게 다듬어가며 최종적으로 핵심만 남기는 조각조각 다듬기 (Sculpting) 과정입니다.

🌟 왜 이것이 특별한가요?

1. 편향 없음 (Positional Bias Free):

   • 기존 방식은 "뒤에 있는 게 중요할 거야"라고 추측했지만, V2Drop 은 **"무엇이 변하는가?"**를 봅니다.
   • 비유: 선생님이 "뒤에 앉은 학생만 발표하게 해"라고 하는 대신, **"손을 가장 많이 흔드는 학생"**을 골라 발표하게 하는 것과 같습니다. 중요한 정보가 이미지 어디에 있든 (위, 아래, 왼쪽, 오른쪽) 정확히 찾아냅니다.

2. 초고속 & 저메모리:

   • 복잡한 '주의 (Attention)' 계산을 하지 않아도 되므로, 최신 하드웨어 (FlashAttention) 와 완벽하게 호환됩니다.
   • 결과:
     • 이미지 이해: 약 1.3 배 빨라지고 성능은 94% 유지.
     • 영상 이해: 약 1.9 배 빨라지고 성능은 98% 유지!
     • 메모리 사용량도 크게 줄어듭니다.

📝 요약: 한 줄로 정리하면?

"AI 가 그림이나 영상을 볼 때, '어디에 있는지'가 아니라 '무엇이 변하고 있는가'를 기준으로 불필요한 정보를 잘라내어, 더 빠르고 똑똑하게 만들었습니다."

이 방법은 AI 가 고해상도 사진이나 긴 영상을 처리할 때 발생하는 '무거운 짐'을 덜어주어, 우리가 더 빠르게, 더 정확하게 AI 와 대화할 수 있게 해줍니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

대형 비전 - 언어 모델 (LVLM) 은 고해상도 이미지 및 장편 비디오 이해를 위해 방대한 수의 비전 토큰 (Visual Tokens) 을 처리해야 합니다. 이는 추론 효율성을 크게 저하시키고 실제 배포를 어렵게 만듭니다. 이를 해결하기 위해 기존에는 토큰 압축 (Token Compression) 기법이 사용되었으나, 특히 LLM 내부에서 작동하는 기존 방법들 (FastV, SparseVLM 등) 은 다음과 같은 두 가지 치명적인 한계를 가지고 있습니다.

1. 위치 편향 (Positional Bias): 기존 방법들은 LLM 의 어텐션 (Attention) 가중치를 기반으로 중요 토큰을 선택합니다. 그러나 분석 결과, 이러한 방법들은 시각적 콘텐츠의 중요도와 무관하게 시퀀스의 후반부에 위치한 토큰을 과도하게 중요하게 평가하는 경향이 있습니다. 이로 인해 중요한 정보가 포함된 초기 토큰이 제거되고, 불필요한 정보가 남게 되어 멀티모달 환각 (Hallucination) 을 유발합니다.
2. 효율적 연산자와의 비호환성 (Incompatibility with Efficient Operators): 어텐션 가중치를 계산하는 과정은 FlashAttention 과 같은 최신 효율적 어텐션 연산자와 충돌합니다. 이로 인해 메모리 사용량이 급증하거나, 오히려 압축을 하지 않은 모델보다 더 많은 리소스를 소모하게 되어 실제 가속 효과가 떨어집니다.

2. 제안 방법론: V2Drop (Methodology)

저자들은 외부 신호 (어텐션 가중치) 가 아닌 토큰의 고유한 행동 패턴 (내재적 속성) 에 초점을 맞춘 새로운 패러다임을 제안합니다. 이를 변화 감지형 비전 토큰 드롭핑 (Variation-aware Vision Token Dropping, V2Drop) 이라고 명명했습니다.

• 핵심 통찰 (Key Insight):

  • LLM 을 통과하는 동안 큰 변화 (Variation) 를 보이는 토큰은 모델의 추론 과정에 활발히 참여하며 중요한 의미 정보를 담고 있습니다.
  • 반면, 변화가 거의 없는 토큰 (Lazy Tokens) 은 모델의 최종 예측에 거의 영향을 미치지 않으므로 안전하게 제거할 수 있습니다.
  • 이 변화는 시각적 콘텐츠의 위치와 무관하게 (Task-agnostic) 발생하므로, 위치 편향을 자연스럽게 해결합니다.

• 작동 원리:

  1. 변화 측정 (Variation Computation): 인접한 LLM 레이어 사이에서 각 비전 토큰의 표현 변화량을 측정합니다. 주로 L2 Norm (거리) 를 사용하며, L1 Norm 또는 코사인 유사도도 적용 가능합니다.
     • 수식: $Var(f_i^{(l-1)}, f_i^{(l)}) = \|f_i^{(l)} - f_i^{(l-1)}\|_2$
  2. 점진적 드롭핑 (Progressive Dropping): 단일 시점이 아닌 LLM 의 얕은, 중간, 깊은 레이어 (예: 3, 17, 22 층) 에 걸쳐 단계적으로 토큰을 제거합니다.
  3. 토큰 선별 및 재구성: 변화량이 가장 작은 토큰 (Lazy Tokens) 을 순차적으로 제거하고, 변화량이 큰 중요한 토큰만 유지하여 다음 레이어로 전달합니다.
  4. 효율성 보장: 어텐션 가중치 계산을 전혀 수행하지 않으므로 FlashAttention 과 완벽하게 호환되며, 메모리 오버헤드를 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 토큰 변화 패턴에 대한 체계적 분석: LVLM 내 비전 토큰의 진화 과정을 최초로 종합적으로 분석하여, 토큰 간 변화 크기가 작업 관련성 (Task Relevance) 과 토큰 중요도를 효과적으로 반영함을 증명했습니다.
2. 변화 감지형 토큰 드롭핑 (V2Drop) 제안: 위치 편향을 제거하고 효율적 연산자와 호환되는 새로운 압축 방법을 제시했습니다. 이는 어텐션 가중치 계산 없이 토큰의 내재적 동역학만으로 중요도를 판단합니다.
3. 성능과 효율성의 균형 달성: 다양한 모델과 벤치마크에서 기존 방법들을 압도하는 성능 - 효율성 트레이드오프를 입증했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (GQA, MME, MMBench, VideoMME 등) 와 모델 (LLaVA-1.5, Qwen2-VL, LLaVA-OneVision) 에서 실험이 수행되었습니다.

• 이미지 이해 (Image Understanding):
  • 토큰을 192 개로 줄였을 때 (약 66.7% 감소), V2Drop 은 원래 성능의 97.6% 를 유지하며 기존 최상위 방법 (PDrop, 96.0%) 보다 우월한 성능을 보였습니다.
  • 추론 지연 시간 (Latency) 은 31.5% 단축되었습니다.
• 비디오 이해 (Video Understanding):
  • 긴 비디오 이해 작업에서 위치 편향 문제를 해결하여, 특히 장편 비디오 (Long Video) 에서 기존 방법들보다 훨씬 우수한 성능을 발휘했습니다.
  • 토큰을 25% 만 유지하는 극단적인 압축 조건에서도 원래 성능의 98.6% 를 달성했습니다.
  • 지연 시간은 74.2% 감소했습니다.
• 효율성 및 메모리:
  • FlashAttention 과 호환되어 메모리 피크 사용량이 오히려 감소하거나 유지되었습니다. (반면, SparseVLM 은 메모리가 54.8% 증가함).
  • 처리량 (Throughput) 이 1.3 배 (이미지) 에서 1.87 배 (비디오) 까지 향상되었습니다.

5. 의의 및 결론 (Significance)

V2Drop 은 LVLM 의 추론 가속화를 위해 어텐션 가중치에 의존하지 않는 새로운 방향성을 제시했습니다.

• 위치 편향 해결: 시각적 콘텐츠의 위치에 상관없이 의미적으로 중요한 정보를 보존함으로써, 기존 방법들의 근본적인 한계를 극복했습니다.
• 실용적 배포 가능성: FlashAttention 등 최신 하드웨어 최적화 연산자와의 호환성을 유지하며, 추가적인 메모리 오버헤드 없이 높은 가속률을 제공합니다.
• 범용성: 이미지뿐만 아니라 장편 비디오 이해와 같은 고비용 작업에서도 뛰어난 효율성을 보여주어, 차세대 멀티모달 모델의 효율적 운영을 위한 핵심 기술로 평가됩니다.

요약하자면, V2Drop 은 "토큰이 모델 내에서 얼마나 활발히 변화하는가" 라는 간단한 메트릭을 통해 가장 중요한 정보를 선별하고, 불필요한 토큰을 제거함으로써 성능 저하 없이 추론 속도를 획기적으로 개선한 획기적인 방법론입니다.