MMTok: Multimodal Coverage Maximization for Efficient Inference of VLMs

이 논문은 비전 및 텍스트 토큰의 다중 모달 정보를 활용하여 최대 커버리지 기준을 통해 정보량이 풍부한 비전 토큰을 선택함으로써 VLM 의 추론 효율성을 극대화하는 'MMTok'을 제안합니다.

핵심

📸 "MMTok": AI 의 눈과 귀를 위한 '스마트 필터'

이 논문은 **시각-언어 모델 (VLM)**이라는 AI 가 이미지를 보고 질문에 답할 때, 너무 많은 정보를 한꺼번에 받아서 느려지는 문제를 해결하는 새로운 방법을 제안합니다.

마치 거대한 도서관에 들어갔는데, 책장마다 책이 너무 많아 원하는 정보를 찾는 데 시간이 걸리는 상황을 상상해 보세요. 이 논문은 그 도서관에서 **정말 필요한 책만 골라내는 '지능형 사서'**를 개발한 것입니다.

---

1. 문제: AI 가 너무 많은 '눈'을 가지고 있어요 🤯

현재의 AI 는 이미지를 이해할 때, 이미지를 아주 작은 조각 (패치) 으로 잘게 나누고, 그 조각 하나하나를 '토큰 (정보의 단위)'으로 변환합니다.

• 상황: "이 사진에 뭐가 있나요?"라고 물으면, AI 는 텍스트로 10 개도 안 되는 단어를 쓰지만, 이미지에서는 **수천 개의 작은 조각 (토큰)**을 만들어냅니다.
• 문제: AI 의 두뇌 (LLM) 는 이 모든 조각을 하나하나 살펴봐야 하므로, 계산량이 기하급수적으로 늘어나 매우 느려집니다. 마치 1000 개의 퍼즐 조각을 다 붙여보려고 노력하는 것과 비슷하죠.

2. 기존 방법의 한계: "눈만 보거나 귀만 듣기" 👁️👂

기존의 빠른 방법들은 주로 두 가지 중 하나만 보고 조각을 잘라냈습니다.

1. 이미지만 보는 방법: "이 부분이 가장 중요해 보이니 이걸로만 하자!" (이미지 내부의 다양성만 고려)
2. 질문만 보는 방법: "질문에 '고양이'라고 했으니 고양이 부분만 남기자!" (텍스트와 이미지의 연관성만 고려)

하지만 문제는 이 두 가지를 따로 보면 실수할 수 있다는 점입니다.

• 질문이 "이 사진의 분위기를 설명해줘"라면, 특정 사물 (고양이) 보다는 전체적인 배경이 중요할 수 있습니다.
• 반대로, 질문이 "고양이는 어디 있니?"라면 전체 배경은 필요 없고 고양이만 있으면 됩니다.
  기존 방법들은 이 **상호작용 (시각 + 언어)**을 충분히 활용하지 못했습니다.

3. 해결책: MMTok - "눈과 귀를 동시에 활용하는 스마트 필터" 🧠✨

이 논문이 제안한 MMTok은 두 가지 정보를 동시에 활용해서 가장 중요한 조각들만 골라냅니다.

🍕 비유: 피자를 먹기 전에 토핑을 고르는 상황

여러분이 피자를 시켰는데, 토핑이 너무 많아서 한 번에 다 먹을 수 없다면 어떻게 하겠어요?

• 기존 방법 A (이미지만 봄): "치즈가 가장 많으니 치즈만 남기자!" (질문이 "맛있는 토핑은?"일 때는 좋지만, "소스 맛은?"일 때는 실패)
• 기존 방법 B (질문만 봄): "질문에 '페퍼로니'가 있으니 페퍼로니만 남기자!" (하지만 피자의 전체적인 모양을 잃어버릴 수 있음)
• MMTok 의 방법:
  1. 질문 (귀) 을 듣습니다: "페퍼로니가 중요하구나!"
  2. 피자 전체 (눈) 을 봅니다: "그런데 페퍼로니만 있으면 피자 모양이 망가져. 전체적인 균형도 중요해."
  3. 최종 결정: "페퍼로니는 꼭 챙기되, 피자의 모양을 유지할 수 있는 최소한의 토핑만 남기자."

이렇게 **질문 (텍스트)**과 **이미지 전체 (비전)**를 모두 고려하여, 가장 필요한 정보 (토큰) 를 최대화하는 방식으로 조각을 선택합니다.

4. 어떻게 작동할까요? (수학적 원리, 쉽게 설명) 📐

이 방법은 **'최대 커버리지 (Maximum Coverage)'**라는 개념을 사용합니다.

• 목표: 선택한 몇 개의 조각으로, 질문의 의미와 이미지의 전체 정보를 가장 많이 덮어주는 것입니다.
• 과정: AI 는 "이 조각을 고르면 질문의 30% 와 이미지의 20% 를 설명할 수 있네?"라고 계산하며, 가장 효율적인 조합을 찾아냅니다.
• 결과: 원래 576 개의 조각이 필요했던 것을, 64 개 (약 11%) 만 남겨도 원래 성능의 98% 이상을 유지합니다.

5. 실제 성과: 얼마나 빨라졌나요? 🚀

실험 결과, 이 방법은 놀라운 성과를 보였습니다.

• 속도: 같은 성능을 유지하면서 1.87 배 더 빨라졌습니다. (기존보다 훨씬 효율적)
• 압축: 아주 극단적으로 4 개의 조각만 남겼을 때도, 원래 성능의 **87.7%**를 유지했습니다.
• 범용성: 다양한 AI 모델 (LLaVA, Qwen 등) 과 다양한 질문 (사진 설명, 객체 찾기, 복잡한 추론) 에서 모두 좋은 결과를 냈습니다.

6. 결론: 왜 이 연구가 중요한가요? 🌟

이 연구는 AI 가 더 적은 정보로도 더 똑똑하게 일할 수 있게 해줍니다.

• 스마트폰: 무거운 AI 모델을 스마트폰에서도 빠르게 실행할 수 있게 됩니다.
• 실시간: 영상 통화나 자율 주행처럼 실시간으로 이미지를 분석해야 하는 상황에서 속도가 빨라집니다.
• 에너지: 불필요한 계산을 줄여 전기를 아낄 수 있습니다.

한 줄 요약:

"MMTok 은 AI 가 이미지를 볼 때, 질문과 이미지를 동시에 잘 듣고, 가장 중요한 정보만 골라내어 AI 를 훨씬 빠르고 똑똑하게 만들어주는 '스마트 필터'입니다."

이제 AI 는 더 이상 모든 조각을 다 보느라 지치지 않고, 핵심만 쏙쏙 뽑아 빠르게 답을 줄 것입니다! 🎉

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 - 언어 모델 (VLMs) 은 시각적 입력을 비전 토큰 (vision tokens) 으로 변환하여 대규모 언어 모델 (LLM) 이 이해하도록 합니다. 그러나 기존 비전 인코더는 원본 이미지 패치에서 토큰을 추출하므로, 텍스트 토큰에 비해 비전 토큰의 수가 과도하게 많고 중복성 (redundancy) 이 높습니다.
• 문제점:
  • LLM 의 자기 주의 (self-attention) 메커니즘은 토큰 수에 대해 2 차 (quadratic) 복잡도를 가지므로, 방대한 비전 토큰은 추론 효율성을 심각하게 저하시킵니다.
  • 기존 토큰 프루닝 (pruning) 방법들은 대부분 단일 모드 (unimodal) 정보 (시각 정보만 또는 텍스트 정보만) 에 의존합니다.
  • 예를 들어, SparseVLM 은 텍스트 지시문만, VisionZip 은 [CLS] 토큰의 주의를 기반으로 토큰을 선택합니다.
  • 한계: 동일한 이미지라도 질문 (텍스트) 에 따라 중요한 정보가 달라지며, 동일한 텍스트 지시문도 다른 이미지에 적용될 수 있습니다. 단일 모드 기반 선택은 이러한 다중 모드 (multimodal) 상호작용을 충분히 반영하지 못해 최적의 토큰 선택이 어렵습니다.

2. 제안 방법: MMTok (Methodology)

저자들은 다중 모드 커버리지 최대화 (Multimodal Coverage Maximization) 전략을 도입하여 훈련 없이 (training-free) 효율적인 비전 토큰 선택을 수행하는 프레임워크인 MMTok을 제안했습니다.

핵심 아이디어

선택된 비전 토큰의 부분집합이 텍스트 토큰 (질문 의미) 과 원래의 전체 비전 토큰 집합 (이미지 정보) 을 모두 잘 "커버"하도록 하는 것입니다.

세부 알고리즘

1. 최대 커버리지 문제 공식화:

   • 토큰 선택 문제를 최대 커버리지 문제 (Maximum Coverage Problem) 로 정의합니다.
   • 목적 함수는 선택된 소스 토큰 (비전) 이 타겟 토큰 (텍스트 또는 비전) 을 얼마나 잘 커버하는지 (유사도 합) 를 최대화하는 것입니다.
   • 이 목적 함수는 서브모듈러 (submodular) 함수의 성질을 가지며, NP-hard 문제이지만 그레디언트 (greedy) 알고리즘을 통해 최적해의 $(1 - 1/e)$ 이내로 근사할 수 있습니다.

2. 이중 커버리지 전략:

   • 텍스트 - 비전 커버리지 (Text-Vision Coverage): 질문 텍스트 토큰과 비전 토큰 간의 유사도를 기반으로 텍스트와 관련된 중요한 비전 영역을 선택합니다.
   • 비전 - 비전 커버리지 (Vision-Vision Coverage): 텍스트가 모호한 경우 (예: "이미지 설명") 를 대비해, 전체 비전 토큰 집합의 정보를 잘 대표하는 하위 집합을 선택합니다.
   • 다중 모드 통합: 두 가지 커버리지 목표를 정규화 (softmax) 후 가중치 합으로 결합하여 최종 목적 함수를 구성합니다.
     $$f(S) = f(S; M_{tv}') + \alpha f(S; M_{vv}')$$
     여기서 $M_{tv}'$는 텍스트 - 비전 유사도, $M_{vv}'$는 비전 - 비전 유사도 행렬입니다.

3. 구현:

   • 단순한 그레디언트 알고리즘을 사용하여 효율적으로 토큰을 선택합니다.
   • 추가적인 미세 조정 (fine-tuning) 이 필요하지 않아 훈련 없는 (training-free) 방식입니다.

3. 주요 기여 (Key Contributions)

1. 최대 커버리지 문제의 도입: 비전 토큰 선택을 서브모듈러 함수 최대화 문제로 공식화하여 이론적 보장을 가진 근사 해법을 제시했습니다.
2. 다중 모드 커버리지 기준: 텍스트 - 비전 및 비전 - 비전 커버리지를 동시에 최적화하여, 단일 모드 방법론이 놓칠 수 있는 정보를 포착하고 상호 보완적인 선택을 가능하게 했습니다.
3. 광범위한 실험 검증: 다양한 벤치마크 (GQA, MMBench, POPE 등) 와 다양한 아키텍처 (LLaVA-1.5, LLaVA-NeXT, Qwen-2.5-VL) 에서 기존 SOTA 방법 (VisionZip, DivPrune 등) 을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능 보존:
  • LLaVA-1.5-7B 모델에서 576 개 토큰을 64 개로 줄였을 때 (약 89% 감소), 기존 방법들보다 높은 평균 성능 (96.6%) 을 유지했습니다.
  • LLaVA-NeXT-13B 에서 POPE 데이터셋 기준, 1.87 배의 속도 향상 (speedup) 을 달성하면서도 원본 성능의 98.7% 를 유지했습니다.
  • Qwen-2.5-VL-7B 와 같은 최신 모델에서도 동적 해상도 설정 하에 토큰을 20% 로 줄였을 때 원본 성능의 약 95% 를 보존했습니다.
• 극단적인 압축:
  • LLaVA-1.5-7B 에서 단 4 개의 비전 토큰만 사용해도 원본 성능의 87.7% 를 유지했습니다.
  • 고난이도 (High Image Contribution) 작업에서 기존 방법 대비 토큰 수를 극도로 줄여도 성능 저하가 적었습니다.
• 효율성:
  • GPU 메모리 사용량을 58% 이상 절감하고, 추론 시간을 약 50% 단축했습니다.
  • 알고리즘의 계산 비용은 토큰 선택에 소요되는 시간이 매우 짧아 (수 ms) 실제 적용에 무리가 없습니다.

5. 의의 및 결론 (Significance)

• 다중 모드의 중요성 재확인: 비전 토큰 선택 시 텍스트 정보와 비전 정보를 결합하는 것이 단일 모드 정보만 사용하는 것보다 훨씬 효과적임을 실증했습니다.
• 실용적 효율성: 추가 학습 없이도 VLM 의 추론 속도와 메모리 효율을 획기적으로 개선할 수 있어, 리소스가 제한된 환경이나 실시간 애플리케이션에 적용 가능한 솔루션을 제공합니다.
• 미래 방향: 텍스트 정보가 부족한 경우를 대비해 경량 에이전트 VLM 을 활용하여 선택을 가이드하는 등의 확장 가능성을 제시했습니다.

요약하자면, MMTok은 VLM 의 비전 토큰 중복성을 해결하기 위해 텍스트와 비전 정보를 통합한 '커버리지 최대화' 전략을 도입하여, 극도로 적은 토큰으로도 높은 성능을 유지하면서 추론 효율을 극대화한 획기적인 방법론입니다.