Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity

이 논문은 기존 비전 - 언어 모델의 계산 비효율성을 해결하기 위해 훈련 없이 실행 가능한 'PruneSID'를 제안하며, 의미적 중요도와 다양성을 시너지적으로 고려한 두 단계 토큰 압축 기법을 통해 극단적인 토큰 감소율에서도 최첨단 성능과 빠른 처리 속도를 달성함을 보여줍니다.

핵심

📸 "PRUNESID": 사진 속 불필요한 정보를 잘라내어 AI 를 더 똑똑하고 빠르게 만드는 방법

이 논문은 **시각-언어 모델 **(VLM)이 어떻게 작동하는지, 그리고 왜 현재 너무 느리고 비효율적인지, 그리고 저자들이 제안한 PRUNESID라는 새로운 방법이 어떻게 이 문제를 해결하는지 설명합니다.

간단히 말해, "사진을 볼 때 AI 가 모든 픽셀을 다 보려고 하지 말고, 핵심만 잘라내어 빠르게 이해하게 하자"는 아이디어입니다.

---

🤔 문제: AI 는 사진을 볼 때 왜 이렇게 느릴까요?

지금의 AI(예: LLaVA) 는 사진을 볼 때 마치 거대한 퍼즐 조각 576 개를 하나하나 다 살펴보는 것과 같습니다.

• 현실: 사진의 70% 는 배경이나 반복적인 패턴 (예: 하늘, 벽, 나무 잎사귀) 이라 AI 에게는 불필요한 정보입니다.
• 문제: AI 는 이 불필요한 조각들까지 다 분석하려다 보니 시간이 오래 걸리고, 컴퓨터 성능을 너무 많이 잡아먹습니다.

기존 방법들은 두 가지 극단적인 문제를 겪고 있었습니다:

1. **주목도 **(Attention) "가장 눈에 띄는 것 (사람, 자동차) 만 보고 나머지는 무시"합니다.
   • 비유: 파티에서 가장 유명한 사람만 보고 나머지 사람들과 대화하지 않는 것. 배경 정보가 사라져서 상황을 제대로 이해하지 못합니다.
2. **중복 제거 **(Redundancy) "비슷한 것끼리 뭉쳐서 하나만 남깁니다".
   • 비유: 비슷한 옷을 입은 사람들도 모두 한 명만 남긴다면, 중요한 **의미 있는 정보 **(예: 표정, 세부 사항)까지 잃어버릴 수 있습니다.

---

💡 해결책: PRUNESID (프루니드)

저자들은 "중요한 것은 살리고, 중복된 것은 잘라내되, 다양한 정보도 놓치지 말자"는 두 마리 토끼를 잡는 방법을 고안했습니다. 이 방법은 **학습 **(Training)이 필요 없는 PRUNESID입니다.

이 방법은 두 단계로 이루어진 스마트 필터처럼 작동합니다.

1 단계: "주요 의미 그룹화" (PSCA) - 🧩 퍼즐을 주제별로 묶기

AI 가 본 사진의 모든 조각 (토큰) 을 무작위로 섞지 않고, 주제별로 그룹을 짓습니다.

• 비유: 책상 위에 흩어진 레고 조각들을 "바닥, 벽, 가구"처럼 의미가 비슷한 것끼리 묶는 것입니다.
• 효과: 이제 AI 는 "이 그룹은 배경이야", "이 그룹은 사람 얼굴이야"라고 명확하게 구분할 수 있습니다.

2 단계: "그룹 내 중복 제거" (NMS) - 🗑️ 같은 그룹에서 대표자만 뽑기

각 그룹 안에서 가장 대표적인 조각 하나만 남기고, 나머지는 잘라냅니다.

• 비유: "바닥" 그룹에 비슷한 타일 100 개가 있다면, 그중 가장 특징적인 타일 1 개만 남기고 나머지는 버립니다. 하지만 "사람 얼굴" 그룹에서는 눈, 코, 입이 모두 중요한 정보이므로, 서로 다른 특징을 가진 조각들은 모두 살려둡니다.
• 핵심: 단순히 "비슷한 것"을 지우는 게 아니라, 그룹 내에서 가장 중요한 대표자를 골라내어 **다양성 **(Diversity)을 유지합니다.

🌟 추가 기능: "상황에 맞는 자동 조절" (동적 압축 비율)

모든 사진이 같은 복잡도를 가지지는 않습니다.

• **복잡한 사진 **(예: 시끄러운 시장) → 더 많은 조각을 남겨서 정보를 충분히 담습니다.
• **단순한 사진 **(예: 하얀 벽) → 과감하게 더 많이 잘라냅니다.
• 비유: 무거운 짐은 트럭으로, 가벼운 짐은 자전거로 보내는 것처럼, 사진의 정보량에 따라 AI 가 처리할 조각 수를 자동으로 조절합니다.

---

🚀 결과: 얼마나 빨라지고 똑똑해졌나요?

이 방법을 적용한 결과, 놀라운 성과가 나왔습니다.

1. 압도적인 속도:

   • AI 가 사진을 읽는 시간이 7.8 배 빨라졌습니다. (기존 218ms → 27.8ms)
   • 비유: 고속도로를 달리는 것이 아니라 초고속 열차를 탄 것과 같습니다.

2. 뛰어난 정확도:

   • 원래 사진 조각의 **5.6% **(약 160 개)만 남겼는데도, AI 의 성능이 **92.8%**까지 유지되었습니다.
   • 기존 방법들보다 2.5% 더 높은 정확도를 보였습니다.
   • 비유: 책의 95% 를 찢어 버렸는데도, 줄거리와 핵심 내용을 95% 이상 완벽하게 기억하는 것과 같습니다.

3. 범용성:

   • 사진뿐만 아니라 동영상 처리에서도 최고의 성능을 발휘했습니다.

---

📝 한 줄 요약

PRUNESID는 AI 가 사진을 볼 때 "모든 것을 다 보려다 지치는" 습관을 고쳐, **주제별로 묶고 **(PSCA) **중복된 것은 잘라내되 **(NMS) 핵심과 다양성은 모두 챙겨서, 훨씬 더 빠르고 똑똑하게 세상을 이해하게 해주는 스마트한 정리 도구입니다.

이 기술이 상용화되면, 스마트폰이나 로봇이 실시간으로 복잡한 영상을 분석할 때 배터리도 덜 소모하고 훨씬 더 빠르게 반응할 수 있게 될 것입니다! 🚀📱

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 비효율적인 시각 토큰 생성: 비전 - 언어 모델 (VLM, Vision-Language Models) 은 이미지를 시퀀스 형태의 시각 토큰으로 인코딩하여 처리합니다. 예를 들어, LLaVA-1.5 는 이미지당 약 576 개, LLaVA-NeXT 는 2880 개의 토큰을 생성합니다.
• 중복성 (Redundancy): 실증적 연구에 따르면 시각 토큰의 약 70% 는 중복되어 있으며, 이를 제거해도 정확도 저하가 미미합니다.
• 기존 방법의 한계:
  • 주의 기반 선택 (Attention-guided): 어텐션 점수가 높은 토큰만 선택하는 방식은 중요한 객체 영역은 보존하지만, 배경 정보나 문맥을 무시하여 장면 이해도가 떨어집니다. 또한, 유사한 객체 조각들이 중복 선택되는 비효율이 발생합니다.
  • 중복 인식 기반 제거 (Duplication-aware): 유사도를 기반으로 중복 토큰을 제거하는 방식은 다양성을 높이지만, 주의 점수가 높고 의미적으로 중요한 토큰까지 실수로 제거할 수 있어 특징 표현이 왜곡될 수 있습니다.
• 핵심 과제: 높은 압축 비율에서도 **중요성 (Importance)**과 **정보의 다양성 (Information Diversity)**을 동시에 최적화하여 균형을 맞추는 것이 기존 방법들의 주요 난제였습니다.

2. 제안 방법: PRUNESID (Methodology)

저자들은 훈련이 필요 없는 (Training-free) PRUNESID라는 새로운 프레임워크를 제안했습니다. 이는 상호 보완적인 중요도 - 다양성 (Synergistic Importance-Diversity) 접근법을 기반으로 하며, 두 단계의 파이프라인과 동적 압축 비율 메커니즘으로 구성됩니다.

A. 1 단계: 주된 의미 성분 분석 (Principal Semantic Components Analysis, PSCA)

• 목적: 토큰을 의미적으로 일관된 그룹으로 클러스터링하여 개념의 포괄성을 보장합니다.
• 작동 원리:
  • 기존 PCA 가 특징 차원에서 분산을 분석하는 것과 달리, PSCA 는 토큰 차원을 의미 축으로 재정의합니다.
  • 토큰 임베딩 행렬을 전치하여 저차원 PCA 분해를 수행하고, 토큰이 각 주성분 방향에 기여하는 정도를 분석합니다.
  • 각 토큰을 가장 큰 절대값을 가진 주성분 방향에 할당하여, 이미지 내의 객체, 배경, 질감 패턴 등 공유된 의미 정보를 가진 **의미적 일관 그룹 (Semantically Coherent Groups)**을 형성합니다.

B. 2 단계: 그룹 내 비최대 억제 (Intra-group Non-Maximum Suppression, NMS)

• 목적: 각 그룹 내에서 중복된 토큰을 제거하고 가장 대표적인 토큰만 보존합니다.
• 작동 원리:
  • 각 그룹 내에서 토큰을 중요도 점수 (주성분 방향에 대한 투영 값) 에 따라 정렬합니다.
  • 객체 감지의 NMS 에서 영감을 받아, 이미 선택된 토큰과의 유사도가 임계값 ($\tau$) 을 초과하면 해당 토큰을 제거합니다.
  • 적응형 임계값: 이미지의 전역 중복도 ($\rho$) 를 계산하여 NMS 임계값을 동적으로 설정합니다 ($\tau = \lambda \cdot \rho$). 중복이 많은 이미지일수록 더 강력한 억제가 적용됩니다.

C. 정보 인식형 동적 압축 비율 (Information-Aware Dynamic Compression Ratio)

• 문제: 고정된 토큰 수 (예: 항상 64 개) 를 할당하면 복잡한 장면은 정보가 부족해지고, 단순한 장면은 불필요한 중복이 발생합니다.
• 해결: 이미지의 전역 중복도 기반 **정보 점수 ($\phi = 1 - \rho$)**를 계산합니다.
  • 정보가 풍부한 이미지 (복잡한 장면) 에는 더 많은 토큰을 할당합니다.
  • 정보가 적은 이미지 (단순한 배경) 에는 더 강하게 압축합니다.
  • 이를 통해 다양한 장면에서 평균 정보 보존율을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 훈련 불필요 프레임워크: PSCA 를 통한 의미적 클러스터링과 그룹 내 NMS 를 결합하여, 중요성 보존과 정보 다양성 간의 트레이드오프를 해결했습니다.
2. 동적 압축 메커니즘: 이미지별 복잡도에 따라 토큰 예산을 동적으로 할당하는 정보 인식형 전략을 도입하여, 다양한 시나리오에서의 적응성을 높였습니다.
3. 범용성 및 확장성: 이미지뿐만 아니라 비디오 모달리티까지 적용 가능하며, 다양한 VLM 아키텍처 (LLaVA, Mini-Gemini, Qwen-VL 등) 에서 뛰어난 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• LLaVA-1.5:
  • 64 개 토큰 (11.1% 유지) 만으로도 **96.3%**의 정확도를 달성하여, 기존 최첨단 방법 (VisionZip 등) 보다 2.5% 이상 높은 성능을 보였습니다.
  • 192 개 토큰 유지 시에도 98.6% 의 평균 정확도를 기록했습니다.
• LLaVA-NeXT (고해상도):
  • 극단적인 압축 비율 (5.6%, 약 160 개 토큰) 에서도 **92.8%**의 정확도를 유지하며, 기존 방법 대비 2.5%p 향상된 성능을 보였습니다.
• 비디오 이해 (Video-LLaVA):
  • 프레임당 256 개 토큰을 17 개 (6.6% 유지) 로 압축하여 처리했을 때, 평균 정확도 **95.5%**를 달성했습니다.
• 효율성:
  • 사전 채우기 (Prefilling) 시간을 기존 모델 대비 7.8 배 단축 (218ms $\to$ 27.8ms) 하여 추론 속도를 획기적으로 개선했습니다.
  • VisionZip 과 유사한 지연 시간 (Latency) 을 유지하면서도 정확도는 2.4% 더 높았습니다.

5. 의의 및 결론 (Significance)

이 논문은 VLM 의 계산 비효율성을 해결하기 위해 **의미적 구조 (Semantic Structure)**를 활용한 토큰 압축의 새로운 패러다임을 제시합니다. 단순히 어텐션 점수나 유사도만 보는 기존 접근법을 넘어, **전역적인 의미적 방향성 (PSCA)**과 **국소적 중복 제거 (NMS)**를 결합함으로써, 극단적인 압축 환경에서도 모델이 필요한 핵심 정보와 문맥적 다양성을 모두 유지할 수 있음을 입증했습니다.

이는 리소스가 제한된 환경 (모바일, 엣지 디바이스) 에서 고해상도 이미지 및 비디오를 실시간으로 처리하는 VLM 의 실용적 배포를 가능하게 하는 중요한 기술적 진보로 평가됩니다.