EvoPrune: Early-Stage Visual Token Pruning for Efficient MLLMs

이 논문은 고해상도 이미지 및 비디오와 같은 복잡한 시나리오에서 MLLM 의 추론 효율성을 제한하는 시각 토큰의 기하급수적 증가 문제를 해결하기 위해, 시각 인코딩 단계 자체에서 토큰 유사성, 다양성 및 어텐션 기반 중요도를 활용하여 정보성이 높은 토큰만 선별하는 초기 단계 시각 토큰 가지치기 방법인 EvoPrune 을 제안하고, 이를 통해 VideoMME 데이터셋에서 2 배의 추론 속도 향상과 1% 미만의 성능 저하를 달성했음을 입증합니다.

핵심

🎬 비유: "거대한 도서관의 사서"

생각해 보세요. AI 는 거대한 도서관을 관리하는 사서와 같습니다.
사용자가 "이 사진에서 무슨 일이 일어나고 있어?"라고 물으면, 사서는 도서관에 있는 모든 책 (이미지 데이터) 을 하나하나 뒤져서 답을 찾아야 합니다.

1. 문제점: "책이 너무 많아서 시간이 걸려요!"

최근 AI 는 고화질 사진이나 긴 영상을 처리할 때, 책 (데이터) 의 양이 어마어마하게 늘어납니다.

• 기존 방식: 사서가 모든 책을 처음부터 끝까지 꼼꼼히 읽은 뒤, "아, 이 책들은 내용이 비슷하네?"라고 생각해서 불필요한 책을 버리고 답을 찾습니다.
• 문제: 책이 너무 많아서 **읽는 시간 (데이터를 처음 분석하는 시간)**이 이미 너무 길어졌습니다. 답을 찾기 전에 책장 넘기는 데만 10 분 걸리면, 사용자는 기다리다 지쳐버립니다.

2. EvoPrune 의 해결책: "책을 읽기 전에 바로 골라내세요!"

EvoPrune 은 **"책을 다 읽기 전에, 가장 중요한 책만 골라내는 새로운 사서"**입니다.

• 기존 방식: 모든 책을 한 번에 훑어본 후 (Visual Encoding), 불필요한 책을 버림.
• EvoPrune 방식: 책을 **첫 번째 장을 펼치는 순간 (Early-Stage)**부터, "이 책은 내용이 중복되니 버리고, 저 책은 핵심이니 남겨라"라고 바로 결정합니다.

3. 어떻게 골라낼까요? (3 가지 기준)

EvoPrune 은 책을 고를 때 세 가지 현명한 기준을 사용합니다.

1. 비슷한 책 찾기 (Similarity):
   • 비유: "이 책과 저 책은 내용이 거의 똑같네? 하나만 남기고 나머지는 버리자."
   • 중복된 정보를 제거하여 공간을 확보합니다.
2. 다양한 책 찾기 (Diversity):
   • 비유: "모두가 같은 종류의 요리책만 남으면 안 되지. 요리, 여행, 과학 등 다양한 분야의 책을 골고루 남겨야 해."
   • 중요한 정보가 빠지지 않도록 다양한 내용을 보존합니다.
3. 중요한 책 찾기 (Attention):
   • 비유: "사실 이 책 (화면 속 주인공) 을 사람들이 가장 많이 보고 싶어 하네? 이 책은 절대 버리면 안 돼."
   • AI 가 가장 주목하는 핵심 부분을 절대 건드리지 않고 보호합니다.

4. 결과는 어떨까요?

이 방법을 쓰면 어떤 일이 일어날까요?

• 속도 2 배 빨라짐: 책장 넘기는 시간이 절반으로 줄어듭니다. 특히 긴 영상을 볼 때 효과가 엄청납니다.
• 정확도 거의 유지: 불필요한 책만 버리고 핵심은 다 남겼기 때문에, 답을 찾는 능력 (정확도) 은 거의 떨어지지 않습니다. (오차 1% 미만!)
• 실시간 가능: 이제 AI 가 실시간으로 영상을 분석하고 대화하는 것도 가능해집니다.

💡 한 줄 요약

"EvoPrune 은 AI 가 이미지를 분석할 때, '모든 것을 다 본 후'가 아니라 '처음 보는 순간'부터 똑똑하게 불필요한 정보를 잘라내어, 속도는 2 배로 빨라지고 정확도는 그대로 유지하게 해주는 기술입니다."

이 기술 덕분에 앞으로 우리가 스마트폰이나 엣지 기기에서 더 빠르고 똑똑한 AI 와 대화할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

멀티모달 대규모 언어 모델 (MLLM) 은 비전 - 언어 작업에서 뛰어난 성능을 보이지만, 고해상도 이미지나 긴 비디오와 같은 복잡한 시나리오에서는 시각 토큰 (Visual Tokens) 의 폭발적인 증가로 인해 추론 효율성이 심각하게 저하됩니다.

• 기존 방법의 한계: 기존 시각 토큰 가지치기 (Pruning) 방법들은 대부분 시각 인코더 (Visual Encoder) 가 모든 토큰을 처리한 후에 적용됩니다.
• 비효율성: 이로 인해 가장 계산 비용이 많이 드는 시각 인코딩 단계의 부하가 줄어들지 않습니다. 특히 입력 크기가 커질수록 (예: 1 장 이미지 → 8 프레임 → 64 프레임 비디오) 시각 인코더의 계산 비용이 전체 추론 시간의 대부분을 차지하게 되어, 기존 가지치기 방법의 가속화 효과가 점차 감소하는 확장성 병목 현상이 발생합니다.
• 핵심 문제: 시각 인코딩 단계에서의 계산 비용을 줄이지 않고는 MLLM 의 지연 시간 (Latency) 민감한 배포 (실시간 비디오 분석 등) 가 어렵습니다.

2. 제안 방법: EvoPrune (Methodology)

저자들은 시각 인코딩 단계 **중간 (Early-Stage)**에서 직접 토큰을 가지치기하는 새로운 프레임워크인 EvoPrune을 제안합니다. 이는 시각 특징 추출이 완료되기 전, 인코더 내부에서 불필요한 토큰을 제거하여 전체 파이프라인의 계산 비용을 절감합니다.

2.1 핵심 메커니즘

EvoPrune 은 선택된 시각 인코더 레이어에서 **토큰 병합 (Token Merging)**을 수행하며, 다음 세 가지 기준을 통합한 **복합 점수 (Composite Score)**를 기반으로 중요하지 않거나 중복된 토큰을 제거합니다.

1. 의미적 유사성 (Semantic Similarity): 시각적, 의미적으로 중복된 토큰을 병합하여 공간적 중복성을 줄입니다.
2. 정보 다양성 (Information Diversity): 서로 다른 내용을 담고 있는 토큰이 병합되지 않도록 하여 표현의 풍부함을 유지합니다. (로컬 밀도 기반 패널티 적용)
3. 어텐션 기반 중요도 (Attention-Based Importance): 다운스트림 추론에 중요한 토큰을 식별하여 보호합니다. (Critical Token Ratio 설정을 통해 상위 중요도 토큰은 병합 대상에서 제외)

2.2 레이어별 가지치기 전략 (Layer-wise Pruning)

• 예산 할당: 전체 가지치기 예산을 인코더의 여러 레이어에 분배합니다.
• 점수 기반 병합: 각 레이어에서 토큰 쌍의 점수를 계산하여 상위 토큰들을 병합하고, 하위 레이어로 전달합니다.
• Skip 전략: 실험 결과, 모든 레이어가 아닌 교대로 (Skip) 가지치기를 수행하는 것이 성능과 효율성 사이의 최적 균형 (Pareto frontier) 을 제공하여 기본 전략으로 채택되었습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 가지치기 패러다임: 기존에 간과되었던 시각 인코딩 단계의 오버헤드를 해결하기 위해, 인코더 내부에서 초기 단계 가지치기를 수행하는 새로운 패러다임을 제시했습니다.
2. 다중 요인 가이드 전략: 토큰 유사성, 다양성, 어텐션 중요도를 통합한 계층적 가지치기 방식을 도입하여, 정보 손실을 최소화하면서 최대의 압축 효율을 달성했습니다.
3. 광범위한 검증: 이미지 및 비디오 벤치마크를 통해 EvoPrune 이 기존 방법들보다 뛰어난 추론 효율성과 경쟁력 있는 작업 성능을 동시에 달성함을 입증했습니다.

4. 실험 결과 (Results)

EvoPrune 은 LLaVA-1.5-7B (이미지) 와 LLaVA-Video-7B (비디오) 를 기반으로 다양한 벤치마크에서 평가되었습니다.

• 이미지 이해 (Image Understanding):
  • 시각 토큰을 77.8% 줄였을 때 (128 토큰 유지), EvoPrune 은 평균 정확도 74.9(상대 성능 97.9%) 를 달성하며 기존 최상위 방법 (CDPruner 등) 보다 정확도가 높고 지연 시간이 더 짧았습니다.
• 비디오 이해 (Video Understanding - VideoMME):
  • 가장 두드러진 성과: VideoMME 벤치마크에서 2 배 (2×) 의 추론 속도 향상을 달성했습니다.
  • 성능 저하: 전체 성능 저하가 1% 미만으로 매우 미미했습니다.
  • 기존 방법들은 시각 인코더 비용이 줄어들지 않아 전체 속도 향상폭이 제한적이었으나, EvoPrune 은 시각 인코더, 중간 모듈, LLM 백본 전 단계에서 가속화를 이루어 TTFT(First Token 생성 시간) 를 2 배 단축했습니다.
• 효율성 분석:
  • 기존 방법들은 LLM 백본만 가속화되어 전체 속도 향상이 1.3~1.4 배에 그쳤으나, EvoPrune 은 시각 인코더 단계에서 1.8 배, 중간 처리 5 배, LLM 2 배의 가속화를 이루어 전체 파이프라인의 균형 잡힌 가속을 실현했습니다.

5. 의의 및 결론 (Significance)

• 지연 시간 민감형 배포 가능: EvoPrune 은 재학습 (Retraining) 이 필요 없는 플러그 - 앤 - 플레이 방식이며, 고해상도 이미지 및 긴 비디오 입력에서도 효율성을 유지합니다. 이는 실시간 비디오 분석 및 엣지 컴퓨팅 환경에서 MLLM 배포의 실용성을 크게 높입니다.
• 효율성과 정확도의 트레이드오프 극복: 기존 가지치기 방법들이 직면한 "가속화 효과 감소" 문제를 해결하여, 대규모 시각 입력에서도 높은 성능을 유지하면서 계산 비용을 획기적으로 줄일 수 있음을 증명했습니다.
• 미래 전망: 향후 더 긴 동적 비디오 시퀀스나 시간적 중복성을 활용한 가지치기 전략으로 확장될 수 있는 기반을 마련했습니다.

요약하자면, EvoPrune 은 시각 인코더 단계에서 초기에 토큰을 줄임으로써 MLLM 의 가장 큰 병목 현상인 계산 비용을 해결하고, 높은 정확도 유지 하에 2 배의 추론 속도 향상을 이룬 획기적인 효율화 기법입니다.