💻 computer science

HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models

본 논문은 멀티모달 모델에서 어텐션 헤드의 중요도를 고려하여 중복된 비주얼 토큰을 제거함으로써 추론 속도와 메모리 사용량을 획기적으로 줄이면서도 높은 정확도를 유지하는 훈련 없는 토큰 가지치기 방법인 HAWK 를 제안합니다.

원저자: Qihui Zhu, Tao Zhang, Yuchen Wang, Zijian Wen, Mengjie Zhang, Shuangwu Chen, Xiaobin Tan, Jian Yang, Yang Liu, Zhenhua Dong, Xianzhi Yu, Yinfei Pan

게시일 2026-04-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qihui Zhu, Tao Zhang, Yuchen Wang, Zijian Wen, Mengjie Zhang, Shuangwu Chen, Xiaobin Tan, Jian Yang, Yang Liu, Zhenhua Dong, Xianzhi Yu, Yinfei Pan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🦅 HAWK: 멀티모달 AI 의 '눈'을 더 똑똑하게 정리하는 방법

이 논문은 **"멀티모달 대규모 언어 모델 (MLLM)"**이라는 거대한 AI 가 이미지를 볼 때, 너무 많은 정보를 한꺼번에 처리하다 보니 느려지고 비효율적이 되는 문제를 해결한 새로운 방법론을 소개합니다.

이 방법의 이름은 **HAWK(매)**입니다. 매처럼 날카로운 시선으로 불필요한 정보를 잘라내고, 진짜 중요한 것만 남긴다는 뜻이죠.

🤔 왜 이런 연구가 필요할까요? (문제 상황)

상상해 보세요. AI 가 사진을 보고 "이 사진에 뭐가 있니?"라고 물어본다고 합시다.
기존의 AI 는 이 사진을 **수백 개의 작은 조각 (토큰)**으로 잘게 쪼개서 하나하나 분석합니다.

문제: 사진이 고화질이거나 영상이면 조각 수가 천 개, 만 개로 불어납니다.
결과: AI 가 이 모든 조각을 다 처리하려다 보니 시간이 너무 오래 걸리고, 컴퓨터 메모리도 폭발합니다. 마치 100 명을 한 번에 인터뷰하느라 정작 중요한 사람의 말은 놓치는 상황과 비슷합니다.

💡 기존 방법들의 한계 (기존 솔루션)

이전 연구자들은 "불필요한 조각"을 잘라내려고 여러 시도를 했습니다.

비슷한 것 제거: 서로 너무 비슷한 조각은 지우기 (예: 하늘색 부분만 남기고 나머지는 지우기).
- 한계: 사용자의 질문 ("고양이가 어디 있어?") 을 무시하고 무작정 지우다 보니, 정작 중요한 '고양이' 조각까지 실수로 지워버릴 수 있습니다.
모든 조각을 똑같이 취급: AI 의 '눈 (어텐션 헤드)'이 모두 똑같은 역할을 한다고 가정하고 평균을 내기.
- 한계: 실제로는 AI 의 눈마다 특기가 다릅니다. 어떤 눈은 '색깔'을 잘 보고, 어떤 눈은 '모양'을 잘 봅니다. 이를 모두 똑같이 취급하면 중요한 정보를 놓칩니다.

🦅 HAWK 의 혁신적인 아이디어 (해결책)

이 논문은 **"AI 의 각 눈 (어텐션 헤드) 마다 중요도가 다르다"**는 사실을 발견했습니다.

비유: 한 팀의 탐정들이 사건을 조사할 때, A 형사는 '지문'에 집중하고, B 형사는 '목격자'에 집중합니다. 모든 형사의 말을 똑같이 취급하면 사건 해결이 늦어집니다. 진짜 중요한 단서를 주는 형사에게 더 많은 권한을 줘야 합니다.

HAWK 는 이 원리를 적용합니다:

눈의 중요도 파악 (Head Importance): 먼저 AI 를 분석해서, 어떤 '눈'이 이미지 이해에 얼마나 중요한지 점수를 매깁니다. (예: '모양'을 보는 눈은 점수 100 점, '색깔'만 보는 눈은 점수 50 점)
질문과 연결 (Text-Guided): 사용자의 질문 ("고양이") 을 보고, 현재 이미지에서 '고양이'와 관련된 부분을 찾아냅니다.
똑똑한 정리 (Pruning): "중요한 눈 (점수 높음)"이 "질문과 관련된 부분"을 보고 있다면, 그 조각은 절대 지우지 않습니다. 반대로 중요하지 않거나 질문과 무관한 조각은 과감히 잘라냅니다.

🚀 HAWK 의 놀라운 성과

이 방법은 AI 를 다시 학습시킬 필요도 없습니다 (Training-free). 그냥 기존 AI 에 붙이면 바로 작동합니다.

효율성: 이미지의 **80% 이상 (약 5/6)**을 잘라내도, 원래 성능의 **96%**를 유지합니다.
- 비유: 100 명 중 80 명을 잘라내서 20 명만 남겼는데, 팀의 실력은 거의 그대로 유지된 셈입니다.
속도: 처리 속도가 약 1.3 배 빨라지고, 메모리 사용량도 크게 줄어듭니다.
적용: Qwen2.5-VL 같은 최신 AI 모델에서도 최고의 성능을 보여줍니다.

📝 한 줄 요약

HAWK는 AI 가 이미지를 볼 때, **"무작정 다 보는 게 아니라, 질문과 관련된 중요한 부분만 집중해서 보는 매 (HAWK) 의 시선"**을 모방하여, AI 의 속도는 빠르게 하되 지능은 떨어뜨리지 않는 획기적인 기술입니다.

이제 AI 는 더 가볍고 빠르게, 하지만 똑똑하게 세상을 볼 수 있게 되었습니다! 🦅✨

1. 문제 정의 (Problem)

다중 모달 대형 언어 모델 (MLLMs) 의 비효율성:
최근 MLLM 은 이미지나 비디오와 같은 시각적 입력을 처리할 때, 이를 '시각 토큰 (Visual Tokens)'으로 변환하여 언어 모델에 입력합니다. 그러나 시각 정보는 텍스트에 비해 훨씬 밀집되어 있어 토큰 수가 수백 개에서 수만 개에 달합니다.

계산 복잡도: 어텐션 (Attention) 기반 모델의 계산 복잡도는 토큰 길이에 따라 2 차함수적으로 증가합니다. 따라서 시각 토큰의 급증은 추론 시간과 메모리 오버헤드를 크게 증가시켜, 실시간 응용이나 리소스 제약이 있는 환경에서의 배포를 어렵게 만듭니다.

기존 방법의 한계:
기존의 시각 토큰 가지치기 (Pruning) 연구는 크게 세 가지 접근법 (유사도 기반, 파인튜닝 기반, 어텐션 기반) 으로 나뉘지만, 다음과 같은 치명적인 결함이 있습니다.

동등한 기여도 가정: 기존 연구들은 모든 어텐션 헤드 (Attention Head) 가 시각 해석에 동등하게 기여한다고 가정하고, 단순히 헤드의 가중치를 산술 평균하는 방식을 사용합니다.
실제 문제: 저자의 연구에 따르면, 서로 다른 어텐션 헤드는 서로 다른 시각적 의미 (Visual Semantics) 를 포착하며 시각 처리에서 고유하고 상이한 역할을 수행합니다. 모든 헤드를 동일하게 취급하면 중요한 의미 정보를 가진 토큰이 실수로 제거되거나, 불필요한 중복 토큰이 남게 되어 성능 저하가 발생합니다.

2. 제안 방법: HAWK (Methodology)

HAWK (Head Importance-Aware Visual Token Pruning) 는 어텐션 헤드의 중요도를 인식하여 시각 토큰을 선택적으로 제거하는 학습 불필요 (Training-free) 방법론입니다.

핵심 구성 요소:

정적 어텐션 헤드 중요도 가중치 (Static Visual Head Importance Weights):
- 여러 벤치마크 데이터셋에서 각 어텐션 헤드를 순차적으로 제거 (Ablation) 하여 모델 성능이 얼마나 하락하는지 측정합니다.
- 각 헤드가 시각 이해에 기여하는 정도를 정량화하여, 데이터셋 전체에 걸쳐 평균화된 헤드 중요도 가중치 ( $W$ ) 를 사전에 계산합니다. 이는 오프라인에서 한 번만 수행하면 됩니다.
동적 텍스트 가이드 어텐션 점수 (Dynamic Text-Guided Attention Scores):
- 시각 토큰의 중요도는 고정된 것이 아니라 입력된 텍스트 명령 (Instruction) 에 따라 동적으로 변합니다.
- 텍스트 토큰과 시각 토큰 간의 의미적 관련성을 평가하기 위해 텍스트 가이드 어텐션 메커니즘을 사용합니다.
- 위치 인코딩 (RoPE) 을 제거하여 위치 편향을 없애고, 오직 텍스트와 비전의 의미적 대응 관계에만 기반하여 어텐션 점수를 계산합니다.
헤드 중요도 인식 가지치기 (Head Importance-aware Pruning):
- 최종적으로 각 시각 토큰의 중요도 점수 ( $I_k$ ) 를 계산할 때, 동적 텍스트 어텐션 점수 ( $C$ ) 와 정적 헤드 중요도 가중치 ( $W$ ) 를 결합합니다.
- 수식: $I_k = \sum (w_i \cdot c^i_k)$
- 이 통합 점수를 기준으로 상위 $k$ 개의 토큰만 선택하여 나머지冗余 (중복) 토큰을 제거합니다.

3. 주요 기여 (Key Contributions)

새로운 통찰 발견: MLLM 내의 서로 다른 어텐션 헤드가 시각 처리에서 고유하고 상이한 역할을 수행하며, 이를 정량화할 수 있음을 규명했습니다.
HAWK 프레임워크 제안: 학습 없이 (Training-free) 적용 가능하며, 헤드 중요도 가중치와 텍스트 가이드 어텐션을 통합하여 최적의 시각 토큰을 보존하는 새로운 가지치기 방법을 제안했습니다.
SOTA 성능 입증: 다양한 비전 - 언어 벤치마크 (이미지 및 비디오) 에서 기존 최첨단 방법들 (FastV, DivPrune, CDPruner 등) 을 압도하는 성능을 보여주었습니다.

4. 실험 결과 (Results)

주요 모델: Qwen2.5-VL-7B, InternVL3-8B
평가 벤치마크: MME, TextVQA, ChartQA, Video-MME 등 10 개 이상의 이미지/비디오 벤치마크.

정확도 유지율:
- Qwen2.5-VL-7B 모델에서 시각 토큰을 80.2% 제거했을 때, 원래 정확도의 96.0% 를 유지했습니다. (기존 최상위 방법 대비 3.4%p 이상 우위)
- 극단적인 가지치기 비율 (90.1% 제거) 에서도 90.0% 의 성능을 유지하며, 다른 방법들보다 4.1%p 높은 성능을 기록했습니다.
- InternVL3-8B 모델에서도 80% 가지치기 시 94.1% 의 성능을 유지하며 모델 아키텍처에 구애받지 않는 일반화 능력을 입증했습니다.
효율성 향상:
- 지연 시간 (Latency): Qwen2.5-VL-7B 기준, 가지치기 적용 시 엔드 - 투 - 엔드 추론 지연 시간이 원래의 74.4% 로 감소했습니다 (약 1.34 배 속도 향상).
- 메모리 사용량: KV 캐시 및 GPU 메모리 사용량이 크게 감소하여 (예: 0.8 비율에서 15.7GB 사용), 대규모 모델의 배포 가능성을 높였습니다.
비디오 이해: 긴 비디오 처리에서도 HAWK 는 다른 방법들보다 일관되게 높은 성능을 유지하며 효율성을 증명했습니다.

5. 의의 및 결론 (Significance)

실용적 배포 가능성: HAWK 는 추가적인 파인튜닝이나 비용이 많이 드는 보정 과정 없이도 다양한 MLLM 에 즉시 적용 (Plug-and-play) 가능하여, 리소스 제약이 있는 환경에서의 실시간 다중 모달 AI 배포를 가능하게 합니다.
효율성과 정확도의 균형: 기존의 가지치기 방법들이 겪던 "중요한 정보 손실" 문제를 해결하여, 계산 비용을 대폭 줄이면서도 모델의 원래 성능을 거의 유지하는 새로운 기준 (SOTA) 을 제시했습니다.
메커니즘적 이해 증진: 어텐션 헤드가 시각 이해에 불균등하게 기여한다는 사실을 규명함으로써, 향후 MLLM 최적화 연구에 중요한 방향성을 제시했습니다.

결론적으로 HAWK 는 다중 모달 모델의 계산 병목 현상을 해결하기 위한 효율적이고 강력한 솔루션으로, 실제 응용 분야에서 MLLM 의 확장성을 크게 높일 것으로 기대됩니다.