💻 computer science

Why and When Visual Token Pruning Fails? A Study on Relevant Visual Information Shift in MLLMs Decoding

이 논문은 멀티모달 대규모 언어 모델의 복잡한 시각 추론 작업에서 기존 시각 토큰 가지치기 방법이 실패하는 주된 원인을 '해석 단계 중 발생하는 관련 시각 정보의 이동 (RVIS)'으로 규명하고, 이를 해결하기 위해 학습 없이 적용 가능한 '해석 단계 이동 인식 토큰 가지치기 (DSTP)' 프레임워크를 제안하여 성능을 크게 향상시켰음을 보여줍니다.

원저자: Jiwan Kim, Kibum Kim, Wonjoong Kim, Byung-Kwan Lee, Chanyoung Park

게시일 2026-04-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiwan Kim, Kibum Kim, Wonjoong Kim, Byung-Kwan Lee, Chanyoung Park

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎬 비유: "명화 감상회"와 "수학 시험"

상상해 보세요. AI 는 거대한 도서관에 있는 **수만 장의 그림 (Visual Tokens)**을 한 번에 훑어보면서 질문에 답하는 학생입니다.

1. 기존 기술의 문제: "처음에 정해둔 메모만 믿는 학생"

기존의 '시각 토큰 가지치기 (Visual Token Pruning)' 기술은 다음과 같이 작동했습니다.

"문제 (질문) 를 처음 받았을 때, 가장 중요한 그림 조각 30% 만 골라내서 나머지는 버려버리자! 그래야 계산 속도가 빨라지고 메모리도 아껴지지!"

이 방법은 **단순한 그림 보기 (예: "이 그림에 고양이가 있나요?")**에는 아주 잘 작동했습니다. 고양이는 그림 한 구석에 딱 있고, 처음에 그걸 찾아두면 끝이니까요.

**하지만, 복잡한 수학/논리 문제 (예: "이 도형의 각도를 구해라")**에서는 완전히 망쳤습니다. 왜일까요?

2. 핵심 발견: "시각 정보의 이동 (RVIS)"

논문 저자들은 AI 가 문제를 풀면서 일어나는 놀라운 현상을 발견했습니다.

단순 문제: 처음에 본 '고양이' 위치를 끝까지 기억하면 됩니다. (고정된 시선)
복잡한 추론 문제: 문제를 풀면서 시선이 계속 이동합니다.
- 1 단계: "아, 이 변의 길이가 3 이네." (A 부분 집중)
- 2 단계: "그럼 이 각도를 구하려면 저기서 5 를 빼야지." (B 부분 집중)
- 3 단계: "아! 정답 보기를 고르려면 C 부분의 글자를 봐야 해!" (C 부분 집중)

기존 기술은 처음에 A 부분을 골라 B, C 부분은 영원히 버려버렸기 때문에, 2 단계와 3 단계에서 AI 는 "어? 필요한 정보가 없어!"라며 당황하고 틀린 답을 내놓았습니다.

저자들은 이를 **'시각 정보의 이동 (Relevant Visual Information Shift, RVIS)'**이라고 불렀습니다. 즉, 문제를 풀어가면서 필요한 그림 정보가 계속 바뀌는데, 기존 기술은 그걸 못 따라가는 것입니다.

3. 해결책: "DSTP (해석 단계 지능형 토큰 교체)"

이제 저자들이 제안한 새로운 기술 DSTP를 소개합니다. 이는 마치 현명한 비서처럼 작동합니다.

기존 방식: 처음에 30% 만 골라놓고, 나머지는 쓰레기통에 버림.
DSTP 방식:
1. 감시 (RISD): AI 가 문제를 풀면서 "어? 지금 시선이 처음 본 곳과 달라졌어!"라고 감지합니다. (예: "아, 이제 저쪽 구석을 봐야겠네!")
2. 교체 (CPTS): "잠깐! 지금 필요한 저쪽 구석의 그림 조각을 쓰레기통에서 다시 꺼내와!"라고 명령합니다.
3. 유지: 중요한 정보는 계속 유지하되, 필요한 순간에 필요한 그림 조각만 실시간으로 교체해 줍니다.

이 방식은 **처음에 모든 그림을 다 보는 것 (비효율적)**과 처음에 일부만 보고 끝까지 버리는 것 (틀림) 사이의 완벽한 균형을 잡습니다.

📊 결과는 어떨까요?

복잡한 추론 문제 (수학, 논리): 기존 기술은 점수가 50 점대로 뚝 떨어졌지만, DSTP 를 적용하니 80~90 점대로 급상승했습니다.
단순한 그림 보기: 점수는 그대로 유지되거나 아주 조금 더 좋아졌습니다.
속도: 모든 그림을 다 보는 것보다는 훨씬 빠르고, 메모리도 적게 쓰면서 정확도만 높였습니다.

💡 한 줄 요약

"AI 가 그림을 보고 문제를 풀 때, 처음에 중요한 부분만 골라두는 건 위험해요. 문제를 풀어가면서 '지금 이 부분이 중요해!'라고 외치면, AI 가 그때그때 필요한 그림 조각을 다시 꺼내와서 맞춰주는 게 정답입니다!"

이 연구는 AI 가 더 똑똑하고 빠르게 복잡한 문제를 풀 수 있게 해주는 중요한 디딤돌이 되었습니다.

1. 연구 배경 및 문제 정의 (Problem)

배경:
멀티모달 대규모 언어 모델 (MLLMs) 은 시각적 이해 (VQA) 와 복잡한 시각적 추론 (수학, 논리 퍼즐 등) 능력을 갖추고 있습니다. 그러나 이러한 모델은 이미지 인코더를 통해 생성된 방대한 수의 '시각 토큰 (Visual Tokens)'을 처리해야 하므로, 추론 시 메모리 및 계산 오버헤드가 매우 큽니다. 이를 해결하기 위해 시각 토큰 가지치기 (Visual Token Pruning) 기법이 활발히 연구되고 있습니다.

문제점:
기존의 가지치기 방법들은 주로 Prefill 단계 (입력 처리 단계) 에서 중요한 시각 토큰을 한 번 선택한 후, 그 이후의 Decoding 단계 (답변 생성 단계) 에서 영구적으로 제거합니다.

성공 사례: 단순한 시각적 이해 (VQA) 작업에서는 초기에 선택된 토큰이 전체 생성 과정에 걸쳐 유효하여 성능이 잘 유지됩니다.
실패 원인: 복잡한 시각적 추론 (Visual Reasoning, VMR) 작업 (예: 수학 문제 풀이, 논리적 추론) 에서는 기존 가지치기 방법들의 성능이 급격히 저하됩니다.
핵심 가설: 기존 연구들은 이러한 성능 저하의 원인을 충분히 규명하지 못했습니다. 본 논문은 기존 방법들이 Decoding 단계 중 시각적 관심 영역이 동적으로 이동하는 현상을 처리하지 못하기 때문에 실패한다고 주장합니다.

2. 핵심 발견: Relevant Visual Information Shift (RVIS)

저자들은 MLLM 이 추론 과정을 수행할 때 발생하는 새로운 현상을 발견하고 이를 RVIS (Relevant Visual Information Shift) 라고 명명했습니다.

정의: Decoding 단계가 진행됨에 따라 모델이 필요한 시각적 정보 (관심 영역) 가 초기 Prefill 단계에서 선택된 영역과 달라지며 동적으로 이동하는 현상.
VQA vs VMR:
- VQA (시각적 이해): 모델의 시각적 주의 (Attention) 가 초기에 집중된 영역을 유지하며 거의 변화가 없습니다 (Static).
- VMR (시각적 추론): 논리적 단계가 진행될수록 모델은 새로운 시각적 단서를 찾기 위해 이미지 내 다른 영역으로 주의를 집중합니다 (Dynamic Shift).
발견: RVIS 가 빈번하게 발생하는 추론 작업에서, 초기에 가지치기된 토큰을 다시 불러오지 않는 정적 (Static) 가지치기 방식은 필수적인 시각 정보를 놓치게 되어 성능이 급감합니다.

3. 제안 방법: DSTP (Decoding-stage Shift-aware Token Pruning)

RVIS 문제를 해결하기 위해 저자들은 DSTP라는 훈련이 필요 없는 (Training-free) 플러그인 프레임워크를 제안했습니다. 이는 기존 가지치기 방법 위에 얹어지는 추가 모듈로, 두 가지 핵심 모듈로 구성됩니다.

A. RISD (Relevant Visual Information Shift Detect)

기능: Decoding 단계에서 모델의 현재 시각적 주의 분포와 초기 (Prefill) 주의 분포 간의 코사인 유사도 (Cosine Similarity) 를 실시간으로 모니터링합니다.
작동: 유사도가 임계값 ( $\tau$ ) 이하로 떨어지면, 이는 시각적 관심 영역이 이동했음을 의미하므로 RVIS 발생으로 판단합니다.

B. CPTS (Context-Preserving Visual Token Swap)

기능: RVIS 가 감지되면, 현재 단계에서 필요한 새로운 시각 토큰을 가지치기 시 버려졌지만 보관해 둔 (Reserved) 토큰 세트에서 재선택합니다.
Context Preservation (맥락 보존): 단순히 새 토큰으로 교체하면 모델이 이미지 전체 맥락을 잃을 수 있습니다. 따라서 CPTS 는 초기 선택된 토큰과 새로 선택된 토큰을 합집합 (Union) 하여 일시적으로 토큰 수를 늘린 후, 일정 시간 ( $L$ ) 동안 유지합니다.
효과: 모델이 현재 추론 단계에 필요한 세부 정보를 얻으면서도, 전체 이미지의 맥락을 유지하여 일관된 추론을 가능하게 합니다.

4. 실험 결과 (Results)

저자들은 Qwen3-VL, InternVL3.5 등 최신 MLLM 과 FastV, DivPrune, VisionZip 등 다양한 가지치기 기법을 결합하여 실험했습니다.

시각적 추론 (VMR) 성능 향상:
- 기존 가지치기 방법 (예: FastV) 은 수학 및 논리 추론 벤치마크 (MathVerse, MMMU-Pro 등) 에서 성능이 크게 저하되었습니다 (예: 61.29% -> 32.23%).
- DSTP 적용 시: 성능이 현저히 회복되었습니다 (예: 32.23% -> 52.54%). 특히 고난이도 시각적 추론 작업에서 개선 폭이 컸습니다.
시각적 이해 (VQA) 성능:
- 단순 VQA 작업에서도 기존 방법보다 성능이 유지되거나 소폭 향상되었습니다.
효율성 (Efficiency):
- DSTP 는 추가적인 계산 비용 (TFLOPs) 을 거의 증가시키지 않으면서 (약 0.3% 내외), 성능을 크게 개선했습니다.
- 실제로 DSTP 를 적용한 33.3% 토큰 유지 모델이, 가지치기를 하지 않은 66.6% 토큰 유지 모델보다 더 높은 성능을 보이기도 했습니다. 이는 적절한 시점에 필요한 정보를 제공하는 것이 단순히 토큰 수를 늘리는 것보다 중요함을 보여줍니다.
일반화 능력:
- 다양한 아키텍처 (Qwen, InternVL) 와 모델 크기 (4B, 8B, 14B) 에서 일관된 효과를 입증했습니다.

5. 주요 기여 및 의의 (Contributions & Significance)

새로운 실패 원인 규명 (RVIS): 기존 시각 토큰 가지치기 방법들이 복잡한 추론 작업에서 실패하는 근본적인 원인이 'Prefill 단계의 정적 선택'과 'Decoding 단계의 동적 정보 요구' 사이의 불일치 (RVIS) 에 있음을 최초로 규명했습니다.
DSTP 프레임워크 제안: 훈련 없이 기존 가지치기 방법과 호환되며, Decoding 단계에서 시각적 관심 이동을 감지하고 적응적으로 토큰을 교체하는 효율적인 솔루션을 제시했습니다.
효율성과 성능의 균형: MLLM 의 추론 정확도를 유지하거나 향상시키면서도, 계산 오버헤드를 최소화하여 실제 배포 가능한 효율적인 멀티모달 모델을 위한 중요한 통찰을 제공했습니다.

결론적으로, 이 논문은 단순한 토큰 압축을 넘어, 추론 과정의 동적 특성을 고려한 적응형 토큰 관리의 중요성을 강조하며, MLLM 의 시각적 추론 능력을 극대화하기 위한 새로운 패러다임을 제시합니다.