🤖 AI

How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A

본 논문은 가지치기를 작업 조건부 증거 탐색으로 간주하여 고정된 토큰 예산을 동적으로 할당하는 추가 학습 없이 멀티모달 모델의 추론 비용을 줄이고 원래 디코딩 파이프라인을 방해하지 않는 학습 불필요 시각 토큰 가지치기 라우터인 F^3A를 소개합니다.

원저자: YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 간단한 언어와 창의적인 비유를 사용하여 설명합니다.

핵심 질문: 우리는 실제로 이미지의 얼마나 많은 부분을 필요로 할까?

상상해 보세요. 어떤 수수께끼를 풀려고 하는데, 누군가 정답을 찾는 데 도움이 되도록 거대한 고해상도 사진을 건네줍니다. 이 사진은 수백만 개의 작은 픽셀로 이루어져 있을 정도로 디테일이 풍부합니다.

AI 세계에서는 이러한 "픽셀"을 **시각 토큰 (visual tokens)**이라고 부릅니다. 현재의 AI 모델 (다중 모달 대규모 언어 모델) 은 실마리를 놓치지 않도록 그 사진의 모든 단일 픽셀을 확인하고 싶어 하는 천재 탐정들과 같습니다. 하지만 수백만 개의 픽셀을 살펴보는 데는 시간이 오래 걸리고 배터리 (컴퓨팅 자원) 를 많이 소모합니다.

연구자들은 단순한 질문을 던졌습니다. 시간과 에너지가 제한되어 있다면, 정답을 얻기 위해 실제로 유지해야 하는 픽셀은 몇 개나 될까?

기존 방법의 문제점: "원샷 (One-Shot)" 추측

현재 대부분의 AI 시스템은 "원샷" 규칙을 사용하여 픽셀 수를 줄이려고 시도합니다. 그들은 사진을 한 번 보고 "오, 이 부분은 밝으니 중요해"라고 말하거나 "이 부분은 흐릿하니 버리자"라고 결정합니다.

저자들은 이것이 건초더미 속의 특정 바늘을 찾기 위해 건초의 최상층만 살펴보는 것과 같다고 주장합니다. 바늘이 깊숙이 숨겨져 있거나 색이 dull(무채색) 한 경우, 단순한 "밝기" 확인으로는 이를 놓치게 됩니다. 그들은 이를 **정적 순위 매기기 (static ranking)**라고 부릅니다. 이는 구체적인 질문이 무엇인지 상관없이 일반적인 규칙에 기반하여 추측할 뿐입니다.

해결책: F3A (초파리 전략)

이 논문은 F3A(Fruit-Fly-Foraging Algorithm, 초파리 채식 알고리즘)라는 새로운 방법을 소개합니다. 이를 이해하기 위해 썩은 과일을 찾는 초파리를 상상해 보세요.

냄새 (Odor Field): 초파리는 과일만 보는 것이 아니라 공기의 냄새를 맡습니다. 냄새가 가장 강한 곳의 "지도"를 작성합니다.
- AI 에서는: 이미지만 보는 것이 아니라, AI 가 먼저 질문을 읽습니다. 질문이 무엇을 묻고 있는지에 기반하여 "냄새 지도"를 작성합니다. 질문이 "모자의 색깔은 무엇인가?"라면, AI 는 밝은 점뿐만 아니라 모자를 "냄새 맡을" 줄 압니다.
3 단계 사냥: 초파리는 무작위로 착륙하지 않습니다. 지능적인 전략을 사용합니다.
- 단계 1: 대략적 탐색 (Wide Net): 초파리는 높이 날아 냄새가 강한 일반적인 영역을 찾습니다. 아직 단일 나뭇잎을 고르는 것이 아니라, 전체 가지를 선택합니다.
  - AI 에서는: 시스템이 질문과 관련된 일반적인 영역을 찾기 위해 이미지의 큰 덩어리들을 살펴봅니다.
- 단계 2: 시각적 잠금 (The Zoom): 유망한 가지를 찾으면 착륙하여 과일이 실제로 있는지, 아니면 과일 냄새가 나는 나뭇잎인지 확인합니다. 바로 옆에 있는 두 개의 나뭇잎을 모두 고르는 것 (중복) 을 피합니다.
  - AI 에서는: 시스템이 해당 특정 영역으로 확대하여 정확한 최상의 토큰을 선택하고, 같은 것을 두 번 선택하지 않도록 보장합니다.
- 단계 3: 구조 점프 (The Safety Net): 때로는 과일이 초파리가 놓친 이상한 곳에 숨겨져 있습니다. 초파리는 다음과 같은 규칙을 따릅니다. "아직 충분한 과일을 찾지 못했다면, 혹시 모르니 무작위 위치로 점프하자."
  - AI 에서는: 시스템이 작은 텍스트 레이블이나 작은 물체와 같은 작지만 결정적인 세부 사항을 놓쳤음을 깨닫으면, 그 토큰들을 "구조"하여 손실되지 않도록 합니다.

왜 중요한가: 결과

연구자들은 이 "초파리" 전략을 20 억 파라미터의 작은 모델부터 2350 억 파라미터의 거대 모델에 이르기까지 다양한 AI 모델에서 테스트했습니다.

"고정 예산" 테스트: 그들은 AI 에게 "이미지의 20% 만 볼 수 있다"고 말했습니다.
- 결과: 초파리 AI(F3A) 는 전체 이미지를 보는 것과 비교해 정답을 **93.86%**의 확률로 맞혔습니다. 다른 방법들 (예: "원샷" 추측자들) 은 훨씬 낮은 확률로 정답을 맞혔습니다.
"고정 목표" 테스트: 그들은 AI 에게 "최소한의 픽셀을 사용하면서 정답을 97% 이상 맞춰야 한다"고 말했습니다.
- 결과: 초파리 AI 는 그 목표에 도달하기 위해 픽셀의 **39.9%**만 필요로 했습니다. 그 다음으로 좋은 방법은 픽셀의 **50.1%**가 필요했습니다.

결론

이 논문은 모델의 크기보다 주의를 어떻게 배분하느냐가 더 중요하다고 주장합니다.

일반적인 규칙에 기반하여 이미지를 맹목적으로 줄이는 대신, F3A 는 이미지를 보물 지도처럼 다룹니다. 질문을 사용하여 지능적인 3 단계 탐색 (냄새 맡기, 잠금, 구조) 을 안내하여 필요한 정확한 단서들을 찾습니다. 이를 통해 AI 는 세상을 이해하는 능력을 잃지 않으면서도 훨씬 더 빠르고 메모리를 적게 사용할 수 있게 됩니다.

간단히 말해: "중복되어 보인다는 이유로" 이미지의 절반을 버리지 마십시오. 초파리가 과일을 사냥하듯, 질문을 사용하여 필요한 구체적인 증거를 사냥하십시오.

기술 요약: 멀티모달 언어 모델은 몇 개의 시각 토큰이 필요한가? F3A 를 통한 시각 토큰 가지치기 확장

1. 문제 제기

비전 - 언어 모델 (VLM) 이 규모와 성능 측면에서 확장됨에 따라, 세밀한 인식 (예: OCR, 차트 이해, 비디오 분석) 을 달성하기 위해 점점 더 긴 시각 토큰 시퀀스에 의존하게 됩니다. 그러나 이러한 확장된 시퀀스는 상당한 계산 비용을 부과하여 프리필 (prefill) 계산을 지배하고, KV 캐시를 확대하며, 엔드 - 투 - 엔드 지연 시간을 증가시킵니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: 멀티모달 모델이 성장함에 따라 실제로 몇 개의 시각 토큰이 필요하며, 고정된 시각 토큰 예산 하에서 이를 어떻게 할당해야 하는가?

기존의 학습이 불필요한 가지치기 방법들 (예: FastV, VisionZip, DivPrune, CDPruner) 은 일반적으로 토큰 가지치기를 디코더 어텐션, 시각적 유사성, 또는 조건부 다양성과 같은 원샷 프록시 신호에 기반한 정적 순위 매기기 또는 부분집합 선택 문제로 취급합니다. 저자들은 이러한 접근 방식이 특히 공격적인 압축 하에서는 불완전하다고 주장합니다. 토큰의 가치는 단순히 그 토큰의 중요도나 중복성의 함수가 아니라, 현재 쿼리에 대한 증거에 의존합니다. 표준 방법들은 종종 특정 작업에 따라 이미지 전반에 걸쳐 토큰을 동적으로 할당하지 못하여, 토큰 예산이 제한적일 때 성능이 최적화되지 못하게 합니다.

2. 방법론: 과일파리 채식 알고리즘 (F3A)

본 논문은 F3A를 제안합니다. 이는 학습이 불필요한 라우터로, 시각 토큰 가지치기를 작업 조건부 증거 탐색으로 재정의합니다. 과일파리 최적화 알고리즘에서 영감을 받은 F3A 는 비전 타워 이후, 언어 모델이 이미지 토큰을 소비하기 전에 작동합니다. 이는 모델 학습, 추가 LLM 순전파, 또는 디코딩 파이프라인 변경을 요구하지 않습니다.

이 방법은 세 가지 연속된 단계로 구성됩니다:

A. 작업 냄새장 (Odor Field) 구축

F3A 는 시각 토큰 위에 저비용의 글로벌 증거 지도 (즉, "냄새장") 를 구축합니다.

냄새 단서: 학습된 어텐션 대신 F3A 는 결정론적 템플릿과 기본 MLLM 의 고정된 토크나이저/임베딩 레이어를 사용하여 경량의 증거 쿼리를 생성합니다. 여기에는 전역 단서(전체 질문 컨텍스트), 대상 단서(쿼리된 개체), 그리고 작업 단서(예: OCR, 카운팅, 공간 관계) 가 포함됩니다.
희소 감지: 이러한 단서들은 고정된 희소 감지 헤드(랜덤 투영) 를 사용하여 시각 그리드 토큰과 매칭됩니다. 이는 그래디언트 업데이트 없이 프롬프트 관련 증거를 나타내는 스칼라 증거 점수 ( $a_i$ ) 를 각 토큰에 대해 생성합니다.

B. 3 단계 채식 과정

F3A 는 세 가지 연산자를 통해 고정된 토큰 예산 ( $K$ ) 을 할당합니다:

대략적 탐색 (탐색):
시각 그리드는 겹치지 않는 창으로 분할됩니다. 창들은 평균 냄새 값에 따라 점수가 매겨집니다. 상위 창들이 선택되어 후보 풀 ( $P_1$ ) 을 형성하고, 공간적 커버리지를 보장하기 위해 "발판" 부분집합 ( $S_1$ ) 이 유지됩니다. 이는 고립된 고점수 토큰에 너무 일찍 과도하게 의존하는 것을 방지합니다.
시각 잠금 (국부적 활용):
대략적 풀 내에서 F3A 는 국부적 증거를 확인하고 중복을 억제하기 위해 선택을 정제합니다.
- 국부적 지지: 토큰들은 이웃 지지와 작업 단서와의 일치도에 기반하여 점수가 매겨집니다.
- 회피 억제 (Inhibition of Return): 이미 선택된 토큰들과의 시각적 유사성 및 공간적 근접성에 기반한 중복 패널티가 적용됩니다. 이는 군집화된 중복 패치 대신 다양하고 국부적으로 지지되는 증거의 선택을 장려합니다.
구조적 점프 (탐색/회복):
선택된 창 외부의 작은 객체, 주변 텍스트, 또는 반증 증거를 놓치지 않기 위해 예산의 일부 ( $\alpha_{jump}$ ) 가 예약됩니다.
- 불확실성/커버리지: 토큰들은 높은 불확실성 (예: 객관식 작업에서 옵션 점수 간의 작은 마진) 이나 현재 부분집합에 의한 낮은 커버리지를 기반으로 선택됩니다.
- 이 단계는 커버리지 부족 영역을 복구하여 모델이 좁은 고점수 영역으로 수렴하는 것을 방지합니다.

C. 시퀀스 재구성

최종 선택된 토큰 집합은 LLM 프리필 전에 전체 시각 블록을 대체합니다. 원본 텍스트 접두사, 프롬프트 템플릿, 모델 가중치는 변경되지 않습니다. 그리드 인식 모델의 경우, 토큰 인덱스는 위치 정보를 보존하기 위해 원래 그리드 좌표로 매핑됩니다.

3. 주요 기여

가지치기 재정의: 저자들은 학습이 불필요한 시각 토큰 가지치기를 단순한 압축이 아닌 크로스 - 스케일 토큰 할당 문제로 재정의합니다. 전체 토큰 행동을 유지하기 위해 얼마나 많은 토큰이 필요한지 결정하기 위해 밀집형 및 MoE 멀티모달 모델 전반에 걸쳐 토큰 수요를 평가합니다.
F3A 라우터: 그들은 질문 조건부 단서, 희소 감지, 그리고 채식에서 영감을 받은 3 단계 과정 (대략적 탐색, 잠금, 구조적 점프) 을 사용하여 작업 조건부 증거 탐색을 수행하는 단일 패스, 학습 불필요한 라우터인 F3A 를 도입합니다.
대규모 평가: 이 방법은 11 개의 멀티모달 벤치마크에 걸쳐 2B 에서 235B 파라미터까지의 Qwen3-VL 모델(밀집형 및 MoE 아키텍처 모두 포함) 에서 평가되었습니다. 또한 전이성을 입증하기 위해 Qwen2.5-VL 및 InternVL3.5 백본에서도 테스트되었습니다.

4. 실험 결과

평가에는 10 개의 모델과 3 가지 유지 비율 (60%, 40%, 20%) 이 포함됩니다.

성능 유지: 모든 모델 규모에서 F3A 는 베이스라인 (FastV, VisionZip, DivPrune, CDPruner) 보다 일관되게 우수한 성능을 보입니다.
- 20% 시각 토큰 유지 시, F3A 는 평균적으로 전체 토큰 성능의 **93.86%**를 유지합니다.
- 가장 큰 모델 (Qwen3-VL-235B-A22B) 에서 F3A 는 시각 토큰의 80% 를 제거한 후에도 성능의 93.86% 를 유지합니다.
고정 충실도 토큰 수요: **전체 토큰 성능의 97%**를 목표로 할 때, F3A 는 가장 강력한 경쟁 베이스라인의 50.1% 에 비해 평균적으로 **39.9%**의 시각 토큰만 필요합니다. 235B 모델에서는 F3A 가 41.2% 의 토큰으로 이를 달성합니다.
확장 행동: 다른 방법들과 달리 F3A 의 우위는 모델이 확장됨에 따라 지속되며 종종 증가합니다. 평균 정확도 향상분은 테스트된 18 개 모델 - 유지 설정 전반에 걸쳐 가장 강력한 베이스라인 대비 양수입니다.
효율성: F3A 는 정확도 - 지연 시간 트레이드오프를 개선합니다. 20% 유지 시 Qwen3-VL-8B 에서 엔드 - 투 - 엔드 지연 시간을 354.7ms 에서 274.3ms 로 줄이고 KV 캐시 풋프린트를 117.7MB 에서 29.0MB 로 줄이면서, 가지치기된 방법 중 가장 높은 정확도를 유지합니다.
통계적 유의성: 30 개 모델 - 유지 설정에 대한 쌍대 부호 검정은 $1.9 \times 10^{-9}$ 의 p-값을 산출하여, F3A 가 가장 강력한 비-F3A 베이스라인보다 일관되게 우월함을 확인했습니다.

5. 중요성 및 주장

본 논문은 확장 가능한 멀티모달 추론이 모델 규모뿐만 아니라 작업 관련 시각 증거의 검색 구조화된 할당에도 의존한다고 주장합니다.

작업 조건부 vs 정적: 결과는 공격적인 압축에는 가지치기를 정적 순위 문제로 취급하는 것만으로는 부족함을 시사합니다. 특정 쿼리에 기반하여 증거를 동적으로 위치시키고, 정제하며, 복구하는 "채식" 접근 방식은 제한된 토큰 예산 하에서 더 큰 모델의 능력을 보존하는 데 필요합니다.
고정 충실도 관점: 이 연구는 "얼마나 많은 토큰이 필요한가"에 대한 답이 보편적인 유지 비율이 아니라 규모 의존적 할당 문제라고 주장합니다. F3A 는 효과적인 가지치기를 통해 더 큰 모델들이 이전에는 가능하다고 생각했던 것보다 훨씬 적은 토큰으로 그 전체 능력을 실현할 수 있음을 보여줍니다.
일반화 가능성: 이 방법은 다양한 모델 패밀리 (Qwen3, Qwen2.5, InternVL) 와 아키텍처 (밀집형 대 MoE) 에서 견고함이 입증되어, 작업 조건부 증거 탐색의 원리가 멀티모달 토큰 가지치기를 위한 일반적인 해결책임을 시사합니다.

저자들은 F3A 가 성능을 주도하는 세밀한 인식 능력을 희생하지 않으면서 멀티모달 모델의 추론 비용을 줄이기 위한 실용적인 경로를 제공한다고 결론지었습니다.