💻 computer science

When Do Fewer Visual Tokens Accelerate Multimodal Inference? A Break-Even Study Across Decision Locations and Hardware

이 논문은 시각적 토큰을 줄이는 것이 반드시 멀티모달 추론을 가속화하는 것은 아님을 입증하며, 재현 가능한 손익분기점 분석을 통해 프리-비전 라우팅(pre-vision routing)이 더 작은 다운스트림 토큰 감소를 달성함에도 불구하고 전처리 및 인코딩 오버헤드를 피함으로써 A100과 같은 GPU에서 포스트-비전 프루닝(post-vision pruning)보다 성능이 우수함을 밝혀낸다.

원저자: Hao Dou, Ruiwen Tian

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hao Dou, Ruiwen Tian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

퍼즐을 풀기 전, 조각들을 보기도 전에 먼저 테이블 전체를 사진으로 찍어야 하는 상황을 상상해 보세요. 인공지능의 세계, 특히 보고 읽을 수 있는 '멀티모달(multimodal)' 모델에서도 컴퓨터는 이와 유사한 작업을 수행합니다. 이미지를 가져와서 이를 긴 디지털 '토큰'(작은 퍼즐 조각 같은 것)의 목록으로 변 변환한 뒤, 그 목록을 질문에 답하기 위해 뇌와 같은 언어 모델에 전달합니다. 사진이 크고 상세할수록 토큰의 양은 많아지며, 컴퓨터가 해야 할 일도 늘어납니다.

오랫동안 사람들은 단순한 가정을 해왔습니다. 만약 컴퓨터가 생각을 시작하기 전에 그 퍼즐 조각 중 일부를 미리 버릴 수 있다면, 작업 속도가 더 빨라질 것이라는 점입니다. 이는 마치 요리사에게 재료의 절반만 보여주면 음식을 만드는 데 걸리는 시간도 절반으로 줄어들 것이라고 생각하는 것과 같습니다. 하지만 이 논문은 까다로운 질문을 던집니다. 그것이 정말 사실일까요? 때로는 어떤 조각을 버릴지 결정하는 행위 자체가 너무 많은 시간을 잡아먹거나, 혹은 프로세스에서 너무 늦게 발생하여, 컴퓨터가 처음부터 전체 사진을 다 봤을 때보다 오히려 더 많은 일을 하게 만들 수도 있습니다. 저자들은 조각을 버리는 것이 실제로 시간을 절약해 주는 정확한 시점이 언제인지, 그리고 언제 교통 체증을 유발하는지를 알아내고자 했습니다.

하얼빈 공업대학교의 연구진은 이 아이디어를 검증하기 위해 매우 세심한 '손익 분기점(break-even)' 연구를 진행하기로 했습니다. 그들은 단순히 추측하지 않고, 밀리초 단위까지 모든 것을 측정했습니다. 그들은 속도를 높이기 위한 두 가지 주요 방법을 살펴보았습니다. 하나는 컴퓨터가 이미 사진을 찍은 후에 무엇을 남길지 결정하는 방식(post-vision)이고, 다른 하나는 카메라가 셔터를 누르기도 전에 무엇을 남길지 결정하는 방식(pre-vision)입니다.

연구 결과는 다음과 같았으며, 이는 약간의 반전이 있는 이야기입니다. 그들은 이미 이미지가 처리된 후에 어떤 토큰을 유지할지 예측하려는 '스마트한' 방식을 테스트했습니다. 이 방식은 데이터의 상당 부분(정답을 맞힌 사례들에 대해 평균적으로 약 24%의 토큰만 유지함)을 버려냈음에도 불구하고, 소규모 파일럿 테스트에서는 실제로 컴퓨터를 더 빠르게 만들지 못했습니다. 이는 마치 영화를 편집하기 위해 초고속 편집자를 고용했지만, 그 편집자가 영화 전체를 보는 데 너무 많은 시간을 써버려서 결국 최종 편집본을 보는 데 원래 영화를 보는 것보다 더 오랜 시간이 걸리게 된 것과 같았습니다.

하지만 'pre-vision' 접근 방식을 보면 이야기는 달라집니다. 이것은 카메라를 들기도 전에 더 작은 사진을 찍기로 결정하는 것과 같습니다. 연구진은 고해상도 사진을 찍고 이를 완전히 처리하는 무거운 작업을 건너뛸 수 있는 이미지 크기에 기반한 간단한 규칙을 찾아냈습니다. 그들의 테스트 하드웨어에서 이 간단한 규칙은 실제로 시간을 절약해 주었습니다.

가장 놀라운 부분은 이것입니다. 그들의 강력한 컴퓨터(A100)에서, 더 많은 토큰을 버린 방법이 오히려 더 적은 토큰을 버린 방법보다 시간을 덜 절약했다는 것입니다. 왜 그럴까요? 더 많은 토큰을 버린 방법은 너무 늦게 작업을 수행했기 때문입니다. 그들은 이미 고해상도 이미지를 처리하는 데 드는 '세금'을 지불한 상태였습니다. 무언가를 잘라내기 시작했을 때는 이미 비싼 작업이 완료된 후였습니다. 일찍 결정했던 방법(pre-vision 규칙)은 그 비싼 작업을 아예 피했습니다. 이는 케이크를 다시 굽지 않으려고 노력하는 것(너무 늦으면 이미 오븐을 사용한 셈임)과, 애초에 가게에 가서 밀가루를 사 오는 여정 자체를 하지 않기로 결정하는 것의 차이입니다.

논문은 결론적으로, 단순히 절약한 토큰의 개수만 세어서 시간을 절약했다고 가정해서는 안 된다고 말합니다. 언제 결정을 내리는지가 중요합니다. 너무 늦게 결정한다면 이미 에너지를 낭비한 것입니다. 속도를 높이는 '안전한' 방법은 항상 가장 똑똑하게 토큰을 관리하는 것이 아닙니다. 때로는 무거운 기계가 돌아가기 전에 빠르고 단순한 결정을 내리는 것이 승리합니다. 연구진은 이것이 모든 상황에 적용되는 마법 같은 해결책은 아니라고 신중하게 덧붙였지만, 속도 경쟁에서는 타이밍이 전부이며, 때로는 가장 단순한 규칙이 경주에서 승리한다는 것을 증명했습니다.

기술 요약: 언제 더 적은 시각적 토큰이 멀티모달 추론을 가속화하는가?

문제 정의
멀티모달 거대 언어 모델(MLLM) 최적화의 지배적인 가정은 시각적 토큰의 수를 줄이는 것이 직접적으로 엔드 투 엔드(end-to-end) 지연 시간을 낮출 것이라는 점이다. 그러나 본 논문은 더 적은 토큰이 반드시 더 낮은 실제 실행 시간(wall-clock time)을 보장하지는 않는다고 주장한다. 그 관계가 비동등한 이유는 다음과 같다:

결정 오버헤드(Decision Overhead): 적응형 정책(게이트, 라우터, 프로브)은 그 자체로 계산 비용(예: 추가적인 순전파, 디코딩 프로브)을 발생시킨다.
결정 위치(Decision Location): 결정이 내려지는 시점에 따라 회피할 수 있는 연산자가 달라진다. 비전 이후 프루닝(Post-vision pruning)은 이미 수행된 비전 인코더나 이미지 전처리 작업을 되돌릴 수 없다.
하드웨어 가변성(Hardware Variability): 연산자(전처리, 인코딩, LLM 프리필/디코딩)의 균형은 하드웨어에 따라 다르며, 따라서 한 GPU에서 토큰을 절약하는 정책이 다른 GPU에서는 시간을 절약하지 못할 수도 있다.

본 연구는 적응형 시각적 예산(adaptive visual budgeting)이 측정 가능한 엔드 투 엔드 지연 시간 감소를 생성하는 시점, 즉 결정 메커니즘의 비용이 절감된 계산량보다 커지는 "손익 분기점(break-even points)"에 초점을 맞추어 조사한다.

방법론
저자들은 지연 시간을 상호 배타적인 구성 요소로 분해하는 재현 가능한 **손익 분기 회계 프로토콜(break-even accounting protocol)**을 제안한다:

$T_{shared}$ : 결정과 추론 모두에 대해 한 번 실행되는 계산(예: 이미지 전처리 및 비전 이후 정책에 의해 재사용되는 시각적 특징).
$T_{decision-only}$ : 정책에 특화된 오버헤드(예: 특징 집계, 정책 추론, 라우팅 로직).
$T_{execution-only}$ : 회피되거나 감소된 나머지 작업(전처리, 비전 인코딩, LLM 프리필/디코딩).

연구는 세 가지 결정 위치에 걸쳐 정책을 평가한다:

비전 이전(Pre-vision): 비전 인코더 이전에 입력 해상도를 결정함 (예: Image-Size Rule).
비전 이후/생성 전(Post-vision/Pre-generation): 인코딩 후이지만 LLM 생성 전 단계에서 토큰 유지 여부를 결정함 (예: Static Predictor).
자기회귀적/온라인(Autoregressive/Online): 프로브를 사용하여 생성 중에 결정함 (예: Confidence Gate, Counterfactual Gate).

실험 설정:

모델: Qwen2.5-VL-3B-Instruct.
데이터셋: VQAv2, TextVQA, ChartQA (예산 프로파일링용 2,600개 사례; 균형 잡힌 지연 시간 테스트용 120개 사례; 조건부 품질 평가용 403개 사례).
하드웨어: RTX 3090 및 NVIDIA A100.
통계적 엄밀성: 지연 시간 차이는 쌍별 부트스트랩 리샘플링(10,000회 리샘플링)과 쌍별 부호 반전 테스트(paired sign-flip tests)를 사용하여 분석된다. 유의성은 보수적인 모든 쌍 Holm 보정을 사용하여 평가된다.
품질 지표: "Full-correct" 조건화(conditioning)를 사용하며, 이는 전체 해상도 모델이 정답을 맞힌 사례들에 대해 축소된 예산이 정답 점수를 보존하는지 측정한다.

주요 결과

자기회귀적 프로브의 손익 분기 달성 실패:
30개 사례의 파일럿 테스트에서 두 가지 테스트된 자기회귀적 프로브(Confidence Gate 및 Counterfactual Gate)는 Full 모델보다 느렸다. 상태 재사용(state reuse)에도 불구하고, 디코딩 오버헤드와 추가적인 순전파 비용이 감소된 토큰 처리로부터 얻은 이득을 초과했다.
정적 비전 이후 프루닝(Static-0.900):

지연 시간: 두 GPU 모두에서 통계적으로 유의미한 지연 시간 감소를 달ach했다 (RTX 3090: -27.12 ms; A100: -4.02 ms). 이러한 결과는 Holm 보정 후에도 유의미하게 유지되었다.
토큰 대 시간: A100에서 Static-0.900은 Pre-vision Rule보다 거의 8배 더 많은 시각적 토큰을 제거했지만, 지연 시간 절감은 그보다 적었다. 이는 Static이 값비싼 비전 인코딩과 전처리가 이미 완료된 이후에 작동하기 때문이다.
품질: 상대적 3-태스크 매크로 점수 0.9833을 달성했다 (Full 모델의 1.0000 대비).

Pre-Vision Image-Size Rule:

지연 시간: 두 GPU 모두에서 지연 시간 감소를 보였다 (RTX 3090: -13.99 ms; A100: -8.92 ms). 그러나 이러한 비교는 보수적인 Holm 보정 적용 후 유의미성을 유지하지 못했다.
메커니즘: Rule은 선택된 이미지에 대해 전처리와 비전 인코딩을 완전히 회피한다. A100에서 이러한 구조적 이점(비싼 연산자를 회피함)은 Static 정책이 달성한 더 큰 다운스트림 토큰 감소량보다 더 큰 효과를 냈다.
워크로드 집중도: 지연 시간 절감은 고해解상도 TextVQA 사례의 작은 부분집합(120개 중 6개)에 집중되어 있었다. 이 사례들을 제거하면 평균 절감량이 거의 0에 가깝게 줄어들었다.

오라클(Oracle) vs 고정 예산(Fixed Budget):
사후 "Oracle" 분석 결과, Full 모델이 정답을 맞힌 사례들에 대해 안전한 토큰 예산은 평균적으로 23.92%까지 낮아질 수 있었다. 그러나 경험적 검증 세트의 보존 제약 조건(98.5% monotone-safe)을 충족하는 가장 작은 고정 예산은 여전히 100%로 유지되었다. 이는 다양한 입력에 대해 품질 저하 없이 단일 고정 예산을 적용하는 것이 어렵다는 점을 강조한다.
하드웨어 상호작용:
두 GPU 환경 사이에서 Static 정책과 Image-Size Rule 간의 유의미한 Full-normalized 상호작용이 관찰되었다. 토큰 감소와 시간 절감 사이의 상대적 성능은 특정 하드웨어/소프트웨어 연산자 조합에 따라 달라졌으며, 이는 토큰 수만으로는 실제 실행 시간(wall-clock behavior)을 예측할 수 없음을 확인시켜 준다.

의의 및 주장
본 논문은 보편적으로 우월한 라우터나 새로운 토큰 중요도 점수를 제시하기보다는, 재현 가능한 손익 분기 프로토콜을 제공한다는 점을 겸허히 주장한다. 주요 기여는 다음과 같다:

결정 비용과 위치의 분리: 결정의 위치(pre- vs. post-vision)가 어떤 연산자를 회피할 수 있는지를 결정하며, "더 적은 토큰"이 "더 적은 시간"을 의미하지 않는 이유는 결정 메커니즘이 비용이 많이 들거나 비싼 상위 연산자를 건너뛸 수 없기 때문임을 입증했다.
Pre-Vision 라우팅의 구조적 기회: Pre-vision 라우팅이 (전처리와 인코딩을 피함으로써) Post-vision 프루닝이 접근할 수 없는 독특한 이점을 가진다는 것을 확립했으며, 이것이 더 큰 다운스트림 토큰 감소량보다 더 중요할 수 있음을 보여주었다.
경험적 현실 점검: 학습된 자기회귀적 프로브가 오버헤드로 인해 종종 손익 분기에 도달하지 못하며, 고정된 정책이 연산자 수준의 회계 없이 다양한 하드웨어 환경에서 잘 일반화되지 않을 수 있음을 보여주었다.

저자들은 자신들의 결과가 Full 모델이 정답을 맞힌 사례들에 한정된 것이며, 모든 입력에 대한 벤치마크 정확도를 나타내는 것이 아님을 강조한다. 이 연구는 멀티모달 시스템에서 지연 시간 절감을 측정하고 해석하는 방법에 대한 기계론적 사례 연구로서, 단순히 토큰 비율이나 FLOPs를 속도의 대리 지표(proxy)로 사용하는 것에 대해 경고한다.

기술 요약: 언제 더 적은 시각적 토큰이 멀티모달 추론을 가속화하는가?

유사한 논문