🤖 machine learning

AsymVLM: Asymmetric Token Pruning for Efficient Vision-Language Model Inference

AsymVLM 은 공간적으로 중복된 비전 토큰에 대해 공격적이고 적응형 가지치기를 적용하고 텍스트 토큰에는 임계값 기반의 시계열 제거를 적용하여 비전 및 텍스트 모달리티의 고유한 특성을 활용하는 효율적인 비전 - 언어 모델 추론 프레임워크로, 문서 및 차트 이해 작업에서 최첨단 방법을 능가하는 성능을 유지하면서 최대 54% 의 FLOPs 를 절감합니다.

원저자: Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

비전-언어 모델 (VLM) 을 매우 지능적이지만 약간 압도된 조수로 상상해 보세요. 당신은 그에게 사진 (복잡한 문서나 차트와 같은) 을 보여주고 질문을 합니다. 사진을 이해하기 위해 조수는 사진을 **"비전 토큰 (vision tokens)"**이라고 불리는 수천 개의 작은 퍼즐 조각으로 분해합니다. 질문을 이해하고 답변을 구성하기 위해, 그는 **"텍스트 토큰 (text tokens)"**이라고 불리는 더 작은 세트를 사용합니다.

문제는 조수의 "작업 기억" (GPU 메모리) 이 막혀버린다는 것입니다. 그는 생성한 모든 단어와 모든 퍼즐 조각을 붙잡으려 하기 때문에 실행 속도가 느리고 비용이 많이 듭니다.

기존 방법들은 사진 조각과 단어를 정확히 같은 방식으로 처리함으로써 이 문제를 해결하려 합니다. 즉, 모든 것의 고정된 비율을 버리는 것입니다 (예: "퍼즐 조각의 50% 와 단어의 50% 를 삭제"). 이 논문의 저자인 AsymVLM은 이것이 실제로 그들이 무엇을 하는지 생각하지 않고 책의 절반과 책갈피의 절반을 버림으로써 도서관을 정리하려는 것과 같다고 주장합니다.

간단한 비유를 사용하여 AsymVLM이 어떻게 작동하는지 설명합니다:

1. 두 가지 다른 문제

이 논문은 사진 조각과 단어가 근본적으로 다르다고 지적합니다:

비전 토큰 (퍼즐 조각): 이들은 모두 독립적입니다. 사진에서 하늘 부분을 제거하더라도 그 옆에 있는 나무 조각은 상관하지 않습니다. 이들은 "공간적으로 중복적"이어서, 많은 조각들이 단순히 배경 잡음일 뿐입니다.
텍스트 토큰 (이야기): 이들은 연쇄 반응입니다. 두 번째 단어는 첫 번째 단어에 의존하고, 세 번째 단어는 두 번째 단어에 의존합니다. 문장 중간에 단어를 삭제하면 나머지 이야기가 의미가 없어질 수 있습니다.

2. 해결책: 양면 전략

모든 것에 하나의 규칙을 적용하는 대신, AsymVLM 은 각 토큰 유형에 맞춘 두 가지 다른 전략을 사용합니다.

전략 A: 사진을 위한 "스마트 편집자" (비전 토큰 가지치기)

조수가 생각하기 시작하기 전에, AsymVLM 은 사진을 보는 스마트 편집자처럼 행동합니다.

옛날 방식: "픽셀의 50% 를 무작위로 삭제"하거나 "질문과 가장 관련 없어 보이는 것들을 삭제".
AsymVLM 방식: 이는 **학습된 점수 부여기 (Learned Scorer)**를 사용합니다. 수천 경기를 지켜보며 어떤 선수 (토큰) 가 실제로 경기 승리에 기여하는지 정확히 아는 코치라고 상상해 보세요. 이 점수 부여기는 사진만 보는 것이 아니라, 당신이 한 특정 질문과 사진이 어떻게 연결되는지 봅니다.
"적응형 예산 (Adaptive Budget)": 이것이 가장 교묘한 부분입니다. 논문은 어떤 질문은 이미지의 전체 스캔이 필요하다고 지적합니다 (예: "이 과수원에 사과가 몇 개나 있나요?"). 반면 다른 질문은 아주 작은 부분만 필요로 합니다 (예: "빨간 사과의 가격은 얼마인가요?").
- 질문이 특정 작은 영역에 국한된 경우, 중요하고 중요하지 않은 조각 사이의 "간격"은 매우 큽니다. 시스템은 "좋습니다, 공격적으로 사진의 75% 를 버릴 수 있습니다!"라고 말합니다.
- 질문이 전체 이미지가 필요한 경우, "간격"은 작습니다. 시스템은 "알겠습니다, 안전을 위해 사진의 90% 를 유지하겠습니다"라고 말합니다.
- 비유: 이는 여행 가방을 싸는 것과 같습니다. 하루 동안 해변으로 가는 경우 가볍게 싸고, 한 달 동안 여행하는 경우 더 많이 싸는 것입니다. AsymVLM 은 모든 사람에게 같은 가방 크기를 사용하는 대신 특정 여행에 맞춰 "패킹"을 조정합니다.

전략 B: 텍스트를 위한 "메모리 청소부" (텍스트 토큰 퇴출)

조수가 답변을 생성하기 시작하면, 그는 한 단어씩 글을 씁니다. 대화가 길어지면 메모리가 가득 찹니다.

옛날 방식: 텍스트 전용 AI 를 위한 표준 방법 (H2O 나 StreamingLLM 등) 은 새로운 단어를 위한 공간을 만들기 위해 가장 오래되거나 가장 "중요하지 않은" 단어를 삭제하려 합니다.
AsymVLM 방식: 저자들은 이러한 비전 조수들에서 대화는 보통 짧으며, 사진이 가장 중요한 맥락임을 깨달았습니다.
- 그들은 고정된 예산을 설정합니다. 조수는 한계 (예: 500 단어) 에 도달할 때까지 글을 씁니다.
- 한계에 도달하면, 그는 가장 오래 생성된 단어 (즉시 다음 문장에 더 이상 필요 없는 단어) 를 삭제하기 시작하지만, 원래 사진이나 원래 질문은 절대 삭제하지 않습니다.
- 비유: 친구에게 이야기를 들려준다고 상상해 보세요. 현재 문장을 끝내기 위해 10 분 전에 말한 첫 문장을 기억할 필요는 없습니다. AsymVLM 은 새로운 문장을 위한 공간을 만들기 위해 화이트보드에서 오래되고 관련 없는 초안들을 치우는 청소부처럼 행동하지만, 원래 프롬프트와 사진은 영원히 벽에 고정해 둡니다.

3. 결과: 더 빠르고 더 똑똑함

이 논문은 이러한 두 가지 유형의 데이터를 다르게 처리함으로써 AsymVLM 이 다음을 달성한다고 주장합니다:

엄청난 속도 향상: 모델 실행에 필요한 연산 능력 (FLOPs) 을 최대 54% 절약합니다. 이는 수학 계산 중 단순히 무시하는 것이 아니라, 무거운 수학 계산이 시작되기 전에 불필요한 사진 조각을 물리적으로 제거하기 때문입니다.
더 나은 정확도: 문서 읽기나 차트 이해와 같은 작업에서 이전 방법들보다 실제로 2~3% 더 좋은 성능을 보입니다. 이는 질문에 답하는 특정 사진 조각을 유지하고 나머지는 폐기하기 때문이며, 다른 방법들은 실수로 중요한 조각을 삭제할 수 있기 때문입니다.
메모리 효율성: 모델 실행에 필요한 메모리를 줄여, 전체 가지치기되지 않은 모델을 처리할 수 없었던 작고 저렴한 컴퓨터 칩에서도 실행할 수 있게 합니다.

요약

AsymVLM은 "하나의 크기가 모두에게 맞지 않는다"는 것을 깨닫는 시스템입니다. 이는 특정 질문에 기반하여 이미지에서 불필요한 부분을 다듬기 위한 스마트하고 적응형 필터를 사용하고, 원래 맥락을 잃지 않으면서 텍스트 메모리를 관리하기 위한 신중한 청소부를 사용합니다. 그 결과, 문서와 차트를 읽는 데 더 빠르고, 메모리를 덜 사용하며, 놀랍도록 더 정확한 비전 - 언어 모델이 됩니다.

기술 요약: AsymVLM

문제 제기

비전 - 언어 모델 (VLM) 은 추론 과정에서 상당한 계산 및 메모리 병목 현상에 직면합니다. 기존 압축 방법들은 종종 시각 및 텍스트 토큰을 균일하게 처리하지만, 본 논문은 두 모달리티 간의 근본적인 비대칭성으로 인해 이러한 접근 방식이 최적이지 않다고 주장합니다:

구조적 및 인과적 차이: 비전 토큰은 단일 순전파로 생성되는 공간적으로 중복된 패치이며 인과적 의존성이 없어 독립적으로 제거할 수 있습니다. 반면, 텍스트 토큰은 엄격한 인과적 순서로 자기회귀적으로 생성되므로, 텍스트 토큰을 제거하면 후속 모든 표현이 손상될 위험이 있습니다.
변화하는 병목 지점: 일반적인 단일 턴 VLM 구성에서 비전 토큰이 입력을 지배합니다 (예: 2,500 개의 비전 토큰 대 약 30 개의 텍스트 토큰). 이로 인해 프리필 (prefill) 단계에서 비전 토큰이 주요 병목 지점이 됩니다. 그러나 자유 형식 생성이나 다중 턴 대화에서는 텍스트 토큰이 빠르게 누적되어 디코딩 단계로 병목 지점이 이동합니다.
가변적인 입력 난이도: 최적 가지치기 비율은 샘플마다 균일하지 않습니다. 일부 쿼리는 국소화된 시각 정보만 필요로 하므로 (공격적인 가지치기 허용), 다른 일부는 전역 스캔을 요구하므로 (보수적 유지 필요). 고정된 가지치기 비율을 사용하는 기존 방법들은 이러한 스펙트럼을 수용하지 못합니다.

방법론: AsymVLM

저자들은 위 관찰에 기반하여 비전 및 텍스트 토큰에 대한 압축 전략을 분리하는 비대칭 토큰 가지치기 프레임워크인 AsymVLM을 제안합니다. 이 프레임워크는 두 가지 명확한 단계로 작동합니다:

1. 비전 토큰 가지치기 (프리 - 프리필 전)

프리필 병목 현상을 해결하기 위해 트랜스포머 레이어 전에 적용되는 이 단계는 두 가지 구성 요소로 이루어집니다:

학습된 중요도 스코어러: 이전 방법들이 시각적 중요도나 원시 교차 모달리티 유사성에 의존하는 것과 달리, AsymVLM 은 경량 학습 가능 스코어러를 사용합니다. 이 스코어러는 학습 가능한 가중치 벡터 ( $w$ ) 를 사용하여 임베딩 차원을 재조정함으로써 토큰 순위가 모델의 최종 출력 보존과 더 잘 정렬되도록 합니다. 이는 가지치기된 모델과 가지치기되지 않은 모델의 숨겨진 상태 간 차이를 최소화하도록 학습됩니다.
샘플별 적응형 예산 할당: 중요도 간격이 입력마다 다르다는 점을 인식하여, 시스템은 각 샘플에 대해 "중요도 간격"(75 백분위수 및 25 백분위수 중요도 점수 간의 차이) 을 계산합니다. 이 간격에 따라 동적 유지 비율이 할당됩니다: 간격이 큰 샘플 (중요한 토큰과 중요하지 않은 토큰 간의 명확한 구분) 은 공격적인 가지치기 비율을 받고, 간격이 작은 샘플 (균일한 중요도) 은 보수적인 비율을 받습니다.

2. 텍스트 토큰 제거 (디코딩 중)

생성된 시퀀스가 고정된 예산을 초과할 때만 적용되는 이 단계는 디코딩 병목 현상을 해결합니다:

임계값 기반 제거: 텍스트 토큰은 시퀀스 길이가 사전 정의된 임계값을 초과할 때까지 유지됩니다. 트리거되면 시스템은 가장 낮은 중요도를 가진 생성된 토큰을 제거합니다.
VLM 특화 스코어링: 장기 컨텍스트에 대한 누적 주의를 추적하는 표준 LLM 캐시 압축 방법과 달리, AsymVLM 은 VLM 의 짧은 컨텍스트 특성을 활용합니다. 이는 현재 디코딩 단계의 최종 트랜스포머 레이어에서 받은 주의를 기반으로 토큰을 스코어링합니다. 특히, 후속 턴을 위한 대체 불가능한 컨텍스트를 담고 있으므로 모든 프리필 토큰 (이미지 및 프롬프트) 을 제거 대상에서 보호합니다.

주요 기여

체계적 분석: 이 논문은 VLM 에서 비전과 텍스트 토큰 간의 근본적인 비대칭성을 드러내는 구조적 분석을 제공하며, 효율성을 위해 모달리티 인식 압축이 필수적임을 주장합니다.
이중 전략 프레임워크: AsymVLM 은 쿼리 인식 비전 토큰 가지치기 (프리 - 트랜스포머) 와 예산 제약 텍스트 토큰 제거 (디코딩 중) 를 결합한 프레임워크를 도입합니다.
적응형 예산 할당이 있는 학습된 스코어러: 저자들은 단순한 의미적 유사성이 아닌 출력 보존을 최적화하는 스코어러를 도입했으며, 입력의 중요도 분포에 따라 가지치기 비율을 동적으로 조정하는 메커니즘을 결합했습니다.
종합적 평가: 광범위한 실험을 통해 이 접근 방식이 최첨단 기준 대비 우수한 효율성과 정확성을 달성함을 입증했습니다.

실험 결과

이 프레임워크는 7 가지 벤치마크 (DocVQA, ChartQA, MME, TextVQA, OCRVQA, LLaVA-Bench, MMDU) 에서 Phi-3.5-Vision(비전 우세) 과 Gemma 3(장기 생성 시나리오에서 텍스트 우세) 에 대해 평가되었습니다.

효율성: AsymVLM 은 비교된 방법 중 가장 높은 FLOPs 절감률을 달성하여 50% 비전 토큰 유지 시 최대 **54%**에 도달했습니다. 이는 트랜스포머 전에 시퀀스 길이를 물리적으로 줄이는 유일한 방법으로, 피크 메모리 및 KV 캐시 크기의 비례 감소 (최대 75% 피크 메모리 감소) 를 초래합니다.
국소화 작업의 정확도: 시각 정보가 공간적으로 국소화된 문서 및 차트 이해 작업 (DocVQA, ChartQA) 에서 AsymVLM 은 65–75% 유지 비율에서 기존 방법 (FastV, SparseVLM) 보다 2–3% 더 높은 성능을 발휘합니다. 예를 들어, DocVQA 에서 65% 유지 시 FastV 의 81.74% 와 비교하여 85.07% 의 ANLS 를 달성합니다.
전체적 작업: 토큰 중요도가 더 균일한 전체적 벤치마크 (MME, TextVQA) 에서 AsymVLM 은 경쟁력 있는 정확도를 유지하며 종종 기준을 약간 능가합니다.
텍스트 제거 성능: 텍스트 우세 시나리오 (Gemma 3) 에서 임계값 기반 제거 전략은 표준 LLM 캐시 방법 (H2O, StreamingLLM) 을 크게 능가합니다. MMDU(다중 턴 대화) 에서 AsymVLM 은 90% 유지 시 7.03 점으로, 기준이 달성한 5.61 점보다 훨씬 높습니다. 기준 방법들은 비전 및 프롬프트 토큰을 제거 대상으로 간주하여 심각하게 저하되는 반면, AsymVLM 은 이를 보호합니다.

중요성 및 주장

이 논문은 AsymVLM이 균일한 압축에서 모달리티 인식 전략으로의 전환을 나타낸다고 주장합니다. 비전 토큰은 입력 선택 문제이고 텍스트 토큰은 캐시 관리 문제임을 인정함으로써, 이 프레임워크는 복잡하고 쿼리별 작업에서 정확도를 유지하거나 향상시키면서 최대 54% 의 FLOPs 감소와 같은 가장 높은 효율성 향상을 달성합니다. 저자들은 학습된 스코어러가 작업별 튜닝 없이 다양한 시각 레이아웃과 질문 유형에 효과적으로 일반화되며, 텍스트 제거 전략은 VLM 추론의 짧은 컨텍스트 및 이미지 기반 특성에 맞게 특별히 설계되어 VLM 에 직접 적용될 경우의 함정을 피한다고 강조합니다.

한계점: 저자들은 현재 평가가 Phi-3.5-Vision 과 Gemma 3 로 제한되어 있으며, 다른 아키텍처 (예: LLaMA 기반 VLM, Qwen-VL) 로의 일반화는 추가 검증이 필요하다고 지적합니다. 또한, 텍스트 제거 전략은 고정된 임계값을 사용하며 매우 긴 다중 턴 대화 (50 턴 이상) 에서는 테스트되지 않았습니다.