💻 computer science

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

SepPrune은 모달리티 구분자 토큰을 통합 쿼리로 사용하여 비전 토큰의 80.2%를 제거하면서도 기존 정확도의 96.3%를 유지함으로써 멀티모달 거대 언어 모델의 계산 비용을 효율적으로 줄이는 학습이 필요 없는 플러그 앤 플레이 프레임워크입니다.

원저자: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능형 로봇에게 보고 동시에 말하는 법을 가르치려 한다고 상상해 보세요. 이것이 바로 멀티모달 거대 언어 모델(MLLM)의 세계입니다. MLLM은 노을 사진을 보고 시를 쓰거나, 복잡한 차트를 분석하여 질문에 답할 수 있는 AI의 스타들입니다. 이를 위해 로봇은 단순히 이미지를 '보는' 것이 아니라, 이미지를 '비전 토큰(vision tokens)'이라 불리는 수천 개의 작은 디지털 퍼즐 조각으로 분해합니다. 이 토큰들은 개별 픽셀과 비슷하지만 훨씬 더 똑똑합니다. 이미지의 모든 세부 정보를 담고 있기 때문입니다.

하지만 문제가 하나 있습니다. 고화해상도 사진이나 긴 영상을 로봇에게 입력하면, 로봇은 너무나 많은 양의 토큰을 생성하여 과부하 상태에 빠지게 됩니다. 이는 마치 도서관에 있는 책들을 한꺼번에 읽으려는 것과 같습니다. 이 과정은 느리고, 비용이 많이 들며, 비효율적입니다. 과학자들은 어떤 퍼즐 조각이 실제로 중요한지, 그리고 어떤 것이 그저 불필요한 잡동사니인지 파악함으로써 이 문제를 해결하기 위해 노력해 왔습니다. 어떤 방식은 로봇이 단어에 어떻게 집중하는지를 보고 중요도를 추측하려 하고, 다른 방식은 중복된 조각을 찾아내려 합니다. 하지만 이러한 접근법들은 종-종 스스로의 복잡성에 갇혀, 속도를 높이려다 오히려 로봇을 더 느리게 만들곤 합니다. 핵심적인 질문은 여전히 남아 있습니다. 어떻게 하면 그림을 놓치지 않으면서도 불필요한 부분을 쳐낼 수 있을까요?

여기, 이 AI 모델들을 위한 영리한 편집자 역할을 하는 새로운 방법인 SepPrune이 등장했습니다. 이 연구의 개발자들은 모델이 사고하는 방식을 관찰하며 흥적인 사실을 발견했습니다. 그들은 모델이 데이터를 처리하는 초기 단계에서, 이미지 데이터와 텍스트 데이터 사이의 가교 역할을 하며 두 세계를 잇는 작은 표식인 특수한 '구분자(separator)' 토큰에 엄청난 주의를 기울인다는 것을 발견했습니다. 알고 보니 이 구분자들이 이미지를 이해하는 핵심 열쇠였습니다.

모든 비전 토큰을 서로 비교하며 중요도를 계산하는 대신(이는 느리고 무질서한 방식입니다), SepPrune은 구분자 토큰을 '마스터 쿼리(master query)'로 사용합니다. 구분자를 박물관 입구에 서 있는 투어 가이드라고 상상해 보세요. 가이드는 모든 그림을 향해 "당신은 중요한가요?"라고 일일이 묻는 대신, 방 전체를 둘과 보고는 "당신, 당신, 그리고 당신이 걸작입니다. 나머지는 나중에 봐도 됩니다"라고 지목합니다. SepPrune은 이 구분자를 사용하여 비전 토큰의 점수를 빠르게 매김으로써, 이미지에서 가장 정보가 풍부한 조각들을 즉각적으로 식별하고 나머지는 버릴 수 있습니다.

결과는 인상적입니다. Qwen2.5-VL-7B와 같은 강력한 모델을 대상으로 테스트했을 때, SepPrune은 원래 모델 정확도의 **96.3%**를 유지하면서도 비전 토큰의 80% 이상을 제거하는 데 성공했습니다. 심지어 토큰을 **90.2%**까지 극단적으로 줄였을 때도 모델은 **87.2%**의 성능을 유지했습니다. 이는 대폭적인 삭감을 시도할 때 종종 높은 정확도를 유지하는 데 어려움을 겪는 다른 방법들과 비교했을 때 상당한 도약입니다. 게다가 이 방식은 모든 토큰 간의 복잡한 계산을 요구하지 않기 때문에 훨씬 더 빠르며, 기존의 가속화 기술들과도 매끄럽게 작동합니다.

연구진은 또한 자신들의 구체적인 선택이 왜 중요한지도 증명했습니다. 그들은 텍스트의 다른 부분을 사용하는 것보다 구분자 토큰을 '가이드'로 사용하는 것이 더 효과적이라는 것을 보여주었으며, 선택 과정에서 토큰의 '위치'(이미지 내에서의 위치)를 무시하는 것이 모델이 실수로 사진의 하단부만 남기는 것을 방지한다는 점을 보여주었습니다. 요컨대, SepPrune은 이미지와 텍스트 사이의 다리에 귀를 기울임으로써, 진정으로 중요한 세부 사항을 보지 못하게 만들지 않으면서도 AI 비전 모델들을 더 빠르고 효율적으로 만들 수 있음을 시사합니다.

기술 요약: SepPrune

문제 정의

Qwen2.5-VL 및 InternVL3와 같은 최신 멀티모달 대규모 언어 모델(MLLM)은 "any-res" 비전 인코더 구조를 사용하여, 특히 고해상도 입력(예: 4K/8K 비디오 또는 고화소 이미지)을 처리할 때 방대한 양의 비전 토큰을 생성합니다. 이러한 토큰 볼륨은 텍스트 입력의 양을 크게 초과하며, 상당한 계산 오버헤드와 추론 지연을 초래합니다. 기존의 비전 토큰 프루닝(pruning) 방법들이 이를 완화하고자 시도하고 있으나, 다음과 같은 결정적인 한계점을 가집니다:

**어텐션 기반 방법(Attention-based methods)**은 종종 교차 모달 어텐션 점수(cross-modal attention scores)에 의존하여 계산 흐름을 방해하며, 이로 인해 FlashAttention과 같은 효율적인 하드웨어 연산자를 사용하는 것을 방해하거나, 현대적인 비전 백본에는 존재하지 않는 특정 구조적 토큰(예: [CLS])에 의존합니다.
**다양성 기반 방법(Diversity-based methods)**은 일반적으로 토큰 간 유사도 행렬을 계산하기 위해 이차 시간 복잡도( $O(N^2)$ )를 수반하며, 이는 역설적으로 지연 시간을 증가시켜 프루닝을 통한 효율성 이득을 상쇄합니다.

방법론: SepPrune

저자들은 모달리티 구분자 토큰(modality separator tokens)의 내재적 역할을 활용하는, 플러그 앤 플레이(plug-and-play) 방식의 학습이 필요 없는(training-free) 비전 토큰 프루닝 프레임워크인 SepPrune을 제안합니다. 이 방법은 LLM 백본 이전에 작동하여 FlashAttention과 같은 가속 기술과의 호환성을 보장합니다.

핵심 통찰 (Core Insights)

Qwen2.5-VL-7B와 같은 모델의 어텐션 분포 분석을 통해 저자들은 다음을 관찰했습니다:

구분자 피크(Separator Peaks): 얕은 레이어에서 비전 및 텍스트 토큰 모두의 어텐션 점수는 의미적으로 풍부한 비전 콘텐츠가 아닌, 모달리티 구분자 토큰(시각적 모달리티와 텍스트 모달리티를 구분하는 특수 토큰)에서 정점을 찍습니다.
브릿지 기능(Bridge Function): 절제 연구(Ablation studies) 결과, 구분자 토큰을 제거했을 때 동일한 수의 비전 또는 텍스트 토큰을 제거했을 때보다 성능 저하가 훨씬 더 크게 나타났습니다. 이는 구분자가 초기 단계의 정렬(alignment)을 위한 중요한 교차 모달 브릿지 역할을 함을 시사합니다.

알고ic 워크플로우 (Algorithmic Workflow)

SepPrune은 LLM 아키텍처를 변경하지 않고 비전 토큰을 평가하기 위해 구분자 토큰을 통합 쿼리(unified query)로 사용합니다:

통합 쿼리(Unified Query): 비전 시퀀스 뒤에 위치한 구분자 토근( $S_{right}$ )을 쿼리 벡터( $Q_{sep}$ )로 사용합니다. 이 토큰이 선택된 이유는 인과적 어텐션 마스크(causal attention masks) 하에서 전체 비전 토큰 세트( $K_{visual}$ )에 어텐션을 줄 수 있는 유일한 토큰이기 때문입니다.
편향 제거(Bias Elimination): 토큰이 공간적 위치가 아닌 순수하게 의미적 중요도에 따라 순위가 매겨지도록, 이 방법은 점수 계산 단계에서 회전 위치 임베딩(RoPE)을 명시적으로 제외합니다. 이는 모델이 위치 편향으로 인해 특정 이미지 영역(예: 하단부)의 토큰을 우선적으로 유지하는 것을 방지합니다.
점수 산출 및 프루닝(Scoring and Pruning): 어텐션 점수는 다음 공식을 사용하여 계산됩니다:
$\text{Score}_{prune} = \text{softmax}\left(\frac{Q_{sep} K_{visual}^T}{\sqrt{d_k}}\right)$
이를 통해 복잡도를 $O(N^2)$ 에서 $O(N)$ 으로 줄입니다. 이 점수를 바탕으로 가장 정보량이 많은 상위- $k$ 개의 비전 토큰을 유지하고 나머지는 프루닝합니다.
프로젝션 재사용(Projection Reuse): 이 방법은 LLM의 첫 번째 레이어에 내장된 프로젝션 파라미터( $q\_proj$ , $k\_proj$ )를 재사용하므로 추가적인 학습 가능 파라미터가 필요하지 않습니다.

주요 기여 (Key Contributions)

메커니즘 발견: 본 논문은 MLLM에서 모달리티 구분자가 교차 모달 브릿지로서 수행하는 역할과 그 중요성을 최초로 밝히고 검증하였습니다.
새로운 프루닝 전략: 글로벌 비전 토큰 평가를 위해 구분자 토큰을 활용하는 경량화된, 학습이 필요 없는, 플러그 앤 플레이 방식의 SepPrune을 도입하였습니다.
효율성 및 호환성: 이 방법은 선형 시간 복잡도( $O(N)$ )를 달성하며, 기존의 어텐션 기반 방식들과 달리 FlashAttention 및 KV-캐시 관리와 같은 기존의 추론 가속 프레임워크와 완전히 호환됩니다.

실험 결과

저자들은 일반 VQA, 환각 탐지(hallucination detection), 텍스트 중심 VQA를 다루는 12개 벤치마크에 대해 Qwen2.5-VL-7B 및 InternVL3-8B를 대상으로 SepPrune을 평가했습니다.

성능 유지: Qwen2.5-VL-7B에서 SepPrune은 비전 토큰의 **80.2%**를 프루닝하면서도 원래 정확도의 **96.3%**를 유지했습니다. 이는 기존의 최첨단 베이스라인들(FastV, DivPrune, CDPruner)을 상당한 차이로 능가했습니다 (예: 80.2% 프루닝 시 CDPruner보다 약 3%포인트 높은 성능).
극한의 압축: 90.1%의 프루닝 비율에서도 SepPrune은 원래 성능의 87.2%를 유지하여, TextVQA 및 ChartQA와 같이 정보 밀도가 높은 작업에서 탁월한 강건성을 입증했습니다.
일반화 가능성: InternVL3-8B에서도 유사한 성능 향상이 관찰되었으며, SepPrune은 80% 프루닝 시 93.1%의 상대적 점수를 달이트했습니다.
효율성: NVIDIA H20 GPU에서의 실증 테스트 결과, SepPrune은 프루닝되지 않은 베이스라인(760.4s) 및 다른 프루닝 방법들과 비교하여 가장 낮은 엔드 투 엔드 지연 시간(591.4s)을 기록하며 선형 확장성을 검증했습니다.

의의 및 주장

본 논문은 모달리티 상호작용의 관점에서 프루닝 메커니즘을 재고함으로써 고해상도 MLLM 추론의 효율성 병목 현상을 해결한다고 주장합니다. 구분자 토큰을 자연스러운 "글로벌 쿼리"로 식별함으로써, 이 방법은 다양성 기반 행렬 계산의 계산 오버헤드와 어텐션 기반 방법의 구조적 제약을 모두 피합니다. 저자들은 이 접근 방식이 다양한 작업에서 강력한 모델 성능을 유지하면서도 상당한 추론 비용 절감을 가능하게 하여, 자원이 제한된 환경에서 MLLM을 배포하기 위한 실질적인 솔루션을 제공한다고 단언합니다.