💻 computer science

CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference

CRISP는 지시어 관련 토큰을 식별하고 의미론적 다양성을 강화하기 위해 2단계 파이프라인을 활용하여, 대규모 시각-언어 모델(Large Vision-Language Models)의 추론 지연 시간을 2배 이상 단축하면서도 99.5% 이상의 정확도 유지를 달 nhận하는, LLM 이전 단계의 텍스트 주도형 시각 토큰 프루닝 프레임워크입니다.

원저자: Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 풀려고 노력 중인데, 몇 개의 단서 대신 수백만 권의 책이 담긴 도서관을 통째로 건네받았다고 상상해 보세요. 모든 책이 동시에 펼쳐져 있는 상태 말이죠. 이것이 현대의 "대규모 시각-언어 모델(Large Vision-Language Models, LVLMs)"이 작동하는 방식입니다. 이들은 사진을 보고 그에 대한 질문에 답할 수 있는, 마치 디지털 탐정처럼 매우 똑똑한 컴퓨터 프로그램입니다. 이를 위해 이들은 이미지를 '토큰(token)'이라고 불리는 수천 개의 아주 작은 디지털 조각들로 나눕니다. 이 토큰들을 퍼즐 조각이라고 생각하면 됩니다. 문제는 컴퓨터가 당신의 질문을 확인하기도 전에, 파란 하늘이나 빈 바닥 같은 부분까지 포함하여 퍼즐의 모든 조각을 하나하나 다 읽으려 한다는 점입니다. 이는 마치 고양이 목걸이 색깔이 무엇인지 알아내기 위해 백과사전 전체를 읽어야 하는 것처럼, 과정을 믿을 수 없을 정도로 느리고 많은 컴퓨터 자원을 소모하게 만듭니다.

오랫동안 과학자들은 이 속도를 높이기 위해, 퍼즐 조각을 무작위로 버리거나(이 과정에서 가끔 고양이의 목걸이가 삭제되기도 했습니다), 혹은 컴퓨터가 책 전체를 읽기 시작한 후에야 무엇을 건너뛸지 결정하도록 기다리는 방식(이는 시간을 아끼기에는 너무 늦은 방법이었습니다)을 시도해 왔습니다. 핵심적인 질문은 이것이었습니다. "컴퓨터에게 질문을 먼저 읽게 한 뒤, 질문에 답하는 데 필요한 특정 퍼즐 조각들만 골라내도록 가르칠 수 있을까? 그러면서도 전체 시스템의 속도를 늦추지 않고 말이다."

여기서 CRISP라고 불리는 새로운 방법이 등장합니다. CRISP를 탐정이 글을 읽기 전부터 미리 일하는 매우 효율적인 사서라고 생각해 보세요. CRISP는 도서관 전체를 테이블 위에 쏟아붓는 대신, 당신의 질문을 먼저 듣습니다. 만약 당신이 "핸드백 색깔이 뭐야?"라고 묻는다면, CRISP는 즉시 이미지를 스캔하여 핸드백과 그 주변 영역을 보여주는 퍼즐 조각들만을 집어냅니다. 하지만 여기서 그치지 않고, 배경 맥락(예를 들어 거리나 핸드백을 들고 있는 사람)이 유실되지 않도록 몇 개의 추가 조각들도 함께 챙깁니다.

CRISP의 연구진은 이러한 "먼저 묻고, 그다음에 본다"는 접근 방식이 기존의 "먼저 보고, 그다음에 묻는다"는 방식보다 훨씬 더 영리하다는 것을 발견했습니다. 테스트 결과, CRISP는 시각적 퍼즐 조각의 최대 88.9%를 버리면서도(이미지를 수백 개의 토큰에서 단 64개 또는 128개로 줄임) 이미지 전체를 보았을 때와 거의 동일한 정확도를 유지할 수 있음을 보여주었습니다. 사실, 어떤 테스트에서는 적절한 단서를 찾는 능력이 매우 뛰어나서, AI가 존재하지 않는 것을 만들어내는 현상인 "환각(hallucinations)"까지 줄여주기도 했습니다.

이 논문은 오늘날 행해지는 두 가지 일반적인 방식에 대해 명시적으로 반박합니다. 한 가지 방식은 질문과 상관없이 이미지에서 가장 "중요해 보이는" 조각들을 고르는 것(텍스트 불가지론적 방식, text-agnostic)인데, 저자들은 이것이 무엇을 찾으려 하는지도 모른 채 그림을 응시하는 것과 같다고 말합니다. 다른 방식은 컴퓨터가 사고 과정 깊숙이 들어간 후에야 조각을 삭제하기 시작하는 것인데, 저자들은 이것이 컴퓨터가 이미 모든 것을 읽는 힘든 작업을 마친 후이기에 에너지를 낭비하는 일이라고 지적합니다. CRISP는 이 두 가지 방식을 모두 거부하며, 본격적인 사고가 시작되기 전(before the heavy thinking begins)에 가지치기를 함으로써 빠르면서도 똑똑해질 수 있다는 것을 증명했습니다.

결과는 측정되었으며 매우 구체적입니다. LLaVA-1.5라는 인기 있는 모델에서, CRISP는 기존의 576개 토큰 대신 단 128개의 토큰만을 사용하면서도 원래 성능의 99.5%를 유지했습니다. 더 최신 모델인 LLaVA-NeXT에서는 320개의 토큰만으로 성능의 96.9%를 유지했습니다. 아마도 가장 인상적인 점은, 이 속도 향상이 단순히 정확도를 지킨 것에 그치지 않고 답변을 얻는 데 걸리는 시간을 절반 이상 단축했다는 것입니다. 저자들은 이 방법이 이러한 똑똑한 이미지 읽기 컴퓨터를 훨씬 더 빠르고 저렴하게 운영할 수 있게 만드는, 실용적이고 즉시 사용 가능한 해결책이라고 제안합니다. 특히 막대한 전력을 보유하지 않은 기기에서 더욱 그렇습니다.

기술 요약: CRISP – Pre-LLM 단계의 텍스트 기반 시각적 토큰 프루닝(Pruning)

1. 문제 정의

대규모 시각-언어 모델(LVLM)은 이미지를 긴 시퀀스의 시각적 토큰(종종 수백에서 수천 개)으로 인코딩하여 LLM이 이를 완전히 처리하도록 만들기 때문에 상당한 추론 오버헤드가 발생합니다. 이는 지연 시간에 민가하거나 자원이 제한된 시나리오에서의 배포에 병목 현상을 일으킵니다.

기존의 시각적 토큰 프루닝 방법들은 근본적인 트레이드오프(trade-off)에 직면해 있습니다:

Pre-LLM 프루닝: LLM 이전 단계에서 텍스트에 무관한 휴리스틱(예: CLS 어텐션 또는 특징 유사도)을 사용하여 작동합니다. 효율적이기는 하지만, 이러한 방법들은 "텍스트 불가지론적(text-agnostic)"입니다. 즉, 특정 텍스트 질의와 상관없이 동일한 토큰을 프루닝합니다. 이는 "먼저 보고 나서 묻는(look-first-then-ask)" 인지 전략을 모방하며, 이는 "읽고 나서 보는(read-then-see)" 자연스러운 과정보다 덜 효율적이며 질의와 관련된 세부 정보를 버리는 경우가 많습니다.
Intra-LLM 프루닝: 현재의 텍스트를 기반으로 토큰을 프루닝하기 위해 크로스 모달 어텐션 점수를 사용하는 LLM 내부에서 작동합니다. 텍스트 기반이기는 하지만, 얕은 레이어에서의 프루닝은 위치 편향(positional bias)과 어텐션 분산 문제를 겪어 정확도를 저하시킵니다. 깊은 레이어에서의 프루닝은 정확도를 보존하지만, 시각적 토큰이 많은 LLM 블록을 통과해야 하므로 계산 절감 효과가 줄어듭니다. 또한, 어텐션 가중치를 추출하는 것은 FlashAttention을 방해하여 효율성을 해칩니다.

따라서 효율성을 극대화하기 위해 **LLM 이전(pre-LLM)**에 프루닝을 수행하면서도, LLM의 내부 어텐션 메커니즘에 접근하지 않고도 **텍스트 기반(text-driven)**으로 정보를 유지할 수 있는 방법이 필요합니다.

2. 방법론: CRISP

저자들은 비전 프로젝터(vision projector)와 LLM 사이에서 작동하는 두 단계 파이프라인을 활용하여, 지시문 관련성과 장면 맥락(scene context) 사이의 균형을 맞추는 압축된 시각적 토큰의 부분 집합( $K$ )을 선택하는 CRISP(CRItical-first and Semantically-covered Pre-LLM token pruning) 프레임워크를 제안합니다.

1단계: 핵심 우선(Critical-First) 토큰 선택

이 단계는 텍스트 질의와 가장 관련이 높은 시각적 토큰을 식별합니다.

핵심 단어 추출: 시스템은 경량 NLP 처리를 사용하여 질의에서 명사(예: "skier", "gloves")를 추출합니다. 명사는 일반적으로 구체적인 이미지 영역에 대응하기 때문입니다.
교차 모달 관련성 계산: 투영된 시각적 토큰과 단어 임베딩(서브워드 토큰들의 평균값)은 동일한 의미 공간에 존재합니다. 시스템은 시각적 토큰과 단어 임베딩 사이의 코사인 유사도 행렬을 계산합니다.
단어 수준의 할당량 배분: 모든 단어가 이미지에 동일하게 근거를 두는 것은 아닙니다. 시스템은 각 단어와 연관된 영역의 중요도를 결정하기 위해 비전 인코더의 CLS 어텐션을 사용합니다. CLS 어텐션 점수가 높은 단어는 더 큰 토큰 예산을 할당받습니다.
선택: 특정 단어와의 관련성 및 할당된 할당량을 기준으로 상위- $K$ 시각적 토큰을 선택합니다. 만약 명사가 감지되지 않으면, 시스템은 순수하게 글로벌 CLS 어텐션에 기반하여 토큰을 선택하는 방식으로 전환됩니다.

2단계: 의미적 보완(Semantically-Covered) 토큰 완성

텍스트와 정렬된 토큰에만 의존하면 필수적인 맥락(예: 공간적 배치, 배경)을 놓칠 위험이 있습니다.

시스템은 전체 예산 $K$ 에 도달하기 위해 남은 풀(pool)에서 추가적인 토큰을 반복적으로 선택합니다.
시스템은 이미 선택된 집합과 의미적으로 상보적인(semantically complementary) 토큰을 선택합니다. 구체적으로, 현재 집합에 대한 최대 유사도가 가장 낮은 토큰을 선택함으로써 의미적 다양성을 극대화하고 필수적인 장면 맥락의 보존을 보장합니다.

3. 주요 기여

텍스트 기반 Pre-LLM 프루닝: CRISP는 프루닝을 LLM 이전에 수행하면서도 텍스트 질의에 동적으로 적응함으로써, 기존의 "텍스트 불가지론적" 한계를 극복하고 효율성과 관련성 사이의 간극을 메웁니다.
두 단계 파이프라인: "핵심 우선(Critical-First)" 선택(질의 정렬 보장)과 "의미적 보완(Semantically-Covered)" 완성(맥락적 다양성 보장)의 결적인 조합을 통해, 모델이 장면 이해를 희생하지 않으면서도 중요한 증거를 유지할 수 있게 합니다.
훈련이 필요 없는 효율성: 이 방법은 추가 훈련을 요구하지 않으며, LLM의 어텐션 가중치에 접근하지 않고(FlashAttention 호환성 유지), 프로젝터와 LLM 사이에서 완전히 작동합니다.

4. 실험 결과

저자들은 LLaVA-1.5-7B와 LLaVA-NeXT-7B를 대상으로 9개의 벤치마크(MME, GQA, SQA, POPE, VQA-v2 포함)에서 CRISP를 평가했습니다.

성능 유지:
- LLaVA-1.5-7B에서, **77.8%**의 프루닝 비율(128개 토큰 유지)로 CRISP는 전체 토큰 모델 성능의 **99.5%**를 달성하였으며, 이는 차점(97.9%)을 상회하는 수치입니다.
- LLaVA-1.5-7B에서, 공격적인 **88.9%**의 프루닝 비율(64개 토큰)에서도 **97.7%**의 성능을 유지했습니다.
- LLaVA-NeXT-7B에서, **88.9%**의 프루닝 비율(320개 토큰)로 CRISP는 **96.9%**의 성능을 유지하며 모든 베이스라인을 능가했습니다.
- 특히, CRISP는 POPE 벤치마크(객체 환각 탐지)에서 전체 토큰 베이스라인보다 우수한 성능을 보였는데, 이는 집중된 선택 방식이 부적절한 상관관계를 효과적으로 억제함을 시사합니다.
효율성 이득:
- CRISP는 토큰 수 감소에 따라 추론 FLOPs와 KV-캐시 메모리 사용량을 거의 선형적으로 줄였습니다.
- 두 모델 모두에서 디코딩 속도를 2배 이상 향상시켰으며, 총 엔드 투 엔드(end-to-end) 평가 시간을 크게 단축했습니다.

5. 의의 및 주장

본 논문은 CRISP가 효율적인 LVLM 추론을 위한 실용적이고 일반화 가능한 솔루션을 제공한다고 주장합니다. 텍스트 기반 관련성을 LLM의 내부 처리로부터 분리함으로써, CRISP는 기존 방법들에 비해 우수한 정확도-효율성 트레이드오프를 달s성합니다. 저자들은 이 접근 방식이 특히 자원이 제한된 시나리오와 지연 시간에 민감한 배포에 가치가 높으며, 막대한 계산 비용 없이도 고성능 LVLM을 사용할 수 있게 한다고 강조합니다. 결과는 나머지 예산이 다양한 맥락적 근거를 유지하는 데 사용된다면, 적은 수의 텍스트 관련 토큰만으로도 중요한 증거를 보존할 수 있음을 보여줍니다.