🤖 AI

DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

이 논문은 비전 인코더의 출력에서 정보 보존 토큰을 추출하고 언어 백본에서 텍스트 기반의 중요도 분석을 통해 시각 토큰을 점진적으로 제거하는 'DUET-VLM'이라는 이중 단계 압축 프레임워크를 제안하여, 기존 방법론보다 높은 정확도를 유지하면서 시각 토큰을 대폭 줄이는 효율적인 VLM 학습 및 추론 방식을 제시합니다.

원저자: Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

게시일 2026-03-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

DUET-VLM: AI 의 눈과 뇌를 위한 '스마트 압축' 기술

이 논문은 **시각-언어 모델 **(VLM)이라는 AI 가 이미지를 보고 이해할 때, 너무 많은 정보를 처리하다 보니 느리고 비싸게 돌아가는 문제를 해결한 새로운 방법론을 소개합니다.

핵심 아이디어는 "이미지를 다 보지 않고, 중요한 부분만 골라서 보는 기술"입니다. 이를 DUET-VLM이라고 부릅니다.

🎒 비유: "가방에 모든 옷을 넣을 필요는 없다"

기존의 AI 는 사진을 보면, 사진 속의 모든 픽셀 (예: 하늘, 나무, 사람, 배경의 잡동사니) 을 똑같이 중요한 정보로 취급해서 576 개나 되는 '조각 (토큰)'으로 잘라내어 뇌 (언어 모델) 에 전달했습니다. 이는 마치 여행을 갈 때 가방에 옷 100 벌을 다 넣고 가려는 것과 같습니다. 무겁고 비효율적이지요.

DUET-VLM 은 이 문제를 **두 단계 **(Dual Stage)로 나누어 해결합니다.

1 단계: 사진 속 '주인공'과 '배경'을 먼저 분류 (Vision Encoder 단계)

상황: 사진이 들어오면 AI 는 먼저 "어디가 중요한지"를 파악합니다.
비유: 사진을 보고 **주인공 **(주요 사물)은 그대로 두고, **배경 **(중요하지 않은 구름이나 벽)은 여러 조각을 하나로 합쳐버립니다.
기술적 설명: 비슷한 색이나 모양을 가진 부분끼리 뭉쳐서 (클러스터링) 정보를 잃지 않으면서 숫자를 줄입니다. 마치 "이 나무 100 개는 다 같은 나무니까 1 개의 '나무' 아이콘으로 합치자"는 식입니다.

2 단계: 질문을 듣고 '필요한 정보'만 선별 (Language Backbone 단계)

상황: 이제 AI 는 "저 선수의 등번호는 몇 번이야?"라는 질문을 받습니다.
비유: 질문을 들은 AI 는 "아, 등번호를 찾아야 하구나. 그럼 배경의 구름이나 나무는 필요 없어!"라고 생각하며, **질문과 관련된 부분 **(선수 등)만 남기고 나머지는 과감히 버립니다.
기술적 설명: 텍스트 (질문) 와 시각 (이미지) 의 관계를 분석하여, 질문과 무관한 시각 조각들을 계층별로 지워냅니다.

🚀 이 기술이 가져온 놀라운 결과

이 '스마트 압축' 기술을 적용하자 AI 는 다음과 같은 변화를 겪었습니다.

속도 3 배 이상 빨라짐: 처리해야 할 정보 (토큰) 가 67%~89% 까지 줄어든 덕분에, 학습과 추론 속도가 엄청나게 빨라졌습니다.
정확도 거의 유지: 정보를 90% 이상 줄였는데도, 정답을 맞히는 능력은 기존 AI 와 거의 똑같았습니다 (97~99% 수준).
- 비유: "가방에 옷을 90% 덜 넣고 갔는데, 여행지에서 필요한 옷은 100% 다 챙겨서 여행이 더 즐거웠다"는 뜻입니다.
동영상 이해도 가능: 정지된 사진뿐만 아니라, 동영상에서도 불필요한 프레임 정보를 줄여주어 비디오 AI 의 성능까지 높였습니다.

💡 핵심 요약

기존의 방식은 "더 많은 정보를 넣으려면 더 큰 컴퓨터가 필요하다"는 식이었지만, DUET-VLM 은 "중요한 정보만 골라서 넣으면 작은 컴퓨터로도 똑똑하게 일할 수 있다"는 것을 증명했습니다.

이 기술은 AI 가 더 가볍고, 빠르면서도 똑똑해지도록 도와주는 '지능적인 정보 필터링' 시스템이라고 할 수 있습니다. 앞으로 스마트폰이나 태블릿 같은 작은 기기에서도 고성능 AI 를 쉽게 쓸 수 있는 길이 열린 셈입니다.

1. 문제 정의 (Problem)

시각 - 언어 모델 (VLM) 은 멀티모달 이해 및 추론 능력에서 뛰어난 성과를 보이지만, 고밀도 시각 토큰 (dense visual tokenization) 으로 인해 계산 비용이 매우 높다는 한계가 있습니다.

비효율성: 이미지 해상도가 증가함에 따라 시각 토큰 수는 제곱 ( $H \times W$ ) 으로 증가하며, 이는 트랜스포머의 어텐션 비용을 급격히 늘려 메모리 및 지연 시간 (latency) 병목 현상을 초래합니다. (예: LLaVA-1.5 는 이미지당 576 개, LLaVA-NeXT 는 2,800 개 이상의 토큰 사용)
기존 방법의 한계:
- 시각 측 (Vision-side): 시각 인코더 단계에서 토큰을 병합하는 방법 (VisionZip 등) 은 너무 일찍 병합하여 정보 손실 위험이 있습니다.
- 언어 측 (Language-side): 언어 백본에서 토큰을 드롭하는 방법 (PyramidDrop 등) 은 문맥에 따른 적응력이 부족하거나 단일 단계에서만 작동하여 시각과 언어 표현 간의 시너지를 최적화하지 못합니다.
- 공통 문제: 정확도와 속도 사이의 트레이드오프가 존재하며, 극단적인 압축 시 성능이 급격히 저하됩니다.

2. 방법론 (Methodology)

저자들은 DUET-VLM을 제안하며, 이는 시각 인코더와 언어 백본을 연결하는 이중 단계 (Dual-stage) 압축 프레임워크입니다. 이 방식은 "Plug-and-play" 방식으로 기존 모델에 적용 가능합니다.

A. 1 단계: Vision-to-Vision (V2V) 병합 (Vision Encoder 단계)

시각 인코더의 출력을 정보 보존형 토큰으로 압축하는 단계입니다.

우세 토큰 (Dominant Tokens) 선택: 시각 - 시각 (V2V) 자기 어텐션 맵을 기반으로 가장 영향력 있는 상위 $k_1$ 개의 토큰을 선택합니다.
국소 클러스터링 (Local Cluster Aggregation): 나머지 잔여 토큰을 단순히 평균화하는 대신, 국소 이웃 (Local Neighborhood) 단위로 클러스터링하여 $k_2$ $k_{2}$ 개의 컨텍스트 토큰으로 병합합니다.
- 핵심 아이디어: 전역 평균화는 중요한 세부 정보를 희석시킬 수 있으므로, 작은 클러스터 폭 ( $w$ ) 을 유지하며 국소적으로 평균화함으로써 미세한 시각적 단서를 보존하고 배경 노이즈를 제거합니다.

B. 2 단계: Text-to-Vision (T2V) 가지치기 (Language Backbone 단계)

언어 모델 (LLM) 내부에서 텍스트에 기반한 시각 토큰의 점진적 드롭을 수행합니다.

문맥 적응형 드롭: 언어 백본의 여러 계층 (Layer) 에서 주요 텍스트 토큰 (Salient Text Tokens) 과 시각 토큰 간의 교차 어텐션 (Cross-attention) 점수를 계산합니다.
계층적 가지치기: 각 단계 (Stage) 마다 어텐션 점수가 낮은 덜 중요한 시각 토큰을 드롭합니다.
- 마지막 텍스트 토큰 (Sink token) 을 항상 포함시켜 전역 문맥을 안정화합니다.
- 추론이 깊어질수록 (레이어가 깊어질수록) 중복된 시각 정보를 점진적으로 제거하여 계산 효율성을 높입니다.

3. 주요 기여 (Key Contributions)

공동 시각 - 언어 최적화 (Joint Vision-Language Optimization):
- 기존 단일 방향 압축과 달리, 시각 인코더의 병합과 언어 백본의 가지치기를 미분 가능한 인터페이스로 연결하여 시각 표현과 언어 문맥이 토큰 감소 과정에서 함께 적응 (Co-adapt) 하도록 합니다.
이중 단계 시각 압축 (Dual-Stage Visual Compression):
- V2V 병합: 시각적 중복성을 인식하여 구조적 다양성을 보존하는 컴팩트한 토큰 생성.
- T2V 가지치기: 텍스트의 중요도에 따라 계층별로 시각 토큰을 동적으로 제거.
- 이 조합은 초기에는 저수준 시각 세부 정보를 보존하고, 추론이 심화됨에 따라 중복 토큰을 제거하는 균형을 이룹니다.
정확도 유지 (Accuracy Retention):
- 극단적인 토큰 압축 (최대 89% 감소) 상황에서도 기존 베이스라인의 97% 이상의 정확도를 유지하며, 학습 시에는 오히려 성능을 향상시키기도 합니다.

4. 실험 결과 (Results)

LLaVA-1.5-7B 및 Video-LLaVA-7B 를 대상으로 다양한 벤치마크 (POPE, GQA, TextVQA, MME, SQA 등) 에서 평가되었습니다.

추론-only (Inference-only) 성능:
- LLaVA-1.5-7B: 67% 토큰 감소 (192 개) 시 베이스라인 정확도의 99.0% 유지, 89% 감소 (64 개) 시 95.4% 유지. 기존 방법 (VisionZip, PyramidDrop 등) 보다 우월한 성능.
- Qwen-2.5-VL-7B: 다양한 모델 아키텍처에서도 98% 이상의 정확도를 유지하며 일반화 능력을 입증.
학습 성능 (Training):
- 학습 시간 단축: 67% 토큰 감소 시 31% 의 학습 시간 단축 효과.
- 정확도 향상: 학습된 DUET-VLM 은 67% 감소 시 99.7% 정확도를 기록하여 베이스라인을 능가하기도 함.
비디오 이해 (Video Understanding):
- Video-LLaVA-7B: 53.1% 토큰 감소 시 베이스라인보다 100% 이상 (100.8%) 의 정확도 달성. 93.4% 극단적 감소 시에도 97.6% 정확도 유지.
속도 향상: 토큰 수 감소에 따라 1.1 배 ~ 1.5 배의 속도 향상 (Speedup) 을 기록.

5. 의의 및 결론 (Significance)

효율성과 성능의 균형: DUET-VLM 은 단순히 토큰을 줄이는 것을 넘어, 지능적인 토큰 관리 (Smart Token Management) 를 통해 모델 스케일링 없이도 높은 정확도를 유지하거나 향상시킬 수 있음을 증명했습니다.
학습 인식형 (Training-aware) 접근: 추론 단계뿐만 아니라 학습 단계에서도 이중 압축 전략을 적용함으로써, 감소된 시각 입력에 대한 강건한 적응 능력을 확보했습니다.
확장성: 이미지뿐만 아니라 비디오 이해 작업에서도 뛰어난 성능을 보여주어, 고해상도 멀티모달 모델의 실용적 배포를 위한 핵심 기술로 기대됩니다.

이 연구는 시각 - 언어 모델의 계산 비용을 획기적으로 줄이면서도 멀티모달 추론 능력을 보존할 수 있는 새로운 패러다임을 제시합니다.