기술 요약: 효율적인 멀티모달 거대 언어 모델을 위한 토큰 압축 서베이

1. 문제 정의

멀티모달 거대 언어 모델(MLLM)은 고해상도 이미지, 확장된 비디오 시퀀스, 긴 오디오 입력 등 복잡한 컨텍스트를 처리함으로써 놀라운 성능을 달로 성취했습니다. 그러나 이러한 능력은 입력 토큰 수($N$)에 따른 셀프 어텐션 메커니즘의 이차 복잡도($O(N^2)$)라는 중대한 계산적 병목 현상을 야기합니다.

텍스트의 경우 토큰 수가 관리 가능한 수준이지만, 시각 및 청각 데이터는 훨씬 더 긴 시퀀스를 생성합니다. 예를 들어, 90분 길이의 비디오는 약 5,400만 개의 토큰을 생성할 수 있으며, 단일 고해상도 이미지나 2시간 분량의 오디오 파일은 수만에서 수백만 개의 토큰을 생성합니다. 이러한 격차는 심각한 추론 지연과 메모리 소비를 초래하여 MLLM의 실질적인 배포를 저해합니다. 더욱이, 멀티모달 데이터는 상당한 중복성(이미지의 공간적 중복, 비디오의 시공간적 중복, 오디오의 시간적/스펙트럼적 중복)을 포함하고 있으며, 연구에 따르면 일반적인 MLLM 시퀀스의 50% 이상의 토큰이 추론 과정에서 최소한의 주의(attention)만을 받는 것으로 나타났습니다.

2. 방법론 및 분류 체계

본 논문은 MLLM을 위해 특화된 토큰 압축 기술에 대한 최초의 체계적인 서베이 및 종합을 제시합니다. 저자들은 토큰 압축을 후속 레이어로 전달되는 토큰의 수를 명시적으로 줄이는 방법($M < N$)으로 엄격히 정의하며, 이를 입력 레벨의 샘플링(예: 프레임 추출)이나 시퀀스 길이는 유지하되 계산 경로를 줄이는 어텐션 희소성(attention sparsity) 메커니즘과 구분합니다.

본 서베이는 기존의 접근 방식들을 두 가지 주요 관점으로 분류합니다:

A. 모달리티 중심 분류 (Modality-Centric Categorization)

중복 패턴이 모달리티마다 다름을 인식하여, 방법론들을 주요 데이터 포커스에 따라 그룹화합니다:

1. 이미지 중심 압축 (Image-Centric Compression): 정적 시각 데이터의 공간적 중복성을 다룹니다. 인접한 패치들은 종종 유사한 질감이나 색상을 나타냅니다.
2. 비디오 중심 압축 (Video-Centric Compression): 동적 시퀀스의 시공간적 중복성을 타겟팅합니다. 연속된 프레임은 광범위한 배경 요소를 공유하며 제한적인 움직임만을 가집니다.
3. 오디오 중심 압축 (Audio-Centric Compression): 음향 신호의 시간적 및 스펙트럼적 중복성을 처리합니다. 유의미한 정보는 흔히 침묵이나 노이즈 사이의 희소한 구간에 집중되어 있습니다.

B. 메커니즘 중심 분류 (Mechanism-Centric Categorization)

모달리티를 넘어, 본 논문은 특정 데이터 유형을 초월하는 근본적인 알고리즘 원리에 따라 방법론을 해부합니다:

1. 변환 기반 (Transformation-Based): 스케일이나 표현을 변경하여 토큰을 직접 변환함으로써 교차 모달리티 정보를 압축합니다 (예: Pixel Unshuffle, Spatial/Temporal Pooling, Convolution). 이러한 방법들은 구조적 표현을 보존하는 경우가 많지만, 압축 비율에 대한 유연성은 제한적입니다.
2. 유사도 기반 (Similarity-Based): 암시적 공간에서의 거리나 유사성을 바탕으로 토큰을 식별하고 병합합니다 (예: K-최근접 이웃, 클러스터링). 효과적이긴 하지만, 토큰이 과도하게 일반화될 경우 미세한 공간적 또는 시간적 정보를 잃을 위험이 있습니다.
3. 어텐션 기반 (Attention-Based): 어텐션 메커니즘의 희소성을 활용하여 낮은 어텐션 점수를 가진 토큰을 제거합니다. 이는 인코더(시각/오디오 인코더) 또는 디코더(LLM 백본) 내에서 적용될 수 있습니다. 강력하지만, 어텐션을 암시적으로 계산하는 최적화된 가속 라이브러리(예: FlashAttention)와의 호환성 문제로 인해 배포 시 어려움이 있습니다.
4. 쿼리 기반 (Query-Based): 외부 쿼리(프롬프트)를 사용하여 압축을 유도합니다. 이는 토큰 증류(더 적은 토큰으로 시각/오디오 정보를 표현하도록 학습) 또는 교차 모달 선택(텍스트에 대한 관련성을 기준으로 토큰 필터링)을 통해 이루어집니다. 이 방식은 작업 관련성이 매우 높지만, 쿼리가 변하는 다회차 대화(multi-turn conversations)에서는 어려움을 겪을 수 있습니다.

3. 주요 기여

• 최초의 구조화된 서베이: 본 연구는 텍스트 중심의 프롬프트 압축과 시각/오디오 특화 기술 사이의 간극을 메우며, MLLM에 특화된 토큰 압축에 대한 최초의 포괄적인 분류 체계를 제공합니다.
• 통합 프레임워크: 모달리티별 중복성에도 불구하고, 근본적인 알고리즘 원리(중요도 식별, 중복성 정량화, 토큰 병합/제거)가 시각, 시간, 청각 영역 전반에 걸쳐 일관됨을 입증합니다.
• 트레이드오프에 대한 비판적 분석: 파라미터가 없는 풀링(pooling)의 특성과 학습 가능한 추상화로서의 컨볼루션(convolution)의 차이, 그리고 현재 하드웨어 가속기와 호환되지 않는 어텐션 기반 프루닝(pruning)의 효율성 등 각 메커니즘의 장단점을 상세히 설명합니다.
• 과제 식별: 높은 압축률에서의 성능 저하(특히 더 큰 모델에서), OCR이나 시간적 그라운딩(temporal grounding)과 같은 작업에 필요한 미세한 디테일 손실, 그리고 다회차 대화 시스템에 동적 프루닝을 통합하는 데 따르는 어려움 등 핵심적인 난제들을 강조합니다.

4. 결과 및 관찰

본 논문은 수많은 최신 모델 및 방법론(예: InternVL, Qwen2-VL, FastV, ToMe, HoliTom, SpeechPrune)의 연구 결과를 종합합니다:

• 효율성 vs 성능: 최소한의 성능 손실로 상당한 토큰 감소가 가능합니다. 예를 들어, 시각적 토인 중 10-25%만을 유지하더라도 VQA2 및 VideoMME와 같은 벤치마크에서 경쟁력 있는 성능을 유지할 수 있습니다. 그러나 공격적인 압축은 특히 표현 능력이 높은 모델(예: Qwen2.5-VL, LLaVA-OV-72B)에서 급격한 성능 저하를 초래합니다.
• 작업 민감도: 압축 전략은 보편적으로 적용될 수 없습니다. 높은 정보 밀도를 요구하는 작업(예: 광학 문자 인식, OCR)이나 정밀한 시간적 추론이 필요한 작업은 일반적인 시각 질의응답(VQA)보다 토큰 병합이나 프루닝에 의한 영향을 더 많이 받습니다.
• 배포 격차: 많은 어텐션 기반 방법론들은 이론적으로는 효율적이지만, 융합되고 최적화된 추론 파이프라인에서는 접근할 수 없는 명시적 어텐션 점수에 의존하기 때문에 실제 환경에 배포하기 어렵습니다.

5. 의의 및 향후 방향

본 논문은 토큰 압축이 단순한 사후 최적화 기술이 아니라 MLLM의 확장성을 위한 핵심적인 조력자라고 주장합니다. 그 의의는 다음과 같습니다:

• 원샷 롱 컨텍스트 이해 (One-Shot Long-Context Understanding): 정보를 밀집된 토큰으로 응축함으로써, MLLM은 RingAttention과 같은 구조적 개편 없이도 전체 코드 저장소나 긴 비디오를 단 한 번의 패스로 처리할 수 있습니다.
• 강화된 모달리티 정렬 (Enhanced Modality Alignment): 토큰 압축, 특히 쿼리 기반 증류는 저밀도 또는 무관한 정보를 필터링함으로써 멀티모달 입력과 언어 표현 간의 정렬을 개선할 수 있습니다.
• 직교적 시너지 (Orthogonal Synergy): 본 논문은 토큰 압축(시퀀스 길이 $N$ 감소)이 가중치 압축(모델 차원 $D$ 감소)과 구조적으로 직교함을 언급하며, 이러한 접근 방식(예: 양자화 + 토큰 프루닝)을 결합하면 복합적인 효율성 이득을 얻을 수 있음을 시사합니다.

식별된 향후 방향:

• 결합된 멀티모달 압축 (Joint Multimodal Compression): 단일 모달리티 전략을 넘어, Omni-LLM을 위해 교차 모달 시너지(예: 오디오 단서를 사용하여 비디오 토큰을 프루닝)를 활용하는 프레임워크로 나아가야 합니다.
• 아키텍처 설계 (Architecture Design): 사후 처방적 압축에서 벗어나, 특징 추상화 과정에서 데이터 중복성을 본질적으로 고려하도록 설계된 모델로 전환해야 합니다.
• 평가 표준 (Evaluation Standards): 일반적인 VQA 메트릭을 넘어, 미세한 시간적 그라운딩 및 고충실도 디테일 유지가 필요한 작업에 특화된 토큰 압축 효능 평가를 위한 새로운 벤치마크를 요구합니다.

결론적으로, 본 서베이는 현재의 진척 상황을 정리하고 효율적이고 확장 가능하며 견고한 멀티모달 거대 언어 모델을 향한 경로를 제시함으로써 연구자와 개발자들을 위한 기초적인 자원을 구축합니다.