기술 요약: VisCo – 대규모 언어 모델을 내재적 인코더로 활용한 시각적 토큰 압축

1. 문제 정의

시각-언어 모델(Vision-Language Models, VLMs)은 일반적으로 고해외 이미지를 처리할 때 이를 방대한 양의 시각적 토큰으로 인코딩합니다. 이는 셀프 어텐션(self-attention) 메커니즘의 이차 복잡도(quadratic complexity)와 키-값(Key-Value, KV) 캐시 저장 요구 사항으로 인해 상당한 추론 지연 시간과 메모리 오버헤드를 초래합니다. 이러한 병목 현상은 자원이 제한된 환경 및 실시간 시나리오에서의 VLM 배포를 심각하게 제한합니다.

기존의 시각적 토큰 압축 솔루션은 두 가지 범주로 나뉘며, 둘 다 상당한 한계를 가지고 있습니다:

• 훈련이 필요 없는 방법(Training-free methods): 이들은 휴리스틱 지표(예: 어텐션 점수 또는 특징 유사도)에 의존하여 토큰을 제거하거나 병합합니다. 효율적이기는 하지만, 높은 압축률 하에서 심각한 성능 저하를 겪습니다. 또한 "어텐션 시프트(attention shift)" 현상에 취약하여 환각(hallucination)을 유발하기 쉬우며, 텍스트 가이드 기반의 전역적 의미론(global semantics)이나 미세한 세부 사항을 보존하는 데 실패하는 경우가 많습니다.
• 훈련 기반 방법(Training-based methods): 이들은 외부 압축 모듈을 도입하거나 대규모 재학습(재정렬 및 인스트럭션 튜닝 포함)을 요구합니다. 더 견고하기는 하지만, 막대한 재학습 비용이 발생하고, 사전 학습된 VLM의 사전 지식(priors)을 훼손하며, 플러그 앤 플레이(plug-and-play) 방식의 유연성이 부족한 경우가 많습니다.

핵심 과제는 대규모 재학습이나 외부 모듈 없이도, 공격적인 압축(예: 토큰을 단일 단위로 축소) 상황에서도 의미론적 충실도(semantic fidelity)를 유지하면서 효과적인 시각적 토큰 압축을 달una하는 것입니다.

2. 방법론: VisCo 프레임워크

저자들은 사전 학습된 VLM 자체를 내재적 압축기로 재사용하는, 훈련 효율적인 자기 압축(self-compression) 프레임워크인 VisCo를 제안합니다. VisCo는 공유 파라미터를 가진 **비대칭 VLM 오토인코더(asymmetric VLM autoencoder)**로 설계되었으며, 두 단계로 작동합니다:

A. 비대칭 구조

• 인코딩 단계(Encoding Stage): 프레임워크는 사전 학습된 VLM 백본에 경량화된 학습 가능 모듈을 추가합니다. 구체적으로, 소수의 학습 가능한 **메모리 토큰($X_m$)**을 도입하고 Q/V 프로젝션에 LoRA 어댑터를 사용합니다. 인코더는 시각적 토큰($X_v$)과 메모리 토큰($X_m$)의 결합된 시퀀스를 처리합니다.
• 디코딩 단계(Decoding Stage): LoRA 어댑터를 제거하고, 원래의 동결된(frozen) 사전 학습 VLM 백본을 디코더로 직접 재사용합니다. 이 설계는 VisCo가 멀티모달 생성 과정을 처음부터 다시 배우는 대신, 기존 역량을 경량화하여 적응시키는 데 집중하도록 보장합니다.

B. 시퀀스 구성 및 인과적 마스킹(Causal Masking)

VisCo는 디코더 전용(decoder-only) VLM의 표준 인과적 마스킹 메커니즘을 엄격히 준수합니다. 메모리 토큰은 입력 시퀀스에서 시각적 토큰의 뒤에 추가됩니다. 이를 통해 메모리 토큰은 모델의 내재적 어텐션 사전 지식을 사용하여 선행하는 모든 시각적 토큰에 자연스럽게 어텐션을 수행하며, 커스텀 상호작용 규칙을 도입하지 않고도 풍부한 시각적 정보를 집약합니다.

C. 계층적 정보 집약 및 전달

트랜스포머 레이어가 기능적 전문화(하위 레이어는 국소적 패턴을 인코딩하고, 상위 레이어는 추상적 의미론을 인코딩함)를 보인다는 점을 인식하여, VisCo는 계층적 정보 전달 메커니즘을 채택합니다:

1. 메모리 뱅크 구축: 인코딩 중에 최종 은닉 상태(hidden states)를 디코더로 전달하는 대신, 시스템은 매 레이어 $l$에 해당하는 키($K$)와 값($V$) 행렬만을 메모리 토큰으로부터 추출하여 보관합니다. 이들은 레이어별 메모리 뱅크($K_{mem}, V_{mem}$)에 저장됩니다.
2. 계층적 디코딩: 디코딩 중에 이 레이어별 메모리 KV 캐시는 디코더의 KV 캐시에 직접 채워집니다. 이를 통해 디코더는 투영 레이어(projection layers) 없이도 다중 그래뉴리티(multi-granularity)의 의미론적 정보(저수준 텍스처부터 고수준 담화까지)에 접근할 수 있으며, 파라미터 공유를 통해 효과를 극대화합니다.

D. 훈련 목적 함수(Training Objective)

VisCo는 정답(ground-truth) 답변에 대한 조건부 가능도(conditional likelihood)를 최대화하기 위해 텔러 포싱(teacher forcing)을 사용하여 엔드투엔드로 미세 조정됩니다. 추가적인 사전 학습 목적 함수는 도입되지 않습니다.

3. 주요 기여

1. 비대칭 내재적 자기 압축 프레임워크: VisCo는 사전 학습된 VLM 자체를 압축기로 활용하여 백본을 온전하게 유지하면서 경량 훈련(LoRA + 학습 가능한 메모리 토큰)만으로 작동합니다.
2. 계층적 정보 전달 메커니즘: 레이어별 KV 캐시를 통해 인코더 레이어에서 디코더로 다중 그래뉴리티 의미론을 전달하는 메커니즘을 도입하여, 압축 시에도 시각적 정보의 구조적 계층을 보존합니다.
3. 포괄적인 평가: 3개의 VLM 백본(LLaVA-1.5-7B, Qwen2-VL-2B, Qwen2-VL-7B)과 6개의 벤치마크에 걸친 광범의 실험을 통해, 특히 공격적인 압축 상황에서 기존 방법론 대비 일관된 우수성을 입증했습니다.

4. 실험 결과

논문은 GQA, MMB, MMB-CN, MME, POPE, MMVet을 포함한 벤치마크에서 VisCo를 평가합니다.

• 공격적 압축 하의 성능:

  • LLaVA-1.5-7B (576개 토큰 $\to$ 32개 토큰)에서 VisCo는 원래 성능의 **91.8%**를 유지하며, 가장 우수한 베이스라인인 VisPruner보다 평균 점수에서 4.0포인트 앞섰습니다.
  • 극단적인 단일 토큰 설정(1개 토큰)에서 VisCo는 원래 성능의 **85.3%**를 유지하며, 훈련이 필요 없는 방법들(예: 약 72.6%의 SparseVLM)을 크게 앞질렀고, 특정 지표에서는 MatryoshkaQuery나 VoCo-LLaMA와 같은 강력한 훈련 기반 참조 모델들까지 능가했습니다.
  • 이미 압축 기능이 내장된 Qwen2-VL-2B의 경우, VisCo는 25% 토큰 유지 시 95.2%, 12.5% 유지 시 **91.4%**의 성능을 유지하며 VisionZip과 같은 미세 조정된 베이스라인을 능가했습니다.

• 정성적 분석:

  • VisCo는 매우 적은 수의 토큰만으로도 전체 장면의 맥락과 핵심 영역을 모두 성공적으로 포착하는 반면, 어텐션 기반 제거 방법들은 전역적 맥락과 세부 사항을 놓치는 경향이 있습니다.
  • 단일 토큰 설정에서도 VisCo는 객체 수준의 묘사와 일관된 전역 의미론을 포함하는 상세한 캡션을 생성할 수 있습니다.

• 효율성:

  • VisCo는 KV 캐시 저장 공간을 크게 줄입니다.
  • 초기 인코딩 단계에서 오버헤드가 발생하지만, VisCo는 더 빠른 디코딩 속도를 달성합니다. 다회차 대화(multi-turn dialogue) 시나리오에서 캐시된 표현을 재사용함으로써, VisCo는 단 3회의 대화 턴 이후부터 FastV와 같은 훈련이 필요 없는 방법들의 지연 시간을 추월합니다.

• 보완적 표현(Complementary Representations):

  • 절제 연구(ablation study)인 VisCo+는 학습된 메모리 토큰과 원래의 시각적 토큰을 결합하는 것이 실제로 여러 벤치마크에서 기본 모델의 성능을 향상시킬 수 있음을 보여줍니다. 이는 메모리 토큰이 단순한 압축된 부분 집합이 아니라 보완적인 정보를 포착함을 시사합니다.

5. 의의 및 주장

본 논문은 사전 학습된 VLM의 내재적 사전 지식(intrinsic priors)을 활용하는 것이 경량 훈련만으로도 강력한 시각적 토큰 압축을 가능하게 한다는 것을 보여줍니다.

• 트레이드오프 극복: VisCo는 훈련이 필요 없는 방법의 심각한 성능 저하와 외부 모듈 기반 접근 방식의 무거운 재학습 비용 문제를 모두 해결합니다.
• 네이티브 처리 패턴: VLM의 네이티브 처리 패턴(인과적 마스킹 및 파라미터 공유 사용)을 따름으로써, 구조를 재작성하지 않고도 헤비급 방법들과 경쟁할 수 있는 성능을 유지하면서 경량 적응의 유연성을 확보했습니다.
• 압축 그 이상: 저자들은 학습된 메모리 토큰이 시각적 특징을 풍부하게 하는 보완적 표현 역할을 하여, 단순한 압축 효율성을 넘어 모델의 성능을 높일 수 있다고 제안합니다.

결론적으로, 효과적인 시각적 토큰 압축은 이미 사전 학습된 VLM에 존재하는 강력한 정보 인코딩 능력에 달려 있으며, VisCo와 같은 효율적인 자기 압축 프레임워크를 통해 이를 끌어낼 수 있다는 점을 강조합니다. 향후 연구로는 적응형 토큰 할당 및 비디오 압축으로의 확장이 제안되었습니다.