기술 요약: HTC-VLM – 시각-언어 모델을 위한 하이브리드 토큰 압축

1. 문제 정의

시각-언어 모델(VLMs)은 풍부한 지각 정보를 대규모 언어 모델(LLMs)에 제공하기 위해 일반적으로 수백 개의 시각적 패치 토큰(예: ViT 인코더로부터의 $N=576$)에 의존한다. 이러한 밀집된 결합은 $O((N+L)^2)$의 이차적인 계산 비용을 발생시켜 GPU 메모리와 컨텍스트 윈도우를 빠르게 고갈시킨다.

기존의 압축 전략은 근본적인 트레이드오프에 직면해 있다:

• 연속적 압축 (Continuous Compression): 글로벌 풀링(global pooling)이나 어텐션 집계(attention aggregation)와 같은 방법은 모든 패치를 하나의 밀집된 벡터로 압축한다. 이는 효율적이지만, 다양한 패치 분포의 평균화로 인해 상호 정보량 $I(v_c; S)$가 감소함에 따라 고수준의 의미론(객체 정체성, 공간적 관계 등)이 손실되는 의미론적 희석(semantic dilution) 현상을 초래한다.
• 이산 양자화 (Discrete Quantization): 벡터 양자화(VQ)를 사용하는 방법은 범주적 의미론은 보존하지만, 미세한 연속적 단서(질감, 포즈, 변형 등)를 버림으로써 상세한 추론을 제한하는 **그래뉴러리티 갭(granularity gap, 입도 격차)**을 생성한다.

핵심 과제는 시각적 전체 이미지를 단 하나의 토큰으로 압축할 때, 고수준의 구조나 저수준의 세부 사항 중 어느 하나도 희생하지 않으면서 유의미한 시각적 정보를 유지할 수 있는가 하는 점이다.

2. 방법론: HTC-VLM

저자들은 시각 정보를 하나의 잠재 토큰으로 융합하기 전에 두 개의 상보적인 채널로 분리하는 HTC-VLM(Hybrid Token Compression for Vision-Language Models) 프레임워크를 제안한다.

2.1 이중 채널 아키텍처

HTC-VLM은 원시 패치를 직접 압축하는 대신, 시각 입력 $I$를 다음 두 가지로 분해한다:

1. 연속적 세부 채널 (Continuous Detail Channel, $D$): 사전 학습된 비전 인코더(CLIP ViT-L/14)와 선형 프로젝터를 사용하여 $N=576$개의 패치 임베딩을 생성한다. 이 경로는 질감 구배(texture gradients) 및 포즈 변화와 같은 저수준의 세부 사항을 보존한다.
2. 이산 의미 채널 (Discrete Semantic Channel, $S$): MGVQ(Multi-Group Vector Quantization)를 사용하여 이미지를 특징 벡터로 양자화한 후, 이를 MLP를 통해 소수의 4개 이산 의미 앵커 토큰($v_d$) 시퀀스로 투영한다. 이 앵커들은 고수준의 범주적 의미(예: "개", "나무")와 공간적 레이아웃을 포착한다.

2.2 하이브리드 융합 및 분리 병목 (Hybrid Fusion and Disentanglement Bottleneck)

이산 앵커들은 하이브리드 시퀀스 $V_{hy} \in \mathbb{R}^{580 \times d}$ (4개 앵커 + 576개 패치)를 형성하기 위해 연속 패치 시퀀스 앞에 붙여진다. 이 시퀀스는 학습 가능한 <voco> 토큰으로 전달된다.

핵심 구성 요소인 **분리 어텐션 마스크 (Disentanglement Attention Mask, $M_{hy}$)**는 다음과 같다:

• 텍스트-투-비전 제약 (Text-to-Vision Constraint): 텍스트 토큰은 원시 하이브리드 시각 토큰($V_{hy}$)에 어텐션을 수행하는 것이 엄격히 금지된다. 이들은 오직 압축된 <voco> 토큰에만 어텐션을 수행할 수 있다.
• 시각적 자기 어텐션 (Visual Self-Attention): 시각적 토큰(이산 및 연속 토큰 모두)은 집계되기 전에 서로에게 어텐션을 수행할 수 있다. 이를 통해 <voco> 토큰이 맥락화된 시각적 증거를 통합할 수 있게 한다.
• 잠재 추출 (Latent Extraction): <voco> 토큰은 580-토큰 시퀀스를 단일 잠재 벡터 $z$로 압축하며, 이 $z$가 LLM에 전달되는 유일한 시각적 입력이 된다.

2.3 이론적 기초

이 방법은 정보 병목 (Information Bottleneck, IB) 원리에 기반한다. 저자들은 단일 연속 벡터가 엔트로피 지배 (Entropy Domination) 문제를 겪는다고 주장하는데, 즉 고주파 세부 사항($D$)이 병목의 제한된 용량을 포화시켜 의미 정보($S$)를 사라지게 만든다는 것이다. HTC-VLM은 이산 앵커를 "의미론적 사전 지식(semantic prior)"으로 도입함으로써 $S$를 위한 엔트로피 장벽을 낮추고, 잠재 $z$가 잔여 세부 사항 $D$를 인코딩하는 데 용량을 집중할 수 있도록 한다. 이는 연속 전용 베이스라인과 비교하여 더 타이트한 ELBO(Evidence Lower Bound)를 통해 공식화된다.

3. 주요 기여

1. 표상 병목 분석 (Representational Bottleneck Analysis): 본 논문은 단일 토큰 압축에서의 "의미론-세부사항 용량 충돌"을 식별하고, 왜 순수 연속 병목이 고수준 의미론을 보존하는 데 실패하는지를 설명하는 정보 이론적 증명(Theorem 1)을 제공한다.
2. 하이브리드 의미-분리 프레임워크 (Hybrid Semantic-Disentanglement Framework): 최소한의 이산 의미 앵커를 압축 전 단계에 주입하여, 이산 의미와 연속적 외관의 공동 최적화를 가능하게 하는 원칙적인 아키텍처를 제안한다.
3. 실용적 아키텍처 (HTC-VLM): 1-토큰 예산 하에서 7개 벤치마크 전반에 걸쳐 평균 **87.2%**의 성능 유지율을 달면, 주요 연속 전용 베이스라인인 VoCo-LLaMA(81.0%)를 능가하는 실례를 보여준다.
4. 확장된 검증: 토큰 예산(1–576), 교차 아키텍처 일반화(Qwen-VL, LLaVA-NeXT), 추론 효율성 및 하이퍼파라미터(코드북 크기, 마스킹 토폴로지)에 대한 견고성에 대한 포괄적인 연구를 수행한다.

4. 실험 결과

4.1 성능 유지율

7개의 벤치마크(GQA, VQAv2, MMBench, MME, POPE, SEED-Bench, ScienceQA-Image)에서 평가했을 때, HTC-VLM은 전체 576-토큰 모델 대비 평균 **87.2%**의 유지율을 달성했다. 이는 다음 모델들을 유의미하게 상회한다:

• VoCo-LLaMA (연속 전용): 81.0%
• 평균 풀링 (Average Pooling): 64.1%
• Q-Former: 57.2%

4.2 토큰 예산 견고성

구조적 프루닝(Pruning) 방법들(예: ToMe, PDrop)은 중간 정도의 압축(64–192 토큰)에서는 잘 작동하지만, 초저수준 토큰 영역($<32$ 토큰)에서는 급격히 성능이 저하된다. 반면 HTC-VLM은 1-토큰 영역까지 안정성을 유지하며, 이는 이산 앵커가 연속 방식이 실패하는 지점에서 정보 붕괴를 방지함을 입증한다.

4.3 일반화

하이브리드 병목은 구조적으로 다른 강력한 백본에도 효과적으로 전이된다:

• Qwen-VL-Chat: 94.5% 유지율 (vs. VoCo-LLaMA 86.4%)
• LLaVA-NeXT (Dynamic Resolution): 95.7% 유지율 (vs. VoCo-LLaMA 86.6%)

4.4 효율성 및 지연 시간

NVIDIA A100 GPU에서 HTC-VLM은 바닐라 576-토큰 모델에 비해 LLM 프리필(prefill) 지연 시간을 94.3% 감소시킨다. MGVQ 인코더의 추가로 인한 미미한 오버헤드(~6.1ms)가 발생하지만, 총 시스템 지연 시간(61.0ms)은 연속 전용 베이스라인(51.9ms)과 유사하며, 여러 토큰을 유지하는 프루닝 기반 방식보다 훨씬 빠르다.

4.5 절제 연구 (Ablation Studies)

• 이산 앵커 (Discrete Anchors): 앵커를 제거하면(연속 전용) 성능이 81.0%로 떨어지며, 이산 토큰만 사용하면 약 33%로 떨어진다.
• 앵커 개수 (Anchor Count): 4개의 토큰이 최적의 성능을 보인다. 1개 또는 2개는 불충분하며, 8개는 중복을 초래한다.
• 마스킹 (Masking): 텍스트-병목 마스크(시각적 자기 어텐션은 허용하되 텍스트-투-원시-시각은 차단)가 엄격한 스타 그래프(star-graph) 마스크보다 우수하며, 이는 압축 전 시각적 맥락의 필요성을 확인시켜 준다.

5. 의의 및 주장

본 논문은 HTC-VLM이 VLM의 효율성-충실도(efficiency-fidelity) 트레이드오프에 대한 실질적인 해결책을 제공한다고 주장한다. 의미와 세부 사항을 명시적으로 분리함으로써, 하이브리드 접근 방식은 연속 전용 방식에서 관찰되는 의미론적 붕괴 없이 **극한의 압축(1 토큰)**을 가능하게 한다.

저자들은 성능 향상이 취약한 하이퍼파라미터 튜닝이 아닌 구조적 하이브리드 설계에서 비롯된다는 점을 강조한다. 이산 앵커는 해석 가능한 의미론적 가이드 역할을 하여 압축 과정을 안정화하고, 시각적 입력이 단 하나의 토큰으로 축소되었을 때도 LLM이 효과적으로 추론할 수 있도록 한다. 이 연구는 다중 모달 압축의 미래 방향, 즉 시각적 해석 가능성을 보존하면서 토큰 비용을 획기적으로 줄이는 구조화된 적응형 병목 설계의 필요성을 시사한다.

한계점 인정: 이 방법은 경량화된 MGVQ 인코더를 도입하므로, 연속 전용 압축과 비교했을 때 엄밀히 말해 제로 오버헤드는 아니다. 또한, 현재의 평가는 이미지 수준의 VLM에 집중되어 있어, 긴 영상이나 조밀한 로컬라이제이션(localization) 작업으로 확장하기 위해서는 추가적인 적응이 필요할 수 있다.