기술 요약: MLLM 을 위한 더 단어와 유사한 이미지 토큰화

1. 문제 제기

멀티모달 대규모 언어 모델 (MLLM) 은 일반적으로 사전 훈련된 비전 인코더와 고정된 대규모 언어 모델 (LLM) 을 시각적 프로젝터로 연결하여 사용합니다. 목표는 이미지 픽셀을 LLM 의 임베딩 공간 내 토큰 시퀀스로 매핑하는 것입니다. 그러나 저자들은 현재 시각적 토큰과 LLM 이 처리하도록 최적화된 이산적이고 의미적으로 유의미한 토큰 사이에는 근본적인 구조적 불일치가 있음을 지적합니다.

이 논문은 세 가지 주요 불일치를 강조합니다:

1. 의미적 얽힘 (Semantic Entanglement): BPE 와 같은 이산 토크나이저로 생성된 텍스트 토큰이 독립적인 단위인 것과 달리, 비전 트랜스포머 (ViT) 로부터의 시각적 패치 특징은 매우 얽혀 있습니다. 비전 인코더에서의 반복적 자기 주의 (self-attention) 는 임베딩을 동질화하여 패치들이 의미적으로 혼합되게 만듭니다. 선형 프로젝터는 이러한 중복성을 유지하여 시각적 토큰이 매우 상관관계가 높고 뚜렷한 의미적 경계가 없게 만듭니다.
2. 고정된 토큰 예산: 기존 방법 (예: 고정 그리드 집계, 리샘플러) 은 이미지 복잡도와 관계없이 고정된 수의 토큰을 생성합니다. 이는 단순한 장면에서는 중복성을 초래하고 복잡한 장면에서는 세부 정보 손실을 초래하여, 언어적 설명의 가변 길이 특성을 모방하지 못합니다.
3. 세밀도 제어 부재: 현재 시각적 토큰화는 서브워드와 전체 단어를 균형 있게 조절하는 텍스트 토큰화와 달리, 각 토큰의 세부 정보 수준 (세밀도) 을 통제할 수 있는 원칙적인 메커니즘 없이 공간 연산에 의존합니다.

결과적으로 시각적 입력은 LLM 이 기대하는 "단어와 유사한" 단위와 다르게 행동하여 KV 캐시의 비효율적인 사용, 증가된 지연 시간, 그리고 비최적의 추론 능력을 초래합니다.

2. 방법론: 분리된 시각적 토큰화 (DiVT)

저자들은 시각적 표현을 LLM 토큰의 이산적 특성과 정렬하도록 설계된 클러스터링 기반 시각적 토큰화 접근법인 DiVT를 제안합니다. DiVT 는 비전 인코더나 LLM 백본을 수정하지 않고 학습 가능한 프로젝터로 작동합니다.

이 과정은 네 단계로 구성됩니다:

2.1. 초기 패치 클러스터링 (적응형 중심점 선택)

고정된 토큰 수를 부과하는 대신, DiVT 는 이미지 패치의 특징 분포에 기반하여 클러스터 수를 동적으로 결정합니다.

• 메커니즘: 패치 특징의 쌍별 코사인 유사도 행렬을 계산합니다. 유사도 임계값 $\theta$를 사용하여 이웃 그래프를 구성합니다.
• 알고리즘: 탐욕 알고리즘이 가장 많은 이웃 (가장 높은 차수) 을 가진 패치를 중심점으로 선택합니다. 임계값 내의 모든 이웃은 이 클러스터에 할당되고 후보 풀에서 제거됩니다. 패치가 남지 않을 때까지 이 과정이 반복됩니다.
• 결과: 이는 중심점들이 의미적으로 구별되도록 보장하며, 토큰 수가 이미지의 고유한 복잡도에 적응하도록 합니다 (복잡한 장면은 더 많은 토큰, 단순한 장면은 더 적은 토큰).

2.2. 클러스터 정제

초기 탐욕 선택은 패치를 비최적 중심점에 할당할 수 있습니다. 더 나은 의미적 분리를 달성하기 위해, 이 방법은 모든 패치를 가장 높은 유사도를 가진 중심점에 재할당하여 각 클러스터가 일관된 의미를 공유하는 패치들을 포함하도록 합니다.

2.3. 시각적 토큰 구성

클러스터가 최종화되면, 각 클러스터에 대해 단일 시각적 토큰이 생성됩니다.

• 크로스 어텐션: 클러스터 중심점이 쿼리 ($Q$) 로 작용하고, 클러스터 내 모든 패치가 키 ($K$) 와 값 ($V$) 으로 작용합니다.
• 위치 인코딩: 주의 점수를 교란시키지 않으면서 공간적 맥락을 보존하기 위해 학습 가능한 위치 임베딩은 값 분기 (value branch) 에만 주입됩니다.
• 마스크링: 클러스터 제한 주의 마스크는 토큰이 자신의 클러스터에서만 정보를 집계하도록 보장하여 관련 없는 의미 개념 간의 교차 오염을 방지합니다.
• 집계: 결과는 최종 토큰을 생성하기 위해 MLP 를 통과합니다.

2.4. 의미 세밀도 제어

유사도 임계값 $\theta$는 의미 세밀도를 조절하는 조정 가능한 노브 역할을 합니다:

• 높은 $\theta$: 더 엄격한 그룹화 기준을 적용하여 더 많고 세밀한 토큰을 생성합니다 (높은 세부 정보, 높은 계산 비용).
• 낮은 $\theta$: 더 넓은 그룹화를 적용하여 더 적고 거친 토큰을 생성합니다 (낮은 세부 정보, 낮은 계산 비용).
• 추론 유연성: 중요하게도, $\theta$는 재훈련 없이 추론 시에 조정할 수 있어, 실무자들이 표현 세부 정보와 메모리 및 지연 시간 사이의 균형을 맞출 수 있습니다.

3. 주요 기여

1. 의미적 분리: DiVT 는 패치 임베딩을 일관된 의미 단위로 명시적으로 클러스터링하여 표준 ViT 패치 특징에 내재된 얽힘 문제를 해결합니다.
2. 적응형 토큰 예산: 이 방법은 이미지 복잡도에 기반하여 토큰 수를 동적으로 할당하여 고정 예산 접근법의 중복성을 피합니다.
3. 훈련 없는 추론 조정: 추론 시 유사도 임계값 $\theta$를 조정할 수 있는 능력은 모델을 재훈련하지 않고도 유연한 비용 - 성능 균형을 가능하게 합니다.
4. 인코더 및 LLM 무관성: 이 접근법은 다양한 비전 인코더 (CLIP, SigLIP, DINOv2) 와 더 큰 LLM(예: 13B 파라미터) 으로 효과적으로 확장되도록 설계되었습니다.

4. 실험 결과

저자들은 LLaVA-1.5 7B 및 13B 백본을 사용하여 여덟 개의 벤치마크 (MMBench, VQAv2, GQA, MME, MM-Vet, TextVQA, SQA-IMG, POPE) 에서 DiVT 를 평가했습니다.

• 성능 대 토큰 수: DiVT 는 훨씬 적은 수의 토큰을 사용하여 MLP, ToME, FastV, PruMerge, VisionZip, TokenPacker 를 포함한 베이스라인과 동등하거나 더 나은 성능을 달성합니다.
  • 예를 들어, 약 136.5 개의 토큰 (전체 MLP 의 576 개 대비) 으로 DiVT 는 MMBench(66.7 대 64.3) 와 VQAv2(78.2 대 78.5) 에서 동등한 성능을 달성합니다.
  • 엄격한 예산 하 (예: 약 35 개 토큰) 에서 DiVT 는 다른 방법들보다 크게 우세하여, 일반적으로 토큰 감소가 성능 저하를 초래하는 상황에서도 견고함을 보여줍니다.
• 프로젝터 비교: DiVT 는 일반 대화 및 VQA 작업에서 다른 시각적 프로젝터 (Resampler, C-Abstractor, Pixel-Shuffle) 보다 우세하며, 전문 작업에서도 경쟁력 있는 성능을 유지합니다.
• 정성적 분석: 주의 맵은 DiVT 가 표준 MLP 프로젝터의 분산된 주의 패턴에 비해 더 집중적이고 의미적으로 일관된 주의 패턴을 생성함을 보여줍니다.
• 세밀도 제어: 실험은 특정 $\theta$로 훈련된 모델이 추론 시 다른 $\theta$값으로 평가될 때 최소한의 성능 손실로 평가될 수 있음을 보여주어, 이 접근법의 유연성을 검증합니다.

5. 중요성 및 주장

이 논문은 DiVT 가 "단어와 유사하게" 행동하는 시각적 토큰을 생성함으로써 시각 및 텍스트 입력 간의 "모달리티 간극"을 해결한다고 주장합니다. 의미 정보를 명시적으로 분리하고 토큰 예산을 이미지 복잡도에 적응시킴으로써, DiVT 는 다음과 같은 실용적인 메커니즘을 제공합니다:

• 계산 비용 절감: 시각적 토큰 수를 줄여 메모리 사용량 (KV 캐시) 과 지연 시간을 크게 낮춥니다.
• 호환성 향상: 시각적 입력을 LLM 의 이산적 추론 능력과 더 호환되도록 만듭니다.
• 유연한 배포 가능: 실무자들이 추론 시 정확도와 계산 자원 사이의 균형을 맞출 수 있는 훈련 없는 노브를 제공합니다.

저자들은 그들의 방법이 객체 주석과 같은 외부 감독이나 복잡한 다단계 훈련을 요구하지 않으며, 오직 언어 모델링 목적에 의존하여 시각적 토큰을 형성한다고 강조합니다. 이로 인해 DiVT 는 비용 효율적이고 인간과 정렬된 멀티모달 이해를 위한 경량 플러그앤플레이 솔루션이 됩니다.