기술 요약: OccamToken

문제 정의

시각 - 언어 모델 (VLM) 은 이미지를 인코딩하기 위해 긴 시각 토큰 시퀀스에 의존하며, 이로 인해 프리필 (prefill) 단계와 자기회귀적 디코딩 동안 상당한 계산 및 메모리 오버헤드가 발생합니다. 기존 시각 토큰 압축 방법들은 주로 절대 순위 패러다임을 따릅니다: 즉, 토큰에 중요도 점수를 부여하고 고정된 상위-$K$ 부분집합을 유지합니다. 저자들은 이 패러다임이 근본적으로 취약하다고 주장하며 그 이유는 다음과 같습니다:

1. 어텐션 싱크 (Attention Sinks): 낮은 정보량을 가진 토큰 (종종 높은 노름을 가진 이상치) 이 과도한 어텐션 질량을 흡수하여, 진정으로 정보량이 풍부한 토큰들의 중요도 순위를 왜곡하고 점수 분포를 압축합니다.
2. 정적 예산 불일치: 고정된 상위-$K$ 컷오프는 어텐션 점수 분포의 샘플별 변이에 적응할 수 없습니다. 이는 이미지 중복성이나 쿼리 의존적 증거 요구 사항을 고려하지 못해, 단순한 경우에서는 중복된 토큰을 유지하는 반면 복잡한 경우에는 결정적인 증거를 누락시키는 경우가 많습니다.

또한, 기존 적응형 방법들은 추가 학습이 필요하거나, 쿼리 조건부 증거 요구 사항을 완전히 포착하지 못하는 약하게 반응하는 학습 없는 통계에 의존하는 경우가 많습니다.

방법론: OccamToken

저자들은 학습 없는 (training-free), 예산 적응형 (budget-adaptive) 프레임워크인 OccamToken을 제안합니다. 이는 절대 토큰 순위를 레지스터 고정 상대적 증거 테스트로 대체합니다. 핵심 통찰력은 최근 트랜스포머 연구에서 어텐션 싱크를 흡수하기 위해 도입된 **레지스터 토큰 (register tokens)**이 자연스럽게 낮은 정보량의 어텐션 패턴을 흡수하므로, 진정으로 정보량이 풍부한 시각적 증거를 식별하기 위한 안정적이고 비차별적인 참조점으로 작용한다는 것입니다.

이 프레임워크는 두 단계로 작동합니다:

1. 핵심 메커니즘: 상대적 비교

OccamToken 은 "이 토큰이 상위-$K$에 속하는가?"라고 묻는 대신 "이 토큰이 레지스터 토큰보다 더 강력한 증거를 제공하는가?"라고 묻습니다.
가지치기 규칙은 다음과 같이 정의됩니다:
$$S(x) = \{v \in V(x) \mid s_x(v) \ge \lambda \cdot s_x(r(x))\}$$
여기서 $r(x)$는 샘플 의존적 참조 토큰 (레지스터) 이고, $s_x$는 점수 함수이며, $\lambda$는 가지치기 강도를 조절합니다. 이를 통해 유지되는 토큰 예산은 입력의 점수 분포에 따라 동적으로 변할 수 있습니다.

2. 2 단계 가지치기 파이프라인

• 1 단계: 이미지 적응형 중복성 가지치기 (AdapRP)

  • 위치: 비전 인코더의 출력.
  • 메커니즘: 희소 뉴런에서 높은 노름을 가진 "싱크" 활성화가 전용 레지스터 토큰으로 리디렉션되어 테스트 시간 레지스터 토큰이 구성됩니다. [CLS] 토큰 (또는 [CLS] 가 없는 아키텍처를 위한 상호 점수화 scheme) 이 모든 시각 토큰과 레지스터 토큰을 공동으로 점수화합니다.
  • 작동: $\lambda_1 \cdot s_1(r)$보다 낮은 점수를 받은 토큰들은 가지치기됩니다. 이는 토큰이 대규모 언어 모델 (LLM) 에 들어가기 전에 이미지 수준의 중복성을 제거하여 이미지 적응형 중간 예산을 생성합니다.

• 2 단계: 레지스터 고정 관련성 가지치기 (RegRP)

  • 위치: 언어 모델 내부 (특정 디코더 레이어, 예: 레이어 11).
  • 메커니즘: 텍스트 토큰은 쿼리 조건부 평가자로 작용합니다. 살아남은 각 시각 토큰에 대해, 텍스트 토큰으로부터 받은 최대 어텐션을 해당 토큰의 점수로 사용합니다 (지역적 관련성을 포착하기 위함). 텍스트로부터 레지스터 토큰이 받은 평균 어텐션은 동적 임계값으로 작용합니다.
  • 작동: $\lambda_2 \cdot s_2(r)$보다 낮은 점수를 받은 토큰들은 제거됩니다. 이는 쿼리 적응형 최종 예산을 생성하며, 동일한 이미지라도 질문하는 구체적인 내용에 따라 다른 토큰 수를 산출할 수 있습니다.

주요 기여

1. 레지스터 고정 동적 임계값 설정: 학습 없는 메커니즘으로 어텐션 싱크 완화와 적응형 가지치기를 연결합니다. 레지스터 토큰을 어텐션 경쟁에 삽입함으로써 싱크로 인한 왜곡을 흡수하고 분포 적응형 임계값으로 작용합니다.
2. OccamToken 프레임워크: 이미지 수준의 중복성 제거를 수행한 후 쿼리 수준의 관련성 선택을 수행하는 2 단계 플러그 - 앤 - 플레이 가지치기 시스템으로, 학습된 예측기나 추가 학습 데이터 없이 적응형 토큰 할당을 가능하게 합니다.
3. 실증적 검증: 광범위한 실험을 통해 OccamToken 이 다양한 아키텍처 (LLaVA-v1.5, LLaVA-NeXT, Qwen3-VL) 와 벤치마크 (GQA, POPE, MME 등) 에서 기존 학습 기반 및 학습 없는 베이스라인보다 우수한 성능을 보임을 입증했습니다.

실험 결과

• 정확도 - 효율성 트레이드오프: OccamToken 은 고정 예산 및 기타 적응형 방법과 비교하여 일관되게 트레이드오프를 개선합니다.
• 극단적 압축: LLaVA-NeXT(2,880 개의 시각 토큰 처리) 에서 OccamToken 은 토큰 수를 약 40 개로 줄여 (약 1.4% 유지 regime) 원래 전체 토큰 정확도의 93% 이상을 유지합니다.
• 강건성: 이 방법은 높은 상대 정확도를 유지하며 (예: 32 개 토큰으로 LLaVA-v1.5 에서 97.2%), 중요한 작업 관련 증거를 보존해야 하는 저예산 regime 에서 고정 예산 베이스라인보다 훨씬 우수한 성능을 보입니다.
• 효율성: 시각 시퀀스 길이를 줄임으로써 OccamToken 은 KV 캐시 메모리 사용량을 크게 낮춥니다 (예: LLaVA-v1.5 에서 313MB 에서 47MB 로 감소) 및 프리필 지연 시간을 줄이지만, 적응형 점수화 로직을 위해 약간의 오버헤드를 도입합니다.
• 일반화: 이 방법은 비-LLaVA 아키텍처 (예: Qwen3-VL, Mini-Gemini) 및 비디오 VLM 으로 효과적으로 이전되어 레지스터 고정 원칙이 특정 토큰 인터페이스에 종속되지 않음을 보여줍니다.

중요성 및 주장

이 논문은 참조 기반 적응형 가지치기가 확장 가능한 멀티모달 추론을 위한 간단하지만 효과적인 방향이라고 주장합니다. 절대 순위에서 레지스터 앵커에 대한 상대적 비교로 전환함으로써 OccamToken 은 모델 재학습 없이 어텐션 싱크와 정적 예산의 구조적 결함을 해결합니다. 저자들은 이 접근 방식이 멀티모달 추론에 필요한 증거를 보존하면서 극단적인 regime(1.4% 유지) 에서도 안정적인 시각 토큰 압축을 가능하게 한다고 강조합니다.

이 연구는 OccamToken 을 단순히 지연 시간 감소 도구가 아닌, 특히 중요한 시각적 증거를 보존해야 하는 자원 제약 배포 시나리오에서 정확도와 효율성의 균형을 맞추기 위한 실용적인 솔루션으로 위치시킵니다. 저자들은 특정 트랜스포머 기반 백본에 대해 신뢰할 수 있는 테스트 시간 레지스터 토큰을 구성하는 데 의존한다는 한계를 인정하며, 향후 연구가 더 넓은 멀티모달 아키텍처로 확장될 수 있음을 시사합니다.