What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models

이 논문은 제안한 'EmbedLens' 분석 도구를 통해 멀티모달 대규모 언어 모델의 시각 토큰이 의미적 희소성을 가지며, 이미지 정보를 주로 담고 있는 '살아있는 토큰'만으로도 대부분의 작업이 가능하고 내부 계산이 불필요함을 규명하여 효율적인 모델 설계를 위한 토큰 가지치기 및 중간 계층 주입 전략을 제시합니다.

핵심

🎬 핵심 스토리: "이미지라는 비행기 탑승"

AI 가 이미지를 처리할 때, 이미지를 잘게 쪼개어 **'비주얼 토큰 (Visual Tokens)'**이라는 작은 조각들 (패치) 로 만듭니다. 보통 우리는 이 모든 조각들이 그림의 의미를 담고 있다고 생각하지만, 이 논문은 **"아니요, 사실은 60% 만 의미 있고 나머지는 쓸모없거나 방해만 됩니다"**라고 말합니다.

저자들은 이 3 가지 토큰을 다음과 같이 분류했습니다:

1. 🪑 '싱크 (Sink)' 토큰: "의자만 차지하는 VIP"

• 비유: 비행기에 탑승할 때, 어떤 승객은 자리에 앉아 있기만 하고 아무 말도 안 합니다. 그림이 무엇이든 (개인지, 고양이인지) 항상 똑같은 자리에 앉아 있습니다.
• 실제 의미: 이 토큰들은 그림의 내용과 상관없이 항상 똑같은 숫자 패턴을 가집니다. AI 가 주의를 기울이게 하거나 구조를 잡는 역할만 할 뿐, 실제 그림의 의미 (개, 고양이, 빨간색 등) 는 전혀 담고 있지 않습니다.
• 결론: 이들을 제거해도 AI 는 전혀 혼란을 느끼지 않습니다. 오히려 방해받지 않아 더 잘할 수도 있습니다.

2. 💀 '데드 (Dead)' 토큰: "잠자는 직원"

• 비유: 사무실에 들어와서 아무 일도 하지 않고 멍하니 있는 직원들입니다. 다른 직원들이 열심히 일할 때, 이 친구들은 아무런 반응도 하지 않고 그냥 존재만 합니다.
• 실제 의미: 이 토큰들은 그림의 내용과 무관하게 반복되는 패턴을 보입니다. AI 가 이들에게 주의를 기울이지도 않고, 이들도 아무런 정보를 전달하지 않습니다.
• 결론: 이들을 잘라내면 (약 30% 제거) 오히려 AI 의 성능이 더 좋아집니다. 잡음이 사라진 셈이죠.

3. 🌟 '라이브 (Alive)' 토큰: "진짜 일하는 60%"

• 비유: 비행기에서 실제로 목적지를 알려주는 승무원이나, 사무실에서 진짜 업무를 처리하는 핵심 직원들입니다.
• 실제 의미: 전체 토큰 중 약 60% 만이 진짜 의미 (사물의 종류, 색깔, 글자 등) 를 담고 있습니다. 이 친구들이야말로 AI 가 그림을 이해하는 데 필수적인 '생각'을 전달합니다.
• 놀라운 발견: 이 '라이브' 토큰들은 AI 가 깊게 생각하기 전에 이미 이미지의 핵심 정보 (예: "노란 버스", "검은 글자") 를 완벽하게 준비해 온 상태였습니다.

---

🔍 더 깊은 비밀: "왜 AI 는 이미 준비된 정보를 더듬거리나요?"

연구팀은 이 '라이브' 토큰들이 AI 의 뇌 (LLM) 에 들어간 후 어떻게 처리되는지 조사했습니다.

1. 불필요한 재처리 (Redundancy):

   • 비유: 이미 요리사가 완벽하게 요리한 요리를 가져와서, 다른 요리사가 "음, 이걸 다시 한 번 볶아볼까?"라고 생각하며 불필요하게 다시 조리하는 것과 같습니다.
   • 사실: 대부분의 경우, AI 가 이미지를 처음 받아서 처리하는 초기 단계 (얕은 층) 에서 다시 생각할 필요가 없습니다. 이미 준비된 정보를 그대로 받아들이면 됩니다. 오히려 다시 생각하면 (재처리하면) 색깔을 배경색과 혼동하는 등 오류가 생길 수도 있습니다.

2. 중간층에 바로 넣으면 돼요 (Mid-layer Injection):

   • 비유: 신입 사원 (초기 층) 에게 복잡한 업무를 시키지 말고, **경험 많은 팀장 (중간 층)**에게 바로 보고하는 것이 훨씬 효율적입니다.
   • 사실: '라이브' 토큰들은 AI 의 초기 층보다는 중간 층의 언어 이해 능력과 더 잘 맞습니다. 따라서 이미지를 AI 의 처음이 아니라, 중간 단계에 바로 주입하는 것이 더 빠르고 정확합니다.

---

🚀 이 연구가 우리에게 주는 교훈

이 논문은 AI 개발자들에게 다음과 같은 효율적인 방법을 제시합니다:

1. 불필요한 것 잘라내기 (Token Pruning): 의미 없는 '싱크'와 '데드' 토큰을 미리 잘라내면, AI 는 더 가볍고 빠르게 작동합니다.
2. 불필요한 계산 줄이기: 이미 준비된 정보를 다시 계산하지 않아도 되므로, AI 가 하는 일을 줄여 에너지를 아낄 수 있습니다.
3. 직접 중간에 투입하기: 이미지를 AI 의 처음이 아니라, 이해할 준비가 된 중간 단계에 바로 넣어주면 더 똑똑하게 반응합니다.

📝 한 줄 요약

"AI 가 그림을 볼 때, 40% 는 아무 의미 없는 잡음이고, 나머지 60% 만이 진짜 의미입니다. 그리고 그 60% 는 이미 완벽하게 준비되어 있으니, AI 가 다시 고민할 필요 없이 바로 중간 단계에 주면 됩니다!"

이 연구를 통해 우리는 더 빠르고, 저렴하며, 이해하기 쉬운 차세대 AI 를 만들 수 있는 길을 찾았습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 현황: MLLM 은 일반적으로 CLIP 과 같은 비전 인코더에서 추출한 패치 임베딩을 프로젝터 (projector) 를 통해 LLM 의 임베딩 공간으로 매핑합니다.
• 문제: 비전 인코더는 전역적인 (global) 이미지 - 텍스트 정렬을 지향하는 반면, LLM 은 국소적인 (local) 패치 수준의 토큰 시퀀스로 정보를 처리합니다. 이 간극으로 인해 시각 토큰이 LLM 입력 단계에서 어떻게 구조화되어 있는지, 모든 패치가 의미 있는 정보를 담고 있는지에 대한 이해가 부족합니다.
• 핵심 질문:
  1. 시각 토큰은 모두 의미 있는 정보를 담고 있는가?
  2. LLM 내부의 시각적 계산 (Self-attention, FFN) 은 모든 시각 토큰 처리에 필수적인가?
  3. 시각 토큰은 LLM 의 어느 층 (layer) 에서 가장 효과적으로 처리되는가?

2. 방법론 (Methodology)

저자들은 EmbedLens라는 새로운 프로빙 (probing) 도구를 개발하여 시각 토큰의 미세한 의미 속성을 분석했습니다.

• EmbedLens: 시각 토큰 임베딩과 모델의 입력 어휘 (vocabulary) 임베딩 간의 코사인 유사도를 계산하여, 시각 토큰이 어떤 텍스트 토큰과 가장 유사한지 (Top-K) 를 매칭함으로써 토큰의 의미적 내용을 직접 해석합니다.
• 클러스터링 분석: 시각 토큰을 임베딩 유사도에 따라 클러스터링하고, 이미지 간 (cross-image) 일관성을 분석하여 토큰의 역할을 분류했습니다.
• 실험적 검증:
  • 토큰 가지치기 (Pruning): 특정 토큰 군 (Sink, Dead, Alive) 을 제거하여 성능 변화를 측정.
  • 레이어 스킵 (Layer Skipping): LLM 의 초기 층이나 시각 전용 서브레이어 (vMHA, vFFN) 를 우회하여 처리.
  • 패치 압축 벤치마크: 하나의 패치에 객체, 색상, OCR 문자 등 다양한 정보를 압축하여 LLM 이 얼마나 정교하게 디코딩하는지 테스트.

3. 주요 발견 및 결과 (Key Findings & Results)

A. 시각 토큰의 3 가지 기능적 분류 (Tri-partition)

입력된 시각 토큰은 균질하지 않으며, 세 가지 명확한 그룹으로 나뉩니다.

1. Sink Tokens (싱크 토큰):
   • 입력 이미지와 무관하게 거의 동일한 임베딩을 가지는 토큰입니다.
   • ViT 의 전역 컨텍스트나 LLM 의 구조적 안정성 (attention 분포 안정화) 을 위해 존재하지만, 이미지 특정 의미는 전혀 담고 있지 않습니다.
   • 제거해도 성능 저하가 없으며, 오히려 주의를 다른 토큰으로 재분배하여 성능이 향상되기도 합니다.
2. Dead Tokens (데드 토큰):
   • Sink 와 유사하게 이미지와 무관하지만, 모델의 계산에서 매우 낮은 주의를 받으며 영향력이 미미합니다.
   • 의미론적으로 공허하며, 반복적인 서브워드 조각이나 불필요한 잔여물입니다.
   • 전체 시각 토큰의 약 30% 를 차지하며, 이를 제거하면 오히려 성능이 개선됩니다.
3. Alive Tokens (살아있는 토큰):
   • 텍스트 의미 중심 (text semantic center) 에 밀집되어 있는 토큰입니다.
   • 전체 입력의 약 60% 만이 이 그룹에 속하며, 이미지 특정 의미 (객체, 색상, OCR 등) 를 전달하는 유일한 주체입니다.
   • LLM 이 이해할 수 있는 "사전 언어적 (pre-linguistic)" 형태로 풍부한 정보를 이미 인코딩하고 있습니다.

B. 내부 시각 계산의 중복성 (Redundancy in Internal Computation)

• 대부분의 작업에서 불필요함: 일반적인 VQA, OCR, 환각 (hallucination) 감소 등의 작업에서는 LLM 내부의 시각 전용 Self-attention(vMHA) 과 FFN(vFFN) 을 완전히 우회해도 성능에 거의 영향을 미치지 않습니다.
• 편향 유발 가능성: 오히려 내부 처리를 거치면 배경 컨텍스트에 의존하는 색상 예측 편향 (contextual color bias) 이 발생할 수 있습니다.
• 예외: 공간적 추론이 필요한 CV 중심 작업 (RefCOCO 등) 에만 시각적 상호작용이 일부 필요합니다.

C. 최적의 주입 위치 (Mid-layer Injection)

• 얕은 층의 비효율성: Alive 토큰은 LLM 의 초기 임베딩 공간보다는 **중간 층 (middle layers)**의 표현과 자연스럽게 정렬되어 있습니다.
• 직접 주입의 효과: 시각 토큰을 초기 층으로 강제로 통과시키는 것은 불필요한 변환을 유발하거나 성능을 저하시킬 수 있습니다. 대신 **중간 층에 직접 주입 (direct mid-layer injection)**하는 것이 더 효율적이고 충분합니다.

4. 주요 기여 (Contributions)

1. EmbedLens 개발: MLLM 의 패치 수준 시각 토큰을 모델에 구애받지 않고 (model-agnostic) 분석할 수 있는 프로빙 프레임워크를 제안했습니다.
2. 시각 토큰의 3 분할 및 희소성 규명: Sink, Dead, Alive 토큰으로의 분할을 최초로 실증적으로 증명하고, 입력 단계에서 약 40% 의 토큰이 의미론적으로 불필요함을 밝혔습니다.
3. 이중 중복성 발견: (1) 대부분의 작업에서 LLM 내부의 시각 계산 (FFN/Attention) 이 불필요하며, (2) 얕은 층 처리가 오히려 해로울 수 있음을 증명했습니다.
4. 효율적 아키텍처 제안: 선택적 토큰 가지치기 (token pruning), 시각 계산 최소화, 중간 층 주입 (mid-layer injection) 을 통한 차세대 효율적이고 해석 가능한 MLLM 설계의 기초를 마련했습니다.

5. 의의 및 결론 (Significance)

이 연구는 MLLM 이 시각 정보를 어떻게 인코딩, 디코딩, 정제하는지에 대한 **통일된 기계적 관점 (unified mechanistic view)**을 제공합니다.

• 효율성: 불필요한 Sink 와 Dead 토큰을 제거하고, 불필요한 내부 계산을 생략함으로써 계산 비용을 크게 절감할 수 있습니다.
• 해석 가능성: 시각 토큰이 실제로 어떤 의미를 담고 있으며, 모델이 어떻게 오작동 (예: 색상 편향) 하는지 이해하는 데 기여합니다.
• 설계 지침: 향후 MLLM 은 모든 시각 토큰을 초기부터 처리하는 것이 아니라, 의미 있는 토큰 (Alive) 만을 선별하여 중간 층에 주입하는 방향으로 진화해야 함을 시사합니다.

요약하자면, 이 논문은 "MLLM 이 시각 정보를 처리할 때 대부분의 토큰은 쓸모없으며, 내부 계산도 대부분 불필요하다"는 충격적이지만 효율적인 통찰을 제공하여, 차세대 경량화 및 고성능 멀티모달 모델 개발의 새로운 패러다임을 제시합니다.