Do Vision Language Models Need to Process Image Tokens?

1. 연구 배경 및 문제 제기 (Problem)

비전 언어 모델 (VLM) 은 강력한 비전 인코더와 대규모 언어 모델 (LLM) 을 결합하여 이미지와 텍스트에 대한 멀티모달 추론을 수행합니다. 표준 VLM 파이프라인에서는 입력 이미지를 패치로 나누어 비전 인코더를 통과시킨 후, 생성된 이미지 토큰 시퀀스를 LLM 의 임베딩 공간으로 투영하여 처리합니다.

• 핵심 문제: VLM 은 깊은 트랜스포머 스택을 통해 밀집된 (dense) 이미지 토큰을 처리하며 이로 인해 상당한 계산 오버헤드가 발생합니다. 그러나 지속적인 이미지 토큰 처리가 성능에 필수적인지, 혹은 시각적 표현이 초기 레이어에서 안정화된 후 후속 레이어에서 의미 있는 진화를 하는지에 대해서는 근본적으로 불명확했습니다.
• 가설: 최근 연구들은 멀티모달 작업 중 시각 신호가 제대로 활용되지 않거나 텍스트 토큰이 최종 예측을 지배할 수 있음을 시사합니다. 이에 따라 "이미지 토큰이 언제까지, 그리고 어떤 상황에서 필요한가?"라는 질문이 제기되었습니다.

2. 연구 방법론 (Methodology)

저자들은 VLM 디코더의 깊이 (depth) 를 따라 이미지 및 텍스트 토큰 표현의 진화를 분석하기 위해 표현 중심 (representation-centric) 접근법을 사용했습니다. LLaVA-1.5, Qwen2.5-VL, InternVL 등 다양한 규모의 3 가지 VLM 패밀리와 BLINK, Flickr8k, ChartQA, M3CoT 등 다양한 데이터셋을 실험 대상으로 삼았습니다.

주요 분석 기법 및 실험 설계:

1. 구조적 진화 분석 (RQ1):
   • 행렬 엔트로피 (Matrix Entropy): 스펙트럼 집중도를 측정하여 표현의 압축 정도를 파악.
   • 내재적 차원성 (Intrinsic Dimensionality, ID): 표현이 위치한 국소 매니폴드의 유효 차원을 추정.
   • 궤적 곡률 (Trajectory Curvature, TC): 임베딩 공간에서의 방향 재구성 정도를 측정.
2. 계층 간 기능적 상호교환성 분석 (RQ2):
   • 레이어 대체 (Layer Substitution): 초기 레이어의 이미지 토큰을 깊은 레이어의 토큰으로 교체하거나 그 반대로 하여 출력 의미론적 유사성 (Semantic Similarity) 을 평가.
3. 작업 의존성 분석 (RQ3):
   • 이미지 토큰 제거 (Truncation): 특정 레이어 이후 이미지 토큰 처리를 중단하고 텍스트 토큰만 전달하는 방식으로, 단일 토큰 예측 (VQA) 과 다중 토큰 생성 (Captioning) 작업에서의 성능 저하를 비교.
4. 미세 조정 (Fine-tuning) 을 통한 회복성 분석 (RQ4):
   • 증류 기반 미세 조정: 잘라낸 (truncated) 모델이 원본 모델의 출력을 타겟으로 하여 LoRA 를 통해 미세 조정했을 때 성능이 회복되는지 확인.
   • 계산 효율성: GFLOPs 와 성능 간의 트레이드오프 분석.
5. 추론 체인 민감도 분석 (RQ5):
   • 명시적인 추론 단계 (요약, 캡션, 추론, 결론) 를 생성하는 과정에서 시각적 깊이 감소가 각 단계에 미치는 영향을 계층적으로 분석.

3. 주요 결과 및 발견 (Key Results)

A. 시각적 표현의 조기 안정화 (Early Stabilization)

• 이미지 토큰은 네트워크의 초기 레이어에서 빠르게 안정된 기하학적 영역 (stable geometric regime) 에 진입합니다.
• 엔트로피, 내재적 차원성, 궤적 곡률 모두 초기 레이어 이후로 거의 일정하게 유지되며, 이는 시각 정보가 깊은 레이어로 갈수록 근본적으로 재구성되기보다는 보존 및 정제된다는 것을 의미합니다.
• 반면, 텍스트 토큰은 깊은 레이어에 걸쳐 지속적으로 동적으로 재구성되고 진화합니다.

B. 기능적 상호교환성 (Functional Interchangeability)

• 시각적 표현이 안정화된 이후, 서로 다른 깊이의 이미지 토큰을 서로 교체해도 출력의 의미론적 유사성이 거의 변하지 않습니다 (높은 상호교환성).
• 이는 깊은 레이어에서 이미지 토큰이 추가적인 의미론적 변화를 거의 일으키지 않음을 시사합니다.

C. 작업 의존적 필요성 (Task-Dependent Utility)

• 단일 토큰 예측 (Single-token prediction): VQA 의 객관식 답변 등 coarse 한 결정이 필요한 경우, 이미지 토큰 처리를 일찍 중단 (truncation) 하여도 성능이 비교적 견고하게 유지됩니다.
• 다중 토큰 생성 (Multi-token generation): 캡션 생성 (Captioning) 과 같은 긴 시퀀스 생성 작업은 깊은 레이어까지 시각적 표현이 유지되어야만 성능이 유지됩니다. 초기 레이어에서 토큰을 제거하면 어휘적 및 의미론적 정확도가 급격히 떨어집니다.

D. 미세 조정을 통한 회복 및 계산 효율성

• 회복 가능성: 잘라낸 모델에 대한 증류 기반 미세 조정 (Distillation-based fine-tuning) 은 성능을 부분적으로 회복시킵니다. 특히 캡션 생성과 같은 기술적 작업에서는 회복이 잘 되지만, ChartQA 와 같은 정밀한 구조적 정합이 필요한 작업에서는 회복이 제한적입니다.
• 계산 효율성: 미세 조정된 모델은 원본 모델보다 훨씬 얕은 시각적 깊이에서도 높은 성능을 달성하여, 계산 (GFLOPs) 대비 성능 (Performance) 의 프론티어를 이동시킵니다. 계산 비용 절감은 주로 'Prefill' 단계 (이미지 토큰 처리) 에서 발생합니다.

E. 추론 체인의 민감도

• 명시적인 추론 체인 (Reasoning Chain) 을 생성하는 것은 오히려 시각적 깊이 감소에 더 민감합니다.
• 단일 답변 예측보다 추론 단계 (요약, 캡션, 추론) 를 거치는 과정에서 시각적 그라운딩 (Grounding) 이 반복적으로 필요하기 때문입니다. 특히 '캡션' 생성 단계가 가장 큰 성능 저하를 보이며, 이는 추론의 질이 시각적 표현의 정밀도에 의존함을 보여줍니다.

4. 주요 기여 (Key Contributions)

1. 시각적 표현의 안정화 현상 규명: VLM 에서 이미지 토큰 표현이 초기 레이어에서 수렴하여 깊은 레이어에서 기능적으로 상호교환 가능해짐을 정량적으로 증명했습니다.
2. 작업별 깊이 요구사항의 차별화: 모든 VLM 작업이 동일한 깊이의 시각적 처리를 필요로 한다는 기존 가정을 반박하고, 단일 토큰 예측과 다중 토큰 생성 간에 시각적 깊이 필요성이 크게 다름을 보였습니다.
3. 효율적인 아키텍처 설계 가이드: 불필요한 깊은 레이어의 시각적 처리를 제거하거나, 미세 조정을 통해 이를 보상하는 전략이 가능함을 제시하여, 계산 자원을 효율적으로 배분하는 새로운 패러다임을 제안했습니다.
4. 추론과 표현의 분리: 시각적 표현의 구조적 안정성이 반드시 추론의 완전성 (Inferential Completeness) 을 보장하지는 않음을 지적했습니다.

5. 의의 및 결론 (Significance)

이 연구는 멀티모달 LLM 아키텍처의 현재 패러다임에 도전합니다. 단순히 더 깊은 레이어를 쌓는 것이 아니라, 작업의 복잡성과 추론 요구사항에 따라 시각적 처리 깊이를 동적으로 조절할 수 있음을 보여줍니다.

• 실용적 가치: 연구자들은 모델 설계 시 특정 작업 (예: 단순 분류 vs. 복잡한 설명 생성) 에 맞춰 이미지 토큰 처리 깊이를 최적화할 수 있으며, 이를 통해 추론 속도를 높이고 비용을 절감할 수 있습니다.
• 이론적 통찰: 표현의 기하학적 안정성, 기능적 필요성, 계산 할당 사이의 구조적 해리 (structural decoupling) 를 발견함으로써, 멀티모달 시스템의 내부 동작 원리에 대한 이해를 심화시켰습니다.

결론적으로, VLM 은 모든 레이어에서 이미지 토큰을 지속적으로 처리할 필요가 없으며, 작업의 특성에 따라 시각적 깊이를 전략적으로 축소하거나 미세 조정을 통해 보상하는 것이 효율적인 멀티모달 모델 개발의 핵심임을 시사합니다.