기술 요약: Skip-It? 비전 - 언어 모델의 레이어 건너뛰기를 위한 이론적 조건

문제 제기

비전 - 언어 모델 (VLM) 은 다양한 작업에서 최첨단 성능을 달성했지만, 대규모 규모와 텍스트와 함께 광범위한 비전 토큰 시퀀스를 처리해야 하는 필요성으로 인해 과도한 추론 비용에 시달립니다. 최근 연구는 멀티모달 처리에 상당한 중복성이 있음을 입증했으나, 현재 레이어 건너뛰기 및 가지치기 기술은 여전히 주로 임의적 (ad-hoc) 입니다. 이러한 기술들은 레이어 건너뛰기가 유익한 시기를 결정하기 위해 원칙적인 기준 대신 휴리스틱 또는 하이퍼파라미터 탐색에 의존합니다. 결과적으로, 가지치기가 성능을 희생하지 않으면서 효율성을 향상시킬 수 있는 중복성 조건을 특성화하는 통합된 이론적 프레임워크가 부재합니다.

방법론

저자들은 VLM 의 중복성을 특성화하기 위해 학습 및 정보 이론에 기반한 통합 프레임워크를 제안합니다. 방법론은 세 가지 주요 단계로 진행됩니다.

1. 중복성의 이론적 정의

이 논문은 레이어 활성화와 토큰을 나타내는 확률 변수 (RV) 를 사용하여 네 가지 구별되는 중복성 개념을 형식화합니다.

• 기하학적 중복성 (Geometric Redundancy): 인접한 레이어/토큰 표현 간의 기대 코사인 거리로 정의됨 ($E[\rho(X_{\ell-1}, X_\ell)] < \epsilon$).
• 근접 중복성 (Proximal Redundancy): 두 확률 변수가 임계값 $t$ 내에서 가까울 확률로 정의됨 ($P[\rho(X_\ell, X_{\ell-1}) < t] \geq 1-\epsilon$).
• 기능적 중복성 (Functional Redundancy): 레이어를 건너뛸 경우 하류 작업 성능이 변하는지 측정하며, 최적 추정기 간의 기대 제곱 차이로 정의됨 ($E[\|E[Z|X_\ell] - E[Z|X_{\ell-1}]\|^2_2] < \epsilon$).
• 정보적 중복성 (Informational Redundancy): 조건부 엔트로피를 통해 정의됨 ($H(X_\ell|X_{\ell-1}) < \epsilon$), 이는 이전 레이어가 주어졌을 때 해당 레이어가 새로운 정보를 추가하지 않음을 나타냄.

저자들은 이러한 개념들 간의 이론적 연결을 확립합니다. 매핑 함수의 리프시츠 연속성과 같은 정규성 가정 하에 기하학적 및 근접 중복성이 기능적 및 정보적 중복성을 함의함을 증명합니다. 구체적으로, 정리 1 과 2 는 작은 평균 코사인 거리가 최적 및 경험적 추정기 모두에 대해 하류 작업 성능의 최소한의 저하를 보장함을 보여줍니다.

2. 레이어 건너뛰기 기술의 통합

이 프레임워크는 기존 레이어 건너뛰기 방법을 두 가지 범주로 일반화합니다.

• Late Entry: 특정 레이어 $L$까지 비전 토큰이 지연됨. 이는 초기 비전 활성화가 최소한의 변화를 겪고 (기하학적/근접 중복성) 텍스트 표현에 미치는 영향이 미미할 때 실현 가능합니다.
• Early Exit: 특정 레이어 $L$ 이후 비전 토큰이 제거됨. 이는 후기 레이어 비전 활성화가 중복되고 비전에서 텍스트로의 교차 모달 어텐션이 미미할 때 실현 가능합니다.

이 논문은 비전과 텍스트 토큰 간의 상호작용을 정량화하는 지표로 **시각적 어텐션 비율 (Visual Attention Ratio, VAR)**을 도입하며, 초기 또는 후기 레이어에서 최소한의 교차 어텐션이 해당 패러다임에서의 건너뛰기에 대한 충분 조건임을 주장합니다.

3. 실증적 검증

저자들은 여러 모델 (LLaVA 1.5, LLaVA NeXT, DeepSeek-VL, Qwen 2.5 VL) 과 데이터셋 (General VQA, Text/Doc VQA, Multimodal Reasoning, Captioning) 을 통해 이론적 조건을 검증합니다.

• 중복성 분석: 인접 레이어 코사인 거리와 근접 상태 확률을 계산합니다. 결과는 초기 비전 토큰이 매우 낮은 코사인 거리와 높은 근접 중복성을 보임을 나타냅니다. 마찬가지로 후기 레이어 토큰 (비전 및 텍스트 모두) 도 종종 중복성을 보입니다.
• 어텐션 분석: VAR 를 사용하여 교차 모달 어텐션이 중간 레이어에 집중되는 반면, 초기 및 후기 레이어에서는 비전에서 텍스트로의 어텐션이 최소임을 관찰합니다.
• 성능 상관관계: 이러한 중복성 및 어텐션 조건이 충족되는 레이어를 건너뛸 경우 성능 저하가 최소화되는 반면, 비중복성 레이어를 건너뛸 경우 성능이 크게 저하됨을 입증합니다.
• 레이블 없는 알고리즘: 논문은 기하학적/근접 중복성 및 VAR 임계값에 기반하여 건너뛸 수 있는 레이어를 식별하기 위해 라벨이 없는 데이터의 작은 하위 집합을 사용하는 알고리즘 (알고리즘 1) 을 제시하며, 이론과 실제 배포 간의 간극을 해소합니다.

주요 기여

1. 통합 프레임워크: VLM 의 중복성을 특성화하는 학습 및 정보 이론 기반 프레임워크로, 가지치기가 성능 손실 없이 효율성을 향상시키는 시기에 대한 계산 가능한 조건을 제공합니다.
2. 이론적 보장: 기하학적 및 근접 중복성의 경험적 측정이 기능적 및 정보적 중복성을 함의함을 보여주는 공식적 증명 (정리 1~5) 으로, 레이어 건너뛰기를 위한 코사인 거리와 같은 휴리스틱의 사용을 정당화합니다.
3. 실증적 발견: 초기 비전 토큰이 매우 높은 중복성을 가지며, 후기 레이어 토큰 (비전 및 텍스트 모두) 이 종종 중복성을 보인다는 구체적인 중복성 패턴을 식별하여 기존 가지치기 전략을 검증합니다.
4. 작업 의존적 통찰: 중복성이 작업에 의존함을 입증합니다. 예를 들어, 텍스트 중복성은 캡셔닝 작업에 비해 판별형 VQA 작업에서 더 낮아, 건너뛰기가 실현 가능한 위치가 영향을 받습니다.
5. 실용적 알고리즘: 작은 보정 하위 집합을 사용하여 실현 가능한 건너뛰기 레이어를 결정하는 레이블 없는 알고리즘으로, 가지치기 선택 단계에서 그라운드 트루스 레이블이 필요하지 않습니다.

결과

• 중복성 패턴: LLaVA 1.5(7B/13B) 및 NeXT 와 같은 모델 전반에 걸쳐 초기 비전 토큰은 낮은 인접 코사인 거리 (예: 확률 $>0.9$에서 $\rho < 0.05$) 를 가지며, 이는 높은 중복성을 확인시켜 줍니다. 후기 레이어도 중복성을 보이지만 그 정도는 모델과 작업에 따라 다릅니다.
• 성능 보존: 제안된 조건 (예: 초기 레이어에 대한 Late Entry, VAR 가 낮은 후기 레이어에 대한 Early Exit) 에 기반하여 레이어를 건너뛸 경우 모델 정확도는 기준선과 근접하게 유지됩니다. 반면, 높은 교차 어텐션이나 낮은 중복성을 가진 레이어를 건너뛸 경우 성능이 크게 저하됩니다.
• 일반화: 작은 데이터 하위 집합 (예: 1k 샘플) 에서 계산된 프레임워크의 지표 (코사인 거리 및 VAR) 는 전체 데이터셋에 잘 일반화되어, 전체 데이터셋 처리 없이도 건너뛸 수 있는 레이어를 효율적으로 식별할 수 있습니다.

중요성 및 주장

이 논문은 VLM 의 중복성에 대한 이론적으로 근거 있는 이해를 제공하며, 임의적 휴리스틱을 넘어선다고 주장합니다. Early Exit 및 Late Entry 와 같은 다양한 레이어 건너뛰기 기술을 단일 이론적 렌즈 하에 통합함으로써, 이러한 방법들이 왜 작동하는지 설명합니다.

저자들은 이 프레임워크가 라벨이 없는 데이터의 작은 하위 집합만을 사용하여 중복 레이어를 식별할 수 있는 계산하기 쉬운 조건을 제공한다고 강조합니다. 이는 가지치기 선택 단계에서 재학습이나 하류 작업 레이블 접근이 필요 없이 추론 비용 최적화를 가능하게 하므로 실제 배포에 중요합니다. 이 연구는 엄격하고 측정 가능한 중복성 개념을 제공함으로써 토큰 및 레이어 축소 방법에 대한 향후 연구를 고무하는 것을 목표로 합니다.

이 논문은 VLM 의 모든 효율성 문제를 해결한다고 주장하는 것이 아니라, 레이어 건너뛰기가 언제 그리고 어디서 적용 가능한지 결정하기 위한 원칙적 기반을 제공하며, 건너뛰기의 실현 가능성은 특정 모델 아키텍처와 하류 작업의 본질에 의존한다고 명시합니다.