Understanding Pruning Regimes in Vision-Language Models Through Domain-Aware Layer Selection

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 - 언어 모델 (VLM) 은 시각적 인식과 언어적 추론을 결합하여 복잡한 멀티모달 작업을 수행하지만, 모델의 깊이가 깊어질수록 배포 비용과 지연 시간이 증가합니다. 이를 해결하기 위해 트랜스포머 아키텍처의 중복성을 제거하는 가지치기 (Pruning) 가 주목받고 있습니다.
• 문제점: 기존 가지치기 연구는 주로 텍스트 기반 LLM 에 집중되어 있으며, VLM 의 경우 특정 도메인 (예: 수학 추론) 에 필수적인 레이어가 무엇인지, 그리고 어떤 레이어를 제거할 때 성능이 어떻게 변하는지에 대한 이해가 부족합니다.
• 핵심 질문: VLM 에서 구조적 가지치기를 수행할 때, 도메인별 (수학 vs 일반) 활성화 패턴을 고려하지 않고 단순히 구조적 유사성이나 무작위로 레이어를 제거하면, 특히 다단계 추론이 필요한 수학 문제에서 비례 이상의 성능 저하가 발생할 수 있습니다.

2. 제안 방법론 (Methodology)

저자들은 도메인 인식 (Domain-Aware) 디코더 레이어 가지치기를 제안하며, 입력 - 출력 활성화의 유사성을 기반으로 레이어의 중복성을 측정합니다.

• 핵심 아이디어: 특정 도메인 (수학 또는 비수학) 의 입력에 대해 레이어의 입력과 출력 표현 (Hidden States) 간의 변화가 작다면, 해당 레이어는 그 도메인에서 불필요한 (중복된) 것으로 간주합니다.
• 구현 단계:
  1. 도메인 프로빙 (Domain Probing): 다양한 수학 (Chain-of-Thought, 직접 계산 등) 및 비수학 (캡셔닝, 객체 인식 등) 프롬프트를 사용하여 모델의 각 디코더 레이어에서 입력/출력 활성화 값을 기록합니다.
  2. 중복성 점수 산출: 각 레이어의 입력과 출력 간의 코사인 유사도 (Cosine Similarity) 를 계산합니다. 유사도가 높을수록 레이어가 정보를 크게 변환하지 않으므로 '중복'으로 판단합니다.
  3. 도메인 인식 순위 매기기 (Ranking):
     • Math-Aware: 수학 프롬프트 기반 유사도로 순위를 매겨 수학에 불필요한 레이어를 제거.
     • Non-Math-Aware: 일반 프롬프트 기반 순위.
     • Mixed (혼합): 두 신호를 가중치 ($\alpha=0.7$) 를 두고 결합하여 일반 VLM 능력과 수학 능력을 모두 보존하는 균형 잡힌 순위 생성.
  4. 가지치기 전략:
     • 구조적 보호: 멀티모달 융합과 토큰 예측에 중요한 첫 번째와 마지막 레이어는 고정하고, 중간 레이어만 제거합니다.
     • 예산 설정: 제거 가능한 레이어의 10%, 25%, 40% 를 제거하는 시나리오를 테스트합니다.
  5. 사후 안정화 (Post-Pruning Stabilization): 가지치기 후 모델의 불안정을 보완하기 위해 짧은 기간의 지도 미세 조정 (SFT) 을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 도메인 인식 가지치기 방법론 도입: 입력 - 출력 활성화 유사성을 기반으로 수학 및 비수학 도메인에 특화된 레이어 순위 매기기 (Math-aware, Non-math-aware, Mixed) 를 제안했습니다.
2. 가지치기 양상 (Regime) 분석: VLM 의 깊이 가지치기에서 세 가지 명확한 양상이 존재함을 실증적으로 규명했습니다.
   • 순위 민감 양상 (Ranking-sensitive, 저예산): 어떤 레이어를 제거하느냐가 성능에 결정적임. 도메인 인식 순위가 가장 효과적.
   • 전환 양상 (Transition, 중예산): 구조적 손상이 누적되며 방법론 간 성능 차이가 줄어듦.
   • 구조 지배 양상 (Structure-dominated, 고예산): 레이어 간 간격 (Spacing) 이 중요해지며, 연속적인 레이어 제거를 피하는 전략 (Interlace 등) 이 우세해짐.
3. 광범위한 벤치마크: Qwen3-VL 모델 (2B, 4B) 을 대상으로 수학 벤치마크 (Snapask, NuminaMath) 와 일반 멀티모달 벤치마크 (ChartQA, ScienceQA 등) 에서 기존 방법 (CKA, Interlace, Random) 과 비교 평가했습니다.

4. 실험 결과 (Results)

• 수학 추론 (Math Reasoning):
  • 저예산 (10%): 도메인 인식 방법 (특히 Mixed 및 Math-aware) 이 수학 성능을 가장 잘 보존했습니다. 무작위 제거나 CKA 기반 제거는 큰 성능 저하를 보였습니다.
  • 고예산 (40%): 모든 방법이 성능이 급격히 떨어지지만, Interlace(레이어 간 간격 유지) 전략이 구조적 연속성을 유지하여 상대적으로 안정적이었습니다.
• 일반 멀티모달 능력 (General VL):
  • Mixed 순위는 수학 능력과 일반 능력 (OCR, VQA 등) 사이의 파레토 최적 (Pareto-optimal) 균형을 보여주었습니다.
  • ChartQA와 같은 특정 태스크는 가지치기 후 SFT 데이터의 분포 변화에 매우 민감했으나, 도메인 인식 순위가 비수학 레이어를 보존하여 상대적으로 안정적이었습니다.
• 레이어 제거 패턴:
  • Math-aware: 주로 후반부 레이어를 제거 (수학 추론은 후반부 레이어에서 집중됨).
  • Non-math/Mixed: 초기 및 중반 레이어를 더 많이 제거.
  • CKA: 초기 레이어를 공격적으로 제거.
  • Interlace: 전체 깊이에 걸쳐 균일하게 간격을 두고 제거.

5. 의의 및 결론 (Significance)

이 논문은 VLM 의 깊이 가지치기가 단순히 모델 크기를 줄이는 것을 넘어, 도메인별 추론 능력의 보존과 모델 구조의 연속성 사이의 복잡한 상호작용을 규명했습니다.

• 실용적 시사점: 낮은 가지치기 비율 (10% 미만) 에서는 도메인별 활성화 분석을 통해 어떤 레이어를 제거할지 신중하게 선택하는 것이 필수적임을 보여줍니다. 반면, 높은 비율의 가지치기에서는 구조적 간격 유지가 더 중요해집니다.
• 해석 가능성: 단순히 "어떤 레이어가 중복인가"가 아니라 "어떤 도메인에서 중복인가"를 구분함으로써, 수학 추론과 일반 시각 이해 능력을 동시에 유지하는 효율적인 모델 압축 전략을 제공합니다.
• 미래 방향: 이 연구는 도메인 특화 VLM 배포 시, 모델의 깊이와 구조를 도메인 요구사항에 맞춰 동적으로 조정할 수 있는 이론적 기반을 마련했습니다.

요약하자면, 이 연구는 VLM 가지치기에서 '무엇을' 제거할지 (도메인 인식 순위) 와 '어떻게' 제거할지 (구조적 간격) 가 예산 규모에 따라 달라진다는 중요한 통찰을 제공하며, 이를 통해 성능 저하를 최소화하면서 모델을 경량화하는 실용적인 가이드라인을 제시합니다.