기술 요약: 소형 VLM 양자화에 대한 재고

문제 정의

30억 개 미만의 파라미터를 가진 소형 시각-언어 모델(sVLM)의 등장은 모바일, 오프라인 및 저전력 환경을 위한 온디바이스 멀티모달 지능의 잠재력을 가속화했습니다. 그러나 NVIDIA Jetson Orin 시리즈와 같은 이기종 에지 SoC 플랫폼에 이러한 모델을 배포하는 것은 메모리 대역폭 및 VRAM 용량에 관한 근본적인 제약에 직면해 있습니다. 모델 양자화는 표준적인 압축 기법이지만, 기존 연구는 주로 고성능 서버급 GPU 환경에서의 엔드 투 엔드(end-to-end) 평가에 집중되어 있습니다. 엔지니어가 어떤 특정 모델 구성 요소(비전 인코더, 프로젝터 또는 LLM 백본)를 양자화해야 하는지, 그리고 정확도, 지연 시간(latency), 에너지 효율성을 균형 있게 맞추기 위해 비트 폭(bit-width)을 어떻게 할당해야 하는지에 대한 체계적인 구성 요소별 분석이 부족한 실정입니다.

방법론

저자들은 구성 요소별 양자화에 관한 다섯 가지 가설을 경험적으로 검증하기 위한 체계적인 평가 프레임워크를 제안합니다. 본 연구는 다섯 가지 구조적으로 다양한 sVLM(Qwen3-VL-2B, DeepSeek-VL2-Tiny, PaliGemma2-3B, LLaVA-OV-0.5B, Kosmos-2.5)을 활용하며, 두 가지 이기종 에지 플랫폼인 Jetson Orin NX(16 GB VRAM, 102.4 GB/s 대역폭)와 Jetson Orin AGX(64 GB VRAM, 204.8 GB/s 대역폭)에서 평가를 수행합니다.

실험 설계:

• 구성(Configurations): 구성 요소의 효과를 격리하기 위해 여섯 가지 양자화 구성을 정의했습니다:
  • 단일 구성 요소 절제 실험(Single-component ablations): LLM만 양자화하거나(cfg1), 프로젝터만 양자화하거나(cfg2), 비전 인코더만 양자화하여(cfg4) 나머지는 FP16 상태로 유지함.
  • 복합 구성(Composite configurations): 프로젝터와 LLM을 동시에 양자화하거나(cfg3), 비전 인코더와 LLM을 동시에 양자화함(cfg5).
• 양자화 전략: VRAM을 줄이기 위해 LLM 백본에만 INT4 양자화를 적용하였으며, 비전 관련 구성 요소는 모달리티 정렬(modality alignment)을 보존하기 위해 INT8 이상의 정밀도를 유지했습니다. 양자화에는 BitsAndBytes 프레임워크가 사용되었습니다.
• 지표: MME 벤치마크 점수(Perception 및 Cognition), 피크(Peak) VRAM 사용량, 구성 요소별 지연 시간(Vision Encoder, Projector, 그리고 Token Per Output Time - TPOT), 그리고 Intelligence-per-Joule(IPJ)을 포함한 평가가 이루어졌습니다.

주요 기여

1. 체계적인 구성 요소별 분석: 본 연구는 sVLM에서 비전 인코더, 프로젝터, LLM 백본의 민감도를 독립적으로 분리하고 정량화하여, 전체 모델 평가를 넘어 구성 요소별로 분석한 첫 번째 연구입니다.
2. 교차 하드웨어 경험적 검증: Jetson Orin NX와 AGX 모두에서 테스트함으로써, 플랫폼 불변적인 정확도 순위와 하드웨어 특이적인 지연 시간/에너지 프로파일을 구분하였습니다.
3. 하드웨어-소프트웨어 스택 마찰 식별: 본 논문은 Ampere 기반 에지 SoC에서 SigLIP 기반 아키텍처를 사용할 때 발생하는 특이한 지연 시간 현상을 식별하고 분석합니다.
4. 실무적 배포 가이드라인: 에지 환경에서의 정밀도 할당 전략에 대한 증거 기반 가이드라인을 제공하며, 작은 모델이 본질적으로 양자화에 더 민감할 것이라는 가정을 반박합니다.

주요 결과 및 발견

1. 양자화 민감도는 규모가 아닌 아키텍처에 의존함 (H1)

작은 모델이 INT4 양자화 하에서 더 심하게 저하될 것이라는 가설과 달리, 결과는 구조적 패러다임(MoE vs. Dense)이 결정적인 요인임을 보여줍니다.

• MoE 백본: Qwen3-VL(MoE 기반) 및 DeepSeek-VL2(MoE 기반)와 같은 모델은 LLM을 INT4로 양자화했을 때 오히려 MME 정확도가 향상되었습니다(예: Qwen3-VL의 경우 +56.04 포인트).
• Dense 백본: PaliGemma2 및 LLaVA-OV와 같은 Dense 모델은 상당한 정확도 저하를 겪었습니다(예: LLaVA-OV의 경우 -220.02 포인트).
• 결론: MoE 아키텍처는 INT4 노이즈를 완화하는 반면, Dense 백본은 파라미터 규모와 관계없이 성능이 저하됩니다.

2. SigLIP 특유의 지연 시간 이상 현상 (H2)

SigLIP 기반 비전 인코더에 INT8 양자화를 적용했을 때, 정확도에는 미미한 영향을 미쳤음에도 불구하고 Jetson Orin 플랫폼에서 불균형적인 지연 시간 증가(2.43배 ~ 4.66배)가 발생했습니다.

• 원인: 이는 BitsAndBytes INT8 커널이 Ampere 아키텍처 상에서 SigLIP 비전 트랜스포머의 특정 계산 패턴을 효율적으로 가속화하지 못하는 하드웨어-소프트웨어 스택의 불일치 때문입니다.
• 대조: 비-SigLIP 인코더(예: Kosmos-2.5)는 훨씬 적은 지연 시간 증가(1.15배~1.20배)를 보였습니다.

3. VRAM 절감 vs. 추론 효율성의 트레이드오프 (H3)

LLM 백본의 INT4 양자화는 VRAM 소비를 21.8%47.5% 감소시켰지만, TPOT(Token Per Output Time)는 일관되게 10.4%56.3% 증가시켰습니다.

• 메커리즘: BitsAndBytes에 의한 역양자화(dequantization) 오버헤드가 Ampere 아키텍처에서의 네이티브 INT4 계산 속도 향상보다 더 큽니다.
• 에너지 영향: 대형 모델(예: Qwen3-VL)의 경우, 증가된 추론 시간이 에너지 소비의 상당한 상승(+45% ~ +55%)을 초래한 반면, 소형 모델(LLaVA-OV)은 에너지 증가가 미미했습니다. 따라서 BitsAndBytes를 통한 INT4는 지연 시간 감소 전략이라기보다 VRAM 절감 기술로 간주되어야 합니다.

4. 복합 양자화에서의 비가산적 상호작용 (H4)

• Projector + LLM (cfg3): 정확도 저하는 대체로 가산적(additive)이었으며, 개별 구성 요소 오류의 선형 합과 밀접하게 일치했습니다.
• Vision + LLM (cfg5): 상호작용은 비가산적이며 아키텍처에 따라 달랐습니다. 예를 들어, PaliGemma2는 상당한 추가 저하(잔차 -16.33)를 보였고, DeepSeek-VL2는 초가산적(super-additive) 패턴을 보였습니다. 이는 모달리티 정렬 경로가 특정 아키텍처 조합에 민감한 핵심 병목 지점임을 시사합니다.

5. 정확도의 플랫폼 불변성 vs. 효율성의 특이성 (H5)

• 정확도: 모델 성능 순위(Qwen3-VL > DeepSeek-VL2 > PaliGemma2 > LLaVA-OV > Kosmos-2.5)는 양자화 설정과 관계없이 두 Jetson NX 및 AGX 플랫폼 모두에서 엄격하게 일관성을 유지했습니다.
• 효율성: 에너지 효율(IPJ)과 지연 시간은 매우 플랫폼 특이적이었습니다. 예를 들어, Qwen3-VL은 넓은 메모리 대역폭이 병목 현상을 완화함에 따라 NX 대비 AGX에서 최대 2.5배 높은 IPJ를 달립한 반면, 다른 모델들은 그러한 이득을 보이지 못했습니다.

의의 및 주장

본 논문은 알고리즘 아키텍처(MoE vs. Dense)가 sVLM의 양자화 안정성에 있어 모델 규모보다 더 중요한 결정 요인이라는 체계적이고 통제된 증거를 처음으로 제시한다고 주장합니다. 또한, 표준 양자화 도구(BitsAndBytes 등)가 서버급 평가에서는 나타나지 않는, 에지 하드웨어 특유의 아키텍처별 지연 시간 페널티를 유발할 수 있음을 강조합니다.

저자들은 에지 AI의 최적 효율 달성을 위해서는 단순한 단독 모델 압축이 아닌, 통합된 하드웨어-소프트웨어 공동 설계(co-design) 전략이 필요하다고 결론짓습니다. 그들은 배포 결정 시 반드시 특정 하드웨어-소프트웨어 스택 간의 상호작용(예: Ampere 상의 SigLIP)을 고려해야 하며, 정확도 순위는 에지 플랫폼 간에 전이 가능하지만 효율성 프로파일은 그렇지 않다는 점을 강조합니다. 본 연구는 엔지니어들에게 주는 경고로서, 구성 요소별 분석 없이 양자화를 무분별하게 적용하면 예상치 못한 성능 저하나 지연 시간 급증을 초래할 수 있음을 시사합니다.