🤖 machine learning

MGVQ: Synergizing Multi-dimensional Sensitivity-Aware and Gradient-Hessian Fusion for Vector Quantization

MGVQ는 시각-언어 모델의 교차 모달리티 분포 불일치와 기울기 드리프트를 극복하기 위해 민감도 기반 혼합 정밀도 양자화와 기울기 인식 2 차 오차 보상을 통합하여 초저비트 설정에서 최첨단 성능을 달성하는 새로운 벡터 양자화 프레임워크입니다.

원저자: Zhong Wang, Zukang Xu, Xing Hu, Dawei Yang

게시일 2026-05-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhong Wang, Zukang Xu, Xing Hu, Dawei Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 방대하고 놀라울 정도로 상세한 지식의 도서관 (시각 - 언어 모델) 이 있다고 가정해 봅시다. 이 도서관은 이미지를 보고 텍스트를 읽어 질문에 답할 수 있습니다. 이 도서관은 너무 거대해서 이를 보관하려면 거대하고 비싼 슈퍼컴퓨터가 필요합니다. 당신은 이 도서관을 일반 노트북이나 심지어 스마트폰에도 들어오도록 축소하고 싶지만, 단순히 페이지를 버릴 수는 없습니다. 그렇게 하면 이야기들이 의미를 잃게 되기 때문입니다.

이 논문은 지능을 잃지 않고 이러한 거대 모델을 축소하는 새로운 방법인 MGVQ를 소개합니다. 이것이 어떻게 작동하는지 간단한 비유를 통해 설명해 보겠습니다.

문제: 축소 작업이 보통 실패하는 이유

이러한 모델을 압축하려 할 때, 우리는 보통 두 가지 큰 두통에 직면합니다.

혼합 가방 문제 (모달리티 이질성):
도서관에 두 가지 유형의 책이 있다고 상상해 보세요. 하나는 사진 (시각) 에 관한 것이고 다른 하나는 소설 (텍스트) 에 관한 것입니다.
- 모든 책을 단일한 "일괄 적용" 전략으로 동일한 작은 상자에 포장하려 하면 문제가 발생합니다. 사진 책은 소설 책과 다른 포장 재료가 필요합니다.
- 기존 방법들은 모든 것에 동일한 상자를 사용하려 합니다. 이로 인해 사진 책은 찌그러져 (세부 정보가 손실되고) 소설 책에는 너무 많은 빈 공간이 생깁니다 (공간 낭비). 그 결과 이야기들이 의미를 잃는 어수선한 도서관이 됩니다.
잘못된 지도 문제 (1 차 기울기 무시):
안개가 자욱한 계곡에서 가장 낮은 지점 (모델의 완벽한 압축 버전) 을 찾으려 한다고 상상해 보세요.
- 기존 방법들은 바닥이 서 있는 곳이 완벽하게 평평하다고 가정하며, 바닥이 어디에 있는지 추측하기 위해 지형의 모양 (곡률/헤시안) 만 봅니다.
- 그러나 모델이 너무 거대하기 때문에 실제로는 바닥이 약간 기울어져 있습니다. 그 경사 (1 차 기울기) 를 무시하면 잘못된 방향으로 한 걸음을 내딛게 됩니다. 바닥을 찾았다고 생각하지만 실제로는 길을 잃게 되어 모델이 실수를 하기 시작합니다.

해결책: MGVQ

저자들은 두 가지 문제 모두를 해결하는 MGVQ라는 지능형 시스템을 개발했습니다. 이를 두 가지 특수 도구를 갖춘 숙련된 포장 전문가로 생각해 보세요.

도구 1: "스마트 민감도" 포장 전문가 (SSMQ)

모든 것에 동일한 크기의 상자를 사용하는 대신, 이 도구는 도서관의 각 부분이 얼마나 "민감한지" 확인합니다.

작동 방식: 모든 페이지를 하나씩 살펴보며 "이 페이지를 찌그러뜨리면 이야기가 깨질까?"라고 묻습니다.
- 만약 페이지가 매우 민감하다 (중요한 줄거리) 면, 크고 고품질의 상자 (더 많은 비트 공간) 를 부여받습니다.
- 만약 페이지가 덜 민감하다 (지루한 설명) 면, 작고 꽉 찬 상자 (덜 많은 비트) 를 부여받습니다.
결과: 맞춤형 혼합 크기 포장 계획이 만들어집니다. 이는 "사진 책"과 "텍스트 책"을 다르게 취급하여 가장 중요한 부분들이 필요한 보호를 받도록 보장합니다.

도구 2: "경사 인식" 항해사 (GAEC)

이 도구는 "잘못된 지도" 문제를 해결합니다.

작동 방식: 지형의 모양만 보는 것이 아니라 경사도 확인합니다. "이봐, 땅이 기울고 있네!"라고 깨닫습니다.
해결책: 책들을 올바른 위치로 다시 밀어 넣을 정확한 양을 계산하기 위해 (경사와 모양을 결합한) 수학적 트릭을 사용합니다. 단순히 추측하는 것이 아니라, 상자가 작아지더라도 이야기가 정확하게 유지되도록 필요한 정밀한 보정을 계산합니다.

결과

저자들은 여러 유명한 "도서관" (LLaVA, InternVL, Qwen2-VL 등의 모델) 에서 이를 테스트했습니다.

테스트: 모델을 2 비트 크기로 축소해 보았습니다 (고화질 영화를 작은 텍스트 파일로 압축하는 것처럼 극도로 작음).
결과: MGVQ 는 이전 방법들보다 모델을 훨씬 더 똑똑하게 유지했습니다.
- 예를 들어, 특정 모델에서 기존 최선 방법은 67.0% 점수를 얻은 반면, MGVQ 는 71.4% 를 기록했습니다.
- MGVQ 는 모델을 작은 공간으로 밀어 넣었을 때에도 원래 거대 버전의 성능을 매우 가깝게 유지했습니다.

요약

MGVQ 는 다음을 아는 천재 사서와 같습니다.

정보의 유형마다 필요한 공간량이 다르므로 (공정하게 공간을 할당함).
완벽한 압축으로 가는 길은 직선이 아니며 경사가 있으므로 (이동 과정에서 발걸음을 수정함).

이 두 가지를 수행함으로써, 이 거대하고 똑똑한 AI 모델들이 세상을 이해하는 능력을 잃지 않은 채 작은 장치에 들어갈 수 있게 됩니다.

기술 요약: MGVQ

문제 정의

비전 - 언어 모델 (VLM) 은 뛰어난 능력을 입증했으나, 그 거대한 규모로 인해 엣지 장치의 메모리 및 대역폭 제약을 초과하여 배포에 상당한 장벽에 직면해 있습니다. 훈련 후 양자화 (PTQ) 는 표준 압축 기술이지만, 기존 방법들은 초저 비트폭 (예: 2 비트 또는 3 비트) 환경에서 어려움을 겪습니다. 본 논문은 VLM 에 벡터 양자화 (VQ) 를 적용할 때 발생하는 두 가지 근본적인 과제를 식별합니다:

모달리티 유발 가중치 이질성: VLM 에서 가중치는 이미지 및 텍스트 토큰을 동시에 처리해야 하며, 이들은 현저히 다른 통계적 특성을 보입니다. 통합된 코드북이나 고정된 비트 할당은 이러한 구조적 이질성을 포착하지 못해 양자화 오차를 증폭시킵니다.
오차 보상 불일치: 기존 2 차 오차 보상 방법 (예: GPTQ, YAQA) 은 종종 사전 훈련 수렴 지점에서 기울기가 거의 0 이라고 가정합니다. 그러나 양자화는 가중치를 이 최적점에서 벗어나게 하여 무시할 수 없는 1 차 기울기를 유발합니다. 이러한 기울기를 무시하면 부정확한 손실 근사와 편향된 보상으로 이어져 모델 성능이 저하됩니다.

방법론: MGVQ

저자들은 위 과제를 해결하기 위해 두 가지 시너지 요소를 통해 설계된 MGVQ(벡터 양자화를 위한 다차원 민감도 인식 및 기울기 - 헤시안 융합의 시너지) 를 제안합니다.

1. 민감도 기반 구조화 혼합 정밀도 양자화 (SSMQ)

이 모듈은 균일한 방식이 아닌 채널 민감도에 기반한 비트폭 할당을 통해 가중치 이질성을 해결합니다.

민감도 평가: 이는 전역 민감도(KL 발산/피셔 정보 행렬의 헤시안에서 유도되며, 크로네커 인수분해를 통해 근사됨) 와 국소 민감도(출력 활성화의 노름에서 유도됨) 를 통합합니다. 이러한 지표들을 융합하여 각 입력 및 출력 채널에 대한 강력한 민감도 점수를 생성합니다.
구조화 분할: 가중치 행렬은 이러한 민감도 점수에 따라 재배열되고 $2 \times 2$ 구조 하위 블록으로 분할됩니다.
최적 비트 할당: 고정된 전역 비트 예산 하에서, 프레임워크는 민감도 - 비트 효율성 비율을 최대화하는 최적화 문제를 풉니다. 이는 해석 가능하고 세분화된 자원 분배를 보장하며, 민감도가 높은 영역에 더 정밀한 비트 (더 많은 비트) 를 할당하는 폐쇄형 해를 도출합니다.

2. 기울기 인식 오차 보상 (GAEC)

이 모듈은 2 차 곡률 alongside 1 차 기울기를 명시적으로 모델링함으로써 오차 보상 불일치를 해결합니다.

공동 최적화 목적 함수: 이 방법은 양자화를 양자화 잔차로 인한 작업 손실 최소화 문제로 공식화합니다. $\nabla L \approx 0$ 을 가정하는 전통적인 방법과 달리, MGVQ 는 양자화가 기울기 이동을 유발한다는 점을 인정합니다.
곡률 투영 기울기 근사: 기울기는 곡률 구조 ( $H \approx H_O \otimes H_I$ ) 를 통해 투영된 잔차로 근사됩니다. 이는 1 차 보정과 2 차 정규화 사이의 균형을 이루는 볼록 2 차 부분 문제를 생성합니다.
폐쇄형 해: 헤시안 인자의 블록 - LDL 분해를 활용하여 저자들은 최적 보정에 대한 간단한 폐쇄형 해를 유도합니다. 이는 가중치를 양자화 제약 집합에 투영하는 반복적 업데이트를 가능하게 하여, 즉각적인 양자화 오차와 작업 손실 기울기 이동 사이의 균형을 효과적으로 맞춥니다.

주요 기여

문제 식별: 본 논문은 벡터 양자화를 위한 VLM 특유의 두 가지 장애물인 모달리티 유발 가중치 이질성과 오차 보상 시 1 차 기울기를 무시함으로써 발생하는 불일치를 식별하고 특성화합니다.
프레임워크 제안: MGVQ 는 다차원 민감도 분석, 구조화 혼합 정밀도 할당, 기울기 인식 오차 보상을 결합하여 계층 간 및 모달리티 간 오차를 완화하는 새로운 프레임워크로 소개됩니다.
실증적 검증: 다양한 규모 (7B 에서 72B) 의 대표적인 VLM(LLaVA-onevision, InternVL2, Qwen2-VL) 에 대한 광범위한 실험은 이 방법의 유효성을 입증합니다.

실험 결과

저자들은 텍스트 인식, 시각적 지각, 시각적 추론을 포괄하는 벤치마크 (예: MMMU, SEED-Bench, OCRBench) 에서 MGVQ 를 최신 스칼라 양자화 (SQ) 및 벡터 양자화 (VQ) 베이스라인 (GPTQ, AWQ, MBQ, VPTQ, QuIP# 포함) 과 비교 평가했습니다.

성능 향상: 2 비트 양자화 하에서 MGVQ 는 기존 베이스라인을 일관되게 능가합니다. 예를 들어, InternVL2-26B에서 MGVQ 는 71.4% 정확도를 달성하여 QuIP#(67.0%) 보다 4.4 퍼센트 포인트를, MBQ(66.5%) 보다 4.9 퍼센트 포인트를 상회합니다.
격차 축소: MGVQ 는 양자화된 모델과 정밀도 (FP16) 베이스라인 간의 성능 격차를 크게 줄입니다. LLaVA-onevision-7B 2 비트 시나리오에서 MGVQ 는 61.5% 에 도달하여 FP16 베이스라인인 66.9% 대비 5.4% 만 하락한 반면, 최상위 베이스라인 (VPTQ/MBQ) 은 7.3% 하락했습니다.
어블레이션 연구: 실험은 SSMQ 와 GAEC 모두 필요하며 상호 보완적임을 확인합니다. 어느 모듈이든 제거하면 정확도가 크게 저하되어 민감도 기반 할당과 기울기 인식 보상 간의 시너지를 검증합니다.

의의 및 주장

본 논문은 MGVQ 가 다중 모달 모델의 초저 비트 양자화를 위한 강력하고 효율적인 솔루션을 제공하여 자원 제약 시나리오에서의 실용적 배포를 용이하게 한다고 주장합니다. 등방성 민감도와 영 (zero) 기울기에 대한 가정을 넘어섬으로써, MGVQ 는 VLM 에 특화된 양자화 오차 지형에 대한 더 정확한 근사를 제공합니다.

저자들은 이 작업을 대규모 다중 모달 기반 모델의 효율적 배포를 가능하게 하는 한 걸음으로 위치시킵니다. 그들은 프레임워크의 구조적 민감도 분석과 기울기 정보 최적화의 통합이 다중 모달 시스템의 압축 및 가속화에 대한 미래 연구를 영감할 수 있는 일반적인 관점을 제공한다고 제안합니다. 이 작업은 프리랜트로 제시되었으며, 향후 비디오 - 언어 이해와 같은 더 복잡한 시나리오로 프레임워크를 확장할 계획입니다.