🤖 machine learning

MXSens: Sensitivity-Aware Mixed-Precision Quantization for Efficient LLM Inference

MXSens는 컬럼 및 레이어별 민감도에 따라 LLM 가중치에 가변적인 가수부 비트 너비(4/6/8)를 할당함으로써 아웃라이어로 인한 정확도 저하를 효과적으로 완화하는 동시에, 하드웨어 효율적인 마이크로스케일링 포맷을 활용하여 기존의 최첨단 베이스라인들을 능가하는 훈련 불필요(training-free), 민감도 인지형 혼합 정밀도 양자화 방법입니다.

원저자: Simla Burcu Harma, Danila Mishin, Zhengyuan Su, Ayan Chakraborty, Elizaveta Kostenok, Dongho Ha, Babak Falsafi, Martin Jaggi, Yunho Oh, Amir Yazdanbakhsh

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Simla Burcu Harma, Danila Mishin, Zhengyuan Su, Ayan Chakraborty, Elizaveta Kostenok, Dongho Ha, Babak Falsafi, Martin Jaggi, Yunho Oh, Amir Yazdanbakhsh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 정교한 지식의 도서관을 아주 작은 휴대용 배낭에 집어넣어야 한다고 상상해 보세요. 이것이 바로 거대 언어 모델(LLM)이라고 불리는 초지능적인 컴퓨터 뇌들이 매일 마주하는 도전 과제입니다. 이 모델들은 이야기를 쓰고, 수수께력을 풀고, 우리와 대화하는 데 매우 뛰어나지만, 실행하는 데 엄청난 양의 메모리와 에너지를 필요로 하기 때문에 매우 무겁습니다. 이들을 들고 다닐 수 있을 만큼 가볍게 만들기 위해, 과학자들은 "양자화(quantization)"라는 기술을 사용합니다. 이것은 고화질 영화를 더 작은 파일 크기로 압축하는 것과 비슷합니다. 모든 완벽한 색조를 하나하나 다 저장하는 대신, 제한된 팔레트 내에서 가장 가까운 색상으로 반올림하여 저장하는 것입니다. 이렇게 하면 파일은 작아지고 재생 속도는 빨라지지만, 너무 많이 반올림하면 화면이 흐릿해지고 세부 정보가 손실될 수 있습니다.

문제는 이 컴퓨터 뇌 안에 다른 모든 이들보다 훨씬 크게 소리 지르는 몇몇 "시끄러운" 목소리들이 있다는 점입니다. 숫자의 세계에서 이들은 "이상치(outliers)"라고 불립니다. 이들은 전체 시스템을 뒤흔드는 드물고 극단적인 값들로, 압축 과정을 엉망으로 만들고 모델이 어처구니없는 실수를 하게 만듭니다. 한동안 연구자들은 데이터를 이리저리 섞거나(퍼즐을 회전시키는 것처럼) 크기가 큰 파일과 작은 파일을 혼합하여 사용하는 방식으로 이를 해결하려 노력했습니다. 하지만 이러한 방법들은 컴퓨터가 숫자를 다시 번역하기 위해 끊임없이 멈춰야 했기에 매우 번거롭고 속도를 늦추는 경우가 많았습니다. 이제, 한 새로운 연구팀이 정보를 옮기는 속도를 늦추지 않으면서도 모든 정보의 개별적인 요구 사항에 귀를 기울이는, 더 똑똑하게 배낭을 꾸리는 방법을 제안했습니다.

이 논문은 매우 세심한 사서처럼 행동하는 MXSens라는 새로운 방법을 소개합니다. MXSens는 도서관의 모든 책을 똑같이 취급하는 대신, 먼저 어떤 책이 가장 취약하거나 중요한지 빠르게 살펴봅니다. 이 과정에서 모든 "시끄러운" 목소리가 다 같은 것은 아니라는 사실을 발견했습니다. 어떤 목소리는 명확하게 이해되기 위해 많은 공간이 필요한 드물고 극단적인 비명인 반면, 어떤 목소리는 그저 군중보다 조금 더 클 뿐이라서 적은 공간으로도 충분히 버틸 수 있습니다.

MXSens는 이를 처리하기 위해 영리한 3단계 시스템을 사용합니다. 가장 민감하고 극단적인 부분에는 넉넉한 8비트(튼튼하고 큰 상자 같은) 공간을 할당하고, 중간 정도의 민감도를 가진 부분에는 중간 크기의 6비트(중간 크기 상자) 공간을, 그리고 차분하고 조용한 부분에는 타이트한 4비트(작고 효율적인 주머니) 공간을 할당합니다. 이 과정은 모델을 다시 학습시키거나 뇌 구조를 변경할 필요 없이, 데이터가 압축될 때의 민감도에 따라 저장 방식을 재배치하는 방식으로 이루어집니다. 연구진은 이 방식이 현대 컴퓨터 칩에서 이미 지원되는 하드웨어 친화적 포맷인 MXINT와 매우 잘 작동한다는 것을 발견했습니다.

결과는 매우 인상적입니다. LLaMA-2-70B 및 LLaMA-3-8B와 같은 거대 모델을 테스트했을 때, MXSens는 모델의 "목소리"를 명확하고 정확하게 유지하면서도 매우 적은 공간을 사용했습니다. 구체적으로, 모든 가중치(weights), 활성화(activations), 키-값 캐시(key-value caches)가 모두 양자화되는 엄격한 W4A4KV4 설정에서, 이 방법은 WikiText-2 데이터셋에 대해 LLaMA-2-70B에서 3.77, LLaMA-3-8B에서 7.63의 퍼플렉시티(perplexity) 점수를 달성했습니다. 퍼플렉시티는 모델이 얼마나 혼란스러워하는지를 나타내는 척도로, 낮을수록 좋습니다. 이 점수들은 다른 최상위 방법들보다 현저히 높았으며, 이는 모델의 각 부분에 대한 민감도에 주의를 기울임으로써 공간 절약과 지능 유지라는 두 마리 토끼를 모두 잡을 수 있음을 증명했습니다.

저자들은 이 방법이 숫자를 계속 번역해야 하는 무거운 오버헤드를 피함으로써 기존의 유사한 기술들을 늦췄던 문제를 해결했다는 점에서 중요한 진전이라고 제로합니다. 새로운 하드웨어 포맷의 자연스러운 블록 구조를 활용함으로써, MXSens는 서로 다른 정밀도 수준(4, 6, 8비트)을 매끄럽게 혼합할 수 있습니다. 이 연구는 민감도 기반의 접근 방식이 공간을 절약하는 것과 모델의 지능을 유지하는 것 사이의 훨씬 더 나은 균형을 가능하게 한다는 것을 보여주며, 이는 강력한 AI를 거대한 메모리 뱅크가 없는 기기에서도 사용할 수 있게 만들 잠재력을 가지고 있습니다.

기술 요약: MXSENS – 효율적인 LLM 추론을 위한 민감도 인지형 혼합 정밀도 양자화

1. 문제 정의

대규모 언어 모델(LLM)은 메모리 점유율을 줄이고 추론을 가속화하기 위해 양자화, 특히 4비트 정밀도를 활용합니다. 그러나 공격적인 양자화는 체계적인 이상치(systematic outliers)—매우 높은 크기를 가진 소수의 활성화 값들—로 인해 심각한 정확도 저하를 겪습니다. 이러한 이상치는 양자화 블록 내의 분포를 왜곡하여 스케일링 계수(scaling factors)의 선택을 어렵게 만듭니다.

현재의 솔루션은 일반적으로 다음 두 가지 범주로 나뉘며, 둘 다 한계점을 가지고 있습니다:

회전 기반 방법 (Rotation-based methods) (예: QuaRot, RRS, SpinQuant): 이들은 이상치 완화를 위해 텐서 분포를 재형성합니다. 그러나 이러한 회전은 양자화 품질을 저하시키는 그룹별 비대칭성을 유발하기 때문에 마이크로스케일링 포맷(MXINT/MXFP와 같은)과 호환되지 않는 경우가 많습니다. 또한, Softmax 출력과 같은 구성 요소들을 양자화하지 않은 상태로 남겨두는 경우가 많습니다.
혼합 정밀도 방법 (Mixed-precision methods) (예: Atom, QoQ, QUIK): 이들은 민감한 채널에 더 높은 정밀도를 할당하지만, 일반적으로 소프트웨어로 관리되는 FP32 스케일링에 의존합니다. 이는 추론 중에 빈번한 역양자화(dequantization) 연산을 필요로 하며, 순수 INT4 베이스라인 대비 상당한 오버헤드(최대 90%)를 발생시킵니다.

마이크로스케일링 포맷(예: MXINT)은 블록당(예: 32개 값) 공유된 2의 거듭제곱 스케일 계수를 임베딩하여 소프트웨어 스케일링 오버헤드를 제거하는 하드웨어 효율적인 대안을 제공합니다. 그러나 현재 이 방식은 회전 기반의 이상치 처리 방식과 호환되지 않으며, 기존의 혼합 정밀도 접근 방식은 레이어 및 컬럼 전반에 걸친 양자화 민감도의 미묘하고 비균일한 분포를 간과하는 경우가 많습니다.

2. 방법론: MXSens

저자들은 마이크로스케일링(MXINT) 포맷을 위해 특별히 설계된, 훈련이 필요 없는 민감도 가이드형 혼합 정밀도 양자화 방법인 MXSens를 제안합니다. 핵심 통찰은 양자화 민감도가 균일하지 않다는 것입니다. 민감도는 레이어와 컬럼에 따라 크게 달라지며, 이상치는 "극단적"(드물지만 높은 크기)인 것부터 "완만한"(빈번하지만 중간 정도의 편차) 것에 이르기까지 하나의 스펙트럼 상에 존재합니다.

2.1 민감도 분석

MXSens는 비트 폭 할당을 가이드하기 위해 두 단계의 민감도 분석을 사용합니다:

컬럼 단위 민감도 (Column-Wise Sensitivity): 저자들은 경험적 헤시안 행렬( $H = X^T X$ )의 대각 성분을 기준으로 민감도를 정의합니다. 높은 크기의 이상치를 포함하는 컬럼은 높은 헤시안 대각 성분 값을 나타내며, 이는 해당 컬럼의 양자화 노이즈가 불균형적으로 큰 출력 오차를 유발함을 의미합니다.
레이어 단위 민감도 (Layer-Wise Sensitivity): 저자들은 단일 레이어를 독립적으로 양자화했을 때 모델의 최종 출력에서 발생하는 L2 오차를 측정합니다. 이들은 초기 레이어의 오차가 네트워크를 통해 전파되면서 누적되는 경향이 있음을 관찰했으며, 이로 인해 초기 레이어가 일반적으로 더 민감하지만, 이는 아키텍처(예: Qwen1.5-7B의 중간 레이어)에 따라 달라질 수 있습니다.

2.2 트리플릿 양자화 전략 (Triplet Quantization Strategy)

MXSens는 저(low) 정밀도와 고(high) 정밀도 사이의 이분법적 선택 대신, 세 가지 별도의 맨티사(mantissa) 비트 폭인 4, 6, 8비트를 사용하는 트리플릿 양자화 체계를 도입합니다.

8비트 정밀도: 각 레이어에서 가장 민감한 상위 32개 컬럼에 할당됩니다. 이는 MXINT의 블록 크기(32개 값)와 일치하여, 모든 극단적인 이상치가 레이어당 하나의 고정밀 블록 내에 포착되도록 보장합니다.
6비트 정밀도: "완만한" 이상치를 가진 컬럼에 할당됩니다. 이 중간 정밀도는 극단적인 이상치와 대다수의 데이터 사이의 스펙트럼을 다룸으로써, 단순한 4/8 분할보다 더 나은 효율성을 제공합니다.
4비트 정밀도: 나머지 덜 민감한 컬럼들에 할당됩니다.

이 방식은 MXINT의 블록 단위 구조를 활용하여, 모델 아키텍처를 수정하거나 재학습을 요구하지 않고도 혼합 맨티사 구현을 가능하게 합니다.

2.3 민감도 가이드 할당 알고리즘

이 방법은 글로벌 제어 파라미터 $R$ 을 사용하여 목표 평균 비트 폭( $B$ ) 하에서 비트 폭을 할당합니다.

정렬 (Sorting): 각 선형 레이어에 대해 컬럼들을 민감도 점수에 따라 정렬합니다.
고정 고정밀도 블록 (Fixed High-Precision Block): 상위 32개 컬럼은 항상 8비트 맨티사가 할당됩니다.
동적 6비트 할당: 6비트 컬럼의 수는 레이어의 민감도 점수에 비례하여 계산되며, 글로벌 평균 비트 폭 제약을 충족하기 위해 $R$ 에 의해 스케일링됩니다.
기본값 (Default): 나머지 모든 컬럼에는 4비트 맨티사가 할당됩니다.

이 접근 방식은 MXINT의 블록 단위 구조를 활용하여, 모델 아키텍처 변경이나 재학습 없이 혼합 맨티사 구현을 가능하게 합니다.

3. 주요 기여

민감도 가이드형 트리플릿 양자화: 컬럼 및 레이어별 민감도에 따라 4, 6, 8비트 정밀도를 할당하는 새로운 방법으로, 아키텍처 변경이나 미세 조정 없이 최첨단(SOTA) 정확도를 달ей합니다.
MXINT 통합: MXINT 수치 포맷을 채택하여, 현대적 하드웨어(예: NVIDIA Blackwell, Qualcomm Cloud AI 100)와 호환되는 효율적인 혼합 정밀도 구현을 위해 블록 단위 구조와 공유 지수를 활용합니다.
성능 우위: 광범위한 모델과 작업에 대해 MXSens가 기존의 회전 기반 및 혼합 정밀도 베이스라인을 능가함을 입증합니다.

4. 실험 결과

저자들은 다양한 모델(LLaMA-2/3, Mistral, Qwen1.5, Gemma-2)에 대해 언어 모델링(WikiText-2) 및 상식 추론 작업(ARC, BoolQ, MMLU 등)에서 MXSens를 평가했습니다.

LLaMA-2-70B & LLaMA-3-8B: W4A4KV4 설정에서 MXSens는 WikiText-2에서 각각 3.77과 7.63의 퍼플렉시티(perplexity)를 달성했습니다. 이는 기존 베이스라인(예: QuaRot, Atom, QUIK)을 실질적으로 개선한 수치입니다.
정확도 vs. 압축: LLaMA-2-13B의 ~4.27비트 설정에서, MXSens는 Atom의 퍼플렉시티(5.32 vs. 5.31)와 대등한 수준을 보이면서도, 상식 QA 작업에서는 훨씬 높은 0-shot 정확도(70.3% vs. 63.5%)를 달성했습니다.
절제 연구 (Ablation Studies): 평균 비트 폭을 (~3.28에서 5.75비트까지) 변화시킨 실험 결과, 민감도 가이드 할당을 통해 모델이 비트 비용의 약 1/3만으로 FP16 품질에 근접(정확도 차이 0.6 이내)할 수 있음을 보여주었습니다.
하드웨어 오버헤드: 저자들은 4.03비트 예산에서 약 1%의 산술 연산만이 고정밀도를 필요로 한다고 추정하며, 이를 통해 정확도 이득에 비해 무시할 만한 수준인 약 3%의 레이턴시 오버헤드를 예상했습니다.

5. 의의 및 주장

본 논문은 LLM 양자화를 위한 정확도와 자원 효율성 사이의 새로운 균형을 확립한다고 주장합니다. MXSens는 회전 기반 방법(마이크로스케일링 하드웨어와 충돌함)이나 소프트웨어 중심의 스케일링에서 벗어나, 하드웨어 친화적인 고정밀 4비트 추론 경로를 제공합니다.

저자들은 자신들의 연구가 미세하고 민감도를 인지하는 정밀도 할당의 필요성을 입증한다고 강조합니다. 이들은 단순히 균일한 4비트 양자화나 거친 혼합 정밀도 전략을 적용하는 것은 최선이 아니라고 주장합니다. 대신, 극단적인 이상치에는 8비트를, 완만한 이상치에는 6비트를, 나머지는 4비트를 할당하도록 MXINT의 특정 블록 단위 제약을 활용함으로써, 역양자화의 계산적 페널티나 회전 행렬의 아키텍처적 제약 없이 손실 없는 것에 가까운 압축을 달 수 있다는 것을 보여줍니다.

이 연구는 훈련이 필요 없는 방법이 어떻게 저비트 LLM 추론에 내재된 이상치 문제를 효과적으로 완화할 수 있는지 증명하며, 차세대 AI 가속기에서 MXINT4의 실용적이고 고정밀한 배포를 향한 단계로서 제시되었습니다.