🤖 machine learning

QAM-W: Joint 2D Codebook Quantization for LLM Weights via Hadamard Rotation and Activation-Aware Scaling

QAM-W 는 Hadamard 회전과 활성화 인식 스케일링을 활용하여 LLM 가중치에 대한 결합 2D 코드북 양자화 방법을 도입하는데, 이는 쌍별 좌표 구조를 보존하여 가중치당 약 5.5 비트에서 BF16 에 근접한 퍼플렉시티를 달성하면서 극좌표 부호화보다 우수한 성능을 보이고 SmoothQuant 품질을 훨씬 적은 가중치 비트로 달성합니다.

원저자: Preetam Sharma, Kacper Dobek

게시일 2026-05-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Preetam Sharma, Kacper Dobek

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 거대한 책 도서관 (대규모 언어 모델, 또는 LLM) 을 가지고 있는데, 이는 매우 똑똑하지만 엄청난 공간을 차지합니다. 이를 휴대하기 쉽게 만들기 위해 책들을 축소하고 싶다고 가정해 봅시다. 이 과정을 **양자화 (quantization)**라고 합니다.

현재 이러한 책들을 축소하는 대부분의 방법은 사전에서 모든 단어를 하나씩 짧은 숫자 코드로 대체하는 것과 같습니다. 이는 간단하지만, 단어들이 종종 서로 특정한 관계를 가진 쌍이나 그룹으로 나타나는 사실을 간과합니다. 이를 고립된 개인으로 취급하면 이야기의 뉘앙스 일부가 손실됩니다.

이 논문은 QAM-W(가중치용 직교 진폭 변조, Quadrature Amplitude Modulation for Weights)라는 새로운 방법을 소개합니다. 이는 책들을 더 똑똑하고 효율적으로 포장하는 방법이라고 생각하시면 됩니다.

다음은 간단한 비유를 통해 작동 원리를 설명한 것입니다:

1. 문제: "솔로 댄서" 대 "듀엣"

AI 모델의 가중치를 댄서들로 상상해 보세요.

구식 방법 (스칼라 양자화): 구식 방법은 모든 댄서를 마치 솔로로 공연하는 것처럼 취급합니다. 각 댄서를 개별적으로 살펴보고 "너는 '3'이야, 너는 '7'이야"라고 말합니다. 이는 두 댄서가 손을 잡고 있거나 리듬을 맞춰 움직일 수 있다는 사실을 무시합니다.
QAM-W 의 통찰: 저자들은 데이터 행 (row) 내에서 이러한 "댄서"들이 실제로 쌍으로 춤을 추고 있음을 깨달았습니다. 그들은 상관관계를 가집니다. QAM-W 는 이들을 별도의 솔로 아티스트로 코딩하는 대신 듀엣으로 취급합니다.

2. 해결책: "마법 같은 회전"과 "짝짓기"

QAM-W 는 이야기를 잃지 않고 모델을 축소하기 위해 세 단계의 과정을 사용합니다:

단계 A: 마법 같은 회전 (하드마드 회전):
댄서들이 어수선하고 붐비는 방에 서 있다고 상상해 보세요. QAM-W 는 "마법 같은 회전"(수학적 회전) 을 적용하여 그들을 재배열합니다. 갑자기 무작위로 움직이던 댄서들이 완벽하게 짝을 이루어 매끄럽고 원형인 패턴으로 움직이게 됩니다. 이렇게 하면 수학적 설명이 훨씬 쉬워집니다.
단계 B: "듀엣" 코드북:
각 댄서에게 별도의 숫자를 주는 대신, QAM-W 는 짝을 지도 위의 단일 점으로 봅니다. 이러한 쌍들이 일반적으로 어떻게 행동하는지에 대해 훈련된 미리 만들어진 "지도"(코드북) 를 사용합니다. 이는 듀엣을 위한 표준 춤 동작 라이브러리를 가지고 있는 것과 같습니다. 두 개의 별도 단계를 설명하는 대신, "그들이 '왈츠 #42' 동작을 했다"라고만 말하면 됩니다. 이는 두 숫자 사이의 관계를 포착하여 공간을 절약합니다.
단계 C: "볼륨 조절기"(활성화 인식 스케일링):
때로는 모델의 일부가 매우 시끄럽고 (활발하고) 다른 부분은 조용합니다. 시끄러운 부분을 너무 많이 축소하면 음악이 왜곡됩니다. QAM-W 는 축소하기 전에 각 채널의 "볼륨"을 듣습니다. 중요한 정보가 파괴되지 않도록 작은 공간에 더 잘 들어맞도록 시끄러운 채널의 볼륨을 약간 낮춥니다.

3. 결과: 더 작은 크기, 동일한 품질

이 논문은 작음에서 중간 - 대형에 이르는 다섯 가지 다른 AI 모델에서 이 새로운 방법을 테스트했습니다.

"최적의 지점": 특정 압축 수준 (가중치당 약 5.5 비트) 에서 QAM-W 는 원래 압축되지 않은 모델과 거의 동일한 결과를 달성했습니다.
비교: SmoothQuant라는 인기 있는 경쟁 방법은 동일한 품질을 얻기 위해 약 8.1 비트를 사용해야 했습니다. QAM-W 는 32% 적은 비트를 사용하여 동일한 결과를 얻었습니다.
- 비유: 이는 여행 가방을 싸는 것과 같습니다. SmoothQuant 는 옷을 깔끔하게 넣기 위해 큰 가방이 필요합니다. QAM-W 는 옷을 매우 효율적으로 접어 훨씬 작은 가방에 정확히 같은 양을 넣을 수 있게 합니다.

4. 하지 않는 것 (한계)

이 논문은 무엇을 주장하지 않는지에 대해 매우 구체적입니다:

가장 작지는 않음: 모델을 더 축소해 보려고 하면 (4 비트까지), QTIP이라는 다른 방법이 실제로 더 잘 작동합니다. QAM-W 는 "매우 작은" 범주가 아닌 "중간 - 작은" 범위 (5~6 비트) 에서의 챔피언입니다.
저장 대 속도: 이 논문은 모델이 하드 드라이브나 메모리에 얼마나 많은 공간을 차지하는지 측정합니다. 실시간으로 이러한 압축된 숫자를 실제로 사용할 소프트웨어가 아직 구축 중이기 때문에, 컴퓨터 칩에서 모델이 더 빠르게 실행된다고 주장하지는 않습니다.

요약

QAM-W는 AI 모델을 위한 새로운 "포장 기술"입니다. 데이터가 쌍으로 존재한다는 것을 인식하고, 이를 더 나은 형태로 회전시키며, 볼륨을 조정함으로써 AI 모델을 약 3 분의 1 로 축소하면서도 똑똑함을 잃지 않게 합니다. 이는 특정 크기 범위에서 가장 잘 작동하는 전문 도구로, 기존 방법들에 비해 저장 공간을 크게 절약해 줍니다.

기술 요약: QAM-W

문제 정의

대형 언어 모델 (LLM) 을 위한 현재 사후 학습 양자화 (post-training quantization) 방법들은 주로 스칼라 방식에 의존하며, 각 가중치를 독립적으로 정수 인덱스로 매핑합니다. 단순하지만, 스칼라 코딩은 가중치 행 내부에 내재된 쌍별 좌표 구조를 무시합니다. 저자들은 가중치 행 내에서 좌표들은 일반적으로 상관관계를 가지며, 직교 회전 (orthogonal rotation) 후 이러한 좌표들은 2 차원 원형 가우시안 분포에 근사한다고 주장합니다. 스칼라 코드북은 이러한 구조를 활용하지 못해 "비율 - 왜곡 여유 (rate-distortion slack)"를 남기는데, 이는 독립적인 스칼라가 아닌 평면상의 점으로 쌍을 공동 양자화함으로써 회수할 수 있습니다.

기존 접근법들은 이 문제의 일부만을 해결합니다: 회전 기반 방법들 (예: QuIP, QuIP#) 은 좌표의 크기를 균일하게 하지만 종종 스칼라 또는 격자 코딩에 의존합니다; 활성화 인식 방법들 (예: AWQ) 은 활성화 크기에 따라 채널을 스케일링하지만 공동 좌표 구조는 변경하지 않습니다. 본 논문은 회전, 공동 2 차원 코딩, 그리고 활성화 인식 스케일링을 결합한 코덱이 더 낮은 비트레이트에서 더 높은 품질을 달성할 수 있다고 가정합니다.

방법론: QAM-W 코덱

저자들은 QAM-W(가중치를 위한 직교 진폭 변조) 를 소개합니다. 이는 다음 파이프라인을 통해 행별로 가중치 행렬을 처리하는 코덱입니다:

크기와 방향의 분리: 행 노름 ( $r = \|w\|_2$ ) 을 메타데이터로 기록합니다. 행을 단위 벡터 $u$ 로 정규화합니다.
결정론적 회전: 정규화된 행에 부호 마스킹 블록-해다마드 회전 (sign-masked block-Hadamard rotation) 을 적용합니다 ( $y = R_{fwd} u$ ). 이 회전은 실수 연산에서 정확한 등거리 변환 (isometry) 이므로 수학적 왜곡을 도입하지 않지만, 좌표의 일관성을 줄이기 위해 에너지를 재분배합니다.
쌍화 및 보정: 인접한 회전된 좌표들을 복소수 값으로 그룹화합니다 ( $z_k = y_{2k} + i y_{2k+1}$ ). 각 쌍은 쌍의 평균 진폭에서 경험적으로 추정된 보정 인자 $\sigma_k$ 로 스케일링되며, 이를 원형 가우시안으로 모델링합니다.
공동 2 차원 양자화: 진폭과 위상을 독립적으로 양자화하는 (극좌표 코딩) 대신, QAM-W 는 각 정규화된 쌍을 단위 원형 가우시안 분포에서 훈련된 단일 2 차원 Lloyd-Max 코드북의 가장 가까운 중심점 (centroid) 으로 매핑합니다.
활성화 인식 스케일링: 코덱 오차를 레이어의 출력 민감도와 일치시키기 위해, 양자화 전에 채널별 스케일링 인자 ( $s_j \propto r_j^\alpha$ ) 를 적용합니다. 여기서 $r_j$ 는 입력 채널 활성화의 RMS 입니다. 이는 AWQ 의 논리에 따라 고-RMS 채널의 기여도를 감쇠시킵니다.
디코딩: 디코더는 과정을 역으로 수행합니다: 인덱스를 언패킹하고, 중심점을 조회하며, $\sigma_k$ 로 재스케일링하고, 역회전을 적용한 후 저장된 행 노름을 곱합니다.

저자들은 회전은 등거리 변환이며, 고정된 비트레이트에서 극좌표 코딩보다 공동 2 차원 코딩이 왜곡을 더 최소화하며, 레이어 출력 오차는 트레이스 항등식 ( $\|X\Delta W^\top\|_F^2 = \text{Tr}(\Delta W \hat{M}_x \Delta W^\top)$ ) 에 의해 지배되어 활성화 인식 스케일링을 동기부여한다는 복합 상한 체인을 통해 시스템을 분석합니다.

주요 기여

코덱 설계: 활성화 인식 스케일링을 갖춘 LLM 가중치를 위한 행 노름 분해, 블록-해다마드 회전, 공동 2 차원 Lloyd-Max 코덱.
이론적 분석: 코덱 왜곡 (Lloyd 왜곡 $D_B$ ) 과 BF16 및 양자화된 모델 간의 Kullback-Leibler (KL) 발산을 연결하는 복합 단조 상한. 이 상한은 실현된 KL 이 코덱 왜곡과 유사하게 방법들을 순위 매길 것임을 시사합니다.
교차 모델 실증 연구: 4 개 계열 (11 억~130 억 파라미터) 의 5 개 LLM 과 8 가지 양자화 구성에 대한 평가.
순위 상관관계 발견: 37 가지 (방법, 모델) 구성에서 쌍별 KL 발산과 $\Delta$ PPL% 가 스피어만 $\rho = 0.99$ 로 순위 상관관계를 보임을 입증하여, 양자화 품질 진단 도구로서 KL 의 사용을 검증했습니다.

결과

평가에는 세 가지 지시어 튜닝 모델 (TinyLlama-1.1B, Qwen2.5-3B, Mistral-7B) 과 Llama-2-7B 에 대한 최첨단 비교가 포함됩니다.

약 5.5 bpw 의 품질: 활성화 인식 변형인 QAM-W(QAM-W-5.5) 는 모든 테스트 모델에서 BF16 퍼플렉시티의 ±0.4% 이내에 머뭅니다. 이는 약 8.1 bpw 에서 작동하는 SmoothQuant W8A8의 품질 범위와 일치하지만, 약 32% 적은 가중치 비트로 달성합니다.
공동 2 차원 대 극좌표: 동등한 비트레이트 (약 4 bpw) 에서, 공동 2 차원 코딩 (QAM-W-4) 은 양자화 허용 모델 (TinyLlama, Mistral) 에서 $\Delta$ PPL 기준으로 극좌표 기준선 (QAM-W-polar) 보다 1~3 퍼센트 포인트 (pp) 더 우수하며, 양자화 민감한 Qwen2.5 에서는 14.6 pp 더 우수합니다.
QTIP 와의 비교: 엄격한 4 bpw 에서 QTIP 방법 (E8 격자 트레리스 사용) 이 QAM-W 보다 우수합니다. 저자들은 QAM-W 의 기여도가 엄격한 4 bpw 최전선이 아닌 5~6 bpw 품질 보존 밴드임을 명시적으로 밝힙니다.
저비트 변형: 3.5 bpw 변형 (QAM-W-3.5) 은 양자화 허용 아키텍처 (예: Mistral 7B, +1.98% $\Delta$ PPL) 에서는 경쟁력이 있지만, GPTQ 에 비해 민감한 모델 (Qwen 2.5, +7.5% $\Delta$ PPL) 에서는 성능이 떨어집니다.
하류 작업: 이 코덱은 6 가지 하류 작업 (PIQA, HellaSwag 등) 과 MMLU 에서 성능을 유지하며, QAM-W-5.5 는 모든 모델에서 MMLU 에서 BF16 을 0.2 pp 이내로 따라잡습니다.

중요성과 주장

본 논문은 QAM-W-5.5가 가중치 저장 및 메모리 대역폭 (32% 적은 비트) 을 현저하게 줄이면서도 퍼플렉시티나 하류 작업 정확도를 희생하지 않고, 현재 최첨단인 SmoothQuant W8A8 대비 LLM 압축을 위한 품질 보존 선택지임을 주장합니다.

저자들은 주장의 범위에 대해 겸손합니다:

엄격한 4 bpw 에서의 우월성을 주장하지 않으며, 해당 영역에서 QTIP 의 우세를 인정합니다.
현재 파이프라인은 행렬 곱셈 전에 가중치를 BF16 으로 디양자화하므로, 보고된 비트 - 퍼 - 가중치 (bpw) 절감은 저장 및 메모리 대역폭에 적용되며, 퓨즈드 커널이 구현될 때까지는 추론 지연 시간에는 적용되지 않는다고 지적합니다.
연구는 표준 어텐션을 가진 밀집 디코더 전용 트랜스포머로 제한되며, 최신 아키텍처 (예: Gemma 2, Llama 3) 나 700 억+ 파라미터 규모로의 확장은 향후 과제로 남깁니다.
코드북은 checkpoint 당 경험적 분포가 아닌 합성 단위 원형 가우시안에서 훈련되지만, 저자들은 학습된 코드북이 추가적인 이득을 가져올 수 있다고 제안합니다.

요약하자면, QAM-W 는 회전 및 활성화 인식 스케일링과 결합된 공동 2 차원 코딩을 통해 가중치의 쌍별 좌표 구조를 복원함으로써, 5~6 bpw 영역에서 고정밀 양자화를 가능하게 하여 4 비트 방법의 효율성과 8 비트 방법의 품질 사이의 간극을 메운다는 것을 보여줍니다.