🤖 machine learning

WUSH: Near-Optimal Adaptive Transforms for LLM Quantization

이 논문은 기존의 고정된 방식들과 비교하여 저비트 LLM 양자화 정확도와 처리량을 크게 향상시키기 위해, Hadamard 백본과 데이터 의존적 이계 모멘트 조정을 결합한 근사 최적 적응형 변환인 WUSH를 소개한다.

원저자: Jiale Chen, Vage Egiazarian, Roberto L. Castro, Torsten Hoefler, Dan Alistarh

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiale Chen, Vage Egiazarian, Roberto L. Castro, Torsten Hoefler, Dan Alistarh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 섬세한 도서관(대규모 언어 모델)을 작고 튼튼한 여행 가방(저비트 양자화 형식)에 담아 어디든 들고 다닐 수 있게 만드는 상황을 상상해 보세요. 목표는 내부의 책들을 찌그러뜨리지 않으면서도 가방을 작고 가볍게 만드는 것입니다.

문제는 이 도서관의 책 중 몇 권이 매우 무겁고 모양이 이상하다는 점입니다(이를 '아웃라이어'라고 부릅니다). 만약 표준 줄자를 사용하여 이 책들을 포장하려고 한다면, 이 무거운 책들 때문에 가방 전체의 크기가 그 책들에 맞춰지게 되어, 나머지 책들이 들어갈 공간이 거의 남지 않게 됩니다. 이는 결국 작은 책들이 찌그러지고 세부 사항을 잃게 되는, 지저분하고 비효율적인 포장 작업으로 이어집니다.

기존의 해결책: "일률적인" 회전

이전에 연구자들은 책들을 포장하기 전에 책들을 회전시켜 이 문제를 해결하려 했습니다. 모든 책을 가져와 45도 각도로 돌리는 것(하다마르 회전, Hadamard rotation)을 상상해 보세요. 이렇게 하면 무거운 책의 무게를 가방 전체에 더 고르게 분산시켜 특정 모서리가 찌그러지는 것을 방지할 수 있습니다.

하지만 이 회전 방식은 고정적이었습니다. 무거운 책이 왼쪽에 있든, 오른쪽에 있든, 위나 아래에 있든 상관없이 항상 동일한 회전을 적용했습니다. 이는 데이터에 무관한(data-agnostic) 접근 방식, 즉 가방의 구체적인 내용물에는 눈을 감고 있는 방식였습니다. 효과는 있었지만, '완벽한' 해결책은 아니었습니다.

새로운 해결책: WUSH (스마트한 맞춤 양복사)

이 논문은 당신의 가방을 위한 스마트한 맞춤 양복사 역할을 하는 새로운 방법인 WUSH를 소개합니다. WUSH는 고정된 회전을 사용하는 대신, 지금 포장하고 있는 특정 책들을 살펴보고 그것들을 재배치할 완벽한 방법을 계산합니다.

WUSH가 작동하는 방식은 다음과 같습니다.

스냅샷 촬영: WUSH는 특정 "무게"(책)와 "활성화"(책이 사용되는 방식)를 살펴보고, 정확히 어디에 무거운 아웃라이어가 있는지 파악합니다.
맞춤형 지도 제작: 수학적 공식(폐쇄형, closed-form)을 사용하여 모든 작은 책 그룹마다 고유한 변환 지도를 만듭니다. 이는 두 가지 요소를 결합합니다.
- 표준 회전: 모두가 효과가 있다고 알고 있는 신뢰할 수 있는 45도 회전(하다마르)을 유지합니다.
- 맞춤형 조정: 이 특정 책 그룹의 실제 무게 분포에 따라 배치를 미세하게 조정하는 두 번째 데이터 특화 레이어를 추가합니다.
결과: 이는 무거운 책과 가벼운 책의 균형을 완벽하게 맞추는 비직교(non-orthogonal)(완벽한 정사각형이 아닌) 형태를 만들어냅니다. 이는 수학적으로 허용하는 한 이론적인 완벽한 포장에 가장 근접한 '최적에 가까운(near-optimal)' 방식입니다.

이것이 왜 중요한가요?

더 나은 정확도: 저자들이 Llama-3.1 및 Qwen과 같은 모델에 대해 테스트했을 때, WUSH는 기존의 고정 회전 방식보다 책을 훨씬 더 잘 포장했습니다. 예를 들어, 특정 테스트에서 WUSH는 모델의 '지능'(정확도)을 이전의 최고 방식보다 거의 3포인트나 향상시켰습니다. 이는 AI 분야에서 엄청난 도약입니다.
빠른 속도: 매 그룹마다 맞춤형 지도를 계산하면 느려질 것이라고 생각할 수도 있습니다. 하지만 저자들은 이 맞춤형 포장을 즉각적으로 수행하는 특수한 GPU 엔진(고속 주방)을 구축했습니다. 이 엔진은 기존의 더 단순한 방식만큼 빠르게 작동하며, 표준 고정밀 형식(BF16)보다 최대 5.8배 빠른 속도를 제공합니다.
새로운 형식과의 호환성: 이 논문은 WUSH가 매우 효율적이지만 그동안 무거운 아웃라이어 때문에 사용하기 어려웠던 새로운 실험적 형식(MXFP4 등)에서도 잘 작동함을 보여줍니다.

핵심 요약

WUSH를 기성품 가방에서 당신의 짐에 완벽하게 맞춰지는 3D 프린팅 맞춤형 케이스로 업그레이드하는 것이라고 생각하세요. WUSH는 단순히 물건을 회전시키는 것이 아니라, 낭비를 없애고 찌그러짐을 방지하기 위해 물건 주변의 공간을 재형성합니다.

이 논문은 이 방법이 아웃라이어를 처리하는 수학적으로 거의 최선인 방법임을 입증했으며, 실제 테스트에서 AI 모델을 추가적인 컴퓨팅 파워 없이도 더 작고, 빠르고, 똑똑하게 만든다는 것을 보여주었습니다.

기술 요약: WUSH: LLM 양자화를 위한 최적에 가까운 적응형 변환 (Near-Optimal Adaptive Transforms)

1. 문제 정의

대규모 언어 모델(LLM)의 가중치(weights)와 활성화 함수(activations)를 양자화하는 것은 효율적인 배포를 위한 표준적인 접근 방식입니다. 그러나 핵심적인 어려움은 "아웃라이어(outliers)"—가중치와 활성화 값 중 동적 범위(dynamic range)를 확장시키는 극단적인 값들—에서 발생합니다. 이러한 아웃라이어는 양자화 스케일을 크게 만들어, 결과적으로 저비트 표현의 유효 해상도를 저하시키고 양자화 오차를 증폭시킵니다.

기존의 완화 전략은 양자화 전에 분산을 채널 전체에 더 고르게 분산시키기 위해 선형 변환(예: 회전)을 주로 사용합니다. Hadamard 회전은 경험적으로 효과적임이 입증되었으나, 이는 일반적으로 **고정되어 있으며 데이터에 무관(data-agnostic)**합니다. 즉, 기저에 깔린 가중치나 활성화의 특정 통계 특성에 적응하지 못합니다. 이는 "Hadamard 변환이 데이터에 무관하다면, 어떤 의미에서 양자화를 위한 최적이라고 간주될 수 있는가?"라는 근본적인 질문을 제기합니다. SpinQuant, FlatQuant과 같은 기존 방법들은 캘리브레이션 데이터에 대해 반복적인 최적화(경사 하강법)에 의존하며, 이는 비용이 많이 들고 휴리스틱할 수 있습니다.

2. 방법론

저자들은 공동 가중치-활성화 양자화를 위해 설계된 폐쇄형(closed-form)의 데이터 인식형 블록 단위 선형 변환인 WUSH를 제안합니다. 이 방법은 표준 Round-to-Nearest (RTN) AbsMax-scaled 블록 양자화(FP 및 INT 형식 모두 포함) 하에서 $L_2$ 출력 손실을 최소화하도록 유도되었습니다.

이론적 유도

문제는 가중치 $W$ 와 활성화 $X$ 의 블록에 대한 기대 양자화 오차를 최소화하는 것으로 정식화됩니다. 저자들은 양자화 오차를 확률적으로 모델링합니다:

부동 소수점 (FP)의 경우: 오차는 입력의 절대값에 비례하는 것으로 모델링됩니다 ( $\varepsilon(\alpha) = \text{diag}(\eta)\alpha$ ).
정수 (INT)의 경우: 오차는 그룹 내 최대 절대값에 비례하는 것으로 모델링됩니다 ( $\varepsilon(\alpha) = \|\alpha\|_\infty \eta$ ).

가중치와 활성화 블록의 2차 통계량(공분산)을 분석함으로써, 저자들은 폐쇄형 최적 변환을 유도합니다. $W'$ 와 $X'$ 를 각각 가중치와 활성화의 정규화된 2차 모멘트의 촐레스키 분해(Cholesky decomposition)로부터 유도된 행렬이라고 합시다. $U, S, V$ 를 $W'^\top X'$ 의 특이값 분해(SVD)라고 할 때, 최적의 변환 $T_W$ 와 $T_X$ 는 다음과 같이 구성됩니다:
$T_X = H S^{-1/2} V^\top X'^\top$
$T_W = H S^{-1/2} U^\top W'^\top$
여기서 $H$ 는 정규화된 Hadamard 행렬입니다.

이 구성의 주요 속성:

데이터 인식 (Data-Aware): 고정된 Hadamard 변환과 달리, WUSH는 특정 데이터의 2차 통계량에 의존하는 $S^{-1/2}$ 및 SVD 성분( $U, V$ )을 포함합니다.
비직교성 (Non-Orthogonal): 결과적인 변환은 일반적으로 비직교적이며, 이를 통해 직교 변환이 할 수 없는 방식으로 가중치와 활성화 사이의 스케일을 조절할 수 있습니다.
최적성 (Optimality): 본 논문은 이 구성이 FP 블록 양자화에 대해 증명 가능한 최적이며, INT 블록 양자화에 대해서는 (분포에 따라 $d$ 또는 $d^{o(1)}$ 범위 내에서) 점근적으로 최적임을 증명합니다.

GPTQ와의 통합

이 방법은 GPTQ(Greedy Per-Block Quantization)와 자연스럽게 통합됩니다. GPTQ는 오차 전파를 위해 헤시안(Hessian, 2차 정보)을 활용하므로, WUSH는 동일한 통계량을 사용하여 변환을 구축할 수 있습니다. 저자들은 가중치 업데이트와 변환 구축이 결합된 인터리브드 계산 스케줄을 제안하여, WUSH가 GPTQ와 함께 미미한 추가 오버헤드로 적용될 수 있도록 합니다.

구현

추론 중에 각 블록마다 별도의 변환을 적용해야 하는 과제를 해결하기 위해, 저자들은 **융합된 GPU 커널(fused GPU kernel)**을 구현했습니다. WUSH 변환 행렬은 메모리 대역폭 활용을 극대화하기 위해 $(G, G, C)$ 형태의 전치 레이아웃으로 저장됩니다. 이 커널은 블록 단위 변환을 활성화 양자화와 융합하여, 최적화된 Hadamard 커널과 유사한 처리량을 달면합니다.

3. 주요 기여

폐쇄형 최적 변환: 공동 가중치-활성화 양자화를 위해 FP 및 INT 형식 모두에서 증명 가능한 근사 최적성을 갖는 최초의 폐쇄형 데이터 인식형 선형 변환을 유도했습니다.
이론적 통찰: 본 논문은 Hadamard 회전의 경험적 성공을 명확히 설명합니다. 즉, Hadamard가 효과적인 데이터 무관 직교 변환이기는 하지만, 진정한 오차 최소화를 위해서는 데이터 통계에서 유도된 비직교 성분( $S^{-1/2}$ )이 필요함을 보여줍니다.
효율적인 구현: 추론 속도를 희생하지 않고도 per-block 적응형 변환을 처리하는 특화된 융합 GPU 커널을 통해 고정 변환 베이스라인과 대등한 성능을 구현했습니다.
실험적 검증: 다양한 모델 제품군(Llama, Qwen) 및 양자화 형식(MXFP4, NVFP4, INT4)에 대해 최첨단 베이스라인(Hadamard 기반 MR-GPTQ, SmoothQuant, QuaRot, SpinQuant) 대비 유의미한 정확도 향상을 입증했습니다.

4. 실험 결과

본 논문은 LM Evaluation Harness 및 Platinum Benchmarks를 사용하여 Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct, Qwen3 모델(8B, 14B, 32B)에 대해 WUSH를 평가합니다.

계층별 손실 (Layerwise Loss): WUSH는 MXFP4, NVFP4, INT4 형식 모두에서 Identity, Random Rotation, Hadamard 및 비적응형 변형 모델보다 일관되게 가장 낮은 계층별 RTN 양자화 손실을 달자합니다.
엔드 투 엔드 정확도 (End-to-End Accuracy):
- Llama-3.1-8B-Instruct의 MXFP4 (W4A4) 환경에서, WUSH는 Hadamard 기반 베이스라인(RTN) 대비 평균 +2.8 포인트, GPTQ 대비 +0.7 포인트의 정확도 향상을 보였습니다.
- WUSH는 NVFP와 MXFP 형식 간의 성능 격차를 실질적으로 좁힙니다. 예를 들어, Qwen3-14B에서 WUSH는 NVFP4-MXFP4 평균 격차를 0.36 포인트로 줄였습니다.
- WUSH와 GPTQ를 결합하면 대부분의 벤치마크에서 최고의 결과를 얻으며, 종종 W4A4 설정에서 BF16 성능의 96% 이상을 회복합니다.
처리량 (Throughput): 융합 커널 구현은 RTX 5090 GPU에서 BF16 대비 최대 5.8배의 per-layer 처리량을 제공하며, 최적화된 Hadamard 베이스라인과 비교했을 때 평균 처리량 차이는 1.3%에 불과합니다.
오버헤드: 오프라인 전처리 비용은 표준 GPTQ와 유사합니다. 활성화 측 변환을 위한 저장 오버헤드는 매우 미미합니다 (예: Qwen3-8B의 MXFP4의 경우 약 1.4%).

5. 의의 및 주장

본 논문은 Hadamard 회전이 더 넓은 최적 솔루션의 특정 데이터 무관 성분임을 보여줌으로써 Hadamard 회전의 경험적 성공을 명확히 한다고 주장합니다. 고정된 Hadamard 백본과 데이터 의존적 2차 모멘트 성분을 결합함으로써, WUSH는 증명 가능한 근사 최적의 비직교 변환을 달 p성합니다.

저자들은 자신들의 접근 방식이 휴리스틱이나 반복적인 학습 방법에서 벗어나 원칙적이고 데이터 인식적임을 강조합니다. 저자들은 WUSH가 MXFP 형식을 NVFP와 경쟁 가능하게 만들어, 현재 저정밀도 추론의 핵심적인 한계를 해결한다고 밝힙 있습니다. 이 연구는 원칙적이고 데이터 인식적인 블록 변환이 대규모 LLM 배포에 필요한 효율성을 저해하지 않으면서도 상당한 정확도 향상을 가져올 수 있음을 보여줍니다.