1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 을 소비자용 하드웨어나 엣지 디바이스에 배포하기 위해서는 모델 가중치의 압축이 필수적입니다.

• 메모리 제약: 90 억 파라미터 모델의 FP16 정밀도 버전은 약 18GB 의 GPU 메모리가 필요하여, 대부분의 소비자용 GPU 를 초과합니다. 4 비트 정밀도 (INT4) 로 양자화하면 5~6GB 로 줄어 배포가 가능해집니다.
• 기존 방법의 한계: 가장 널리 쓰이는 Absmax(절대값 최대) 양자화는 가중치 분포를 균일하다고 가정합니다. 그러나 실제 LLM 가중치는 균일하지 않고 중심에 밀집된 (고밀도) 분포를 가지며, 극단적인 값 (Outliers) 이 존재합니다.
  • Absmax 는 희귀한 Outlier 를 표현하기 위해 코드북 엔트리를 낭비하고, 고밀도 영역의 양자화 오차를 집중시킵니다.
  • GPTQ 나 AWQ 와 같은 기존 고급 방법은 캘리브레이션 데이터 (Calibration Data) 가 필요하거나 계산 비용이 높다는 단점이 있습니다.

2. 방법론 (Methodology)

저자들은 PolarQuant라는 새로운 포스트 트레이닝 가중치 양자화 기법을 제안합니다. 이 방법은 가중치 분포의 구조적 특성을 활용하여 거의 손실 없는 (near-lossless) 압축을 달성합니다.

핵심 아이디어

LLM 의 가중치 블록을 **블록 단위 정규화 (Block-wise Normalization)**와 **Hadamard 회전 (Hadamard Rotation)**을 거치면, 가중치 좌표가 **독립적이고 동일한 분포 (i.i.d.) 를 따르는 표준 정규 분포 (Gaussian)**로 근사된다는 통찰을 기반으로 합니다.

3 단계 프로세스

1. 블록 단위 정규화: 가중치 텐서를 크기 $d=128$의 블록으로 나누고, 각 블록의 $\ell_2$ 노름을 추출하여 단위 초구 (Unit Hypersphere) 로 정규화합니다.
2. Walsh-Hadamard 회전: 정규화된 블록에 Walsh-Hadamard 행렬을 적용합니다.
   • 이론적 근거: 단위 구面上的 균일 분포를 가진 벡터에 Hadamard 회전 (직교 변환) 을 적용하면, 각 좌표는 점근적으로 정규 분포 $N(0, 1/d)$에 수렴합니다. 실제 LLM 가중치에서도 이 근사가 매우 정확합니다.
   • 이 회전은 Outliers 를 모든 좌표에 균일하게 분산시켜 가중치 분포를 가우시안 형태로 만듭니다.
3. 스케일링 및 양자화: 회전된 좌표를 단위 분산 ($N(0, 1)$) 으로 스케일링한 후, Lloyd-Max 알고리즘으로 계산된 가우시안 분포 최적의 중심점 (Centroids) 을 사용하여 양자화합니다.

복원 (Dequantization)

양자화된 코드, 저장된 블록 노름, 그리고 전역 공유된 중심점 테이블을 사용하여 역변환을 수행합니다. Hadamard 행렬은 그 역행렬이 자기 자신 ($H^{-1} = H$) 이므로, 역회전 시 추가 저장 공간이 필요하지 않습니다.

3. 주요 기여 (Key Contributions)

1. 캘리브레이션 데이터 불필요한 거의 손실 없는 압축:
   • Qwen3.5-9B 모델에서 Q5(5 비트) 양자화 시, FP16 대비 퍼플렉시티 (Perplexity) 차이를 +0.02(6.39 vs 6.37)로 줄였습니다. 이는 별도의 캘리브레이션 데이터 없이 달성된 결과입니다.
2. Hadamard 회전의 결정적 역할 (Ablation Study):
   • 성능 향상의 **98%**가 Hadamard 회전 자체에서 비롯된 것으로 확인되었습니다.
   • Lloyd-Max 중심점 (Centroids) 은 Q5 수준에서 추가적인 이득을 거의 주지 못했습니다. 이는 회전만으로도 가중치 분포가 양자화에 최적화된 가우시안 형태로 변환되기 때문입니다.
3. 하류 (Downstream) 양자화기의 전처리 단계로서의 효과:
   • PolarQuant(Q5) 로 복원된 가중치를 다시 INT4 로 양자화 (torchao 사용) 하면, 직접적인 Absmax INT4 양자화보다 퍼플렉시티가 0.12 포인트 더 낮아집니다 (6.56 vs 6.68).
   • 이는 PolarQuant 가 Outliers 를 제거하고 분포를 정규화하여, 후속 양자화기가 더 효율적으로 동작할 수 있도록 '정제 (Denoising)'된 입력을 제공하기 때문입니다.
4. 효율성과 호환성:
   • 모델 로드 시 약 8 초의 일회성 복원 비용만 발생하며, 추론 시에는 추가 오버헤드가 없습니다.
   • NVIDIA GPU 와 Apple Silicon (Mac mini M4) 모두에서 작동하며, MLX 프레임워크와 호환됩니다.

4. 실험 결과 (Results)

• 모델: Qwen3.5-9B (90 억 파라미터)
• 하드웨어: NVIDIA RTX PRO 6000 (Blackwell), Apple Mac mini M4
• 주요 지표 (WikiText-2 기준):
  • FP16 Baseline: PPL 6.37, VRAM 17.9GB, 속도 45.7 tok/s
  • 기존 INT4 (Absmax): PPL 6.68, VRAM 6.3GB, 속도 43.3 tok/s
  • PolarQuant Q5 + torchao INT4: PPL 6.56, VRAM 6.5GB, 속도 43.1 tok/s
    • FP16 대비 오차 감소폭이 기존 INT4 대비 39% 개선됨.
  • Apple Silicon (Mac mini M4): 4.8GB 메모리에서 19.7 tok/s 속도 달성 (PPL 6.90).
• Ablation Study:
  • Hadamard 회전만 적용 시 PPL 6.40 (FP16 대비 +0.03).
  • Lloyd-Max 중심점 추가 시 PPL 6.39 (FP16 대비 +0.02).
  • 회전 없이 Lloyd-Max 만 적용하면 오히려 성능이 저하됨 (PPL 6.91).

5. 의의 및 결론 (Significance)

PolarQuant 는 LLM 양자화 분야에서 다음과 같은 중요한 의의를 가집니다:

• 단순함과 효과의 균형: 복잡한 Hessian 기반 최적화나 대규모 캘리브레이션 없이, **단순한 행렬 곱셈 (Hadamard 회전)**만으로 압도적인 성능 향상을 이끌어냈습니다.
• 분포 기반 접근의 입증: 가중치 분포를 인위적으로 가우시안으로 변환함으로써, 이론적으로 최적화된 양자화 (Lloyd-Max) 를 적용할 수 있는 기반을 마련했습니다.
• 실용적 배포: 90 억 파라미터 모델을 소비자용 GPU 나 애플 실리콘 노트북에서 고품질로 실행할 수 있게 하여, 엣지 AI 배포의 장벽을 낮춥니다.
• 새로운 패러다임: 양자화 전처리 (Preprocessing) 단계로써의 역할을 강조하여, 기존 양자화 도구 (torchao, GGUF 등) 와 쉽게 통합하여 성능을 개선할 수 있음을 보여줍니다.

결론적으로, PolarQuant 는 Hadamard 회전을 통한 가우시안 분포 변환이 LLM 가중치 양자화의 핵심 열쇠임을 증명하며, 캘리브레이션 없이도 FP16 에 근접하는 품질을 유지하면서 메모리 효율을 극대화하는 획기적인 방법론입니다.