기술 요약: 극저비트 LLM 양자화를 위한 영향력 기반 스펙트럼 회전

문제 제기

본 논문은 대규모 언어 모델 (LLM) 에 대한 극저비트 가중치 전용 양자화(특히 W2A16, 2 비트 가중치, 16 비트 활성화) 의 과제를 다룹니다. 이러한 극저 비트 폭에서 표준 양자화 방법 (예: 범용 Intel Auto-Round) 은 상당한 재구성 오차를 겪어 WikiText-2 와 같은 벤치마크에서 퍼플렉시티 (PPL) 가 급격히 증가합니다. 핵심 어려움은 '양자화 노이즈 예산'에 있습니다. 2 비트만 사용 가능한 경우 반올림 오차가 크며, 표준 그룹별 양자화는 가장 중요한 채널을 우선시하지 못해 모델 성능이 심각하게 저하됩니다. 이는 특히 MLP 레이어가 넓거나 특정 아키텍처 제약 (예: Qwen3 스타일 어텐션) 이 있는 모델에서 두드러집니다.

방법론

제안된 방법인 BBT-spectral은 표준 재구성 오차 양자화기 (Intel Auto-Round) 에 전달하기 전에 선형 레이어에 고정된 수학적으로 불변인 사전 양자화 변환을 적용합니다. 이 접근법은 불리언 영향력 (Boolean influence) 과 월시 - 해다마드 (Walsh-Hadamard) 기하학에 관한 동반 이론 논문에서 영감을 받았지만, 실수형 LLM 레이어에는 휴리스틱하게 적용됩니다.

1. 핵심 변환

이 방법은 선형 레이어의 가중치 행렬 $W$와 입력 $x$에 적용되는 두 단계로 구성됩니다:

1. 스펙트럼 회전: 입력을 고정된 직교 행렬 $Q = H_{dpad}/\sqrt{dpad}$를 사용하여 월시 - 해다마드 (Walsh-Hadamard) 기저로 회전합니다. 여기서 $H$는 월시 - 해다마드 행렬이며, $dpad$는 다음 2 의 거듭제곱으로 제로 패딩된 차원입니다.
2. 좌표별 스케일링: 회전된 가중치 행렬의 열을 대각 행렬 $D = \text{diag}(s)$로 스케일링합니다. 여기서 스케일 인자 $s_\ell$은 입력 좌표의 스펙트럼 활성화 에너지에서 유도됩니다.
   • 스펙트럼 에너지 대리 변수 $\rho_\ell$은 WHT 회전 후 $\ell$번째 좌표의 기대 제곱 크기로서 계산됩니다: $\rho_\ell = E[h_\ell^2] / \sum E[h_k^2]$.
   • 스케일링 인자는 $s_\ell = (1 + d_{pad} \cdot \rho_\ell)^\alpha$로 정의되며, 여기서 $\alpha = 0.5$입니다.

수학적 불변성: 이 변환은 고정밀도에서 정확한 항등식입니다 ($x W^T = (x Q D^{-1}) (D Q^T W^T)$). 스케일링은 양자화 전에 고에너지 채널을 '부스팅'하고, 역양자화 후 이를 다시 나누어 정수 반올림 예산을 더 많은 스펙트럼 신호를 운반하는 채널로 편향시킵니다.

2. 아키텍처 확장

기본 레시피는 특정 어텐션 메커니즘을 가진 모델에서 초기에 실패했습니다. 논문은 이러한 경우를 처리하기 위해 세 가지 확장을 도입합니다:

• Spectral-PCA (Qwen3 스타일용): $q\_norm/k\_norm$ 레이어를 가진 아키텍처 (예: Qwen3) 의 경우, 표준 입력 측 스케일링이 노름의 분모를 깨뜨립니다. 저자들은 노름을 Matrix-Γ RMSNorm으로 대체하여 헤드별 PCA($U_h$) 를 통해 투영 가중치를 회전시키고, 대각 행렬 $\Gamma_h$를 적용하여 원래의 출력을 정확히 복원합니다.
• Pair-PCA (RoPE-교환 가능 아키텍처용): $q\_norm$이 없는 모델 (예: Llama, SmolLM, Qwen2.5) 의 경우, 회전은 회전 위치 임베딩 (RoPE) 과 교환 가능해야 합니다. RoPE 가 2 차원 회전으로 작용하므로, 이 방법은 각 RoPE 쌍에 대해 제약된 SO(2) PCA를 계산하여 가중치 행렬을 활성화 분산과 정렬되도록 2 차원 평면에서 회전시킴으로써 RoPE 불변성을 깨뜨리지 않습니다.
• MoE 인지 흡수: 합성 Laguna 모델에 대한 '아키텍처 퍼징 (fuzzing)'을 통해 식별된 수정 사항으로, 비선형성 누출을 방지하기 위해 표준 $q/k/v\_proj$에 $g\_proj$(헤드 게이트) 를 입력 측 흡수 목록에 추가합니다.

주요 기여

1. 드롭인 스펙트럼 변환: 경사 기반 회전 학습 없이 W2A16 양자화를 개선하는 원칙적이고 학습되지 않은 사전 양자화 단계 (WHT 회전 + 에너지 기반 스케일링).
2. 실증적 검증: 범용 Auto-Round 대비 네 가지 모델 (SmolLM-135M/360M, Qwen2.5-0.5B/1.5B) 에서 WikiText-2 PPL 을 15–58% 감소시켰음을 입증했습니다. 가장 큰 개선은 범용 베이스라인이 가장 심하게 저하된 모델에서 관찰되었습니다 (예: Qwen2.5-0.5B 는 57.9% 개선).
3. 아키텍처 일반화: Spectral-PCA 와 Pair-PCA 를 통해 복잡한 아키텍처 ($q\_norm$이 있는 Qwen3, RoPE 중심 모델) 로 성공적으로 확장하여 이전의 실패 모드를 해결했습니다.
4. 비트 폭 제거 분석: 이 방법의 성과가 슈르 볼록성 (Schur-convexity) 일관성을 보임을 입증했습니다. 이득은 양자화 노이즈 예산에 비례하여 증가합니다. 이 방법은 W2 에서 막대한 이득을 제공하지만 W4 에서는 무시할 수 있는 (노이즈 바닥) 개선만 보여 극저비트 영역을 대상으로 함을 확인시켜 줍니다.
5. 공학적 견고성: 추가 런타임 연산자를 도입하지 않으며 (모든 변환이 가중치에 접힘됨) Intel NPU, GPU, CPU 전반에서 장치 불변의 PPL 을 유지함을 검증했습니다.

결과

• 성능:
  • SmolLM-135M: PPL 이 81.03 에서 45.11 로 감소 (−44.3%).
  • Qwen2.5-0.5B: PPL 이 119.31 에서 50.22 로 감소 (−57.9%).
  • Qwen2.5-1.5B: PPL 이 36.93 에서 28.16 로 감소 (−23.7%).
  • Qwen3-0.6B: Spectral-PCA 사용 시 PPL 이 136.76 (범용) 에서 88.99 로 감소 (범용 대비 35% 개선).
• 처리량: 접힌 가중치는 표준 밀도 트랜스포머 그래프를 생성합니다. 처리량은 범용 베이스라인과 유사하며 (±15% 이내), 추가 런타임 오버헤드가 없습니다.
• 노이즈 바닥: W4 에서의 개선은 +0.06 PPL 이었으며 (통계적으로 유의미하지 않음), 이 방법이 극저비트 영역에 특화되어 있음을 확인시켜 줍니다.

주장 및 한계 (저자의 어조)

저자들은 이를 이론적 돌파구가 아닌 응용 공학 논문으로 명시적으로 규정합니다:

• 공식적 동등성 부재: 여기서 사용된 실수형 WHT 활성화 에너지가 동반 이론 논문에서 정의된 불리언 영향력과 공식적으로 동등하다고 주장하지 않습니다. 연결은 직관적이고 정성적입니다 (좌표별 스펙트럼 질량). 공식적인 정리 이전이 아닙니다.
• 통계적 유의성 부재: 결과는 단일 시드 (single-seed) 입니다. ±0.5 PPL 미만의 차이는 평가 노이즈로 간주됩니다.
• 베이스라인 범위: 비교는 범용 Auto-Round에 대해 수행됩니다. 이 논문은 AWQ, GPTQ, SpinQuant, QuaRot 와 같은 다른 강력한 저비트 베이스라인보다 우월하다고 주장하지 않습니다. 직접 비교는 향후 작업으로 미루어집니다.
• 범위: 이 방법은 '드롭인' 휴리스틱입니다. 모든 양자화 문제를 해결한다고 주장하지 않으며, 특히 '슈르 볼록성' 논증이 실수형 설정에 대한 휴리스틱 가이드일 뿐 이를 위한 증명된 정리가 아님을 명시합니다.

주요 기여는 다양한 모델 계열에서 W2 에서 유의미한 실증적 승리를 가져오는 작고 원칙적이며 수학적으로 정확히 불변인 변환이며, 표준 반올림이 실패하는 극저비트 배포를 위한 실용적인 해결책을 제공합니다.