기술 요약: 포화(Saturation)가 양자화 오차를 가산적(Additive)으로 만든다

문제 정의

대규모 언어 모델(LLM)을 위한 혼합 정밀도 양자화는 엄격한 메모리 예산 하에서 어떤 레이어나 텐서를 더 높은 정밀도로 유지할지 결정하는 과정이 필요하다. 현재 업계 표준 방법론들(예: HAWQ, ModelOpt, CoopQ)은 구조적 전제에 의존한다. 즉, 특정 레이어 집합의 총 손실은 개별 레이어 또는 쌍별(pairwise) 민감도를 독립적으로 측정하여 재구성할 수 있다는 전제이다. 이러한 방법들은 헤시안 트레이스(Hessian traces), 피셔 점수(Fisher scores), 또는 쌍별 상호작용 항에서 유도된 점수들을 합산하며, 저차원 측정이 결합된 구성의 손실을 예측하기에 충분하다고 가정한다.

그러나 이러한 전제는 현재 배포되고 있는 4비트 가중치 및 활성화 정밀도 수준에서 직접적으로 검증된 바 없다. 손실 함수 $f(S)$를 레이어 집합 $S$를 양자화할 때 발생하는 손실 증가량으로 정의하면, 이는 불리언 큐브(Boolean cube) $\{0, 1\}^L$ 상의 집합 함수이다. 현실적인 모델 깊이에서는 $2^L$개의 모든 구성을 열거하는 것이 불가능하므로 근사치가 필요하다. 핵심 질문은 이 손실 함수의 분산이 1차(레이어별) 효과에 의해 지배되는지, 아니면 고차 상호작용이 가산적 휴리스틱을 무효화할 정도로 유의미한지 여부이다.

방법론

저자들은 월시 변환(Walsh transform, functional-ANOVA decomposition)과 뫼비우스 전개(Möbius expansion)라는 두 가지 고전적인 불리언 큐브 기저 변환을 통해 양자화 손상 $f(S)$의 구조를 분석한다.

1. 분산 분해: 배포 분포 $\mu_p$(각 레이어가 확률 $p=0.6$로 독립적으로 양자화되는 경우) 하에서의 월시 기저를 사용하여, 저자들은 차수별로 $f$의 분산을 분해한다. 정리 1은 최적의 가산적(degree-1) 예측 모델의 평균 제곱 오차가 모든 고차 항(order $\ge 2$)의 분산의 합과 정확히 일치함을 입증한다.
2. 서수 분석(Ordinal Analysis): 남은 고차 에너지가 진정한 레이어 간 결합인지, 아니면 단순히 손실 스케일의 곡률(curvature) 때문인지를 결정하기 위해, 저자들은 "엄격히 증가하는 변환까지의 가산성"을 테스트한다. 저자들은 서수 결함(ordinal defect)—즉, 임의의 가산 지표가 위반하는 쌍별 구성 순위의 최소 비율—을 측정한다. 이는 분할-절반 추정기(split-half estimators)와 매칭된 노이즈 null을 통해 노이즈에 대해 인증된다.
3. 커버리지 모델(The Coverage Model): 저자들은 포화(saturation)에 의해 구동되는 "커버리지 모델"을 제안한다. 양자화 손실은 천장 값 $c$에 의해 제한되므로, "헤드룸(headroom)" $h(S) = c - f(S)$는 레이어가 양자화됨에 따라 감소한다. 이 모델은 각 양자화된 레이어가 남은 헤드룸의 고정된 비율 $a_i$를 소비한다고 가정한다:
   $$f(S) = c \left(1 - \prod_{i \in S} (1 - a_i)\right)$$
   이는 손상이 로그-헤드룸에서 가산적임을 의미한다: $-\log(1 - f(S)/c) = \sum_{i \in S} b_i$.
4. 예측기와 할당기:
   • 가산 모델(Additive Model): 배포 분포로부터 유도된 최적의 1차 예측기.
   • 커버리지 모델(Coverage Model): $L+1$개의 파라미터($c$ 및 break-rates $a_i$)를 가진 파라미터 모델로, 최소 제곱법을 통해 적합된다.
   • 오만-샤플리 추정기(Aumann–Shapley Estimator): 레이어별 유효 밀도에서 최적의 가산 계수를 복구하는 fit-free 경로 적분(path integral)으로, 레이어의 순위가 커버리지 모델 하에서 정확하게 보존됨을 증명한다.
   • 할당(Allocation): 두 모델 모두 예측된 한계 손상을 기반으로 나프색(knapsack) 문제를 해결하여 메모리 예산 내에서 $\Delta$LCE를 최소화하는 할당기로 변환된다.

주요 결과

1. 1차 효과의 지배성

배포 분포에서 추출된 구성들에 대해, **85–93%**의 양자화 손실 분산이 레이어별 효과만으로 설명된다. 노이즈 보정이 포함된 엑스액트 래티스(exact lattices, 모든 $2^L$ 구성이 측정된 경우)에서는 이 수치가 **98–99%**까지 상승한다. 설명되지 않는 고차 분산은 가산 모델이 도달할 수 있는 최적의 성능에 대한 "인증서" 역할을 한다.

2. 포화가 구조를 설명한다

남은 고차 에너지는 복잡한 레이어 간 결합을 나타내는 것이 아니라, 손실 함수의 포화를 나타낸다.

• 서수 결함: 손상은 레이어별 항들의 합에 대한 단조 변환($f(S) \approx g(\sum b_i)$)으로 잘 근사된다. 측정된 서수 결함은 최대 2% 미만(종종 0과 구별할 수 없음)이며, 이는 겉보기의 비가산성이 레이어 간의 상호작용이 아니라 손실 스케일의 곡률 때문임을 나타낸다.
• 뫼비ウス 스펙트럼: 커버리지 모델은 계수가 부호가 교차하고 크기가 증가하는 특정 뫼비우스 스펙트럼을 예측하며, 이로 인해 저차 절단(low-order truncation)이 실제 손실보다 최대 32배까지 과대 계산된 후 수렴하게 된다. 이러한 동작은 엑스액트 래티스에서 경험적으로 확인되었다.

3. 고립된 민감도의 실패

고립되어 측정된 민감도(예: HAWQ-v2의 헤시안 트레이스)는 양자화되지 않은 네트워크($p \to 0$)에 고정되어 있다. 커버리지 모델 하에서, 이러한 고립된 기울기는 인컨텍스트(in-context) 기울기와 비교했을 때 닫힌 형태의 인자(closed-form factor)에 의해 팽창된다:
$$\frac{s_i}{w_i} \approx e^{p \sum_j a_j}$$
이는 고립된 민감도를 합산할 때 구성 손실을 **71–376%**만큼 잘못 가격 책정하게 만든다. 이 팽창은 양자화된 레이어의 수에 따라 기하급수적으로 증가한다.

4. 예측기 및 할당기 성능

• 예측: 가산 모델과 커버리지 모델(L+1 파라미터)은 작은 측정 예산($N \approx L$)에서 블랙박스 대리 모델(Random Forests, Gaussian Processes, RBF kernels)보다 우수하거나 대등한 성능을 보인다. 결정적으로, 이들은 과하게 양자화된 구성으로 외삽(extrapolate)할 때 최대 2배까지만 성능이 저하되는 반면, 가우시안 프로세스는 스테이셔너리 커널(stationary kernel)이 포화 구조를 인코딩하지 못해 2–5배 더 크게 저하된다.
• 할당: 매칭된 메모리 예산에서, 제안된 할당기들은 0.6B에서 355B 파라미터에 이르는 모델 범위에서 비교된 모든 방법(민감도 기반, 구조적, 대리 모델 기반) 중 가장 낮은 KL 발산(KL divergence)을 달rem한다.
  • Qwen3-30B에서 프로덕션 모델인 ModelOpt 베이스라인보다 17–21% 낮은 KL 발산을 달성했다.
  • Qwen3-235B 및 GLM-4.6(355B)에서는 **13–37%**의 마진을 보였다.
• Sub-4-bit 영역: 4비트 미만에서 표준 할당기들은 종종 생성(generation)을 종료하지 못하는 경우가 발생한다. 적합된 모델로부터 유도된 제안된 할당 방식은 다른 방법들이 붕괴하는 유효 비트 폭에서도 추론 능력을 보존한다.

의의 및 주장

본 논문은 양자화의 겉보기 비가산성과 레이어별 휴리스틱의 성공 사이의 긴장을 해결하는 양자화를 위한 **닫힌 형태의 이론(closed-form theory)**을 제공한다고 주장한다.

• 이론적 기여: 포화가 어떻게 집중된 월시 스펙트럼(1차 차수의 지배성)과 발산하는 뫼비우스 스펙트럼(상호작용의 과대 계산)을 동시에 생성하는지 증명한다. 또한, 배포 전 가산 모델의 한계를 정량화하는 인증 항등식(정리 1)을 제공한다.
• 실질적 영향: 기존의 "고립 후 합산" 휴리스틱이 앵커 편향(anchor bias)으로 인해 손실을 수 배로 과대평가한다는 점이 근본적으로 잘못되었음을 입증한다. 제안된 커버리지 모델과 오만-샤플리 추정기는 쌍별 샘플링 없이도 더 정확하고 해석 가능하며 계산 효율적인 대안을 제공한다.
• 강건성: 이 방법론들은 다양한 모델 규모(0.6B ~ 355B), 아키텍처(Dense 및 MoE), 태스크(추론, 코드, 이미지 생성)를 통해 검증되었다. 저자들은 결과적인 할당 방식이 다른 방법들이 실패하는 sub-4-bit 예산에서도 추론 작업을 안정적으로 수행하는 첫 번째 방식이라고 주장한다.

저자들은 양자화에 흔히 귀속되는 "상호작용"이 실제로는 손실 스케일의 곡률에 의한 인공물(artifact)이라고 결론짓는다. 이 포화를 명시적으로 모델링함으로써, 단순하고 해석 가능하며 인증 가능한 예측기를 통해 최적의 할당을 달성할 수 있다.