High-Rate Quantized Matrix Multiplication I

기술 요약: 고율 양자화 행렬 곱셈 I

문제 제기
본 논문은 대규모 언어 모델 (LLM) 의 효율적인 배포에 필수적인 연산인 양자화 행렬 곱셈 (MatMul) 문제를 다룹니다. 저자들은 인자들에 대한 구체적인 사전 통계적 지식 (보정) 없이 두 행렬 (가중치 및 활성화) 을 모두 양자화해야 하는 "범용 행렬 곱셈 (Generic MatMul)" 설정에 초점을 맞춥니다. 핵심 과제는 양자화율 (항당 비트 수, $R$) 과 행렬 곱에서 발생하는 왜곡 (오차) 사이의 근본적인 정보 이론적 트레이드오프를 규명하는 것입니다. 본 논문은 $N$개의 항을 가진 벡터를 전역적으로 $NR$비트로 인코딩하는 정보 이론적 정의와 각 항을 개별적으로 또는 소그룹 단위로 양자화하는 AI 에서의 실용적 정의 사이를 구분합니다.

방법론 및 이론적 프레임워크
본 분석은 양자화 잡음이 신호보다 현저히 약하다고 가정하는 고율 양자화 이론에 의존합니다 ($R$이 충분히 큰 경우). 이러한 가정 하에서 양자화 오차는 가산적이고 독립적이며 균일하게 분포된 잡음으로 모델링됩니다. 또한 저자들은 왜곡 분석을 단순화하기 위해 $O(2^{-4R})$ 차수의 "선형 축소 (linear shrinkage)" 효과를 무시합니다.

본 논문은 인코더와 디코더를 포함하며 공유 무작위성 (공개 동전) 을 활용할 수 있는 속도-$R$ 양자화 기법을 사용하여 문제를 형식화합니다. 그리고 두 가지 설정에서 성능을 평가합니다:

1. 최악의 경우: 행렬 $A$와 $B$는 유계 $\ell_2$ 노름을 가지지만 분포에 대한 가정은 없습니다.
2. 평균 경우 (가우시안): $A$와 $B$의 항들은 독립적이고 동일하게 분포된 (i.i.d.) 가우시안입니다.

주요 기여 및 결과

1. 범용 행렬 곱셈에 대한 근본적 한계:
   본 논문은 범용 행렬의 경우, 곱 $A^\top B$의 $(i,j)$번째 항에 대한 기대 왜곡 최소값이 다음과 같이 특징지어짐을 확립합니다:
   $$D^*_{ij} = \frac{\|a_i\|^2 \cdot \|b_j\|^2}{n} \cdot 2 \cdot 2^{-2R}$$
   여기서 $a_i$와 $b_j$는 각각 $A$와 $B$의 열이며, $n$은 차원입니다. 이 상한은 가우시안 입력에 대해 엄밀함이 입증되었습니다. 저자들은 무작위화되지 않은 기법이나 단순한 스케치 접근법은 일반적으로 차원 $n$에 비례하는 왜곡 ($\Omega(n)$) 을 겪는 반면, 무작위화 (무작위 회전/디더) 와 격자 양자화를 결합한 기법은 근본적 한계를 달성할 수 있음을 보여줍니다.

2. 인기 있는 양자화 기법에 대한 분석:
   저자들은 널리 사용되는 기법들의 왜곡에 대한 정확한 휴리스틱 근사식을 유도하여 $K(i,j) \cdot 2 \cdot 2^{-2R_{\text{eff}}}$ 형태로 표현하며, 여기서 $R_{\text{eff}}$는 비트 단위의 "유효 속도"입니다.

   • INT 승수 (absmax): 표준 INT$M$과 absmax 스케일링의 경우, 유효 속도는 $R_{\text{eff}} \approx M - \frac{1}{2}\log_2(\frac{2 \ln n}{3})$입니다. 이는 $\ell_\infty$ 스케일링 인자로 인한 상당한 속도 패널티를 나타냅니다. 본 논문은 양자화 전에 무작위 회전 (예: Hadamard 변환) 을 적용하면 왜곡 인자 $\Delta_{\text{INT}}$가 $2 \ln n$ 주변으로 집중되도록 줄여주므로, INT 양자화에 있어 회전이 필수적임을 보여줍니다.
   • 부동소수점 (FP) 승수: "무한 지수 독립 잡음 (IEIN)" 모델을 사용하여, $M$비트의 가수부를 가진 FP 의 경우 $R_{\text{eff}} \approx M + 2.23$비트임을 유도했습니다. INT 와 달리, 이 분석은 FP 양자화의 경우 무작위 회전이 종종 불필요하며 오히려 해로울 수 있음을 시사합니다. 특정 분포의 경우 회전 없이 왜곡 인자 $\Delta_{\text{FP}}$가 1 보다 작아지는 경향이 있기 때문입니다.
   • 다중 스케일 포맷 (NVFP4/NVINT4): 본 논문은 그룹 스케일링을 사용하는 4 비트 포맷 (NVFP4, NVINT4) 을 분석합니다. NVFP4 는 유효 속도가 약 3.24 비트인 1 가수부 비트 기법과 유사하게 작동하는 반면, NVINT4 는 신중하게 관리되지 않는 한 표준 INT 와 동일한 스케일링 패널티를 겪는다고 주장합니다.
   • NestQuant: 저자들은 $E_8$ 격자 (nested lattice codes) 와 스케일 뱅크를 활용하는 NestQuant 프레임워크를 검토합니다. NestQuant 는 유사한 비트율에서 INT 및 FP 기법을 크게 능가하며 약 0.6 비트의 추가 정확도를 달성한다고 지적합니다.

3. 실증적 검증:
   Llama3-8B 의 15 번째 계층에서 가져온 활성화 행렬을 사용하여 본 논문은 이론적 근사식을 검증합니다.

   • 유도된 INT 및 FP 왜곡 공식은 실험적 Root Mean Squared Error (RMSE) 측정치와 놀라울 정도로 잘 일치합니다.
   • 히스토그램은 무작위 회전이 INT 양자화의 왜곡 인자 분산을 극적으로 줄이지만, FP 양자화에는 종종 부정적인 다른 영향을 미친다는 것을 확인시켜 줍니다.
   • $R=4.5$비트에서의 비교는 NestQuant 가 NVINT4 및 NVFP4 모두를 크게 능가함을 보여줍니다.

의의 및 주장
본 논문은 보정 통계 자료가 없는 범용 양자화 MatMul 에 대한 최초의 정보 이론적 벤치마크를 제공한다고 주장합니다. 주요 의의는 근본적 한계와 제한적인 실용적 접근법 (표준 INT/FP 포맷 등) 사이의 격차를 정량화하는 데 있습니다.

저자들은 고율 가정이 매우 낮은 비트율 ($R < 2$) 에서는 성립하지 않을 수 있지만, LLM 에서 일반적으로 사용되는 속도 (예: 4~8 비트) 에 대해서는 충분히 정확한 식을 제공한다고 강조합니다. 이 연구는 현재 양자화 전략을 평가하기 위한 이론적 기반을 제공하며, 다음과 같은 점을 강조합니다:

• 무작위 회전은 근본적 한계에 근접하기 위한 INT 양자화의 핵심 구성 요소입니다.
• FP 양자화는 다르게 작동하며, 회전이 유익하지 않을 수 있습니다.
• 표준 기법과 이론적 최적치 사이에는 상당한 성능 격차가 존재하며, NestQuant 와 같은 고급 기법을 통해 이를 좁힐 수 있습니다.

본 논문은 이 작업의 제 2 부가 활성화의 2 차 통계량이 이용 가능한 가중치 전용 양자화 설정을 다룰 것이라고 결론지으며 끝납니다.