기술 요약: 더 미세할수록 좋은가? 대규모 언어 모델에서 마이크로스케일링 포맷의 한계

문제 정의

대규모 언어 모델(LLM)의 크기와 컨텍스트가 확장됨에 따라, 효율적인 학습 및 추론을 위해 수치 정밀도를 낮추는 것이 필수적이 되었습니다. 하드웨어 벤더들이 FP16에서 FP8을 거쳐 이제 FP4로 이동함에 따라, 8비트 미만으로 정밀도를 낮추는 것은 특히 가중치(weights)와 활성화 함수(activations)를 모두 양자화할 때 상당한 정확도 저하를 야기할 수 있습니다.

마이크로스케일링 포맷(예: MXFP4, NVFP4)은 텐서를 단일 스케일링 인자를 공유하는 작은 블록 단위로 분할함으로써 이 문제를 해결합니다. 이를 통해 퍼 텐서(per-tensor) 또는 퍼 채널(per-channel) 양자화보다 더 세밀한 제어를 수행하여, 공격적인 압축을 달성하면서도 정확도를 유지할 수 있습니다. 그러나 업계의 흐로잉은 양자화 오차를 최소화하기 위해 점점 더 작은 블록 크기를 향해 나아가고 있습니다.

본 논문은 역설적인 현상을 식별합니다: 블록 크기를 특정 임계값 아래로 줄이면 오히려 양자화 오차가 증가하고 모델 성능(perplexity)이 저하될 수 있다는 것입니다. 이러한 "퍼플렉시티 역전(perplexity inversion)" 현상은 더 작은 블록이 더 나은 텐서 표현을 제공한다는 표준적인 기대와 상충됩니다. 저자들은 특히 FP8 unsigned E4M3 스케일을 사용할 때 왜 이러한 현상이 발생하는지 조사하고, 하드웨어 친화적인 해결책을 제안합니다.

방법론

저자들은 사전 학습된 모델에 대한 실험적 분석과 엄격한 이론적 프레임워크를 결합한 이중 접근 방식을 채택했습니다.

1. 실험적 분석

• 퍼플렉시티 갭 모니터링: 저자들은 여러 모델(예: Granite-3.3-8b, Llama-3.1-8b, Mixtral-8x7b)에 대해 다양한 블록 크기(256에서 8까지)에 걸쳐 FP4 마이크로스케일링 모델과 16비트 베이스라인 간의 퍼플렉시티 갭을 측정했습니다.
• 오차 분해: 저자들은 블록 단위 및 텐서 단위의 평균 제곱 오차(MSE)를 분석했습니다. 블록 크기(예: 8 대 16)를 비교함으로써, 더 작은 블록이 더 높은 MSE를 초래하는 사례를 격리하여 분석했습니다.
• 분포 상관관계: 연구는 MSE를 가중치 분포의 표준 편차($\sigma$)와 상관관계 분석했습니다. 저자들은 가중치 분포가 좁은(낮은 $\sigma$) 모델들이 UE4M3 스케일을 사용할 때 오차 역전에 더 취약하다는 것을 관찰했습니다.

2. 이론적 프레임워크

이러한 변칙 현상을 설명하기 위해, 저자들은 마이크로스케일링 양자화의 MSE에 대한 이론적 모델을 도출했습니다:

• 이상적 분포: 저자들은 사전 학습된 모델의 가중치가 정규 분포($\mu=0$, 가변적 $\sigma$)를 밀접하게 따른다는 것을 검증했습니다.
• 오차 원인: 프레임워크는 전체 MSE를 세 가지 별개의 기여 요소로 분리합니다:
  1. 비최대 요소(Non-maximum elements): $x_i \neq x_{max}$인 요소들을 양자화할 때 발생하는 오차.
  2. 최대 요소(Maximum element): 블록 최대값 $x_{max}$ 자체를 양자화할 때 발생하는 오차 (스케일이 양자화될 때 $x_{max}$는 0이 아님).
  3. 제로 라운딩(Zero-rounding): 블록 최대값이 표현 가능한 최소 스케일 값보다 작아져서 블록 내의 모든 요소가 0으로 반올림될 때 발생하는 오차.
• 스케일 양자화 영향: 이론은 (좁은 분포에서) 스케일의 양자화(특히 매우 작은 비제로 스케일을 정확하게 표현하지 못하는 문제)로 인한 오차 기여도가 전체 오차에서 지배적임을 입증합니다. 블록 크기가 작아질수록 이러한 좁은 블록을 만날 확률이 높아지며, UE4M3 스케일의 제한된 동적 범위(최소 비제로 값 $2^{-9}$)가 이를 표현하지 못해 관찰된 오차 역전이 발생합니다.

주요 기여

1. 퍼플렉시티 역전의 발견: 본 논문은 FP4 마이크로스케일링 포맷(FP8 UE4M3 스케일 사용 시)에서 블록 크기를 줄이는 것이 좁은 가중치 분포를 가진 모델의 양자화 오차를 증가시키는 특정 이상 현상을 식별하고 특성화했습니다.
2. 이론적 프레임워크: 저자들은 양자화 오차 원인을 분리하는 제일 원리 기반의 수학적 프레임워크를 제공합니다. 이 프레임워크는 더 작은 블록 크기가 해가 되는 교차점을 정확하게 예측하며, 이상적인 정규 분포와 실제 사전 학습된 모델 모두에서 실험 데이터와 놀라운 일치성을 보였습니다.
3. 하드웨어 친화적 솔루션 (UE5M3): 스케일의 제한된 동적 범위가 근본 원인이라는 통찰을 바탕으로, 저자들은 스케일링 인자로 **FP8 unsigned E5M3 (UE5M3)**를 사용하는 것을 제안합니다.
   • UE5M3는 표준 UE4M3 포맷의 사용되지 않는 부호 비트를 재사용하여 지수 범위를 확장합니다.
   • 이는 최소 비제로 표현 가능 스케일을 $2^{-9}$(UE4M3)에서 $2^{-17}$(UE5M3)로 낮추어, 전역적인 퍼 텐서 스케일링 없이도 좁은 블록을 정확하게 표현할 수 있게 합니다.
   • 저자들은 이 수정 사항이 기존 E5M2 및 E4M3 포맷의 로직을 활용하므로 하드웨어 변경이 미미함을 입증했습니다.

결과

• 실험적 검증: MSE 대 $\sigma$의 이론적 곡선은 실험 데이터와 높은 정밀도로 일치했습니다 ($\chi^2 \approx 4 \cdot 10^{-8}$). 이 모델은 Granite-3.3-8b(좁은 분포)와 같은 모델은 블록 크기 16에서 역전 현상을 겪을 것이라고 올바르게 예측한 반면, Llama-2-7b(넓은 분포)는 그렇지 않을 것임을 예측했습니다.
• UE5M3의 성능:
  • FP4 마이크로스케일링에 UE5M3 스케일을 적용하면 UE4M3에서 관찰된 퍼플렉시티 역전 현상이 제거되었습니다.
  • 정확도: Wiki, PIQA, HellaSwag, Winogrande, GSM8K, MMLU 벤치마크 세트에서 UE5M3는 기존의 퍼 텐서 스케일링을 사용하는 UE4M3-S 포맷과 대등하거나 더 나은 성능을 달-성했습니다.
  • 효율성: 동적 퍼 텐서 스케일링(계산 비용 증가 또는 사전 캘리브레이션 필요)이 필요한 UE4M3-S와 달리, UE5M3는 전역 스케일링 연산 없이 작동하여 하드웨어 효율성을 유지합니다.
  • 강건성: 이 솔루션은 어텐션 기반 LLM, 상태 공간 모델(SSM), 하이브리드 모델을 포함한 다양한 아키텍처 전반에서 유효했습니다.

의의 및 주장

본 논문은 마이크로스케일링에서 "더 미세할수록 좋다"는 가정이 좁은 텐서 분포와 양자화된 스케일의 제한된 동적 범위 사이의 상호작용에 의해 근본적인 한계가 있음을 주장합니다.

• 핵적인 통찰: 이 이상 현상은 마이크로스케일링 개념 자체의 결함이 아니라, 특정 데이터 분포에 적용될 때 현재의 표준(UE4M3 스케일)이 갖는 구체적인 한계입니다.
• 실질적 영향: 제안된 UE5M3 포맷은 (작은 블록 크기로 인한 정확도 저하 없이) 서브-8비트 정밀도(특히 FP4)의 잠재력을 완전히 끌어낼 수 있는 경로를 제공합니다.
• 하드웨어 구현 가능성: 저자들은 자신들의 솔루션이 (지수 로직을 1비트 확장하는 것만으로) 기존 AI 가속기 설계를 크게 바꾸지 않고도 구현 가능한 "하드웨어 친화적" 방식임을 강조합니다.

이 연구는 하드웨어 벤더와 모델 개발자들이 차세대 양자화 포맷에서 발생할 수 있는 정확도 함정을 피하기 위한 가이드 역할을 하며, 정밀도를 더 낮추는 것(예: 서브-4비트 요소 또는 서브-8비트 스케일)에 미치는 영향을 분석하기 위한 이론적 도구를 제공합니다.