기술 요약: 포 오버 식스 (4/6)

문제 제기

대규모 언어 모델 (LLM) 이 확장됨에 따라, 학습 속도를 높이고 메모리 사용량을 줄이기 위해 NVFP4 와 같은 저정밀도 수치 형식에 대한 관심이 증가하고 있습니다. 그러나 정밀도 손실로 인해 모델 성능이 저하되는 NVFP4 로의 양자화는 여전히 어렵습니다.

이 연구에서 확인된 핵심 문제는 부동소수점 형식에 내재된 비균일한 단계 크기입니다. 정수 형식과 달리 FP4(특히 E2M1) 는 동적인 단계 크기를 가집니다: 0 과 2 사이에서는 0.5, 2 와 4 사이에서는 1, 4 와 6 사이에서는 2 입니다. 표준 NVFP4 블록 스케일 양자화에서는 값들이 [-6, 6] 의 전체 범위로 스케일링됩니다. 이로 인해 최대값에 가까운 값들에 대해 상당한 양자화 간격이 발생합니다. 구체적으로, 블록의 최대값이 6 으로 스케일링될 때, 표현 가능한 FP4 값 "4"는 블록 최대 크기의 66.6% 에 불과합니다. 결과적으로 블록 최대값의 66.6% 에서 100% 사이의 모든 값은 정확하게 표현될 수 없어, 이러한 최대값에 가까운 값들에 대해 큰 양자화 오차가 발생합니다.

저자들이 Llama-3.1-8B 에 대해 수행한 분석에 따르면, 스케일 팩터 양자화 오차는 미미한 영향을 미치지만, 최대값에 가까운 값들 (특히 스케일링된 값 5 부근) 을 반올림할 때 발생하는 오차가 NVFP4 양자화 모델의 성능 저하를 주도하는 주요 요인입니다.

방법론: 포 오버 식스 (4/6)

이 논문은 최대값에 가까운 값들의 양자화 오차를 줄이기 위해 설계된 NVFP4 블록 스케일 양자화 알고리즘의 수정안인 **포 오버 식스 (4/6)**를 소개합니다.

핵심 메커니즘

모든 블록을 최대 FP4 값인 6 으로 균일하게 스케일링하는 대신, 4/6 은 특정 블록들을 최대 4 로 적응적으로 스케일링합니다.

• 표준 NVFP4(스케일 = 6): 값들이 [-6, 6] 에 걸쳐 분포합니다. 표현 가능한 값 4 와 6 사이의 간격은 2 단위입니다.
• 4/6(스케일 = 4): 선택된 블록들의 경우, 값들이 [-4, 4] 에 걸쳐 분포합니다. 표현 가능한 값 3 과 4 사이의 간격은 1 단위입니다.

특정 블록에서 5 와 6 의 극단적인 값을 표현하는 능력을 희생함으로써, 이 방법은 블록 크기의 75%~100% 범위 내에서 표현 가능한 값들의 더 균일한 분포를 가능하게 합니다. 예를 들어, 블록 최대값의 75% 를 나타내는 값은 스케일 -4 블록에서는 정확히 "3"으로 표현될 수 있지만, 스케일 -6 블록에서는 큰 오차 간격에 속하게 됩니다.

적응형 블록 스케일링 알고리즘

모든 블록을 4 로 스케일링하는 것이 보편적으로 유익하지는 않기 때문에 (6 으로 스케일링하는 것에 비해 블록의 동적 범위를 50% 줄이기 때문), 이 방법은 적응형 선택 과정을 사용합니다:

1. 이중 양자화: 각 블록에 대해 알고리즘은 값을 두 번 양자화합니다: 한 번은 스케일 팩터 6 으로, 다른 한 번은 스케일 팩터 4 로.
2. 오차 계산: 두 버전의 양자화 오차를 원래 고정밀도 값에 대해 계산합니다.
3. 선택 규칙: 알고리즘은 오차를 최소화하는 스케일 (4 또는 6) 을 선택합니다. 논문은 세 가지 선택 규칙을 평가합니다:
   • 최소 최대 오차
   • 최소 평균 절대 오차 (MAE)
   • 최소 평균 제곱 오차 (MSE)
   • 결과: 학습 후 양자화 (PTQ) 의 경우, MSE가 가장 좋은 결과를 냅니다. 사전 학습의 경우, MAE가 약간 더 나은 성능을 보입니다.

구현 세부 사항

• 텐서 스케일 조정: 블록을 4 로 스케일링할 때 (6 으로 스케일링된 블록보다 1.5 배 큰 스케일 팩터가 필요함) FP8 E4M3 스케일 팩터의 오버플로우를 방지하기 위해, 전역 텐서 스케일 $\alpha$는 표준 448 대신 최대 FP8 값인 256 을 사용하여 계산됩니다.
• 하드웨어 효율성: 이 방법은 CUDA 커널 내에서 NVIDIA Blackwell GPU PTX 지시문 (cvt 계열) 을 사용하여 구현됩니다. 모든 중간 값과 오차 계산은 메모리 접근 오버헤드를 최소화하기 위해 레지스터 파일에 유지됩니다.
• 오버헤드: 저자들은 4/6 이 NVFP4 양자화 커널에 15% 미만의 계산 오버헤드를 추가한다고 보고합니다.

주요 기여 및 결과

1. 사전 학습 성능

저자들은 1 조 토큰 데이터셋을 사용하여 Nemotron 3 Nano 30B-A3B 모델 아키텍처에서 4/6 을 평가했습니다.

• 손실 감소: 4/6 은 표준 NVFP4 학습 레시피에 비해 훈련 손실을 BF16 기준선에 13.0% 더 가깝게 만들었습니다.
• 최적 구성: 놀랍게도, 4/6 을 활성화, 가중치, 기울기에 모두 적용하는 것과 비교하여 활성화에만 적용하는 것이 더 적은 계산 오버헤드를 도입하면서도 유사한 성능을 보였습니다.
• 스케일 선택: 사전 학습에서는 MAE 를 사용한 스케일 선택이 MSE 보다 우수한 성능을 보였습니다.

2. 학습 후 양자화 (PTQ)

이 방법은 WikiText-2 및 C4 퍼플렉시티 지표를 통해 1B 에서 70B 파라미터까지 다양한 Llama 3 및 Qwen 3 모델에서 기존 PTQ 방법 (RTN, GPTQ, AWQ, SmoothQuant) 과 결합하여 테스트되었습니다.

• 일반적인 개선: 4/6 은 AWQ 및 SmoothQuant와 결합되었을 때 퍼플렉시티 지표를 균일하게 개선하여, 단어 퍼플렉시티를 각각 BF16 성능에 19.9% 및 5.3% 더 가깝게 만들었습니다.
• GPTQ 상호작용: 현재 구현에서는 GPTQ 와 결합할 때 성능이 약간 저하되었으나, 저자들은 GPTQ 최적화 과정을 4/6 을 포함하도록 수정하면 향후 개선이 가능할 것이라고 지적합니다.
• 하류 작업: BoolQ, ARC-Easy, ARC-Challenge, HellaSwag 와 같은 작업에서 4/6 은 AWQ 및 SmoothQuant 와 결합되었을 때 거의 모든 경우 평균 작업 성능을 향상시켰습니다.

3. 효율성

이 구현은 현대 하드웨어 가속기 (NVIDIA Blackwell) 를 위해 설계되어, 감소된 양자화 오차의 이점이 과도한 계산 오버헤드로 인해 무효화되지 않도록 보장합니다.

중요성 및 주장

이 논문은 4/6 이 부동소수점 형식의 최대값에 가까운 값들과 관련된 특정 약점을 해결하는 NVFP4 양자화 알고리즘의 경량이고 효율적인 수정안이라고 주장합니다.

• 정확성 대 오버헤드: 이는 최소한의 계산 오버헤드 (<15%) 로 상당한 정확도 향상 (BF16 기준선에 더 가까움) 을 달성하여, 비싼 "치유" 단계나 고정밀도 폴백에 의존하지 않고도 NVFP4 학습을 더 실현 가능하게 만듭니다.
• 하드웨어 호환성: 이 방법은 현재 NVIDIA Blackwell GPU 와 네이티브로 호환되며, NVFP4 를 위한 기존 하드웨어 지원을 활용합니다.
• 일반 적용 가능성: NVFP4 에 초점을 맞추고 있지만, 적응형 블록 스케일링의 개념은 블록 스케일 부동소수점 형식에서 최대값에 가까운 값들의 표현을 개선하기 위한 일반적인 기법으로 제시됩니다. 다만, 저자들은 스케일 팩터 정밀도 (FP8 E8M0 대 E4M3) 의 차이로 인해 MXFP4 에는 직접 적용되지 않는다고 지적합니다.

저자들은 4/6 이 대규모 LLM 에 대한 저정밀도 FP4 학습 및 추론을 실용화하는 데 있어 한 걸음 더 나아간 것으로, 양자화의 속도와 메모리 이점을 유지하면서 성능을 고정밀도 기준선에 더 가깝게 만든다고 결론지었습니다.