Unveiling the Potential of Quantization with MXFP4: Strategies for Quantization Error Reduction

이 논문은 하드웨어 변경 없이 소프트웨어 기법인 오버플로우 인식 스케일링 (OAS) 과 매크로 블록 스케일링 (MBS) 을 도입하여 MXFP4 의 양자화 오차를 줄이고 NVFP4 와의 정확도 격차를 10% 에서 1% 미만으로 축소함으로써, MXFP4 를 하드웨어 효율성을 유지하면서 NVFP4 에 버금가는 성능을 내는 실용적인 대안으로 재탄생시켰음을 보여줍니다.

핵심

🚀 MXFP4 의 잠재력을 깨우다: "작은 실수"를 잡는 두 가지 지혜

이 논문은 인공지능 (AI) 이 더 빠르고 효율적으로 작동하게 만드는 '양자화 (Quantization)' 기술에 대한 이야기입니다. 특히, AI 모델의 크기를 줄이기 위해 숫자의 정밀도를 낮추는 과정에서 발생하는 '정확도 손실' 문제를 해결하는 방법을 소개합니다.

비유하자면, 이 논문은 **"고화질 사진 (정밀한 AI) 을 용량 절감을 위해 압축 (양자화) 할 때, 화질이 너무 떨어지지 않게 하는 새로운 압축 알고리즘"**을 개발한 것입니다.

---

1. 배경: 왜 이런 연구가 필요할까요?

• 상황: 요즘 AI(대규모 언어 모델) 는 엄청나게 커서, 이를 돌리려면 엄청난 전력과 메모리가 필요합니다.
• 해결책: 숫자의 정밀도를 낮추는 '양자화'를 쓰면 AI 를 가볍게 만들 수 있습니다.
• 문제: 두 가지 주요 방식이 있습니다.
  1. NVFP4 (NVIDIA 방식): 정확도는 좋지만, 하드웨어가 비싸고 무겁습니다. (고급 카메라)
  2. MXFP4 (오픈 컴퓨트 프로젝트 방식): 하드웨어 효율이 좋고 저렴하지만, 정확도가 NVFP4 보다 떨어집니다. (가성비 카메라지만 화질이 조금 흐릿함)

이 논문은 **"하드웨어를 바꾸지 않고, 소프트웨어만 clever 하게 바꿔서 MXFP4 의 화질을 NVFP4 수준으로 끌어올리는 방법"**을 제안합니다.

---

2. 핵심 아이디어: 두 가지 지혜로운 전략

저자는 MXFP4 가 왜 정확도가 떨어지는지 분석한 뒤, 두 가지 소프트웨어 기법을 개발했습니다.

🌟 전략 1: "Overflow-Aware Scaling (OAS)" - 범람을 미리 감지하는 센스

• 문제: MXFP4 는 숫자를 표현할 수 있는 범위가 좁습니다. 마치 물탱크가 있는데, 물이 너무 많이 차면 (Overflow) 넘쳐버려서 중요한 물 (데이터) 을 잃어버리는 것과 같습니다.
• 해결: OAS 는 "아, 이 물탱크가 거의 차가워! 조금만 더 넣으면 넘치겠군!"이라고 미리 감지합니다.
• 비유: 물이 넘치기 직전, 물탱크의 기준선 (Scaling) 을 살짝 조정해서 물이 넘치지 않게 합니다. 이렇게 하면 작은 물방울 (작은 숫자) 들도 버려지지 않고 모두 저장됩니다.
• 효과: 데이터의 '꼬리 부분 (Tail)'이 잘려나가는 것을 막아 전체적인 화질을 개선합니다.

🌟 전략 2: "Macro Block Scaling (MBS)" - 거대한 괴물을 위한 특별한 렌즈

• 문제: AI 데이터에는 대부분 평범한 숫자들이 있지만, 가끔 **엄청나게 큰 숫자 (Outliers, 이상치)**가 섞여 있습니다. 이걸 거대한 돌멩이라고 생각해보세요.
  • 기존 방식은 모든 돌멩이 (데이터) 를 같은 크기의 자 (Block) 로 재는데, 거대한 돌멩이가 들어오면 자의 눈금이 부족해서 정확한 크기를 재지 못합니다.
• 해결: MBS 는 이 거대한 돌멩이들을 따로 떼어내어, **더 정밀한 자 (고정밀 스케일링)**로 재는 것입니다.
• 비유:
  • 일반인 (평범한 데이터) 들은 16 명씩 한 조 (Block) 를 만들어 간단한 자로 재고,
  • 거인 (이상치) 이 나타나면 128 명 단위의 큰 조를 만들어 더 정밀한 자로 따로 측정합니다.
  • 이렇게 하면 거인의 크기를 정확히 재면서도, 일반인들을 재는 데 드는 비용은 크게 늘리지 않습니다.
• 효과: AI 모델의 성능을 좌우하는 '중요한 outlier'들을 정확하게 보존합니다.

---

3. 결과: 놀라운 성과

이 두 가지 전략 (OAS + MBS) 을 섞어 적용한 결과:

• 정확도: 기존 MXFP4 와 NVFP4 사이의 정확도 격차가 10% 에서 1% 미만으로 줄어듭니다.
  • 비유: "가성비 카메라로 찍은 사진이 이제 고급 카메라 사진과 거의 구별이 안 될 정도로 선명해졌습니다."
• 비용: 하드웨어를 하나도 바꾸지 않았습니다. 오직 소프트웨어 코드만 고쳤습니다.
• 속도: 계산 속도가 약간 느려질 수 있지만, 그 정도는 6.2% 정도로 매우 적습니다. (실제 사용에는 거의 영향이 없습니다.)

---

4. 결론: 왜 이것이 중요한가요?

이 연구는 **"비싼 하드웨어를 사지 않아도, 똑똑한 소프트웨어로 AI 를 더 효율적으로 만들 수 있다"**는 것을 증명했습니다.

• MXFP4는 하드웨어 효율이 좋아서 데이터센터나 모바일 기기에서 매우 유용합니다.
• 하지만 예전에는 정확도가 부족해서 쓰기가 어려웠습니다.
• 이제 이 기술 덕분에 MXFP4 는 NVFP4 의 대안으로 충분히 쓸 수 있게 되었으며, AI 를 더 저렴하고 빠르게 보급하는 데 큰 역할을 할 것입니다.

한 줄 요약:

"하드웨어를 바꾸지 않고, **물 넘침을 막는 센스 (OAS)**와 **거인만 따로 재는 정밀도 (MBS)**라는 두 가지 지혜로, 저비용 AI 칩의 성능을 최고 수준으로 끌어올렸습니다."

기술 요약

논문 요약: MXFP4 양자화 오류 감소를 위한 전략

1. 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 의 효율적인 추론을 위해 저정밀도 (Low-precision) 포맷에 대한 요구가 급증하고 있습니다. 오픈 컴퓨트 프로젝트 (OCP) 에서 표준으로 제안한 마이크로스케일링 (MX) 포맷, 특히 4 비트 버전인 MXFP4는 하드웨어 효율성 (면적 및 전력 절감) 이 뛰어나지만, NVIDIA 가 제안한 NVFP4에 비해 정확도 (Fidelity) 가 낮아 채택에 걸림돌이 되고 있습니다.
• 핵심 문제: MXFP4 와 NVFP4 간의 정확도 격차는 약 10% 에 달하며, 이는 모델 성능이 중요한 시나리오에서 MXFP4 의 사용을 제한합니다.
• 원인 분석:
  1. 블록 크기 (Block Size): MXFP4 는 32 개 요소당 하나의 스케일 팩터를 공유하는 반면, NVFP4 는 16 개 요소당 하나를 공유합니다. 더 작은 블록 크기는 동적 범위 (Dynamic Range) 를 더 잘 포착하여 오류를 줄입니다.
  2. 스케일 팩터 포맷 (Scaling Factor Format): MXFP4 는 $2^k$ 형태의 지수만 표현 가능한 E8M0 포맷을 사용하여 스케일링 인자가 2 의 거듭제곱으로 제한됩니다. 반면 NVFP4 는 E4M3 포맷을 사용하여 부동소수점 (Mantissa) 비트를 포함하므로 더 정밀한 스케일링이 가능합니다. 이는 특히 데이터의 'Outlier(이상치)'를 처리할 때 큰 오차를 유발합니다.

2. 방법론 (Methodology)

저자들은 하드웨어 변경 없이 소프트웨어만으로 MXFP4 의 정확도를 NVFP4 수준으로 끌어올리기 위해 두 가지 핵심 기법을 제안합니다.

A. 오버플로우 인식 스케일링 (Overflow-Aware Scaling, OAS)

• 개념: MXFP4 의 4 비트 데이터는 최대값이 6.0 으로 제한되어 있습니다. 기존 방식은 블록 내 최대값 ($\alpha_{max}$) 을 6.0 이하로 매핑하지만, $\alpha_{max}$가 3.03.5 사이일 경우 스케일링을 2 배로 늘려 6.07.0 범위로 매핑하면, 6.0 을 초과하는 값이 발생 (Overflow) 하더라도 상대적 양자화 오차는 동일하게 유지됩니다.
• 효과: 이 기법을 통해 표현 가능한 동적 범위를 2 배로 확장하여, 분포의 꼬리 (tail) 에 있는 작은 값들의 양자화 오차를 줄입니다.
• 구현: 부동소수점 부호 (Mantissa) 비트를 확인하여 조건부 스케일링을 적용하며, 하드웨어 변경 없이 구현 가능합니다.

B. 매크로 블록 스케일링 (Macro Block Scaling, MBS)

• 개념: Outlier 는 전체 텐서의 1% 미만을 차지하지만 양자화 정확도에 결정적인 영향을 미칩니다. E8M0 포맷은 Mantissa 비트가 없어 Outlier 를 정밀하게 표현하지 못합니다. 이를 해결하기 위해 128 개 요소 (1x128) 단위의 더 큰 블록 (Macro Block) 을 정의하고, 이 블록에 대해 8 비트 Mantissa를 가진 고정밀 스케일 팩터를 추가합니다.
• 작동 원리:
  1. 기본 16 개 요소 블록 (1x16) 단위로 MXFP4 양자화를 수행합니다.
  2. 128 개 요소 블록 단위로 계산된 고정밀 스케일 팩터 (MBS Factor) 를 사용하여 16 개 블록들의 스케일링 인자를 보정합니다.
  3. MBS-Static: 계산 비용이 적게 드는 근사값을 사용합니다.
  4. MBS-Dynamic: Look-Up Table (LUT) 을 사용하여 오차 (SSE) 를 최소화하는 최적의 스케일 인자를 검색합니다 (가중치에 적용).
• 하드웨어 효율성: 이 과정은 벡터 코어 (Vector Core) 에서 병렬로 수행되며, 텐서 코어 (Tensor Core) 의 GEMM 연산에는 영향을 주지 않도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. 정밀도 격차 원인 규명: MXFP4 와 NVFP4 간의 정확도 차이를 '블록 크기'와 '스케일 팩터 포맷 (Mantissa 유무)'으로 명확히 분석하고, 각각의 하드웨어 비용과 정확도 트레이드오프를 정량화했습니다.
2. 소프트웨어 기반 최적화 기법 제안: 하드웨어 수정 없이 적용 가능한 OAS와 MBS를 개발하여 MXFP4 의 표현 정밀도를 획기적으로 개선했습니다.
3. NVFP4 수준의 정확도 달성: 제안된 기법을 적용한 MXFP4 가 NVFP4 와 거의 동일한 정확도 (QSNR 기준 1dB 이내, 엔드투엔드 정확도 1% 이내 차이) 를 달성하면서도 MX 의 하드웨어 효율성 (텐서 코어 면적 12% 절감 등) 을 유지함을 입증했습니다.

4. 실험 결과 (Results)

• 모델 및 벤치마크: Llama 3.1-8B, Qwen3-8B, DeepSeek-R1, Llama 4-Maverick 등 다양한 최신 LLM 과 MMLU-PRO, GSM8K 등 표준 벤치마크를 사용했습니다.
• 정확도 개선:
  • 기존 MXFP4-OCP 대비 평균 정확도 손실을 62% 감소시켰습니다.
  • MXFP4 와 NVFP4 간의 평균 정확도 격차를 약 10% 에서 1% 미만으로 줄였습니다.
  • 예시 (Llama 3.1-8B): NVFP4 평균 점수 67.02 vs 제안된 MXFP4-MBS-H 66.50 (격차 0.52%).
• 하드웨어 오버헤드:
  • GEMM 연산 오버헤드는 평균 **6.2%**로 매우 낮습니다 (기존 MX+ 기법의 54% 와 대조적).
  • 특히 추론 (Decode) 단계에서는 메모리 바운드 (Memory-bound) 특성상 오버헤드가 거의 발생하지 않습니다.
• QSNR 분석: OAS 와 MBS 를 적용하면 가중치와 활성화 함수의 QSNR 이 NVFP4 와 1dB 이내로 수렴합니다.

5. 의의 및 결론 (Significance)

• 하드웨어 효율성과 정확도의 동시 달성: 이 연구는 고비용의 하드웨어 변경 (NVFP4 지원) 없이도 소프트웨어 최적화를 통해 MXFP4 가 NVFP4 와 경쟁 가능한 성능을 낼 수 있음을 증명했습니다.
• 실용적 대안: MXFP4 는 OCP 표준으로 여러 벤더 (AMD, Intel, Meta 등) 가 지원하고 있어, 제안된 기법을 적용하면 에너지 효율적이고 비용 절감된 대규모 LLM 추론 인프라 구축이 가능해집니다.
• 확장성: 제안된 OAS 와 MBS 기법은 MXFP4 뿐만 아니라 다른 MX 포맷 (MXFP6, MXFP8) 으로도 일반화될 수 있습니다.

결론적으로, 이 논문은 MXFP4 의 한계를 소프트웨어적으로 극복하여, 저비용 고효율 하드웨어에서도 고품질 LLM 추론이 가능함을 보여주는 중요한 이정표입니다.