Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization

이 논문은 MXFP4 와 NVFP4 와 같은 4 비트 부동소수점 포맷의 잠재력을 실현하기 위해 블록 단위 하다마르 변환과 포맷 특화 최적화를 적용한 MR-GPTQ 를 제안함으로써, 기존 방법론의 한계를 극복하고 NVIDIA B200 과 RTX5090 에서 FP16 대비 최대 3.6 배의 레이어별 속도 향상과 SOTA 수준의 정확도를 달성했다고 설명합니다.

핵심

이 논문은 최신 인공지능 (LLM) 모델이 더 빠르고 가볍게 작동할 수 있도록 도와주는 '마이크로 스케일링 FP4 양자화' 기술에 대한 연구입니다.

쉽게 말해, **"거대한 AI 모델을 아주 작은 크기로 압축했는데, 왜 실제 성능이 기대만큼 나오지 않았을까? 그리고 어떻게 하면 그 문제를 해결할 수 있을까?"**에 대한 답을 찾는 이야기입니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 배경: "초소형 화물차"의 등장 (FP4 포맷)

과거에는 AI 모델을 압축할 때 '정수 (INT)'라는 단위를 사용했습니다. 하지만 최근 NVIDIA 와 AMD 같은 칩 제조사들은 **'FP4(4 비트 부동소수점)'**라는 새로운 포맷을 도입했습니다.

• 비유: 기존에는 AI 모델을 실을 때 '큰 트럭 (FP16)'을 썼습니다. 속도는 느리지만 짐을 아주 정확하게 실을 수 있죠.
• 새로운 시도: 이제 **'초소형 화물차 (FP4)'**를 도입했습니다. 이 차는 아주 작고 빠르지만, 짐을 싣는 방식이 조금 다릅니다.
  • NVFP4: 짐을 16 개씩 묶어서 싣습니다. (조금 더 정교한 포장)
  • MXFP4: 짐을 32 개씩 묶어서 싣습니다. (더 작고 가볍지만, 포장 방식이 단순함)

이론상으로는 이 초소형 화물차를 쓰면 AI 가 훨씬 더 빠르게 돌아갈 것이라고 기대했습니다. 하지만 실제 실험해 보니, **"속도는 빠르는데 AI 가 멍청해져서 (정확도가 떨어짐) 제자리걸음"**인 상황이었습니다.

2. 문제점: 왜 실패했을까? (두 가지 치명적인 결함)

저자들은 이 실패 원인을 두 가지로 분석했습니다.

1. NVFP4 의 문제: "너무 작은 묶음"
   • 짐을 16 개씩 묶으니, 만약 그 묶음 안에 '특이하게 큰 짐 (아웃라이어)'이 하나라도 있으면, 나머지 15 개가 다 망가집니다. 마치 작은 상자에 거대한 물건을 넣으려다 상자가 터지는 것과 같습니다. 기존의 해결책이 이 작은 묶음에는 통하지 않았습니다.
2. MXFP4 의 문제: "너무 투박한 자"
   • 이 방식은 짐의 크기를 측정할 때 '2 의 거듭제곱 (2, 4, 8, 16...)'이라는 딱딱한 자만 사용합니다. 하지만 실제 짐들은 3.5, 5.2 같은 정교한 크기입니다. 투박한 자로 재다 보니 오차가 너무 커서 AI 가 엉뚱한 말을 하게 된 것입니다.

3. 해결책: "MR-GPTQ" (마이크로 회전 기술)

이제 저자들이 제안한 해결책인 MR-GPTQ를 소개합니다. 이 기술은 "짐을 싣기 전에 상자를 살짝 비틀어서 (회전), 짐을 더 잘 실을 수 있게 만드는" 방법입니다.

• 비유 (하드만 변환):
  • Imagine you have a messy pile of books (AI weights) with some very heavy books (outliers) at the top. If you try to stack them directly, the heavy ones crush the light ones.
  • 기존 방식: 그냥 무작위로 쌓았습니다.
  • MR-GPTQ 방식: 책상 위를 살짝 **회전 (Hadamard Transform)**시켜서, 무거운 책들이 흩어지도록 만듭니다. 이제 무거운 책들이 서로 겹치지 않고 고르게 분포하게 되니, 작은 상자에 담을 때 훨씬 정확해집니다.

이 기술은 특히 MXFP4의 투박한 자 문제를 해결하고, NVFP4의 작은 묶음 문제를 보완하여, 두 방식 모두에서 놀라운 정확도를 회복시켰습니다.

4. 결과: 속도와 정확도의 완벽한 조화

이론만 좋았던 것이 아니라, 실제로 **NVIDIA 의 최신 GPU(B200, RTX 5090)**에서 이 기술을 적용해 보았습니다.

• 속도: 기존 방식 (FP16) 보다 최대 4 배까지 빨라졌습니다. (층별로 보면 6 배!)
• 정확도: 원래 기대했던 것보다 훨씬 높은 정확도를 보여주었습니다. 특히 MXFP4 는 이제 NVFP4 와 거의 비슷한 수준까지 성능이 올라갔습니다.

5. 결론: "맞춤형 열쇠"가 필요하다

이 논문의 핵심 메시지는 다음과 같습니다.

"새로운 하드웨어 (초소형 화물차) 가 나왔다고 해서 무조건 좋은 것은 아닙니다. 기존에 쓰던 방법 (일반적인 포장법) 을 그대로 쓰면 실패합니다. 하드웨어의 특성에 맞춰서 포장법 (양자화 알고리즘) 을 새로 개발해야만 비로소 속도와 정확도라는 두 마리 토끼를 다 잡을 수 있습니다."

저자들은 이 새로운 포장법 (MR-GPTQ) 과 이를 빠르게 실행할 수 있는 QuTLASS라는 도구를 공개하여, 앞으로 더 빠르고 똑똑한 AI 시대를 열 것이라고 기대합니다.

---

한 줄 요약:
"새로운 초소형 AI 칩은 좋지만, 기존 포장법으로는 성능이 안 나왔습니다. 저자들은 짐을 살짝 비틀어 (회전) 포장하는 새로운 방법을 개발해, 속도는 4 배 빨라지고 정확도는 그대로 유지되는 혁신을 이루었습니다."

기술 요약

ICLR 2026 논문 요약: FP4 마이크로스케일링 양자화의 약속과 성능 간극 해소 (Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization)

1. 연구 배경 및 문제 제기 (Problem)

최근 NVIDIA 와 AMD GPU 에서 하드웨어 가속을 지원하는 마이크로스케일링 4 비트 부동소수점 형식 (MXFP4, NVFP4) 이 등장하며, 대규모 언어 모델 (LLM) 추론의 혁신을 약속했습니다. 그러나 실제 적용 시 다음과 같은 **중요한 간극 (Gap)**이 존재함이 발견되었습니다.

• 기존 방법의 한계: 최신 양자화 기법들이 FP4 형식에 효과적으로 적용되지 못합니다.
• NVFP4 의 문제: 그룹 크기 (Group Size) 가 작아 (16 개) 기존의 이상치 (Outlier) 완화 기법들이 무효화됩니다.
• MXFP4 의 문제: 2 의 거듭제곱 (Power-of-two) 스케일 양자화 (E8M0) 로 인해 발생하는 높은 양자화 오로 인해 정확도가 심각하게 저하됩니다.
• 실제 성능 부재: 하드웨어 지원이 이루어졌음에도 불구하고, 실제 모델에서의 정확도와 성능에 대한 포괄적인 연구가 부족했습니다.

2. 제안 방법: MR-GPTQ (Methodology)

저자들은 이러한 간극을 해소하기 위해 **Micro-Rotated-GPTQ (MR-GPTQ)**라는 새로운 양자화 알고리즘 변형을 제안했습니다. 이는 기존 GPTQ 알고리즘을 FP4 의 고유한 특성에 맞게 최적화한 것입니다.

핵심 기술 요소

1. 블록 단위 하데마르 변환 (Block-wise Hadamard Transforms):
   • 가중치와 활성화 값을 블록 단위로 회전 (Rotation) 하여 분포를 정규화 (Normalize) 합니다.
   • 특히 MXFP4 의 경우 회전 변환이 양자화 오차를 줄이는 데 결정적인 역할을 합니다.
   • 이 변환은 가중치에 융합 (Fusion) 되어 런타임 오버헤드를 최소화합니다.
2. 형식 특화 스케일 최적화 (Format-specific Scale Search):
   • NVFP4 와 MXFP4 의 서로 다른 스케일 표현 (E4M3 vs E8M0) 에 맞춰 최적의 스케일 값을 탐색하는 새로운 기법을 도입했습니다.
   • MXFP4 의 경우, 데이터 범위에 맞춰 스케일 그리드를 조정하는 'Scale Fitting' 기법을 추가하여 E8M0 의 과도한 범위로 인한 오차를 줄였습니다.
3. 정적 활성화 재순서 (Static Activation Reordering):
   • 기존 GPTQ 의 동적 행렬 셔플 (Runtime Shuffling) 을 제거하고, 양자화 전/후에 정적으로 컬럼을 재배열하여 런타임 오버헤드를 제거하면서도 정확도 향상 효과를 유지합니다.

하드웨어 지원: QuTLASS

• MR-GPTQ 의 '마이크로-회전' 성분을 효율적으로 지원하기 위해 QuTLASS라는 고성능 GPU 커널 라이브러리를 개발했습니다.
• NVIDIA Blackwell 아키텍처 (SM100, SM120) 에 최적화되어 있으며, 온라인 회전 연산을 경량화된 퓨즈드 (Fused) 커널로 처리하여 오버헤드를 거의 없앴습니다.

3. 주요 기여 (Key Contributions)

1. 포괄적인 분석: NVFP4 와 MXFP4 형식에 대한 최초의 심층 분석을 수행하여, 기존 양자화 방법들이 왜 실패하는지 (이상치 보존 실패, 스케일 정밀도 부족 등) 이론적 및 실험적으로 증명했습니다.
2. MR-GPTQ 알고리즘 개발: FP4 형식에 특화된 GPTQ 변형을 제안하여, MXFP4 의 정확도를 NVFP4 수준까지 끌어올리고 두 형식 모두에서 FP16 기준 98-99% 의 정확도 회복을 달성했습니다.
3. 고성능 커널 구현 (QuTLASS):
   • 회전 연산을 포함하더라도 FP16 대비 **레이어 단위 3.6 배 (B200), 6 배 (RTX 5090)**의 속도 향상을 달성했습니다.
   • 엔드 - 투 - 엔드 추론 속도는 B200 에서 2.2 배, RTX 5090 에서 4 배의 개선을 보였습니다.
   • 흥미롭게도, 최적화된 MXFP4 커널은 이상적인 NVFP4 행렬 곱셈보다 더 높은 처리량 (Throughput) 을 기록하기도 했습니다.

4. 실험 결과 (Results)

Llama-3.1-8B, Llama-3.3-70B, Qwen-3 등 다양한 모델과 Zero-shot 태스크 (MMLU, GSM8K 등) 를 통해 평가되었습니다.

• 정확도:
  • NVFP4: 기존 GPTQ 나 MR-GPTQ 를 사용하면 FP16 대비 약 96-99% 의 정확도를 회복합니다.
  • MXFP4: 기존 방법 (RTN 등) 은 정확도가 10% 이상 하락했으나, MR-GPTQ를 적용하면 NVFP4 와 거의 유사한 수준 (FP16 대비 93-98% 회복) 으로 성능이 개선되었습니다.
  • 특히 회전 (Hadamard Transform) 을 적용한 MR-GPTQ 는 MXFP4 에서 가장 큰 개선을 보였습니다.
• 성능 (Speedup):
  • B200 GPU: FP16 대비 레이어 단위 3.6 배, 엔드 - 투 - 엔드 2.2 배 속도 향상.
  • RTX 5090 GPU: FP16 대비 레이어 단위 6 배, 엔드 - 투 - 엔드 4 배 속도 향상.
  • QuTLASS 커널은 양자화 및 스케일 계산 오버헤드를 최소화하여 이상적인 4 비트 연산 속도에 근접했습니다.

5. 의의 및 결론 (Significance)

이 논문은 FP4 마이크로스케일링 형식이 LLM 추론의 미래가 될 수 있음을 입증했습니다.

• 자동 업그레이드가 아님: FP4 가 단순히 INT4 나 기존 FP4 보다 자동으로 더 나은 것은 아니며, **형식에 특화된 알고리즘 (Format-specialized methods)**이 필수적입니다.
• 새로운 트레이드오프의 개척: MR-GPTQ 와 QuTLASS 를 통해 정확도 손실 없이 하드웨어 가속의 이점을 극대화할 수 있음을 보여주었습니다.
• 실용적 가치: NVIDIA Blackwell 및 차세대 GPU 아키텍처를 활용한 LLM 추론의 효율성을 획기적으로 높여, 저비용 고효율 LLM 서비스 배포의 새로운 기준을 제시합니다.

결론적으로, 이 연구는 FP4 양자화의 이론적 한계를 분석하고, 이를 극복하는 알고리즘과 하드웨어 최적화 기법을 결합하여, 실제 환경에서의 FP4 활용 가능성을 열었습니다.