Diagnosing FP4 inference: a layer-wise and block-wise sensitivity analysis of NVFP4 and MXFP4

이 논문은 Qwen2.5 모델의 다양한 규모와 MXFP4 및 NVFP4 포맷을 대상으로 한 체계적인 분석을 통해, MLP 상/하단 프로젝션 레이어가 FP4 양자화에 가장 민감하며 민감도가 모델의 특정 블록에만 국한되지 않는다는 사실을 규명했습니다.

핵심

이 논문은 **"거대한 인공지능 (LLM) 을 더 가볍고 빠르게 만들 때, 어디를 가장 조심스럽게 다뤄야 하는가?"**에 대한 답을 찾는 연구입니다.

비유하자면, 이 연구는 **"거대한 고층 빌딩 (AI 모델) 을 리모델링해서 무게를 줄일 때, 어떤 기둥을 가장 조심스럽게 처리해야 건물이 무너지지 않는지"**를 분석한 보고서라고 볼 수 있습니다.

다음은 이 논문의 핵심 내용을 일상적인 언어와 비유로 설명한 것입니다.

---

1. 배경: 왜 이렇게 작은 숫자를 쓰나요? (FP4 란?)

지금까지 인공지능은 아주 정밀한 숫자 (예: 32 비트나 16 비트) 를 사용해서 계산을 했습니다. 하지만 이 방식은 메모리도 많이 먹고, 전기세도 비쌉니다.
그래서 최근에는 **FP4(4 비트 부동소수점)**라는 아주 작은 숫자 포맷을 쓰려고 합니다.

• 비유: 마치 고가의 정밀한 저울 대신, 휴대용 간이 저울을 쓰는 것과 같습니다. 무게는 훨씬 가볍고 빠르지만, 너무 무거우면 (정확도가 떨어지면) 문제가 생길 수 있습니다.

2. 연구의 목적: 어디가 가장 '예민'할까?

이론상으로는 모든 부분을 FP4 로 바꾸면 되지만, 실제로는 모델의 일부는 아주 예민해서 작은 변화에도 무너지고, 일부는 튼튼해서 아무렇지 않습니다.
연구진은 두 가지 다른 FP4 방식 (NVIDIA 의 NVFP4 와 AMD 의 MXFP4) 을 사용해서, Qwen2.5 라는 AI 모델의 0.5B, 7B, 14B 크기로 실험하며 이 '예민한 부분'을 찾아냈습니다.

3. 주요 발견 1: "MLP 층이 가장 약하다!" (가장 중요한 기둥)

AI 모델은 여러 층으로 이루어져 있는데, 그중 **MLP(신경망의 핵심 계산 부분)**가 가장 취약했습니다.

• 비유: 빌딩의 **주요 기둥 (Up Projection, Down Projection)**입니다. 이 기둥만이라도 원래대로 (정밀한 숫자로) 남겨두면 건물이 튼튼해집니다.
• 발견: 다른 부분 (Attention, Gate 등) 은 FP4 로 바꿔도 별 문제가 없었지만, MLP 의 'Up'과 'Down' 부분은 FP4 로 바꾸면 성능이 급격히 떨어집니다.
• 결론: "전체 다 바꾸지 말고, MLP 부분만은 정밀한 숫자 (FP16) 로 남겨두고 나머지는 가볍게 하세요."라는 처방전이 나왔습니다.

4. 주요 발견 2: "맨 마지막 층만 조심하면 되는 건 아니다!"

기존에는 AI 모델의 **맨 마지막 층 (Final Blocks)**이 가장 중요하다고 생각했습니다.

• 비유: "건물의 지붕만 튼튼하면 되겠지?"라고 생각했는데, 실제로는 1 층이나 중간 층도 무너지기 쉽다는 것이 밝혀졌습니다.
• 특이점: 특히 **0.5B(작은 모델)**나 MXFP4 방식을 쓸 때는, **맨 처음 층 (Early Blocks)**이 매우 예민하게 반응했습니다.
• 결론: "맨 뒤만 챙기지 말고, 모델의 크기와 사용하는 방식에 따라 앞쪽 층도 신경 써야 한다"는 교훈을 줍니다.

5. 주요 발견 3: "이상한 숫자 (Outlier) 만이 원인은 아니다"

왜 MLP 가 예민한지 분석해보니, 아주 큰 숫자 (Outlier) 가 튀어 나오는 현상 때문인 줄 알았습니다.

• 비유: "아마도 갑자기 튀어 오른 큰 숫자 때문에 저울이 망가진 게 아닐까?"라고 생각했습니다.
• 발견: 실제로 'Down Projection'은 큰 숫자가 많이 튀어나와서 예민했지만, 'Up Projection'은 큰 숫자는 별로 없는데도 똑같이 예민했습니다.
• 결론: "단순히 '큰 숫자' 때문만은 아닙니다. **무엇을 계산하느냐 (구조적 특성)**가 더 중요합니다."

6. 요약: 이 연구가 우리에게 주는 메시지

이 논문은 AI 개발자들에게 다음과 같은 현실적인 조언을 줍니다.

1. 무조건 다 줄이지 마세요: AI 모델의 모든 부분을 가볍게 (FP4) 만들면 안 됩니다.
2. 차별화된 전략: **MLP 부분 (특히 Up/Down)**은 정밀하게 유지하고, 나머지는 가볍게 만들어서 효율과 성능을 잡으세요.
3. 모델 크기를 고려하세요: 작은 모델일수록 앞쪽 층이 중요할 수 있으니, 모델 크기에 따라 다뤄야 할 층이 다릅니다.

한 줄 요약:

"거대한 AI 를 가볍게 만들 때, 모든 것을 다 줄이지 말고 'MLP'라는 핵심 기둥만은 튼튼하게 남겨두세요. 그래야 성능은 유지하면서 비용은 아낄 수 있습니다."

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 배포 비용과 메모리 대역폭 병목 현상을 해결하기 위해 양자화 (Quantization) 기술이 필수적입니다. 특히, 지수와 부호를 유지하는 4 비트 부동소수점 (FP4) 형식은 Blackwell 및 AMD CDNA 와 같은 최신 아키텍처에서 LLM 양자화를 지원하기 위해 도입되었습니다.

그러나 현재 FP4 양자화에 관한 연구에는 다음과 같은 중요한 공백이 존재합니다:

• 불균일한 민감도: 트랜스포머 내부의 레이어와 구성 요소 (Component) 간 양자화 오차가 균일하지 않다는 것은 알려져 있으나, FP4 형식 (NVFP4, MXFP4) 에 따른 구체적인 민감도 분포는 명확히 규명되지 않았습니다.
• 일반화 가능성 부족: 기존 연구들은 주로 레이어별 중요도 (후반 레이어가 더 중요하다는 가정) 에 집중했으나, FP4 형식과 모델 규모 (Scale) 에 따라 민감도가 어떻게 변화하는지에 대한 체계적인 분석이 부족합니다.
• 배포 리스크: 이러한 민감도 특성을 이해하지 못한 채 무분별하게 FP4 를 적용할 경우, 모델 성능이 급격히 저하될 수 있습니다.

2. 방법론 (Methodology)

이 연구는 Qwen2.5 모델 시리즈 (0.5B, 7B, 14B 파라미터) 를 대상으로 두 가지 주요 FP4 형식인 NVFP4 (NVIDIA) 와 MXFP4 (AMD) 를 비교 분석했습니다.

• 통제된 격리 실험 (Controlled Isolation Methodology):
  • 구성 요소별 분석 (Component-wise): 트랜스포머의 7 가지 Projection 계층 (Query, Key, Value, Output, Gate, Up, Down) 중 하나만 FP4 로 양자화하고 나머지는 FP16 으로 유지하여 각 구성 요소의 민감도를 측정했습니다.
  • 블록별 분석 (Block-wise): 특정 블록 (Layer) 의 구성 요소만 FP16 으로 유지하고 나머지는 FP4 로 양자화하여, 모델 깊이 (Depth) 에 따른 민감도 분포를 분석했습니다.
• 평가 지표: WikiText-2 데이터셋을 사용하여 Perplexity (PPL) 를 측정했습니다. PPL 개선량 (Baseline 대비 FP16 으로 유지 시의 감소폭) 이 클수록 해당 부분이 FP4 양자화에 더 민감함을 의미합니다.
• 실험 환경: NVIDIA RTX 5090 (소규모 모델) 및 RTX 6000 Pro (대규모 모델) 에서 수행되었습니다.

3. 주요 기여 (Key Contributions)

이 논문은 다음과 같은 새로운 통찰을 제공합니다:

1. MLP 계층의 지배적 민감도: MLP 의 Up-Projection 과 Down-Projection 계층이 FP4 양자화에 가장 민감한 계층 (Tier) 임을 규명했습니다. 이 경향은 FP4 형식과 모델 규모에 관계없이 일관되게 나타납니다.
2. 블록 민감도의 비국소화: 민감도가 반드시 모델의 마지막 블록에 집중되는 것이 아님을 발견했습니다. 특히 0.5B 모델의 MXFP4 설정에서는 초기 블록 (Early blocks) 이 매우 높은 민감도를 보였습니다.
3. Outlier 분석의 한계: Down Projection 의 높은 민감도는 극단적인 활성화 Outlier 와 일치하지만, Up Projection 은 Outlier 비율이 낮음에도 불구하고 유사한 민감도를 보입니다. 이는 Outlier 만으로는 FP4 민감도를 완전히 설명할 수 없음을 시사합니다.
4. 모델 규모의 영향: 모델 규모가 커질수록 (0.5B → 14B) 민감도의 절대적 크기는 증가하지만, 구성 요소 간의 상대적 민감도 순위는 변하지 않습니다.

4. 실험 결과 (Results)

A. 구성 요소별 민감도 (Component Sensitivity)

• 가장 민감한 계층: MLP Up-Projection과 Down-Projection이 모든 모델 규모와 FP4 형식에서 가장 큰 성능 저하를 유발했습니다.
• 중간/낮은 민감도: Gate Projection 은 중간 정도의 민감도를 보였으며, Attention 관련 Projection (Query, Key, Value, Output) 은 상대적으로 덜 민감했습니다.
• 형식 비교: MXFP4 가 NVFP4 보다 전반적으로 더 높은 민감도 (더 큰 PPL 증가) 를 보였으나, 구성 요소 간의 민감도 순위는 동일하게 유지되었습니다.

B. 블록별 민감도 (Block Sensitivity)

• 모델 규모에 따른 차이:
  • 7B 및 14B 모델: 민감도가 주로 후반부 블록 (Final blocks) 에 집중되는 경향이 있었습니다.
  • 0.5B 모델 (MXFP4): 후반부뿐만 아니라 **초기 블록 (예: Block 0, 8 등)**에서도 매우 높은 민감도를 보였습니다. 이는 "마지막 레이어가 가장 중요하다"는 일반적인 가정을 FP4 환경에서는 깨뜨리는 결과입니다.
• MXFP4 의 특성: MXFP4 는 NVFP4 에 비해 초기 블록에서의 민감도가 더 두드러지는 경향을 보였습니다.

C. 활성화 통계 분석 (Activation Outlier Analysis)

• Down Projection: P99.9 대비 Max 값의 비율이 다른 구성 요소보다 10~100 배 높게 나타나 극단적인 Outlier 를 가짐. 이는 높은 민감도와 일치합니다.
• Up Projection: Down Projection 과 유사한 높은 민감도를 보이지만, Outlier 비율은 상대적으로 낮았습니다. 이는 FP4 양자화 오차가 단순히 Outlier 에만 기인하는 것이 아님을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 FP4 양자화를 적용할 때 **"무조건적인 균일 양자화"**가 위험할 수 있음을 보여줍니다.

• 진단적 관점: FP4 추론의 실패 원인을 구성 요소 (Component) 와 깊이 (Depth) 차원에서 진단할 수 있는 체계를 제시했습니다.
• 실용적 가이드:
  • 혼합 정밀도 (Mixed-Precision) 전략: MLP 의 Up/Down Projection 과 같은 민감한 계층은 FP16 또는 FP8 으로 유지하고, 덜 민감한 Attention 계층은 FP4 로 양자화하는 등 계층별 차등 적용이 필요함을 시사합니다.
  • 모델 규모 고려: 작은 모델 (0.5B) 의 경우 초기 블록의 민감도를 고려해야 하며, 단순히 마지막 블록만 보호하는 전략은 효과적이지 않을 수 있습니다.
• 미래 방향: 본 분석은 추후 다양한 모델 패밀리와 더 큰 규모, 그리고 네이티브 FP4 연산 커널을 사용하는 환경으로 확장될 수 있으며, 추론 성능뿐만 아니라 추론 (Reasoning) 이나 코딩과 같은 다운스트림 태스크에서의 성능 저하를 이해하는 기초를 제공합니다.

요약하자면, 이 논문은 FP4 양자화가 효율성을 높이지만, 모델 아키텍처의 특정 부분 (특히 MLP Projection) 과 특정 블록 (모델 규모 및 형식에 따라 다름) 에 매우 민감하므로, 구성 요소와 깊이를 고려한 세밀한 양자화 전략이 필수적임을 증명했습니다.