Pretraining Large Language Models with NVFP4

이 논문은 무작위 하다마드 변환, 2 차원 양자화, 확률적 반올림, 선택적 고정밀 계층 등을 결합한 새로운 NVFP4 기반 학습 기법을 제안하여, 120 억 파라미터 모델을 10 조 개의 토큰으로 학습시켜 FP8 기준과 비교 가능한 성능을 달성하면서도 4 비트 정밀도 학습의 안정성과 효율성을 입증했습니다.

핵심

🚀 NVIDIA 의 'NVFP4': 거대 AI 를 더 빠르고 가볍게 만드는 마법의 기술

안녕하세요! 오늘 NVIDIA 가 발표한 최신 기술 보고서인 **"NVFP4 를 이용한 대규모 언어 모델 (LLM) 사전 학습"**에 대해 아주 쉽고 재미있게 설명해 드릴게요.

이 기술은 한마디로 **"거대한 AI 두뇌를 훈련시킬 때, 무거운 장비를 덜어내고 더 가볍고 빠르게 움직이게 만드는 방법"**입니다.

---

1. 왜 이런 기술이 필요할까요? (무거운 짐을 덜어내다)

지금까지 AI 를 가르치려면 엄청난 양의 데이터와 계산 능력이 필요했습니다. 마치 거대한 트럭을 몰아서 전 세계의 책을 한 번에 읽게 하는 것과 비슷하죠. 이 트럭은 연료 (전력) 를 많이 먹고, 도로 (컴퓨터 메모리) 를 꽉 채웁니다.

• 기존 방식 (FP8): 트럭의 짐을 8 비트라는 '작은 상자'에 담았습니다. 이미 꽤 효율적이지만, 더 줄일 수 있다면 좋겠죠?
• 새로운 방식 (NVFP4): 이제 짐을 4 비트라는 '초소형 상자'에 담으려 합니다. 상자가 절반으로 작아지면, 트럭은 이중으로 빠르게 달리고 연료도 절반만 먹습니다!

하지만 문제는, 상자가 너무 작으면 중요한 물건 (데이터) 이 깨지거나 사라질 수 있다는 점입니다. 특히 AI 가 배우는 과정에서 '예외적인 상황 (아웃라이어)'이 생기면, 작은 상자에는 들어가지 못해 AI 가 망가질 수 있죠.

2. NVFP4 의 마법 비법 4 가지

NVIDIA 는 이 '초소형 상자'를 사용하면서도 AI 가 망가지지 않게 하기 위해 4 가지 마법 같은 기술을 개발했습니다.

🧙‍♂️ 1. '랜덤 해머드 변환' (RHT): 혼란을 정리하는 마법

• 상황: AI 가 배우는 데이터 중에는 유독 크고 튀는 숫자 (아웃라이어) 가 가끔 있습니다. 마치 거대한 코끼리가 작은 방에 들어오려는 것처럼요. 4 비트 상자에는 코끼리가 들어갈 수 없습니다.
• 해결책: NVIDIA 는 이 코끼리를 무작위로 회전시키는 마법을 씁니다. 코끼리가 회전하면 모양이 바뀌어 마치 여러 마리의 토끼처럼 흩어집니다. 이렇게 흩어지면 작은 상자에도 모두 들어갈 수 있게 되죠.
• 효과: 튀는 숫자들이 골고루 퍼져서, AI 가 중요한 정보를 잃지 않고 학습할 수 있습니다.

⚖️ 2. '2 차원 스케일링': 앞뒤로 똑같은 규칙

• 상황: AI 는 학습할 때 (앞으로 가는 길) 와 오답을 수정할 때 (뒤로 돌아오는 길) 같은 데이터를 다룹니다. 그런데 4 비트로 줄이다 보면, 앞길과 뒷길에서 데이터의 크기를 재는 **자 (스케일)**가 달라질 수 있습니다.
• 문제: 앞길에서는 '10cm'로 재던 것이, 뒷길에서는 '12cm'로 재면 AI 는 "어? 내가 뭘 잘못했지?"라고 혼란을 겪습니다. (이걸 '연쇄 법칙 위반'이라고 해요.)
• 해결책: NVIDIA 는 16x16 크기의 정사각형 블록 단위로 자를 맞춰줍니다. 앞길과 뒷길에서 똑같은 자를 사용하게 해서, AI 가 혼란 없이 올바른 방향으로 학습하게 합니다.

🎲 3. '확률적 반올림': 편견을 없애는 주사위

• 상황: 숫자를 작은 상자에 넣을 때, 보통은 가장 가까운 숫자로 반올림합니다. 하지만 이렇게 하면 특정 방향으로만 치우치는 **편향 (Bias)**이 생길 수 있습니다. 마치 주사위를 굴려서 '6'만 계속 나오는 것처럼요.
• 해결책: NVIDIA 는 주사위를 굴려서 결정합니다. 3.6 이라는 숫자가 있다면, 3 이 될지 4 가 될지 확률에 따라 결정합니다.
• 효과: 장기적으로 보면 편향이 사라져서 AI 가 더 공정하고 정확하게 학습합니다. 특히 **오류를 수정하는 과정 (기울기)**에서 이 기술이 필수적입니다.

🛡️ 4. '혼합 정밀도': 중요한 부분은 보호하다

• 상황: AI 의 모든 부분을 4 비트로 다 줄이면, 가장 중요한 마지막 단계에서 AI 가 망가질 수 있습니다.
• 해결책: 전체 중 15% 정도만은 여전히 무거운 16 비트 (BF16) 상자를 쓰게 합니다. 마치 보석은 금고에, 나머지는 일반 가방에 담는 것과 같습니다.
• 효과: AI 의 핵심 부분 (마지막 레이어 등) 은 안전하게 보호되면서, 나머지는 가볍게 처리하여 전체적인 효율을 극대화합니다.

---

3. 실제 성과: 얼마나 잘 작동할까요?

NVIDIA 는 이 기술을 이용해 120 억 개의 파라미터를 가진 거대 AI 를 10 조 개의 단어로 훈련시켰습니다. (이는 4 비트로 훈련된 AI 중 가장 긴 기록입니다!)

• 결과: 4 비트 (NVFP4) 로 훈련한 AI 는, 기존 8 비트 (FP8) 로 훈련한 AI 와 거의 똑같은 성능을 냈습니다.
  • 예: 복잡한 추론 문제 (MMLU-Pro) 에서 8 비트는 62.62%, 4 비트는 **62.58%**로 거의 차이가 없었습니다.
• 비유: 8 비트 트럭과 4 비트 트럭이 같은 목적지에 도착했는데, 4 비트 트럭은 속도는 두 배로 빠르고 연료는 절반만 썼다는 뜻입니다.

4. 결론: 미래는 더 가볍고 빨라진다

이 기술은 AI 가 더 커지고 더 똑똑해지려면, 결국 계산 효율을 높여야 한다는 것을 보여줍니다.

• NVFP4는 NVIDIA 의 최신 그래픽카드 (Blackwell) 에서 바로 작동합니다.
• 앞으로 AI 모델을 만들 때, 더 적은 전력과 더 짧은 시간으로 더 똑똑한 AI 를 만들 수 있는 길이 열린 것입니다.

한 줄 요약:

"NVIDIA 가 AI 의 짐을 반으로 줄이는 마법 상자 (NVFP4) 를 개발했고, 중요한 건 잃지 않으면서 AI 를 두 배로 빠르게 훈련시켰습니다!"

이제 AI 시대는 '무겁고 느린' 시대에서 '가볍고 빠른' 시대로 넘어가고 있습니다! 🚀✨

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 성능은 모델 크기, 학습 데이터 양 및 품질의 증가에 따라 향상되고 있습니다. 그러나 최첨단 모델을 학습시키기 위해서는 엑사플롭스 (Yottaflops) 단위의 막대한 연산 자원과 에너지가 필요하여 비용과 시간이 매우 많이 소요됩니다.

• 현재 상황: 8 비트 부동소수점 (FP8) 학습이 산업 표준으로 자리 잡았으나, 더 좁은 정밀도인 4 비트 (FP4) 로 전환하면 연산 속도와 메모리 효율을 획기적으로 개선할 수 있습니다.
• 과제: 4 비트 정밀도는 매우 제한된 동적 범위 (dynamic range) 를 가지므로, 학습 중 발생하는 아웃라이어 (outlier) 값 처리, 수렴성 (convergence) 저하, 그리고 학습 안정성 문제가 발생합니다. 특히 수십 조 토큰 (trillion-token) 규모의 긴 학습 기간 동안 이러한 문제를 해결하는 것은 매우 어렵습니다.

2. 방법론 (Methodology)

이 연구는 NVIDIA Blackwell 아키텍처에 최적화된 새로운 4 비트 포맷인 NVFP4를 도입하고, 이를 통해 120 억 파라미터 모델을 10 조 토큰으로 학습시키기 위한 4 가지 핵심 기술을 제안합니다.

2.1 NVFP4 포맷의 특징

기존의 MXFP4(Microscaling FP4) 와 비교하여 NVFP4 는 다음과 같은 구조적 개선을 통해 정확도를 높였습니다.

• 블록 크기 축소: 32 개 요소에서 16 개 요소로 블록 크기를 줄여, 블록 내 동적 범위를 좁히고 FP4 표현 범위에 더 잘 맞도록 했습니다.
• 정밀한 스케일링: 블록 스케일 팩터를 저장하는 데 E4M3 포맷을 사용하여 (기존 UE8M0 대비 지수 범위는 줄이고 부동소수점 정밀도 증가), 더 정밀한 스케일링을 가능하게 했습니다.
• 2 단계 스케일링: 텐서 수준에서 FP32 스케일 팩터를 적용하고, 블록 수준에서 E4M3 스케일 팩터를 적용하는 2 단계 구조를 사용하여 아웃라이어 값을 FP8 정밀도에 가깝게 표현하면서도 나머지 값은 FP4 로 저장합니다.

2.2 학습 방법론의 핵심 구성 요소

NVFP4 만으로는 학습이 불안정할 수 있으므로, 다음 4 가지 기법을 결합하여 적용했습니다.

1. 혼합 정밀도 (Mixed Precision):

   • 모델의 대부분은 FP4 로 학습하지만, 수치적으로 민감한 선형 레이어 (Linear Layers) 는 고정밀도 (BF16 또는 FP8) 로 유지합니다.
   • 실험 결과, 모델의 마지막 8 개 블록과 첫 번째 2 개 블록을 BF16 으로 유지하는 것이 학습 수렴에 가장 효과적이었습니다 (전체 선형 레이어의 약 16% 를 고정밀도로 유지).

2. 랜덤 하다마드 변환 (Random Hadamard Transforms, RHT):

   • FP4 에서 큰 값을 가진 아웃라이어를 분산시키기 위해 Wgrad(가중치 기울기) 입력에 16x16 크기의 랜덤 하다마드 변환을 적용합니다.
   • 이는 아웃라이어를 가우스 분포에 가깝게 재분배하여 정밀도가 낮은 포맷에서도 표현 가능하게 만듭니다.
   • 주의: Fprop(순전파) 및 Dgrad(활성화 기울기) 에는 적용하지 않음 (오히려 성능 저하).

3. 2 차원 (2D) 블록 스케일링:

   • 순전파 (Forward) 와 역전파 (Backward) 에서 텐서의 차원이 전치 (transpose) 되므로, 동일한 텐서가 서로 다른 양자화 표현을 가지게 되어 연쇄 법칙 (Chain Rule) 위반이 발생할 수 있습니다.
   • 이를 해결하기 위해 가중치 (Weights) 에 대해 16x16 블록 단위의 2 차원 스케일링을 적용하여 순전파와 역전파에서 일관된 양자화 표현을 유지하도록 했습니다.
   • 활성화 (Activations) 와 기울기 (Gradients) 에는 기존 1x16 블록 스케일링을 유지합니다.

4. 확률적 반올림 (Stochastic Rounding):

   • 기울기 (Gradients) 의 양자화 시 결정론적 반올림 (Round-to-nearest) 대신 확률적 반올림을 적용합니다.
   • 이는 양자화로 인한 편향 (Bias) 을 줄이고, 기울기 추정을 불편향적으로 만들어 학습 수렴을 돕습니다.
   • 주의: 순전파 텐서에는 적용하지 않음 (오류 증폭).

3. 주요 결과 (Results)

NVIDIA 는 120 억 파라미터 (12B) 의 하이브리드 Mamba-Transformer 모델을 10 조 토큰으로 학습시켜 이 방법론을 검증했습니다.

• 학습 손실 (Training Loss): NVFP4 로 학습한 모델의 검증 손실 곡선은 FP8 기준 모델과 거의 일치했습니다. 학습 중 상대적 손실 오차는 1% 미만을 유지했으며, 학습 말기에는 1.5% 내외로 소폭 증가했습니다.
• 다운스트림 작업 정확도:
  • MMLU-Pro: NVFP4 62.58% vs FP8 62.62% (거의 동일).
  • MATH: NVFP4 86.88% vs FP8 86.20% (NVFP4 가 오히려 약간 더 높음).
  • GSM8k: NVFP4 92.27% vs FP8 89.08%.
  • 코딩 작업 (HumanEval+, MBPP+) 에서만 미세한 격차가 있었으나, 이는 평가 노이즈 때문일 가능성이 높다고 분석했습니다.
• NVFP4 vs MXFP4 비교:
  • 동일한 80 억 파라미터 모델로 비교 시, NVFP4 가 MXFP4 보다 더 낮은 손실로 수렴했습니다.
  • MXFP4 가 NVFP4 와 동일한 손실 수준에 도달하려면 약 36% 더 많은 토큰 (학습 시간) 이 필요했습니다. 이는 NVFP4 의 효율성 우위를 입증합니다.

4. 주요 기여 (Key Contributions)

1. 최대 규모의 4 비트 학습 증명: 10 조 토큰이라는 공개된 기록 중 가장 긴 토큰 범위에서 120 억 파라미터 모델을 4 비트 정밀도로 성공적으로 학습시킨 최초의 사례를 제시했습니다.
2. NVFP4 포맷 및 학습 알고리즘 제안: 아웃라이어 처리, 일관된 양자화 표현 유지, 편향 제거를 위한 구체적인 방법론 (RHT, 2D Scaling, Stochastic Rounding) 을 체계적으로 제시했습니다.
3. 효율성 입증: FP8 대비 2~3 배의 연산 속도 향상과 50% 의 메모리 감소 효과를 유지하면서도 FP8 수준의 모델 성능을 달성할 수 있음을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 미래 발전 방향에 중요한 이정표가 됩니다.

• 비용 절감: FP4 학습의 성공은 연산 자원 (GPU 시간) 과 에너지 소비를 획기적으로 줄여, 더 크고 복잡한 모델을 훈련할 수 있는 경제적 타당성을 제공합니다.
• 하드웨어 활용: NVIDIA Blackwell GPU 의 Tensor Core 가 지원하는 NVFP4 포맷의 잠재력을 최대한 끌어냈습니다.
• 실용적 적용: Transformer Engine 을 통해 NVFP4 학습이 완전히 지원됨에 따라, 향후 더 큰 규모의 모델과 다양한 아키텍처 (MoE 등) 로 확장 가능해졌습니다.

결론적으로, NVIDIA 는 제안한 방법론을 통해 4 비트 정밀도 학습이 더 이상 이론적 가능성이 아닌, 실제 대규모 모델 학습에 적용 가능한 실용적이고 효율적인 표준이 될 수 있음을 증명했습니다.