💻 computer science

FP8 is All You Need (Part 1): Debunking Hardware FP64 as the HPC Holy Grail

이 논문은 네이티브 FP64 하드웨어가 고성능 컴퓨팅에 더 이상 필수적이지 않음을 주장하며, NVIDIA의 B300과 같은 AI 최적화 GPU가 FP8 텐서 처리량과 오자키 스킴 II(Ozaki Scheme II)를 결합함으로써 전체 FP64 정확도와 메모리 대역폭 제한 성능을 달출할 수 있고, 이를 통해 감소된 네이티브 배정밀도 실리콘에도 불구하고 이전 세대의 능력을 능가할 수 있음을 입증한다.

원저자: Satoshi Matsuoka

게시일 2026-06-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Satoshi Matsuoka

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

논문 설명: "FP8은 그것만으로 충분하다 (Part 1)"

거대한 문제: "고정밀도(High-Precision)" 절벽

슈퍼컴퓨터의 세계를 무거운 트럭(과학 데이터)을 운반하도록 설계된 거대한 고속도로 시스템이라고 상상해 보세요. 수십 년 동안 규칙은 이랬습니다: "이 무거운 트럭들을 안전하게 운반하려면, 'FP64'(배정밀도)라고 불리는 특정 초강력 다리를 반드시 사용해야 한다."

하지만 이 논문은 차세대 컴퓨터 칩(특히 NVIDIA의 "Blackwell Ultra" 및 "Rubin" GPU)이 더 이상 이런 강한 다리를 짓지 않기로 결정했다고 주장합니다. 대신, 그들은 "FP8"(AI에 사용되는 저정밀도 형식)을 위한 수천 개의 작고 믿을 수 없을 정도로 빠른 차선들을 만들고 있습니다.

과거의 방식: 칩에 40톤의 교통량을 처리할 수 있는 튼튼한 다리(FP64)가 있었습니다.
새로운 방식 (B300/Rubin): 칩에서 튼튼한 다리를 아예 없애버렸습니다. 이제는 1.3톤만 견딜 수 있는 작고 흔들거리는 Footbridge(보도교)를 가지고 있는 대신, 거대한 AI 차선(FP8)은 5,000톤을 처리할 수 있습니다.

결과: 만약 이 새로운 칩에서 오래된 과학용 소프트웨어를 실행하려고 하면, 교통 체증이 그 작은 보도교에서 발생합니다. 거대한 AI 차선들은 비어 있는 채로 쓸모없이 방치됩니다. 논문은 이를 "FP64 절벽"이라고 부릅니다.

해결책: "오자키 스킴(Ozaki Scheme)" (마법의 번역기)

이 논문은 영리한 우회 방법을 제안합니다. 새로운 강한 다리를 만드는 대신, 거대한 AI 차선이 마치 강한 다리인 것처럼 흉내를 내면 어떨까요?

여기서 Ozaki Scheme II가 등장합니다. 이것을 "중국인의 나머지 정리(Chinese Remainder Theorem)"라는 수학적 트릭을 사용하는 마스터 번역기라고 생각하면 됩니다.

비유: 아주 길고 복잡한 비밀 메시지(고정밀도 숫자)를 강 너머로 보내야 하는데, 사용할 수 있는 배가 작아서 짧고 단순한 쪽지만 실을 수 있다고 상상해 보세요.
트릭: 메시지를 한꺼번에 보내는 대신, 번역기는 메시지를 10개 또는 12개의 아주 작고 단순한 쪽지(잔여물, residues)로 나눕니다.
실행: 이 10개의 쪽지를 빠른 AI 차선을 사용하여 동시에 강 너머로 보냅니다.
재조립: 반대편에서 가르너 알고리즘(Garner's algorithm)이라는 빠른 수학 공식이 10개의 쪽지를 다시 엮어서 원래의 완벽한 고정밀도 메시지로 만들어냅니다.

쪽지들이 단순하기 때문에, AI 차선은 이들을 엄청나 된 속도로 운반할 수 있습니다. 논문은 이 방식을 통해, 기존의 강한 다리가 가진 정확도를 유지하면서도 AI 차선의 속도를 얻을 수 있다고 주장합니다.

"텐서-메모리 평형(Tensor-Memory Equilibrium)" (새로운 교통 법규)

저자들은 이 방법이 작동함을 증명하기 위해 **텐서-메모리 평형(TME)**이라는 새로운 모델을 만들었습니다.

과 old 관점: "다리가 약하면 시스템 전체가 느려진다."
새로운 관점: "다리가 약하더라도, 그곳으로 이어지는 도로가 충분히 넓다면 우리는 계속 차를 움직이게 할 수 있다."

논문은 대부분의 과학적 작업(기상 시뮬레이션이나 유체 역학 등)에서 병목 현상은 수학 계산이 아니라 메모리 대역폭(데이터가 칩으로 로드되는 속도)에서 발생한다는 것을 보여줍니다.

좋은 소식: 새로운 칩들은 엄청난 메모리 대역폭을 가지고 있습니다.
문제점: 기존의 수학 연산 장치들은 이 대역폭을 사용하기에는 너무 느렸습니다.
해결책: 오자키 스킴은 데이터를 로드하는 동안 빠른 AI 수학 장치를 사용하여 데이터를 처리합니다. 이를 통해 시스템은 약한 다리의 속도가 아니라 메모리 대역폭의 속도로 구동될 수 있습니다.

결과: 정확도를 잃지 않고 속도 높이기

논문은 새로운 칩(B300 및 Rubin)에서 테스트를 진행하고 이전 세대(H100 및 B200)와 비교했습니다.

"무거운" 수학 (밀집 행렬 곱셈, Dense Matrix Multiplication):
- 새로운 칩의 네이티브 FP64: 매우 느림 (1.3 TFLOPS).
- 새로운 칩의 Ozaki 스킴: 매우 빠름 (500 TFLOPS).
- 결과: 새 칩은 자체 네이티브 모드보다 380배 빠르며, 이전 세대의 최고 성능 칩보다 12배 더 빠릅니다.
"메모리 집약적" 작업 (스텐실, SpMV):
- 이 작업들은 보통 계산 속도가 아니라 데이터를 얼마나 빨리 읽느냐에 의해 제한됩니다.
- 네이티브 FP64: 약한 다리의 속도에 갇혀 있습니다.
- Ozaki 스킴: 거대한 메모리 대역폭의 속도에 맞춰 작동합니다.
- 결과: 새 칩은 기존의 "균형 잡힌" 칩들과 대등한 성능을 보여주면서도, 훨씬 더 많은 원시 전력을 사용할 수 있게 해줍니다.

"4층 구조"의 안전망

논문은 모든 유형의 과학 코드를 위해 이 방식이 작동하려면 "4층 건물"이 필요하다고 주장합니다.

FP8 층: 거대한 AI 차선 (새로운 칩들이 풍부하게 보유하고 있음).
INT32 층: 특정 수학적 기법(FFT)을 위한 백업 차선.
FP32 층: 단순한 수학을 위한 표준 차선.
FP64 층: 기존의 튼튼한 다리.

논문의 결론: 우리는 더 이상 4층(네이티브 FP64)이 필요하지 않습니다. 첫 세 개의 층이 오자키 번역기와 결합하면 전체 건물을 지탱하기에 충분히 튼튼합니다.

주의 사항: "건설 작업"이 필요함

논문은 이것이 마법이 아니며 엔지니어링이 필요하다고 인정합니다.

단순히 오래된 소프트웨어를 꽂는다고 작동하는 것이 아닙니다. 이 번역기를 사용하도록 "배관"(커널 코드)을 새로 작성해야 합니다.
희망적인 부분: 저자는 이 논문을 쓰는 데 사용된 것과 같은 AI 코딩 어시스턴트들이 패턴을 번역하는 데 매우 뛰어나기 때문에, 이 "건설 작업"은 몇 년이 아닌 몇 달 안에 완료될 수 있다고 주장합니다.

요약

이 논문은 "네이티브" 배정밀도(FP64) 실리콘이 필요한 시대는 끝났다고 주장합니다. 엔비디아의 최신 칩들이 이를 위한 하드웨어를 제거했음에도 불구하고, 우리는 수학적 트릭(오자키 스킴)을 사용하여 그들의 거대한 AI 엔진을 완벽한 배정밀도 계산기로 바꿀 수 있습니다.

핵심 요점: 더 이상 FP64 실리콘이라는 "성배"를 찾을 필요가 없습니다. 충분한 FP8 성능과 적절한 소프트웨어 번역기만 있다면, FP8은 그것만으로 충분합니다. 세계에서 가장 복잡한 과학 시뮬레이션을 실행하기에 말입니다.

기술 요약: FP8 is All You Need (Part 1)

1. 문제 정의

본 논문은 고성능 컴퓨팅(HPC) 하드웨어 아키텍처에서 발생하는 심각한 괴리 문제를 다룹니다. 과학 시뮬레이션(예: 양자 색역학, CFD, 기후 모델링)은 수치적 안정성을 위해 IEEE 754 배정밀도(fp64) 산술에 의존하는 반면, 현대의 데이터 센터용 GPU는 저정밀도 AI 워크로드로 급격히 전환하고 있습니다.

NVIDIA Blackwell Ultra (B300) 및 차세대 Rubin (R200) 아키텍처는 이러한 변화를 극명하게 보여줍니다. B300은 저정밀도 포맷(NVFP4/fp8)에서 압도적인 처리량(10–15 PFLOPS)을 제공하지만, 네이티브 fp64 텐서 성능은 약 1.3 TFLOPS로 급감하여 B200 대비 30배나 퇴보했습니다. 이는 두 가지 구체적인 병리 현상을 야기합니다:

메모리 대역폭 제한 커널의 연산 제한화: B300의 "리지 포인트(ridge point)"(연산과 메모리 한계가 교차하는 지점)는 0.16 FLOPS/Byte로 떨어졌습니다. 그 결과, 기존에는 메모리 대역폭 한계치에서 실행되었던 Sparse Matrix-Vector multiplication (SpSpMV), 스텐실(stencil), 배치 GEMV와 같은 표준 메모리 제한 커널들이 이제는 취약한 네이티브 fp64 산술 유닛에 의해 인위적으로 캡(cap)이 씌워진 상태입니다.
유휴 실리콘(Dormant Silicon): 방대한 저정밀도 텐서 코어(fp8/NVFP4)가 fp64 전용 HPC 워크로드 동안 유휴 상태로 남게 되며, 이는 "다크 실리콘(Dark Silicon)"의 비효효율성을 나타냅니다.

핵심 질문은 네이티브 fp64 실리콘이 여전히 HPC의 "성배(holy grail)"인지, 아니면 풍부한 fp8 처리량과 알고리즘적 에뮬레이션의 결합이 완전한 fp64 정확도와 성능을 복구할 수 있는지 여부입니다.

2. 방법론 및 분석 모델

텐서-메모리 평형 (TME) 모델

저자들은 저정밀도 하드웨어에서 에뮬레이션된 fp64의 성능을 분석하기 위해 클래식한 루프라인(Roofline) 모델의 확장판인 텐서-메모리 평형 (TME) 모델을 도입합니다. 이 모델은 세 가지 에뮬레이션 특화 파라미터를 도입합니다:

$\alpha$ (연산 승수, Compute Multiplier): 고정밀 연산당 필요한 저정밀도 텐서 코어 연산의 수 (예: 중국인 나머지 정리 접근법에서의 모듈로 $r$ 의 개수).
$\beta$ (대역폭 승수, Bandwidth Multiplier): 에뮬레이션된 커널과 네이티브 커널 간의 데이터 이동 비율. 본 논문은 분해(decomposition)와 재구성(reconstruction)이 레지스터 수준에서 퓨전(fusion)된다면, $\beta$ 가 1에 근접할 수 있으며, 이는 에뮬레이션이 글로벌 메모리 트래픽 오버헤드를 추가하지 않음을 의미한다고 주장합니다.
$\gamma$ (재구성 지연 시간, Reconstruction Latency): 최종 결과를 재구성하는 데 드는 지연 시간 (예: Garner의 알고리즘을 통한 재구성).

Ozaki Scheme II

본 논문은 중국인 나머지 정리(CRT)에 기반한 방법론인 Ozaki Scheme II를 활용합니다. 원래의 "Ozaki I"(맨티사 슬라이싱)이 슬라이스 수에 따라 이차적으로 스케일링되는 것과 달리, Ozaki II는 행렬 곱셈을 서로 소인 모듈로(pairwise-coprime moduli)에 대한 모듈러 산술로 분해합니다.

1단계: 행렬을 정수로 스케일링합니다.
2단계: 모듈로 $m_i$ 에 대해 저정밀도(fp8) GEMM을 수행합니다.
3단계: Garner의 알고리즘을 사용하여 정수 곱을 재구성하고 이를 fp64로 리스케일링합니다.

본 논문은 특히 fp8 텐서 코어(E4M3)에 맞게 이를 최적화하였는데, 이는 B300/Rubin에서 native int8 처리량이 경시되고 있기 때문에, 모듈러 산술을 부동 소수점 유닛 상에서 에뮬레이션하기 위한 양자화 기법을 활용한 것입니다.

메모리 제한 커널을 위한 구현 전략

핵심 기여는 **레지스터 수준의 퓨전(register-level fusion)**이 $\beta \to 1$ 을 달성하기 위한 메커니즘임을 식별한 것입니다. 제안된 구현 전략은 다음과 같습니다:

fp64 피연산자를 공유 메모리(shared memory)로 로드합니다.
피연산자를 레지스터 내에서 잔차 평면(residue planes)으로 분해합니다.
이 잔차 평면에 대해 $r$ 번의 저정밀도 텐서 코어 MMA를 실행합니다.
글로벌 메모리에 쓰기 전, 레지스터 내에서 Garner의 알고리즘을 통해 결과를 재구성합니다.
이를 통해 잔차 평면이 HBM에 닿지 않도록 하여 메모리 대역폭을 보존합니다.

3. 주요 기여

통합 성능 모델: 에뮬레이션이 네이티브 fp64를 능가하는 교차 연산 강도(crossover arithmetic intensity)를 예측하며, $\alpha, \beta, \gamma$ 파라미터를 명시적으로 고려한 TME 모델의 도출.
커널 설계 규율: 메모리 제한 커널을 위한 필수 요구 사항으로서 레지스터 수준 퓨전을 식별함. 이것이 없으면 대역폭 팽창( $\beta > 1$ )이 에뮬레이션의 이점을 상쇄함.
세대별 전망: B300 및 Rubin R200에 대한 성능 전망을 통해 Ozaki II + fp8이 다음을 달성할 수 있음을 보여줌:
- 메모리 제한 영역: 메모리 루프라인(예: B300의 스텐실을 위한 4 TFLOPS)에 부합하는 처리량을 달 통해 이전 세대의 성능을 효과적으로 복구.
- 연산 제한 영역: 이전 세대(B200, 40 TFLOPS)의 네이티브 fp64 천장을 1개 차수 이상 뛰어넘는 약 500 TFLOPS(B300) 및 약 400 TFLOPS(Rubin)의 처리량 상한선.
H100 베이스라인 비교: 마지막 HPC 균형 GPU인 H100을 기준으로 재설정한 결과, Ozaki II를 적용한 B300/Rubin은 연산 집약적 작업에서 최대 50배까지 퇴보하는 네이티브 B300 fp64와 달리, 모든 워크로드에서 H100의 성능을 대등하게 유지하거나 능가함을 입증함.
엔드 투 엔드 커널 커버리지: 동반된 FFT 분석 [19] 및 BLAS-1 감소 전략(FP32 + Kahan)을 결합한 종합적인 감사를 통해, 모든 주요 HPC 커널 클래스(GEMM, SpMV, Stencils, FFT, reductions)가 B300에서 완전한 fp64 정확도로 메모리 루프라인에 도달할 수 있는 경로를 가지고 있음을 결론지음.

4. 결과

속도 향상 계수: B300에서 Ozaki II/fp8은 다음을 제공함:
- 밀집 GEMM (연산 제한): ~380배 속도 향상.
- 배치 GEMV (B=8): ~24배 속도 향상.
- 7-포인트 스텐실: ~3.1배 속도 향상.
- SpMV (심각한 메모리 제한): ~1.2배 속도 향상.
Rubin의 이점: Rubin R200에서는 HBM 대역폭의 점프(22 TB/s로 증가)와 Ozaki II가 결합되어, 메모리 제한 영역에서 B300보다 2.75배, 전체 스펙트럼에서 H100보다 6.6배 개선된 성능을 보여줌.
기질(Substrate) 선택: 본 논문은 B300/Rubin에서 int8 처리량의 붕괴로 인해 Ozaki II를 위한 최적의 기질로서 fp8이 우월함을 확인하였으며, 이는 int8 대비 30배의 에뮬레이션 상한 이점을 제공함.
정확도: 에뮬레이션은 모듈로 수 $r$ 이 적절히 선택될 경우(일반적으로 fp8의 경우 $r \approx 10$ ), 네이티브 fp64와 비교할 수 있는 증명 가능한 성분별 오차 경계(componentwise error bounds)를 유지함.

5. 의의 및 주장

본 논문은 네이티브 fp64 실리콘이라는 "성배"가 더 이상 신뢰할 수 있는 과학적 컴퓨팅의 필수 전제 조건이 아니라고 주장합니다. 대신, 풍부한 fp8 텐서 처리량과 Ozaki Scheme II 에뮬레이션의 결합이 전체적인 표준 HPC 커널 스펙트럼에서 완전한 fp64 정확도로 메모리 루프라인 실행을 복구하기에 충분합니다.

주요 주장:

메모리 제한 영역에서의 동등성: 에뮬레이션은 레지스터 수준 퓨전을 통해 메모리 제한 커널에 불이익을 주지 않으며, 건강한 네이티브 fp64 칩과 마찬가지로 메모리 루프라인과 일치하는 성능을 달성함.
연산 제한 영역에서의 우월성: 에뮬레이션은 이전 세대(B200)의 네이티브 fp64 능력과 현재 세대의 네이티브 fp64 유닛을 압도적으로 능가함.
전략적 생존 가능성: 이러한 커널을 구현하는 데 필요한 엔지니어링 투자는 현대적인 AI 코딩 어시스턴트와 알고리즘 패턴의 표준화를 통해 "수년이 아닌 수개월"의 타임스케일로 실현 가능해짐.
아키텍처적 함의: 미래의 GPU 설계는 네이티브 fp64 텐서 코어를 고집하기보다, 충분한 fp8 텐서 처리량과 (스펙트럴 작업을 위한 Kulisch INT32 서브플로어와 같은) 폴백 경로를 확보해야 함. 본 논문은 "올바른 알고리즘적 비계(scaffolding)가 갖춰진다면, fp8이 생산적 HPC를 위해 필요한 전부"라고 단언합니다.

결론적으로, 본 논문은 "post-fp64 시대"가 퇴보가 아니라, 소프트웨어 정의 에뮬레이션이 AI 최적화로부터 얻은 실리콘 절감분을 가용 가능한 고정밀 과학적 처리량으로 전환하는 전략적 재정렬이라고 주장합니다.