🔢 mathematics

Analysis of Floating-Point Matrix Multiplication Computed via Integer Arithmetic

이 논문은 부동소수점 행렬 곱셈을 정수 연산으로 변환하는 기존 기법의 정확도와 성능을 조절하기 위한 최소 슬라이스 수 추정 방법을 제안하고, 행렬의 스케일링에 따른 오차 한계를 분석하여 최신 GPU 에서의 실험을 통해 검증합니다.

원저자: Ahmad Abdelfattah, Jack Dongarra, Massimiliano Fasi, Mantas Mikaitis, Françoise Tisseur

게시일 2026-03-30

📖 4 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ahmad Abdelfattah, Jack Dongarra, Massimiliano Fasi, Mantas Mikaitis, Françoise Tisseur

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"거대한 숫자 계산기를 더 작은 조각으로 잘라, 빠르고 정확한 계산을 하는 새로운 방법"**에 대한 이야기입니다.

현대 슈퍼컴퓨터는 인공지능 (AI) 학습처럼 아주 빠른 계산이 필요할 때, 정밀한 '부동소수점 (실수)' 계산 대신 더 빠르고 간단한 '정수 (정수)' 계산을 많이 사용합니다. 하지만 과학 연구나 정밀한 시뮬레이션에서는 정수 계산만으로는 오차가 너무 커서 문제가 됩니다.

이 논문은 **"정수 계산기의 속도로, 부동소수점 계산기의 정확도까지 얻어내는 마법"**을 소개합니다.

1. 문제 상황: "정밀한 계산은 느리고, 빠른 계산은 부정확해"

상상해 보세요.

부동소수점 (FP64): 천문학자나 의사가 사용하는 정밀한 망원경입니다. 아주 작은 별이나 세포까지 정확하게 보지만, 작동 속도가 느립니다.
정수 (Integer): AI 가 사용하는 빠른 스포츠카입니다. 엄청난 속도로 달릴 수 있지만, 미세한 차이는 무시하고 대략적인 결과만 냅니다.

최근의 슈퍼컴퓨터 (NVIDIA GPU 등) 는 이 '스포츠카'의 성능을 극대화하기 위해 설계되었습니다. 하지만 과학자들은 여전히 '망원경'의 정확도가 필요합니다. 그래서 **"스포츠카로 망원경의 일을 시키는 방법"**을 찾아야 했습니다.

2. 해결책: "오자키 (Ozaki) 방식의 조각 내기"

이 논문에서 다루는 핵심 기술은 **'오자키 (Ozaki) 방식'**이라고 불리는 방법입니다. 이를 쉽게 비유하자면 다음과 같습니다.

🍰 케이크를 잘라 먹기

큰 케이크 (정밀한 계산 결과) 를 한 입에 다 먹으려다 보면 (부동소수점 계산), 속도가 느립니다. 대신 케이크를 아주 잘게 잘라 (정수 조각), 하나씩 빠르게 먹고 다시 합쳐보자는 아이디어입니다.

조각 내기 (Slicing): 계산할 숫자 (행렬) 를 '조각 (Slice)'으로 나눕니다. 마치 거대한 숫자를 8 비트, 16 비트 같은 작은 정수 덩어리로 쪼개는 것입니다.
빠른 계산: 이 작은 조각들은 컴퓨터가 아주 빠르게 계산할 수 있는 '정수' 형태로 변환됩니다.
다시 합치기: 계산된 조각들을 다시 부동소수점 형태로 합쳐서 최종 결과를 만듭니다.

이때 **조각을 몇 개로 나눌지 (Slice 수)**가 관건입니다.

조각이 적으면: 계산이 매우 빠르지만, 케이크의 맛 (정확도) 이 떨어집니다.
조각이 많으면: 맛이 정확해지지만, 자르는 시간이 길어져 속도가 느려집니다.

3. 이 논문의 핵심 발견: "모든 조각을 똑같이 자를 필요는 없다!"

기존 연구자들은 A 와 B 두 숫자를 계산할 때, 두 숫자 모두를 똑같은 수의 조각으로 자르는 것이 좋다고 생각했습니다. 하지만 이 논문의 저자들은 **"그건 아니야!"**라고 말합니다.

🎯 비유: "무거운 짐과 가벼운 짐"

두 사람이 짐을 나르는 상황을 상상해 보세요.

사람 A (행렬 A): 아주 무거운 짐을 나릅니다. (숫자 크기가 매우 다양하고 불규칙함)
사람 B (행렬 B): 아주 가볍고 균일한 짐을 나릅니다.

기존 방식은 두 사람 모두에게 10 개의 작은 상자를 주었습니다.

하지만 사람 A 는 10 개 상자로는 짐을 다 담을 수 없어 (정확도 부족), 20 개 상자가 필요합니다.
사람 B 는 10 개 상자면 충분합니다.

이 논문은 **"사람 A 에게는 20 개 상자를, 사람 B 에게는 10 개 상자만 주면 된다"**고 제안합니다.

결과: 전체 작업량은 줄어들고 (성능 향상), 정확도는 그대로 유지됩니다.
핵심: 행렬 A 와 B 의 특성에 따라 조각의 개수를 다르게 조절하면, 불필요한 계산을 줄일 수 있다는 것입니다.

4. 주의할 점: "불균형한 숫자는 함정이다"

이 방법은 숫자들이 고르게 분포되어 있을 때 가장 잘 작동합니다. 하지만 만약 숫자들 사이에 **엄청난 차이 (예: 0.000001 과 1,000,000 이 섞여 있는 경우)**가 있다면 문제가 생깁니다.

비유: 거대한 산과 아주 작은 돌멩이를 같은 상자에 담으려 할 때, 돌멩이는 산에 가려져 사라질 수 있습니다.
논문 경고: 만약 입력된 숫자들이 너무 불균형하게 섞여 있다면, 아무리 조각을 많이 잘라도 정확한 결과를 내기 어렵거나, 엄청난 양의 조각이 필요해져서 속도가 느려질 수 있습니다.

5. 실제 실험 결과: "최신 GPU 에서의 성능"

저자들은 최신 NVIDIA GPU (Blackwell, Hopper 등) 에서 이 방법을 테스트했습니다.

성능: 일반적인 숫자 계산에서는 기존 방식보다 최대 7 배 이상 빠르기도 했습니다.
정확도: 조각을 적절히 늘리면 (예: 7~8 조각), 기존에 느리지만 정확한 방식과 거의 똑같은 정확도를 내면서도 훨씬 빨랐습니다.
한계: 하지만 숫자가 너무 불균형한 (Badly Scaled) 경우에는 여전히 정확도가 떨어질 수 있어, 계산 전에 숫자의 상태를 미리 체크해야 합니다.

6. 결론: "스마트한 계산의 시대"

이 논문은 우리에게 중요한 메시지를 줍니다.

"무조건 모든 것을 똑같은 정밀도로 계산할 필요는 없습니다. 상황에 따라 정밀도와 속도를 적절히 섞는 (Mixed-Precision) 지혜가 필요합니다."

이 기술은 AI 학습뿐만 아니라 기후 변화 예측, 신약 개발 등 거대한 과학 시뮬레이션에서도 더 빠른 슈퍼컴퓨터를 가능하게 할 핵심 열쇠가 될 것입니다. 마치 스마트폰이 배터리 효율을 위해 화면 밝기를 상황에 따라 조절하는 것처럼, 컴퓨터도 계산의 중요도에 따라 정밀도를 조절하여 에너지를 아끼고 속도를 높이는 시대가 온 것입니다.

이 논문은 정수 산술 (Integer Arithmetic) 을 이용한 부동소수점 행렬 곱셈의 오차 분석 및 성능 평가에 관한 연구입니다. 저자들은 최신 GPU 아키텍처 (NVIDIA Tensor Cores 등) 에서 제공되는 고속 정수 연산 유닛을 활용하여, 기존에 부동소수점 (Floating-point) 으로만 수행되던 곱셈을 정수 연산으로 재구성하는 '오자키 (Ozaki) 방식'의 정확도와 성능을 심층적으로 분석했습니다.

주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

배경: 최신 슈퍼컴퓨터와 AI 가속기는 저정밀도 (FP16, BF16, INT8 등) 연산에 최적화되어 있으며, 부동소수점 (FP64) 연산의 성능이 상대적으로 저하되거나 지원이 축소되는 추세입니다.
도전 과제: 과학적 계산은 높은 정확도 (FP64) 를 요구하지만, 하드웨어는 저정밀도/정수 연산을 선호합니다. 이를 해결하기 위해 저정밀도 연산을 조합하여 고정밀도 결과를 얻는 '혼합 정밀도 (Mixed-precision)' 알고리즘이 필요합니다.
기존 방식의 한계: 오자키 방식 (Ozaki scheme) 은 행렬을 정수 조각 (slices) 으로 나누어 정수 곱셈을 수행한 후 부동소수점으로 누적하는 방식입니다. 하지만 기존 연구들은 행렬의 스케일링 (Scaling) 이 나쁜 경우 (행이나 열의 값 크기가 극단적으로 다른 경우) 에 알고리즘이 실패하거나 정확도가 급격히 떨어질 수 있다는 점을 충분히 분석하지 못했습니다. 또한, 필요한 슬라이스 (slice) 수를 예측하는 체계적인 방법이 부족했습니다.

2. 방법론 (Methodology)

저자들은 오자키 방식을 정수 행렬 곱셈 - 누적 (MMA) 유닛에 적용하는 알고리즘을 재정의하고, 이를 바탕으로 새로운 오차 분석 모델을 개발했습니다.

알고리즘 개요:
1. 입력 행렬 $A$ 와 $B$ 의 각 행/열을 블록 고정소수점 (block fixed-point) 표현으로 변환합니다.
2. 이를 정수 슬라이스 ( $A^{(\ell)}, B^{(h)}$ ) 로 분할합니다.
3. 정수 유닛을 사용하여 슬라이스들의 곱 ( $A^{(\ell)}B^{(h)}$ ) 을 정확하게 계산합니다.
4. 부동소수점 연산으로 이 부분 곱들을 누적하여 최종 결과를 얻습니다.
새로운 오차 분석:
- 잘못된 스케일링 (Bad Scaling) 의 영향: 행렬 $A$ 의 행이나 $B$ 의 열이 값의 크기 범위가 매우 넓을 때 (즉, 조건수 $\kappa$ 가 클 때), 고정소수점 변환 과정에서 발생하는 절단 오차 (truncation error) 가 커져 전체 정확도가 떨어질 수 있음을 수학적으로 증명했습니다.
- 슬라이스 수 최적화: 행렬 $A$ 와 $B$ 에 대해 서로 다른 수의 슬라이스 ( $s_A, s_B$ ) 를 사용할 수 있음을 제안했습니다. 한 행렬은 잘 스케일링되어 있어 슬라이스를 적게 쓰고, 다른 행렬은 슬라이스를 많이 쓰는 전략으로 성능과 정확도의 균형을 맞출 수 있습니다.
- 오차 상한식 유도: 절단 오차와 부동소수점 반올림 오차를 결합한 새로운 오차 상한식을 유도하여, 주어진 정확도 요구사항을 만족하는 최소 슬라이스 수를 추정하는 방법을 제시했습니다.

3. 주요 기여 (Key Contributions)

정밀한 오차 분석: 행렬의 스케일링 상태에 따라 알고리즘이 실패할 수 있는 조건을 명확히 규명했습니다. 특히 $A$ 의 행이나 $B$ 의 열이 badly scaled 일 경우, 슬라이스 수를 무작정 늘려도 해결되지 않을 수 있음을 보였습니다.
유연한 슬라이스 전략: $A$ 와 $B$ 에 대해 다른 수의 슬라이스를 적용하는 것이 정확도 손실 없이 성능을 향상시킬 수 있음을 이론적으로 증명하고 실험으로 검증했습니다.
최신 하드웨어 벤치마크: NVIDIA Hopper (GH200) 와 차세대 Blackwell (B200) GPU 에서 오자키 방식의 성능을 측정했습니다. 특히 Blackwell GPU 에서 INT8 정수 연산과 FP64 부동소수점 연산의 성능 차이가 극대화되어, 적절한 슬라이스 수 선택 시 FP64 정확도를 유지하면서 기존 FP64 구현체 (cuBLAS) 보다 훨씬 빠른 속도를 낼 수 있음을 보였습니다.

4. 실험 결과 (Results)

잘못된 스케일링 행렬: 행렬의 값 범위가 넓을수록 (예: $\kappa \approx 10^{40}$ ) 더 많은 슬라이스가 필요하며, 슬라이스 수를 늘려도 성능 저하가 심해져 실용성이 떨어질 수 있음을 확인했습니다.
선형 시스템 해결 (LU 분해): 블록 LU 분해를 통해 선형 시스템을 풀 때, 행렬의 특성에 따라 한쪽 행렬은 슬라이스를 줄이고 다른 쪽은 늘리는 전략 ( $s_A \neq s_B$ ) 이 정확도 손실 없이 성능을 개선할 수 있음을 보였습니다.
성능 벤치마크:
- GH200 (H100): 슬라이스 수를 줄이면 (예: 3 개) 속도는 빨라지지만 정확도가 크게 떨어집니다.
- B200 (Blackwell): INT8 대 FP64 성능 비율이 매우 높기 때문에 (약 112.5 배), 슬라이스 수를 7~8 개로 설정했을 때 cuBLAS 의 FP64 구현체보다 약 2.4 배 (GH200) 에서 7.6 배 (B200) 더 빠르면서도 FP64 수준의 정확도를 달성했습니다.
- 고차원 알고리즘: 단순 행렬 곱셈 (GEMM) 벤치마크만으로는 최적의 슬라이스 수를 결정할 수 없으며, QR 분해나 고유값 문제와 같은 상위 레벨 알고리즘의 안정성을 고려해야 함을 강조했습니다.

5. 의의 및 결론 (Significance)

과학적 계산의 미래: AI 워크로드에 최적화된 최신 하드웨어 (정수 연산 중심) 를 과학적 계산 (고정밀도 필요) 에 효과적으로 통합할 수 있는 길을 열었습니다.
실용적 가이드: 알고리즘의 정확도와 성능을 결정하는 핵심 파라미터인 '슬라이스 수'를 행렬의 특성 (스케일링) 에 기반하여 예측하고 최적화하는 방법을 제시했습니다.
한계점: 현재 오자키 방식은 IEEE 754 의 특수 값 (NaN, Inf, 음의 0 등) 을 올바르게 처리하지 못하며, 입력 행렬이 극단적으로 스케일링된 경우 정확도 보장이 어렵다는 점을 지적했습니다. 따라서 완전한 FP64 대체재라기보다는, 특정 조건 하에서 고효율을 낼 수 있는 보완적 접근법으로 평가됩니다.

요약하자면, 이 논문은 정수 연산 하드웨어를 활용한 고정밀도 행렬 곱셈의 이론적 한계와 실용적 최적화 전략을 체계적으로 제시하여, 차세대 슈퍼컴퓨팅 환경에서의 혼합 정밀도 알고리즘 개발에 중요한 통찰을 제공합니다.