💻 computer science

BF16 Component-Product Emulation of FP32 and FP64 GEMM on Intel AMX

이 논문은 피연산자를 여러 개의 저정밀도 성분으로 분해하고 이를 더 높은 정밀도로 누적함으로써, 경쟁력 있는 처리량과 조절 가능한 정확도를 달est하는, Intel AMX BF16 행렬 곱을 활용하여 고정밀 FP32 및 FP64 GEMM 연산을 에뮬레이션하는 CPU 지향 알고리즘을 제시한다.

원저자: Bing Cui, Yu Liu

게시일 2026-09-07✓ Author reviewed ⓘ

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bing Cui, Yu Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 컴퓨터는 내부 구조에서 점차 커지는 분열을 겪으며 구축되고 있습니다. 한쪽에는 인공지능을 위해 특별히 설계된 강력한 엔진들이 있는데, 이들은 수십억 개의 단순한 계산을 매우 빠르게 수행하는 데 탁월합니다. 이 엔진들은 숫자가 짧고 단순할 때 가장 잘 작동하며, 엄청난 속도를 위해 아주 미세한 디테일을 희생합니다. 다른 한쪽에는 기상 패턴 시뮬레이션, 원자 결합 모델링, 또는 유체 흐름 예측과 같은 과학적 발견의 세계가 있으며, 이는 여전히 길고 정밀한 숫자에 의존하고 있습니다. 이러한 과학적 계산은 안정성과 정확성을 유지하기 위해 모든 디테일이 필요하지만, 이를 처리하는 표준 컴퓨터 부품들은 새로운 AI 엔진보다 종종 느리고 비효율적입니다. 이는 딜레마를 생성합니다. 과학자들은 새로운 하드웨어의 속도를 필요로 하지만, 그들의 작업이 요구하는 정밀도를 잃어서는 안 되기 때문입니다.

중국의 Maginfra Co., Ltd. 연구진은 Intel AMX라고 불리는 특정 유형의 컴퓨터 칩을 사용하여 이 간극을 메울 방법을 탐구했습니다. 그들의 목표는 빠르고 저정밀도인 AI 엔진이 과학에 필요한 느리고 고정밀인 수학 연산을 수행하도록 속이는 것이었습니다. 칩에게 직접 어려운 수학 문제를 풀라고 요청하는 대신, 그들은 문제를 더 작고 단순한 조각들로 나누었습니다. 매우 긴 거리를 정수 단위의 눈금만 있는 자로 측정하려고 노력하는 상황을 상상해 보십시오. 당신은 전체 정수 단위를 측정하고, 그다음 남은 분수를 측정하고, 그다음 남은 아주 작은 조각을 측정하여 이들을 모두 더함으로써 정밀한 총합을 얻을 수 있습니다. 연구진은 이와 동일한 논리를 숫자에 적용했습니다. 그들은 하나의 복잡한 숫자를 AI 엔진이 쉽게 처리할 수 있는 여러 개의 단순한 부분으로 나누었습니다. 그런 다음 이 부분들에 대해 많은 횟수의 빠른 계산을 수행하고, 그 결과들을 주의 깊게 다시 합쳐서 최종적으로 매우 정확한 답을 재구성했습니다.

연구팀은 이 접근 방식을 두 가지 다른 정밀도 수준에서 테스트했습니다. 먼저, 그들은 많은 과학적 응용 분야의 표준인 단정밀도(single-precision) 수학을 다루었습니다. 그들은 각 숫자를 세 부분으로 나누고 여섯 개의 특정 계산을 실행함으로써, 기존의 가장 우수한 소프트웨어만큼 정확하면서도 훨씬 더 빠르게 결과를 얻을 수 있다는 것을 발견했습니다. 테스트에 사용된 컴퓨터 칩에서 이 방식은 표준적인 수학 방식보다 1.14배에서 2.56배 더 빠르게 작동했습니다. 속도 향상은 숫자를 나누고 다시 조립하는 오버헤드가 순수한 계산 속도에 비해 덜 중요해지는 대규모 데이터 세트에서 가장 두드러졌습니다.

그들이 더욱 정밀하고 가장 까다로운 과학 시뮬레이션에 사용되는 배정밀도(double-precision) 수학으로 넘어갔을 때, 도전 과제는 커졌습니다. 여기서 연구진은 각 숫자를 여섯 부분으로 나누어야 했습니다. 계산 결과가 극도로 세심하게 재조립되어야 했기 때문에 과정은 더 복로 복잡해졌습니다. 그들은 여섯 개에서 스물한 개의 작은 계산 조각을 유지하는 다양한 버전의 방법을 테스트했습니다. 그들은 명확한 트레이드오프(trade-off)를 발견했습니다. 더 많은 조각을 유지할수록 답은 더 정확해졌지만, 프로세스는 더 느려졌습니다. 단 여섯 개의 조각만 사용했을 때, 이 방식은 매우 큰 문제들에 대해 기존 소프트웨어보다 충분히 빨랐으며 최대 1.7배 더 빠른 속도를 냈습니다. 그러나 정확도를 높이기 위해 더 많은 조각을 추가함에 따라, 그것들을 관리하는 데 드는 추가 작업이 속도 이점을 갉아먹었습니다. 결국, 스물한 개의 조각을 유지하려고 시도하자 기존 방식보다 더 느려졌지만, 정확도는 더 높아졌습니다.

이 연구는 또한 이 기술이 모든 상황에 적용되는 보편적인 해결책은 아니라는 점을 강조했습니다. 이 방식은 계산되는 숫자들이 특정 범위 내에 머물러 있을 때 가장 잘 작동하는데, 이는 마치 제한된 길이의 자가 특수한 조정 없이는 너무 방대하거나 너무 작은 거리를 측정할 수 없는 것과 비슷합니다. 연구진은 그들의 방법이 모든 유형의 숫자, 특히 극도로 크거나 극도로 작은 숫자에 대해서는 작동하지 않으며, 기존 소프트웨어와 비트 단위까지 완벽하게 일치하는 것을 보장하지 않는다는 점을 언급했습니다. 대신, 이는 데이터가 해당 방법의 한계 내에 있다면 높은 속도와 높은 정확도를 필요로 하는 과학자들에게 새로운 도구를 제공합니다. 저정밀도 하드웨어를 사용하여 고정밀 문제를 해결할 수 있음을 보여줌으로써, 이 연구는 인공지능을 위해 구축된 특화된 엔진이 과학적 발견의 무거운 짐을 가속화할 수 있는 미래를 제시합니다.

기술 요약: Intel AMX 상에서의 FP32 및 FP64 GEMM을 위한 BF16 컴포넌트-곱(Component-Product) 에뮬레이션

1. 문제 정의

현대적인 CPU는 저정밀도 AI 워크로드(예: BF16, FP8)에 최적화된 고처리량 행렬 엔진(Intel Advanced Matrix Extensions, 즉 AMX와 같은)을 점점 더 많이 통합하고 있습니다. 그러나 전산 유체 역학이나 양자 화학과 같은 분야의 많은 과학 계산 애플리케이션은 수치적 안정성과 재현성을 위해 여전히 FP32 및 FP64 일반 행렬 곱셈(GEMM)에 의존합니다. 이는 하드웨어 불일치를 발생시킵니다. 즉, AI를 위해 설계된 저정밀도 행렬 처리량을 정밀도가 높은 과학적 작업을 위해 알고리즘적으로 재사용할 수 있는가의 문제입니다. 핵심 과제는 분해, 데이터 이동, 재구성에서 발생하는 과도한 오버헤드를 초래하지 않으면서 Intel oneMKL과 같은 표준 라이브러리와 유사한 수치 정확도를 유지하면서, 저정밀도 행렬 처리량을 고정밀 과학용 GEMM 가속에 활용할 수 있는지 여부입니다.

이 논문이 다루는 핵심 질문은 AI를 위해 설계된 저정밀도 행렬 처리량이 CPU 상에서 고정밀 과학용 GEMM을 가속하기 위해 알고리즘적으로 재용도화될 수 있는지입니다. 도전 과제는 분해, 데이터 이동, 재구성에서 발생하는 과도한 오버헤드를 피하면서도 고정밀 연산을 수행하는 것입니다.

2. 방법론

본 논문은 고정밀 피연산자를 여러 개의 BF16 행렬로 분해하고, AMX를 사용하여 선택된 저정밀도 곱을 계산한 후, 결과를 대상 형식으로 재구성하는 컴포넌트-곱 에뮬레이션 프레임워크를 제안합니다.

2.1 부동 소수점 형식 및 도메인

BF16: FP32의 8비트 지수 범위를 유지하지만, 가수부(significand) 정밀도는 8비트로 줄였습니다.
FP32 에뮬레이션: 표준 FP32 입력을 대상으로 동작합니다.
FP64 에뮬레이션: FP64 값이 정상적인 BF16 지수 범위 내에 존재하는 제한된 도메인( $FB_{64}$ )에서 동작합니다. 이러한 제한은 패널별 스케일링 계수를 피함으로써 성능 여유를 보존합니다.

2.2 분해 전략

AMX-FP32 경로: **3-컴포넌트 BF16 잔차 분해(residual decomposition)**를 사용합니다. 각 FP33 피연산자는 직접 잔차 반올림(direct residual rounding)을 통해 세 개의 BF16 슬라이스( $A_0, A_1, A_2$ )로 분할됩니다. 이는 공유 지수 범위를 활용하여 FP32에서 잔차의 정확한 뺄셈을 보장하는 "Henry 스타일" 접근 방식을 따릅니다.
AMX-FP64 경로: 단순화된 고정 6-슬라이스 Ozaki 분해를 사용합니다. 각 FP64 피연산자는 6개의 BF16 슬라이스로 분할됩니다. 동적 스케일링을 사용하는 전체 Ozaki 방식과 달리, 이 방법은 추출된 청크를 BF16 행렬로 직접 저장하며(이들이 정상 범위 내에 있다고 가정), 이를 통해 명시적인 스케일 메타데이터와 재구성 가중치를 제거하여 성능 여유를 확보합니다.

2.3 곱 스케줄링 및 재구성

FP32 재구성: 6개의 선택된 컴포넌트 곱(컴포넌트 상호작용 행렬의 첫 세 대각 성분)을 평가합니다. 결정적으로, 이 곱들은 FP32 AMX 타일(tiles) 내에서 직접 누적됩니다. 구현에는 누적 타일을 상주시켜 타일 로드/스토어 트래픽을 최소화하는 피연산자 재사용 스케줄(예: $A_1B_1 \to A_1B_0 \to \dots$ )이 적용되었습니다.
FP64 재구성: 가변적인 수의 곱(6, 10, 15 또는 21개)을 평가합니다. FP32 경로와 달리, 각 선택된 BF16 곱은 FP32에서 계산되고, 메모리에 저장된 후, FP64로 확장되어 FP64 블록 누산기에 누적됩니다. 이는 FP32 누적 오차가 고정밀 결과에 오염을 일으키는 것을 방지하지만, 반복적인 스토어 및 형식 변환으로 인해 상당한 오버헤드를 발생시킵니다.

2.4 구현 세부 사항

구현은 $256 \times 256$ 출력 블록과 $32 \times 32$ 마이크로 타일을 갖춘 블록형 GEMM 구조를 사용합니다. 메모리 액세스 패턴을 최적화하기 위해 사전 계산된 블록 연속 컴포넌트 버퍼에 의존합니다. A 피연산자는 표준 행 우선(row-major) 레이아웃으로 저장되며, B 피연산자는 AMX BF16 내적 명령에 필요한 VNNI 레이아웃으로 사전 패킹됩니다.

3. 주요 기여

알고리즘적 가교: Intel AMX BF16 명령을 사용하여 FP32 및 FP64 GEMM을 에뮬레이션하는 실질적인 방법을 입증함으로써, AI 최적화 하드웨어와 과학 계산 요구사항 사이의 간극을 메웁니다.
FP32 수준의 정확도를 가진 FP32 에뮬레이션: 6-곱 BF16 스케줄과 FP32 누적을 통해 (비트 단위 동일성은 주장하지 않으나) normwise 상대 오차 및 GEMM-스케일 컴포넌트별 오차 측면에서 oneMKL SGEMM과 유사한 정확도를 달릴 수 있음을 보여줍니다.
제어 가능한 FP64 에뮬레이션: 고정된 6-슬라이스 분해 내에서 유지되는 컴포넌트 곱의 수를 조절(6개에서 21개까지)함으로써 튜닝 가능한 정확도-성능 트레이드오프를 도입합니다.
최적화된 데이터 이동: 분해 및 재구성의 오버헤드를 완화하기 위해 특정 스케줄링 전략(피연산자 재사용) 및 데이터 레이아웃(VNI 패킹, 사전 계산된 버퍼)을 개발했습니다.

4. 실험 결과

실험은 듀얼 소켓 Intel Xeon Platinum 8462Y+ 서버에서 수행되었으며, 제안된 커널을 Intel oneMKL SGEMM 및 DGEMM과 비교하였습니다.

FP32 성능: AMX-FP32 구현은 테스트된 모든 정사각형 행렬 크기( $N=256$ ~ $N=32768$ )에서 oneMKL SGEMM을 능가했습니다. 속도 향상은 1.14 $\times$ 에서 2.56 $\times$ 사이였으며, 분해 오버헤드가 상쇄되는 큰 행렬 크기에서 가장 높은 이득이 관찰되었습니다.
FP64 성능: 결과는 더 제한적입니다.
- AMX-FP64-6 (6개 곱)은 큰 행렬( $N \ge 16384$ )에 대해 oneMKL DGEMM 대비 최대 1.72 $\times$ 의 속도 향상을 달성했습니다.
- AMX-FP64-10은 가장 큰 행렬에서만 미미한 이득을 제공합니다.
- AMX-FP64-15 및 AMX-FP64-21은 테스트된 구성에서 DGEMM을 능가하지 못했는데, 이는 추가적인 곱을 저장, 변환 및 누적하는 비용이 가용 성능 여유를 잠식하기 때문입니다.
정확도:
- AMX-FP32는 FP32 수준의 정확도와 일치하는 $10^{-7}$ 범위의 오차를 달성했습니다.
- AMX-FP64 변형들은 곱의 수가 증가함에 따라 오차가 감소하는 모습을 보였으며, 21-곱 변형은 DGEMM 수준의 정확도에 근접했으나 성능 저하가 속도 향상을 상쇄했습니다.

5. 의의 및 주장

본 논문은 이 연구를 완전한 고정밀 라이브러리의 대체재라기보다 초기 알고리즘 연구로 규정합니다. 본 연구의 의의는 다음과 같습니다:

주의 깊은 알고리즘적 분해와 데이터 이동 최적화를 통해 저정밀도 CPU 행렬 엔진이 고정밀 과학 계산에 효과적으로 활용될 수 있음을 입증했습니다.
에뮬레이션에는 명확한 **성능 상한선(performance ceiling)**이 존재함을 보여줍니다. 즉, FP32 에뮬레이션은 효율적인 FP32 누적 덕분에 매우 효과적인 반면, FP64 에뮬레이션은 AMX 타일 레지스터 외부에서의 확장 및 누적 오버헤드로 인해 제한적입니다.
본 방법은 FP64에 대한 튜닝 가능한 트레이드오프를 제공하여, 애플리케이션이 특정 정확도 요구사항과 성능 요구사항 사이에서 균형을 맞출 수 있도록 합니다.

저자들은 한계점을 명시했습니다: 현재 프로토타입은 정사각형 행렬만 지원하며, 입력값이 BF16 지수 범위 내에 있어야 하고(FP64의 경우), 오버플로/언더플로나 예외 값(exceptional values)을 처리하지 않습니다. 향후 과제로 직사각형 행렬으로의 확장, 스케일링 분해를 통한 더 넓은 입력 도메인 확보, 그리고 다른 CPU 행렬 엔진(예: Arm SME)으로의 적응이 제시되었습니다.