🔢 mathematics

Error Analysis of Matrix Multiplication Emulation Using Ozaki-II Scheme

본 논문은 고정밀 행렬 곱셈을 위한 Ozaki-II 기법에 대한 엄격한 결정론적 오차 분석을 제시하며, 넓은 지수 분포 하에서의 정확도 한계를 명확히 하고 원하는 정밀도 수준을 달성하기 위해 필요한 저정밀도 연산의 수를 추정하는 방법을 제공한다.

원저자: Yuki Uchino, Katsuhisa Ozaki, Toshiyuki Imamura

게시일 2026-02-04

📖 4 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yuki Uchino, Katsuhisa Ozaki, Toshiyuki Imamura

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 작은 벽돌로 거대한 벽 만들기

당신이 아주 정밀한 벽(고정밀 계산)을 쌓으려는 건축가라고 상상해 보세요. 그런데 당신에게 주어진 재료는 작고 거친 벽돌(저정밀도 컴퓨터 칩)뿐입니다.

현대 컴퓨터, 특히 인공지능을 위해 설계된 컴퓨터들은 이러한 "작고 거친 벽돌"(구체적으로는 8비트 정수)을 다루는 데 매우 빠릅니다. 하지만 "거대하고 매끄러운 벽돌"(표준 고정밀 숫자나 32비트/64비트 부동 소수점)을 다루는 데는 느리거나 효율성이 떨어집니다.

Ozaki-II 방식은 이 빠르고 작은 벽돌만을 사용하여 완벽한 고정밀 벽을 쌓을 수 있게 해주는 영리한 건설 공법입니다. 이 논문의 저자들은 이 벽이 얼마나 튼튼하고 정확할지, 그리고 작업을 제대로 완수하기 위해 얼마나 많은 작은 벽돌이 필요한지를 증명하는 **설계도(오차 분석)**를 만들었습니다.

문제점: "넓은 범위"의 문제

이전의 테스트들에서도 이 방식은 매우 잘 작동했지만, 한 가지 문제가 있었습니다. 만약 곱하려는 숫자들의 "범위가 넓다면"(어떤 숫자는 엄청나게 크고, 어떤 숫자는 아주 작을 때), 벽에 금이 가는 현상이 발생하곤 했습니다. 이를 해결하려면 너무 많은 작은 벽돌을 사용해야 했기에, 과정이 다시 느려지는 문제가 있었습니다.

저자들은 알고 싶었습니다: 숫자의 범위가 아무리 넓더라도 완벽한 벽을 보장하기 위해 정확히 몇 개의 벽돌이 필요할까?

해결책: "중국인의 나머지 정리"라는 마법 주문

이를 해결하기 위해 Ozaki-II 방식은 **중국인의 나머지 정리(Chinese Remainder Theorem, CRT)**라는 수학적 마법을 사용합니다.

비유: 비밀 코드 사물함
당신이 거대한 코끼리의 정확한 무게를 알고 싶지만, 당신의 저울은 작은 물건(최대 100파운드)만 잴 수 있다고 상상해 보세요.

코끼리를 무게가 mod 7(7로 나눈 나머지)로만 표시되는 사물함에 넣습니다.
또 다른 코끼리를 mod 11로 표시되는 사물함에 넣습니다.
세 번째 코끼리는 mod 13으로 표시되는 사물함에 넣습니다.

각 사물함이 주는 정보는 작고 혼란스러운 나머지 값일 뿐이지만, 여러 가지 서로 다른 "모듈로(moduli)"(7, 11, 13 등)에 대한 나머지를 알고 있다면, 수학적으로 코끼리의 정확한 전체 무게를 재구성할 수 있습니다.

Ozaki-II 방식은 행렬(숫자 격자)을 가지고 이 작업을 수행합니다:

분할(Slicing): 큰 숫자를 작은 조각들로 쪼개어 8비트 벽돌에 딱 맞게 만듭니다.
모듈로 연산(Modulo Math): 이 작은 조각들을 사용하여 여러 개의 "잠금 장치"(서로 다른 소수 사용)를 통해 결과를 계산합니다.
재조립(Reassembly): CRT를 사용하여 그 작은 결과들을 다시 하나로 엮어 하나의 거대하고 정밀한 답을 만들어냅니다.

이 논문이 실제로 하는 일: "안전 검사관"

우리는 이 방식이 작동할 수 있다는 것은 알고 있었지만, 모든 상황에서 얼마나 잘 작동할지에 대한 엄격한 규칙 책은 없었습니다. 이 논문은 안전 검사관 역할을 합니다.

저자들은 **결정론적 오차 분석(deterministic error analysis)**을 수행했습니다. 이는 단순히 추측하거나 무작위 테스트를 수행한 것이 아니라, 엄격한 수학을 사용하여 최종 벽에 생길 수 있는 최대 "금"(오차)을 예측하는 공식을 작성했다는 것을 의미합니다.

검사 결과의 핵심 내용:

공식: 저자들은 두 가지 요소를 바탕으로 결과가 얼마나 정확할지를 알려주는 특정 방정식을 도출했습니다:
1. 곱하려는 숫자들의 "폭"(지수 분포).
2. 사용된 "잠금 장치"(모듈로)의 개수.
트레이드오프(Trade-off): 이 논문은 숫자의 범위가 매우 "넓다면"(어떤 것은 매우 크고 어떤 것은 매우 작다면), 오차를 작게 유지하기 위해 단순히 잠금 장치(모듈로)의 개수를 늘려야 한다는 것을 증명합니다.
검증: 저자들은 강력한 NVIDIA GPU(RTX 4090)에서 이 공식을 테스트했습니다. 컴퓨터에서 실제로 관찰된 오차는 항상 그들의 공식이 예측한 "최악의 경우"보다 작았습니다. 이는 그들의 안전 설계도가 정확하고 신뢰할 수 있음을 증명합니다.

이것이 왜 중요한가 (논문에 따르면)

이 논문은 이 분석이 **자동 튜닝(automatic tuning)**의 기초가 된다고 주장합니다.

이것을 자율 주행 건설 팀이라고 생각해 보세요. 이전에는 사람이 직접 얼마나 많은 벽돌을 사용할지 추측해야 했습니다. 이제 이 공식을 통해 컴퓨터는 곱하기 직전의 숫자들을 살펴보고, 데이터의 "폭"을 계산한 뒤 자동으로 결정할 수 있습니다: "좋아, 이 작업에는 안전을 위해 15개의 잠금 장치가 필요해. 하지만 저 작업에는 5개면 충분해."

이를 통해 컴퓨터는 정확도를 희생하지 않으면서도 최대한의 속도를 낼 수 있으며, "작은 벽돌" 방식이 과학 계산 분야에서 빠르면서도 믿을 수 있는 방식임을 보장합니다.

요약

목표: 빠르지만 정밀도가 낮은 컴퓨터 칩을 사용하여, 느리지만 고정밀인 수학 계산을 수행하는 것.
방법: 수학적 트릭(CRT)을 사용하여 많은 작고 단순한 계산들을 하나의 크고 정밀한 계산으로 결합하는 것.
논문의 기여: 원하는 정밀도를 달기 위해 얼마나 많은 작은 계산이 필요한지, 그리고 결과가 얼마나 정확할지를 정확히 알려주는 엄격한 수학적 보증(오차 범위)을 제공함.
결과: 이 방식이 신뢰할 수 있음을 증명했으며, 새로운 공식 덕분에 컴퓨터가 속도와 정확도 사이의 최적의 균형을 맞추기 위해 설정을 자동으로 조정할 수 있게 됨.

기술 요약: Ozaki-II 스킴을 이용한 행렬 곱셈 에뮬레이션의 오차 분석

문제 정의
INT8 행렬 엔진을 갖춘 GPU와 같은 현대적인 AI 하드웨어는 저정밀도 산술 연산에서 탁월한 처리량을 제공하며, 네이티브 단정밀도(FP32) 및 배정밀도(FP64) 부동 소수점 연산보다 훨씬 뛰어난 성능을 발휘한다. 그러나 고전적인 고성능 컴퓨팅(HPC) 및 많은 머신러닝 워크로드는 더 높은 정밀도의 수치적 신뢰성을 요구한다. 저정밀도 연산의 시퀀스를 사용하여 고정밀도 결과를 재구성하는 에뮬레이션 방법들이 존재하지만, 이러한 방법들의 정확도는 모든 입력 분포에 대해 보장되지 않는다. 특히, 중국인의 나머지 정리(CRT)를 활용하여 행렬 곱셈을 에뮬레이션하는 Ozaki-II 스킴은 높은 성능을 보여주었으나 엄격한 결정론적 오차 분석이 부족하다. 기존 연구에서는 입력 행렬이 넓은 지수 분포를 가질 때 해당 스킴의 정확도가 저하되며, 정밀도를 유지하기 위해 많은 수의 저정밀도 곱셈이 필요하다는 점을 지적했다. 이론적인 경계값이 없으면, 특정 정확도 목표를 달est하기 위해 필요한 모듈로(moduli)의 수를 결정하기 어렵다.

방법론
본 논문은 단정밀도(SGEMM) 및 배정밀도(DGEMM) 모두에 적용되는 Ozaki-II 스킴에 대한 엄격한 결정론적 오차 분석을 제시한다. 방법론은 다음과 같다:

Ozaki-II 스킴의 공식화: 저자들은 대각 스케일링(diagonal scaling)과 절단(truncation)을 통해 부동 소수점 행렬 $A$ 와 $B$ 를 정수 행렬 $A'$ 와 $B'$ 로 변환하는 에뮬레이션 과정을 상세히 설명한다. 이 정수들은 서로 소인 정수 $p_\ell$ 에 대해 모듈로 연산을 거쳐 분해된다. 곱셈은 INT8 행렬 엔진을 사용하여 계산되며, 결과는 CRT를 사용하여 정수 근사치를 형성하도록 재구성된 후, 최종적으로 부동 소수점 형식으로 재스케일링된다.
오차 경계 유도: 저자들은 전체 오차를 세 가지 주요 구성 요소로 분해한다:
- 절단 오차(Truncation Error): 부동 소수점 입력을 스케일링된 정수로 변환하는 과정에서 발생한다.
- 누적 오차(Accumulation Error): 고정밀 부동 소수점 산술에서 모듈로 곱의 합산으로부터 발생한다.
- 최종 축소 오차(Final Reduction Error): CRT 재구성 및 재스케일링 단계에서 발생한다.
이론적 증명: 논문은 후보 해의 유일성, 절단 및 누적 오차에 대한 경계, 그리고 재구성에 사용되는 반올림 연산의 유효성을 확립하는 일련의 보조정리(lemmas)에 대한 공식적인 증명을 제공한다. 이러한 보조정리들은 최종적으로 **정리 2(Theorem 2)**로 귀결되며, 이는 계산된 결과 $C_b$ 에 대한 오차 $|AB - C_b|$ 의 결정론적 상한을 제공한다.
실험적 검증: NVIDIA GeForce RTX 4090 GPU에서 수치 실험이 수행되었다. 분석에서 도출된 이론적 오차 경계는 다양한 동적 범위(파라미터 $\phi$ 로 제어됨)를 가진 행렬에 대해 관찰된 수치 오차와 비교되었다.

주요 기여

엄격한 결정론적 오차 분석: 본 연구의 주요 기여는 Ozaki-II 스킴에 대한 결정론적 오차 경계(정리 2)를 도출한 것이다. 이 경계는 입력 행렬의 지수 분포와 CRT에 사용되는 모듈로의 수( $N$ )를 명시적으로 연결한다.
정교한 경계값: 논문은 두 가지 형태의 오차 추정치를 제공한다: 중간 정수 곱 $|A'B'|$ 에 의존하는 더 타이트한 경계(식 16)와, 이 항을 상수 상한값으로 대체하여 계산 비용이 더 저렴하지만 더 보수적인 경계(식 20)이다.
정확도 동작의 검증: 본 분석은 왜 해당 스킴의 정확도가 입력 지수 분포에 의존하는지를 이론적으로 설명하며, 모듈로의 수를 늘리는 것이 절단 오차를 줄여 정확도를 향상시킨다는 점을 확인한다.
구현 세부 사항의 정당성 증명: 저자들은 더블-더블(double-double) 산술을 사용한 상수 처리 및 INT8 래핑(wrapping)의 특정 처리가 최종 결과에 영향을 미칠 수 있는 무제한 오차를 도입하지 않음을 증명한다.

결과

이론적 vs. 관찰된 오차: RTX 4090에서의 수치 실험 결과, SGEMM 및 DGEMM에 대한 관찰된 에뮬레이션 오차는 정리 2에서 도출된 이론적 추정치에 의해 일관되게 제한됨을 보여주었다.
경계의 타이트함: 타이트한 경계(식 16)가 보수적인 경계(식 20)보다 관찰된 오차 범위를 더 정확하게 포착하는 것으로 나타났다. 그러나 보수적인 경계는 잠재적으로 비용이 많이 드는 $|A'B'|$ 를 계산할 필요 없이 행렬-벡터 곱만을 사용하므로, 견고한 오차 추정을 위한 실용적인 방법임을 입증하였다.
네이티브 정밀도와의 비교: 결과는 네이티브 FP32 및 FP64 루틴과 비교하여 에뮬레이션의 상대적 정확도를 보여주며, 적절한 수의 모듈로가 설정될 경우 Ozaki-II 스킴이 높은 정밀도를 달성할 수 있음을 확인시켜 주었다.

의의
본 논문은 이 오차 분석이 Ozaki-II 스킴의 향후 발전을 위한 중요한 토대를 제공한다고 주장한다. 구체적으로, 이는 원하는 수치적 정확도를 달성하기 위해 입력 행렬의 지수 분포에 따라 모듈로의 수와 같은 정확도 관련 파라미터를 자동 튜닝할 수 있게 한다. 입력 특성과 수치적 신뢰성 사이의 관계를 명확히 함으로써, 본 분석은 해당 스킴의 높은 성능과 가변적인 정확도 사이의 간극을 해결하여, 현대 AI 하드웨어에서 범용 고정밀 컴퓨팅을 위한 활용 가능성을 높인다. 저자들은 이 분석 프레임워크가 향후 복소수 행렬 곱셈 에뮬레이션으로도 확장될 수 있음을 언급하였다.

개요: 작은 벽돌로 거대한 벽 만들기

문제점: "넓은 범위"의 문제

해결책: "중국인의 나머지 정리"라는 마법 주문

이 논문이 실제로 하는 일: "안전 검사관"

이것이 왜 중요한가 (논문에 따르면)

요약

유사한 논문