🔢 mathematics

An 84-Format Numeric Catalog with Bit-Exact Conformance Vectors: A Vendor-Neutral Reference for FP8, BF16, MXFP4, and Microscaling Formats

이 논문은 머신러닝 하드웨어 구현에서의 침묵적 편차를 진단하기 위한 공유 참조를 제공하고자, 교차 검증된 JSON 아티팩트와 IEEE P3109 크로스워크(cross-walk)를 갖춘 84개의 수치 형식 및 6개의 비트 단위 일치 적합성 팩에 대한 벤더 중립적 카탈로그를 제시한다.

원저자: Dmitrii Vasilev

게시일 2026-06-09

📖 4 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Dmitrii Vasilev

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 의자를 만들려는 숙련된 목수라고 상상해 보십시오. 설계도에는 "이 다리를 24인치로 자르시오"라고 적혀 있습니다. 그런데 철물점에 가보니 세 가지 서로 다른 자가 있습니다. 하나는 "24인치"라고 되어 있고, 다른 하나는 "24.1인치"라고 되어 있으며, 세 번째는 "24인치이지만, 24를 넘겨서 자르면 나무가 먼지로 변한다"라고 적혀 있습니다.

만약 잘못된 자를 사용한다면, 당신의 의자는 처음에는 멀쩡해 보일지 몰라도 누군가 앉았을 때 흔들리거나 부서질 것입니다.

이 논문은 AI(인공지능) 칩의 세계에서 발생하는 이와 유사한 문제에 관한 것입니다. 엔지니어들은 숫자를 측정하기 위해 더 빠르고 더 작은 "자"(수치 형식)를 만들고 있습니다. 그들은 FP8, BF16, MXFP4와 같은 수십 가지의 새로운 형식을 만들어냈습니다. 문제는 모두가 동일한 이름의 자(예: "FP8 E4M3")를 사용한다고 합의하더라도, 정작 그 눈금이 어떻게 배치되어 있는지에 대해서는 서로 동의하지 않는다는 점입니다. 어떤 칩은 매우 큰 숫자를 처리할 때 그 최대값에서 멈추는 반면, 다른 칩은 그 숫자가 너무 커지면 에러(NaN)를 발생시킵니다.

이 논문은 이 혼란을 해결하기 위해 **"공유 마스터 자(Shared Master Ruler)"**를 소개합니다.

이 논문은 무엇에 관한 것인가요?

저자인 Dmitrii Vasilev는 엔지니어들이 같은 언어로 대화할 수 있도록 돕는 두 가지 주요 도구를 만들었습니다.

"84-포맷 카탈로그" (백과사전):
이것은 거대한 사전이나 도서관의 카드 목록과 같습니다. 컴퓨터가 숫자를 저장하는 84가지의 서로 다른 방식을 13개의 가족군으로 분류하여 나열합니다. 각 형식에 대해 비트가 얼마나 사용되는지, 숫자가 얼마나 커질 수 있는지, 그리고 숫자가 너무 커졌을 때 어떤 일이 발생하는지(한계치에서 멈추는지, 아니면 "숫자가 아님(Not a Number)"으로 변하는지)에 대한 정확한 규칙을 명시합니다.
- 비유: 이것은 존재하는 모든 종류의 나사, 볼트, 너트의 마스터 목록이며, 각 부품에 나사산이 정확히 몇 개 있는지 보여주는 도면과 같습니다.
"6가지 적합성 팩" (테스트 키트):
이 논문은 단순히 규칙을 나열하는 데 그치지 않고, 현재 실제 AI 하드웨어에서 가장 많이 사용되는 6가지 특정 형식에 대한 테스트 키트를 제공합니다. (GF16, MXFP4, BF16, FP8 E4M3, FP8 E5M2, E8M0)
- 각 키트는 특정 "테스트 숫자" 목록이 담긴 디지털 파일입니다.
- 이 파일은 컴퓨터 칩이 각 숫자에 대해 어떤 결과값을 출력해야 하는지 정확히 알려줍니다.
- 또한, 건전성을 확인하기 위한 "앵커 숫자(Anchor Number)"인 3.0이라는 특별한 값을 포함합니다. 만약 당신의 칩이 이 특정 숫자를 제대로 처리하지 못한다면, 무언가 잘못되었다는 것을 알 수 있습니다.
- 비유: 이것은 저울 위에 올려두는 "교정용 무게추"와 같습니다. 3파운드 무게추를 놓았을 때 저울이 정확히 3.0파운드로 읽지 않는다면, 그 저울은 고장 난 것입니다.

핵심 발견: "해석의 격차 (The Interpretation Gap)"

이 논문의 가장 중요한 점은 단순히 '자'가 존재한다는 사실이 아니라, 공식 규칙상으로는 둘 다 허용되지만 두 가지 특정 지점에서 자들이 서로 일치하지 않는다는 것을 저자가 발견했다는 점입니다.

격차 1 (오버플로 문제): 숫자가 너무 커서 형식에 담을 수 없는 경우를 가정해 봅시다.
- 칩 A는 이렇게 말합니다: "나는 그냥 내가 담을 수 있는 가장 큰 숫자로 제한하겠다." (포화, Saturation)
- 칩 B는 이렇게 말합니다: "이것을 담을 수 없으니, 에러 메시지(NaN)로 바꾸겠다."
- 두 칩 모두 공식 규칙 책을 따르고 있지만, 방식은 다릅니다. 이 논문은 이러한 차이를 드러냄으로써, 엔지니어가 한 칩에서는 잘 작동하던 AI 모델이 다른 칩에서는 왜 실패하는지 몰라 혼란을 겪지 않도록 합니다.
격차 2 (블록 구조 문제): 일부 형식은 숫자를 "블록"(예: 나사 32개가 들어있는 상자) 단위로 그룹화합니다.
- 형식 A는 단순한 라벨이 붙은 나사 32개짜리 상자를 사용합니다.
- 형식 B는 더 상세한 라벨이 붙은 나사 16개짜리 상자를 사용합니다.
- 개별 나사(숫자)는 똑같아 보일지라도, 그것을 담는 상자의 방식이 전체적인 작동 방식을 변화시킵니다. 이 논문은 "상자 크기"를 확인하지 않고는 이 형식들을 함부로 교체해서는 안 된다는 점을 강조합니다.

이 논문이 아닌 것

저자는 이 논문이 수행하지 않는 작업에 대해 매우 명확하게 밝히고 있습니다:

어떤 형식이 "더 좋거나" "더 빠른지"를 말하지 않습니다.
AI 모델의 성능(예: 챗봇의 정확도)을 테스트하지 않습니다.
새로운 형식을 발명하지 않습니다.
이것은 순수하게 모두가 동일한 방식으로 측정하고 있는지 확인하기 위한 참조 도구입니다.

이것이 왜 중요한가요?

이 논문이 나오기 전에는 엔지니어가 한 회사의 칩에서 다른 회사의 칩으로 AI 모델을 옮길 때, 결과가 달라지는 이유를 모른 채 곤혹스러워할 수 있었습니다. 그것은 마치 한 팀은 인치를 사용하고 다른 팀은 센티미터를 사용하여 다리를 건설하는 것과 같았지만, 어느 쪽도 이를 인정하지 않는 상황과 같았습니다.

이 논문은 공유된 자와 테스트 무게추를 제공합니다. 이를 통해 엔지니어들은 "좋아, 내 칩은 3.0 앵커 테스트를 통과했고 오버플로도 참조 파일과 정확히 일치하게 처리한다"라고 말할 수 있게 됩니다. 만약 그렇지 않다면, 그들은 수정해야 할 버그가 있다는 것을 알 수 있습니다.

요컨대, 이 논문은 혼란스러운 AI 숫자 형식의 세계를 위한 표준화된 줄자이며, 서로 다른 회사들이 AI 하드웨어를 만들 때 모두 동일한 수학적 언어로 대화할 수 있도록 보장합니다.

기술 요약: 비트 단위 일치성을 준수하는 84가지 형식의 수치 카탈로그

문제 정의

머신러닝 하드웨어(FP8 변형, BF16, MXFP4 및 마이크로스케일링 블록 형식을 포함)에서 저정밀도 수치 형식의 확산은 벤더 중립적이고 비트 단위로 일치하는 참조 자료의 가용성보다 빠르게 진행되었습니다. 모델을 다양한 가속기로 포팅하는 엔지니어들은 서로 다른 하드웨어 구현체가 동일한 형식(예: FP8 E4M3)을 지원한다고 주장하더라도, 1000.0과 같은 입력값에 대한 오버플로(overflow) 처리를 다르게 수행하는 등의 에지 케이스(edge case)를 다루는 방식에서 발생하는 "침묵의 발산(silent divergences)" 현상을 빈번하게 마주하게 됩니다. 한 구현체는 최대 유한값으로 포화(saturate)시키는 반면, 다른 구현체는 NaN을 생성할 수 있습니다. 공유된 비트 단위 일치 "자(ruler)"가 없다면, 이러한 발산은 진단하기 매우 어렵습니다. 이는 크로스 벤더 배포 시 수치적으로 다른 결과를 초래합니다.

방법론

본 논문은 이러한 간극을 메우기 위한 구조화된 레지스트리 접근 방식을 소개하며, 이는 두 가지 주요 산물로 구성됩니다:

t27 카탈로그: 13개 제품군(예: IEEE754 이진, OCP MX, GoldenFloat, Posit/Unum III)으로 분류된 84가지 수치 형식의 포괄적인 열거입니다. 각 항목은 비트 레이아웃, 바이어스(bias), 무한대/NaN 정책, 포화 규칙 및 "상태 태그"(검증됨, 경험적 적합, 개방형 추측, 리스크, 철회됨)를 포함하는 통일된 스키마를 따릅니다. 카탈로그는 JSON 형태의 단일 진실 공급원(SSOT)으로 유지되며, 템플릿 도구를 통해 Markdown, Python, Rust, C, TypeScript로 교차 컴파일됩니다.
비트 단위 일치 적합성 팩(Bit-Exact Conformance Packs): 현재 프로덕션에서 가장 중요한 형식들을 위한 6개의 독립적인 JSON 문서 세트입니다:
- GoldenFloat 16 (GF16)
- MXFP4 요소
- BF16
- FP8 E4M3
- FP8 E5M2
- E8M0 블록 스케일

검증 및 앵커링(Verification and Anchoring):

교차 검증: 각 팩은 ml_dtypes 0.5.4 (Google/JAX)와 교차 검증되었습니다. 발생하는 모든 발산은 숨기지 않고 명시적으로 문서화되었습니다.
앵커 벡터: 모든 팩에는 $\phi^2 + 1/\phi^2 = 3$ (여기서 $\phi$ 는 황금비) 항등식으로부터 유도된 값 3.0을 인코딩하는 특정 벡터가 포함됩니다. 이는 산술적 정당성 검사(sanity check) 역할을 합니다. 만약 형식이 3.0을 정확하게 표현할 수 없다면, 근본적인 구현 오류가 발생한 것으로 간주됩니다.
무결성: 각 팩은 SHA-256 지문을 보유하며 15가지 카탈로그 불변량(예: 84개 형식의 총 개수, 이름 충돌 없음, 일관된 비트 폭)을 준수합니다.
표준 매핑: IEEE P3109 v3.2.0 크로스워크(cross-walk)를 통해 6개의 팩을 그에 대응하는 표준 트랙 구성 형식에 매핑합니다.

주요 기여

1. 84가지 형식 카탈로그

카탈로그는 13개 클러스터에 걸친 84가지 형식에 대한 통합 스키마를 제공합니다. 이 카탈로그는 발행된 표준에 의해 뒷받침되는 형식(검증됨)과 하드웨어 관찰을 통해 도출된 형식(경험적 적합)을 구분하여 검증 상태를 명시적으로 분류합니다.

2. 6가지 적합성 팩

본 논문은 다음과 같은 특성을 가진 6개의 특정 팩을 제공합니다:

BF16: 21개 벡터, ml_dtypes와 100% 일치.
FP8 E5M2: 17개 벡터, ml_dtypes와 100% 일치.
FP8 E4M3: 16개 벡터. 특히, 16개 중 15개는 ml_dtypes와 일치하지만, 한 벡터(입력 1000.0)는 명세상 허용된 발산을 문서화합니다. 해당 팩은 "최대 유한값으로 포화" 정책(tt-metal/AMD에서 사용)을 채택하는 반면, ml_dtypes(JAX/TPU)는 "NaN으로 오버플로"를 사용합니다. 두 방식 모두 OCP MX v1.0을 준수합니다.
MXFP4 요소: S1E2M1 레이아웃을 다루는 12개 벡터.
E8M0 블록 스케일: OCP MX 블록에서 사용되는 스케일 전용 형식을 위한 11개 벡터.
GF16: $\phi$ -앵커링 형식을 위한 21개 벡터로, ml_dtypes에 상응하는 형식이 존재하지 않으므로 라운드트립(round-trip) 자기 검증을 통해 검증되었습니다.

3. 해석 격차(Interpretation Gaps) 식별

본 논문은 "발산"을 버그가 아닌, 명세가 허용하는 선택적 설계 특징으로 규정합니다. 두 가지 특정 격차가 강조되었습니다:

격차 A (FP8 E4M3 오버플로): 오버플로 입력에 대해 최대 유한값으로 포화시킬 것인지, 아니면 NaN을 생성할 것인지에 대한 선택.
격차 B (블록 구조): OCP MX MXFP4(E8M0 스케일을 가진 32-요소 블록)와 NVIDIA NVFP4(FP8 E4M3 스케일을 가진 16-요소 블록) 사이의 구조적 차이. 요소의 비트 패턴은 동일할 수 있으나, 서로 다른 블록 구조와 스케일 해상도로 인해 디코딩된 텐서 값이 달라집니다.

결과 및 발견 사항

검증: BF16, FP8 E5M2, E8M0 팩은 ml_dtypes 참조 모델과 완벽한 일치를 달しまいました.
발산 문서화: FP8 E4M3 팩은 오버플로 정책의 발산을 성공적으로 격리하였으며, 이를 통해 "포화"와 "NaN" 동작이 모두 OCP MX v1.0 하에서 유효하지만 서로 다른 결과를 낳는다는 것을 입증했습니다.
표준 정렬: IEEE P3109 v3.2.0과의 크로스워크 결과, 일부 형식(Binary8p3se, Binary4p1sf)은 표준과 밀접하게 매핑되는 반면, 다른 형식들(GF16, BF16, E8M0)은 P3109의 4/8-비트 집중 범위를 벗어나거나 직교하는 개념(스케일 전용)을 나타냄을 확인했습니다.
재현성: 모든 산물은 github.com/gHashTag/t27에서 오픈 라이선스로 공개되어 있으며, 무결성 검증을 위해 SHA-256 지문이 제공됩니다.

의의 및 주장

본 논문은 자신의 기여를 성능 벤치마킹이나 형식 제안이 아닌 **레지스트리 채우기(registry filling)**로 명시적으로 규정합니다. 본 연구의 의의는 다음과 같습니다:

공유된 자(Shared Ruler) 제공: 엔지니어가 ML 가속기 펌웨어의 침묵하는 발산을 진단할 수 있도록 벤더 중립적이고 비트 단위로 일치하는 참조를 제공합니다.
발산의 투명성: 절대적인 오류를 은폐하지 않는 "정직성 규범(honesty norm)"을 확립합니다. 발산은 컴파일러 및 테스트 하네스 작성자가 명시적으로 선언해야 하는, 명세가 허용하는 해석 격차로 취급됩니다.
미래 작업을 위한 토대: 카탈로그와 팩은 P3109와 정렬된 연산 계층 적합성(산술 연산)을 추가하여 84가지 모든 형식으로 범위를 확장하는 것을 목표로 하는 향후 "Track 2" 작업의 베이스라인 역할을 합니다.

저자들은 본 연구가 특정 형식의 우월성을 주장하거나 모델 정확도 또는 처리량에 관한 주장을 하는 것이 아님을 강조합니다. 대신, 서로 다른 벤더가 특정 형식을 지원한다고 주장할 때, 비트 수준의 동작이 알려져 있고, 비교 가능하며, 재현 가능하도록 하는 데 필요한 인프라를 제공하는 것을 목적으로 합니다.