An 84-Format Numeric Catalog with Bit-Exact Conformance Vectors: A Vendor-Neutral Reference for FP8, BF16, MXFP4, and Microscaling Formats
यह शोध पत्र 84 संख्यात्मक प्रारूपों (numeric formats) और छह बिट-सटीक अनुरूपता पैक्स (bit-exact conformance packs) का एक विक्रेता-तटस्थ कैटलॉग प्रस्तुत करता है, जिसमें क्रॉस-वैलिडेटेड JSON आर्टिफैक्ट्स और एक IEEE P3109 क्रॉस-वॉक शामिल है, ताकि मशीन लर्निंग हार्डवेयर कार्यान्वयन में साइलेंट डाइवर्जेंस (silent divergences) के निदान के लिए एक साझा संदर्भ प्रदान किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कुशल बढ़ई (master carpenter) हैं जो एक कुर्सी बनाने की कोशिश कर रहे हैं। आपके पास एक ब्लूप्रिंट है जिस पर लिखा है, "इस पैर को 24 इंच तक काटें।" लेकिन जब आप हार्डवेयर स्टोर जाते हैं, तो आपको तीन अलग-अलग रूलर (पैमाने) मिलते हैं: एक कहता है "24 इंच," दूसरा कहता है "24.1 इंच," और तीसरा कहता है "24 इंच, लेकिन अगर आपने 24 से आगे काटा, तो लकड़ी धूल बन जाएगी।"
यदि आप गलत रूलर का उपयोग करते हैं, तो आपकी कुर्सी शुरू में ठीक लग सकती है, लेकिन जब कोई उस पर बैठेगा तो वह डगमगाएगी या टूट जाएगी।
यह पेपर AI चिप्स की दुनिया में एक समान समस्या के बारे में है। इंजीनियर AI के लिए संख्याओं को मापने के लिए तेज़, छोटे "रूलर" (numeric formats) बना रहे हैं। उन्होंने दर्जनों नए प्रकार बनाए हैं, जैसे FP8, BF16, और MXFP4। समस्या यह है कि हालांकि सभी लोग रूलर के नाम (जैसे, "FP8 E4M3") पर सहमत हैं, लेकिन वे हमेशा इस बात पर सहमत नहीं होते कि निशान (markings) वास्तव में कहाँ रखे जाने चाहिए। एक चिप एक बहुत बड़ी संख्या को संभाल सकती है उसे अधिकतम मान (maximum value) पर कैप करके, जबकि दूसरी चिप उस संख्या के बहुत बड़े होने पर बस एक त्रुटि (NaN) दे सकती है।
यह पेपर इस भ्रम को दूर करने के लिए एक "साझा मास्टर रूलर" (Shared Master Ruler) पेश करता है।
यह पेपर क्या है?
लेखक, दिमित्री वासिलेव (Dmitrii Vasilev) ने इंजीनियरों को एक ही भाषा बोलने में मदद करने के लिए दो मुख्य उपकरण बनाए हैं:
"84-फॉर्मेट कैटलॉग" (विश्वकोश):
इसे एक विशाल शब्दकोश या लाइब्रेरी कार्ड कैटलॉग की तरह समझें। यह 84 अलग-अलग तरीकों को सूचीबद्ध करता है जिनसे कंप्यूटर संख्याओं को स्टोर करते हैं, जिन्हें 13 परिवारों में व्यवस्थित किया गया है। प्रत्येक फॉर्मेट के लिए, यह सटीक नियम सूचीबद्ध करता है: कितने बिट्स का उपयोग किया जाता है, संख्याएँ कितनी बड़ी हो सकती हैं, और जब कोई संख्या बहुत बड़ी हो जाती है तो क्या होता है (क्या यह सीमा पर रुक जाती है, या "नंबर नहीं है" (NaN) में बदल जाती है?)।- उपमा (Analogy): यह अस्तित्व में मौजूद हर प्रकार के स्क्रू, बोल्ट और नट की एक मास्टर सूची की तरह है, जिसमें एक आरेख (diagram) दिखाया गया है कि प्रत्येक में कितने थ्रेड्स हैं।
"छह कन्फ़ॉर्मेंस पैक्स" (टेस्ट किट्स):
पेपर केवल नियमों को सूचीबद्ध नहीं करता है; यह वर्तमान में वास्तविक AI हार्डवेयर में उपयोग किए जाने वाले सबसे लोकप्रिय फॉर्मेट्स के लिए छह विशिष्ट टेस्ट किट प्रदान करता है (GF16, MXFP4, BF16, FP8 E4M3, FP8 E5M2, और E8M0)।- प्रत्येक किट एक डिजिटल फ़ाइल है जिसमें "टेस्ट नंबरों" की एक सूची होती है।
- यह आपको बताता है कि कंप्यूटर चिप को प्रत्येक संख्या के लिए क्या आउटपुट देना चाहिए।
- इसमें एक विशेष "एंकर नंबर" (मान 3.0) शामिल है जो एक 'सेनिटी चेक' (sanity check) के रूप में कार्य करता है। यदि आपका चिप इस विशिष्ट संख्या को सही ढंग से प्रोसेस नहीं कर पाता है, तो आप जानते हैं कि कुछ गड़बड़ है।
- उपमा: ये उन "कैलिब्रेशन वेट्स" (calibration weights) की तरह हैं जिन्हें आप तराजू पर रखते हैं। यदि 3-पाउंड का वजन रखने पर तराजू 3.0 पाउंड नहीं पढ़ता है, तो आप जानते हैं कि तराजू खराब है।
बड़ी खोज: "इंटरप्रिटेशन गैप" (The Interpretation Gap)
इस पेपर का सबसे महत्वपूर्ण हिस्सा केवल यह नहीं है कि रूलर मौजूद हैं, बल्कि यह है कि लेखक ने दो विशिष्ट स्थान खोजे हैं जहाँ रूलर असहमत हैं, भले ही आधिकारिक नियम कहते हों कि दोनों की अनुमति है।
गैप 1 (ओवरफ्लो की समस्या): कल्पना कीजिए कि एक संख्या इतनी बड़ी है कि वह फॉर्मेट में फिट नहीं बैठती।
- चिप A कहती है: "मैं इसे बस उस सबसे बड़ी संख्या तक सीमित कर दूँगी जिसे मैं रख सकती हूँ।" (Saturation)
- चिप B कहती है: "मैं इसे नहीं रख सकती, इसलिए मैं इसे एक त्रुटि संदेश (NaN) में बदल दूँगी।"
दोनों चिप्स आधिकारिक नियम पुस्तिका का पालन कर रही हैं, लेकिन वे इसे अलग तरह से करती हैं। यह पेपर इस अंतर को उजागर करता है ताकि इंजीनियरों को भ्रमित न होना पड़े जब उनका AI मॉडल एक चिप पर काम करता है लेकिन दूसरे पर विफल हो जाता है।
गैप 2 (ब्लॉक स्ट्रक्चर की समस्या): कुछ फॉर्मेट संख्याओं को "ब्लॉक्स" (जैसे 32 स्क्रू का एक बॉक्स) में समूहबद्ध करते हैं।
- फॉर्मेट A एक साधारण लेबल के साथ 32 स्क्रू का बॉक्स उपयोग करता है।
- फॉर्मेट B एक अधिक विस्तृत लेबल के साथ 16 स्क्रू का बॉक्स उपयोग करता है।
भले ही व्यक्तिगत स्क्रू (संख्याएँ) एक जैसे दिखें, लेकिन जिस तरह से उन्हें बॉक्स में पैक किया जाता है, वह पूरे सिस्टम के काम करने के तरीके को बदल देता है। पेपर इस बात पर प्रकाश डालता है कि आप "बॉक्स साइज" की जांच किए बिना इन फॉर्मेट्स को सीधे नहीं बदल सकते।
यह पेपर क्या नहीं है
लेखक बहुत स्पष्ट हैं कि यह पेपर क्या नहीं करता है:
- यह यह नहीं कहता कि कौन सा फॉर्मेट "बेहतर" या तेज़ है।
- यह यह परीक्षण नहीं करता कि AI मॉडल कैसा प्रदर्शन करते हैं (जैसे कि एक चैटबॉट कितना सटीक है)।
- यह नए फॉर्मेट का आविष्कार नहीं करता है।
- यह पूरी तरह से एक रेफरेंस टूल है ताकि यह सुनिश्चित हो सके कि हर कोई एक ही तरह से माप रहा है।
यह क्यों मायने रखता है?
इस पेपर से पहले, यदि कोई इंजीनियर अपने AI मॉडल को एक कंपनी के चिप से दूसरी कंपनी के चिप पर ले जाता था, तो उन्हें अलग परिणाम मिल सकते थे और वे नहीं जान पाते थे कि ऐसा क्यों हुआ। यह वैसा ही था जैसे किसी पुल को बनाने की कोशिश करना जहाँ एक टीम इंच का उपयोग कर रही थी और दूसरी सेंटीमीटर का, लेकिन कोई भी यह स्वीकार नहीं कर रहा था।
यह पेपर साझा रूलर और टेस्ट वेट्स प्रदान करता है। यह इंजीनियरों को यह कहने की अनुमति देता है, "ठीक है, मेरा चिप 3.0 एंकर के लिए परीक्षण पास करता है और ओवरफ्लो को संदर्भ फ़ाइल (reference file) की तरह ही हैंडल करता है।" यदि नहीं, तो वे जानते हैं कि उनके पास ठीक करने के लिए एक बग है।
संक्षेप में, यह पेपर AI नंबर फॉर्मेट्स की अराजक दुनिया के लिए मानकीकृत मापने वाला टेप (standardized measuring tape) है, जो यह सुनिश्चित करता है कि जब विभिन्न कंपनियाँ AI हार्डवेयर बनाती हैं, तो वे सभी एक ही गणितीय भाषा बोल रही हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।