तकनीकी सारांश: दिशा-संरक्षण संख्या प्रतिनिधित्व (Direction-Preserving Number Representations)

समस्या विवरण (Problem Statement)

आधुनिक मशीन लर्निंग सिस्टम दक्षता में सुधार के लिए बिजली की खपत, संसाधन उपयोग और थ्रूपुट को बेहतर बनाने हेतु निम्न-परिशुद्धता (low-precision) वाले संख्या प्रारूपों पर तेजी से निर्भर कर रहे हैं। जबकि स्केलर क्वांटाइजेशन (scalar quantization) वास्तविक-मान वाले वेक्टर तत्वों को एक विविक्त वर्णमाला (discrete alphabet) में मैप करता है, जिससे एक "प्रोडक्ट कोड" (एक स्केलर वर्णमाला का कार्तीय गुणन/Cartesian product) बनता है, इस संरचना के वेक्टर दिशा पर पड़ने वाले ज्यामितीय प्रभावों की अक्सर अनदेखी की जाती है।

अधिकांश मौजूदा कार्य MSE (mean-squared error) या नॉर्म-आधारित मेट्रिक्स के माध्यम से क्वांटाइजेशन का मूल्यांकन करते हैं। हालांकि, ब्लॉक-आधारित प्रारूपों (जैसे, ब्लॉक मिनीफ्लोट, MX प्रारूप, IEEE P3109) का उदय बताता है कि दिशात्मक निष्ठा (directional fidelity)—अर्थात एक वेक्टर की दिशा को सटीक रूप से प्रदर्शित करने की क्षमता—एक महत्वपूर्ण मीट्रिक है। केंद्रीय समस्या उत्पाद-संरचित कोडों (product-structured codes) द्वारा उत्पन्न ज्यामितीय सीमा है: प्राप्त होने योग्य दिशाओं का सेट स्केलर वर्णमाला द्वारा सीमित होता है, जिससे अनियंत्रित गोलाकार कोडों (unconstrained spherical codes) की तुलना में कोणीय कवरेज (angular coverage) में महत्वपूर्ण अंतराल उत्पन्न हो सकता है। यह शोध इस बात की जांच करता है कि क्या मानक स्केलर प्रारूप (two's complement, fixed-point, floating-point) वेक्टर दिशाओं को संरक्षित करने के लिए उप-इष्टतम (suboptimal) हैं और क्या नए वर्णमालाओं को इन प्रभावों को कम करने के लिए डिज़ाइन किया जा सकता है।

कार्यप्रणाली (Methodology)

लेखक उत्पाद-संरचित कोडों के दिशात्मक कवरेज का विश्लेषण करने के लिए एक ज्यामितीय ढांचे का उपयोग करते हैं। कार्यप्रणाली कठोर सैद्धांतिक विश्लेषण के साथ संख्यात्मक अनुकूलन (numerical optimization) और अनुभवजन्य मूल्यांकन (empirical evaluation) को जोड़ती है।

सैद्धांतिक ढांचा (Theoretical Framework)

1. परिभाषाएं: यह कार्य एक उत्पाद कोड दिशा सेट $P_n(A)$ को परिभाषित करता है, जो एक परिमित स्केलर वर्णमाला $A$ के कार्तीय गुणन द्वारा निर्मित सामान्यीकृत (normalized) वेक्टर्स का सेट है। प्रदर्शन मीट्रिक गोलाकार कवरेज त्रिज्या (spherical covering radius) $F_n(A)$ है, जो कोड में निकटतम प्रतिनिधि दिशा और किसी भी इकाई वेक्टर के बीच अधिकतम कोणीय दूरी को दर्शाता है।
2. निम्न सीमा (Harmonic Witness): उत्पाद कोडों पर सीमाओं को स्थापित करने के लिए, लेखक हार्मोनिक संख्याओं का उपयोग करके एक विशिष्ट "हार्मोनिक विटनेस" दिशा का निर्माण करते हैं। वे सिद्ध करते हैं कि किसी भी परिमित वर्णमाला के लिए, ऐसी दिशाएं मौजूद हैं जो उत्पाद-संरचित वेक्टर्स के साथ संरेखित होने में स्वाभाविक रूप से कठिन हैं, जिससे उत्पाद-संरचित वेक्टर्स के लिए सबसे खराब स्थिति वाले कोणीय त्रुटि पर एक विश्लेषणात्मक निचली सीमा (analytical lower bound) प्राप्त होती है।
3. ऊपरी सीमा (Spherical Codes): रैंडम पैकिंग पर वायनर के प्रमेय (Wyner's theorem) का उपयोग करते हुए, लेखक समान बिंदुओं वाले अनियंत्रित गोलाकार कोडों के कवरेज रेडियस के लिए ऊपरी सीमाएं प्राप्त करते हैं।
4. अनंतस्पर्शी विश्लेषण (Asymptotic Analysis): पेपर आयाम $n$ बढ़ने के साथ उत्पाद कोड बनाम गोलाकार कोड के अनंतस्पर्शी व्यवहार (asymptotic behavior) की तुलना करता है, और उत्पाद कोडों के कवмेज प्रदर्शन में एक सख्त अलगाव (strict separation) को सिद्ध करता है।
5. मानक प्रारूप विश्लेषण: लेखक विशिष्ट वर्णमाला परिवारों (floating-point, fixed-point, two's complement) का विश्लेषण करते हैं ताकि एक इष्टतम उत्पाद कोड के सापेक्ष उनकी उप-इष्टतमता के अंतर (suboptimality gap) को मापा जा सके।

प्रयोगात्मक दृष्टिकोण (Experimental Approach)

1. संख्यात्मक अनुकूलन: एक डेरिवेटिव-फ्री ऑप्टिमाइज़ेशन फ्रेमवर्क (Differential Evolution और Powell's method का संयोजन) का उपयोग उन स्केलर वर्णमालाओं को खोजने के लिए किया जाता है जो दिए गए बिट-विड्थ और आयाम के लिए सबसे खराब कोणीय त्रुटि को न्यूनतम करते हैं।
2. कुशल खोज: कवरेज ऑब्जेक्टिव को कुशलतापूर्वक मूल्यांकन करने के लिए, लेखक एक निकटतम-पड़ोसी खोज पद्धति (nearest-neighbor search method) के विस्तार को लागू करते हैं जो खोज स्थान को तत्व-वार क्वांटाइजेशन के लिए सभी संभावित वेक्टर स्केल्स पर अनुकूलन करके एक एकल आयाम (स्केल) तक कम कर देता है।
3. तुलनात्मक मूल्यांकन: अनुकूलित वर्णमालाओं की तुलना $d=4$ से $d=64$ आयामों तक विशिष्ट 4-बिट प्रारूपों (विशेष रूप से NVIDIA के NVFP4 E2M1, E3M0, और INT/E1M2) के विरुद्ध की जाती है।

मुख्य योगदान (Key Contributions)

यह शोध चार प्राथमिक योगदान देता है:

1. उप-इष्टतमता का विश्लेषणात्मक प्रमाण: लेखक एक कठोर प्रमाण प्रदान करते हैं कि उत्पाद-संरचित कोड, गोलाकार कोडों की तुलना में दिशात्मक कवरेज के लिए सख्ती से उप-इष्टतम (strictly suboptimal) हैं। यह कम आयामों (विशेष रूप से आयाम 2, एंटीपोडल बाइनरी केस को छोड़कर) और उच्च आयामों में अनंतस्पर्शी रूप से सत्य है।
2. मानक प्रारूप अंतराल का परिमाणीकरण: यह कार्य सिद्ध करता है कि मानक प्रारूप—two's complement, fixed-point, और floating-point—उत्पाद कोडों के वर्ग के भीतर भी उप-इष्टतम हैं। पेपर एक "सामान्यीकृत ऑर्थोगोनैलिटी डेफिसिट" का उपयोग करके इस उप-इष्टतमता अंतराल को मापता है, जो यह दिखाता है कि ये प्रारूप एक इष्टतम वर्णमाला की तुलना में काफी धीमी दर से सैद्धांतिक सीमा ($\pi/2$) की ओर अभिसरित होते हैं।
3. अनुकूलित दिशा-संरक्षण वर्णमाला: पेपर विशेष रूप से दिशात्मक कवरेज के लिए डिज़ाइन किए गए स्केलर वर्णमाला प्राप्त करने के लिए एक संख्यात्मक अनुकूलन दृष्टिकोण प्रस्तुत करता है। ये अनुकूलित वर्णमालाएं मौजूदा प्रारूपों के मूल्यांकन के लिए एक बेंचमार्क के रूप में कार्य करती हैं।
4. E2M1 प्रदर्शन का ज्यामितीय स्पष्टीकरण: लॉग-स्पेस विश्लेषण के माध्यम से, लेखक प्रदर्शित करते हैं कि NVIDIA का E2M1 प्रारूप, सैद्धांतिक रूप से अनुकूलित वर्णमाला के बहुत करीब है। यह इसके निम्न-परिशुद्धता मशीन लर्निंग वर्कलोड में मजबूत प्रदर्शन के लिए एक ज्यामितीय औचित्य प्रदान करता है।

परिणाम (Results)

सैद्धांतिक परिणाम

• आयाम 2: उत्पाद कोड गोलाकार कोडों के सापेक्ष सख्ती से उप-इष्टतम हैं, जब तक कि वर्णमाला एंटीपोडल बाइनरी सेट $\{-a, a\}$ न हो।
• उच्च आयाम: किसी भी निश्चित वर्णमाला आकार $q$ के लिए, एक ऐसा आयाम $N$ मौजूद है जिसके बाद गोलाकार कोड किसी भी उत्पाद कोड की तुलना में सख्ती से बेहतर प्रदर्शन करते हैं। इस अंतर को उत्पाद कोड की निचली सीमा (हार्मोनिक विटनेस से प्राप्त) और गोलाकार कोड की ऊपरी सीमा द्वारा निर्धारित किया जाता है।
• मानक प्रारूप: $b \ge 3$ बिट-विड्थ के लिए, मानक फ्लोटिंग-पॉइंट और फिक्स्ड-पॉइंट प्रारूप अनंतस्पर्शी रूप से उप-इष्टतम हैं। पेपर एक ठोस स्थिरांक-कारक अंतर (उदाहरण के लिए, 4-बिट प्रारूपों के लिए $\approx 1.528$ का अनुपात) स्थापित करता है।

प्रयोगात्मक परिणाम

• अनुकूलन: संख्यात्मक अनुकूलन ने साइन-सिमेट्रिक (sign-symmetric) 4-बिट वर्णमालाएँ प्रदान कीं, जिन्होंने $d=4$ से $d=64$ आयामों तक लगातार मानक प्रारूपों से बेहतर प्रदर्शन किया।
• E2M1 संरेखण: E2M1 प्रारूप (2 एक्सपोनेंट बिट्स, 1 मैंटिसा बिट) ने अनुकूलित वर्णमाला के बहुत करीब कोणीय त्रुटि दर प्राप्त की, जो E3M0 और INT/E1M2 से काफी बेहतर प्रदर्शन करती है।
• लॉग-स्पेस विश्लेषण: रिग्रेशन विश्लेषण से पता चला कि E2M1 अनुकूलित वर्णमाला के साथ एक 'नियर-आइसोमेट्री' (near-isometry) प्रदर्शित करता है, जो यह सुझाव देता है कि E2M1 प्रभावी रूप से इष्टतम दिशा-संरक्षण संरचना का एक विशिष्ट राउंडिंग (rounding) है।

महत्व और दावे (Significance and Claims)

यह शोध निम्न-परिशुद्धता संख्या प्रारूपों के डिज़ाइन के लिए एक ज्यामितीय दृष्टिकोण प्रदान करने का दावा करता है। इसका महत्व पारंपरिक डायनेमिक रेंज और परिशुद्धता मेट्रिक्स से हटकर दिशा संरक्षण (directional preservation) पर ध्यान केंद्रित करने में है, जो मशीन लर्निंग में वेक्टर ऑपरेशन्स के लिए महत्वपूर्ण है।

लेखक का तर्क है कि हालांकि उत्पाद कोड अनियंत्रित गोलाकार कोडों की तुलना में स्वाभाविक रूप से सीमित हैं, फिर भी स्केलर वर्णमाला का चयन एक महत्वपूर्ण कारक बना हुआ है। यह कार्य प्रदर्शित करता है कि:

1. मानक प्रारूप दिशा संरक्षण के लिए इष्टतम नहीं हैं, यहाँ तक कि उत्पाद संरचनाओं के भीतर भी।
2. मानक प्रारूपों और एक इष्टतम उत्पाद कोड के बीच एक मापने योग्य अंतर है।
3. मौजूदा उच्च-प्रदर्शन प्रारूप जैसे E2M1 संयोग से नहीं, बल्कि इसलिए सफल होते हैं क्योंकि उनकी संरचना इष्टतम दिशात्मक कवरेज के लिए ज्यामितीय आवश्यकताओं के साथ निकटता से मेल खाती है।

पेपर निष्कर्ष निकालता है कि ये निष्कर्ष दिशा-संरक्षण के लिए विशेष रूप से अनुकूलित नए स्केलर प्रारूपों के विकास को प्रेरित करते हैं और ऐसे निरूपणों के विश्लेषण के लिए एक सैद्धांतिक ढांचा प्रदान करते हैं। लेखकों ने औपचारिक प्रमाण (Lean में), प्रयोगात्मक कोड और अनुकूलित वर्णमाला को ओपन-सोर्स संसाधनों के रूप में उपलब्ध कराया है।