🔢 mathematics

Limited-Precision Stochastic Rounding

यह शोध पत्र 2022 से 2026 तक के स्टोकेस्टिक राउंडिंग अनुसंधान पर एक व्यापक अपडेट प्रदान करता है, जिसमें नए सीमित-परिशुद्धता (limited-precision) संस्करण पर विशेष ध्यान दिया गया है, साथ ही इसके औद्योगिक अनुप्रयोगों और भविष्य के हार्डवेयर कार्यान्वयन में अंतर्दृष्टि भी दी गई है।

मूल लेखक: El-Mehdi El Arar, Massimiliano Fasi, Silviu-Ioan Filip, Mantas Mikaitis

प्रकाशित 2026-03-09

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: El-Mehdi El Arar, Massimiliano Fasi, Silviu-Ioan Filip, Mantas Mikaitis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "लिमिटेड-प्रिसिजन स्टोकेस्टिक राउंडिंग" (Limited-Precision Stochastic Rounding) पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी तस्वीर: हमें राउंडिंग (संख्या को पूर्णांक बनाने) का नया तरीका क्यों चाहिए?

कल्पना कीजिए कि आप एक विशाल केक के लिए आटा नाप रहे हैं। आपके पास एक बहुत सटीक तराजू है, लेकिन आपकी रेसिपी में केवल "कप" की मांग की गई है।

पुराना तरीका (स्टैंडर्ड राउंडिंग): हर बार जब आप आटे की थोड़ी सी मात्रा (मान लीजिए 0.4 कप) नापते हैं, तो आप उसे सीधे निकटतम पूर्ण संख्या में बदल देते हैं। यदि यह 0.4 है, तो आप इसे 0 मान लेते हैं। यदि यह 0.6 है, तो आप इसे 1 मान लेते हैं।
- समस्या: यदि आप ऐसा 1,000 बार करते हैं, तो वे छोटी-छोटी "राउंड डाउन" होने वाली त्रुटियाँ जुड़ती जाती हैं। अंत में आपका केक इच्छित आकार से काफी छोटा हो सकता है क्योंकि आपने लगातार अतिरिक्त कणों को फेंक दिया। गणित में इसे बायस (Bias/पक्षपात) कहा जाता है।
नया तरीका (स्टोकेस्टिक राउंडिंग): हमेशा 0.4 को नीचे राउंड करने के बजाय, आप एक सिक्का उछालते हैं।
- यदि संख्या 0.4 है (जो 1 तक पहुँचने के रास्ते का 40% है), तो आपके पास ऊपर की ओर 1 राउंड करने की 40% संभावना होगी और नीचे की ओर 0 राउंड करने की 60% संभावना होगी।
- जादू: 1,000 मापों के ऊपर, "राउंड अप" और "राउंड डाउन" एक-दूसरे को पूरी तरह से संतुलित कर देते हैं। उपयोग किए गए आटे की कुल मात्रा औसत रूप से गणितीय रूप से सही होती है, भले ही व्यक्तिगत माप गलत हों।

पेपर का लक्ष्य: यह पेपर इस बात पर एक अपडेट है कि कैसे इस "सिक्का उछालने" वाले राउंडिंग तरीके का उपयोग आधुनिक कंप्यूटरों में, विशेष रूप से आर्टिफिशियल इंटेलिजेंस (AI) के लिए किया जा रहा है। यह एक नए, व्यावहारिक संस्करण पर केंद्रित है जिसे लिमिटेड-प्रिसिजन स्टोकेस्टिक राउंडिंग कहा जाता है।

उपमाओं के साथ समझाए गए मुख्य सिद्धांत

1. "सिक्का उछालना" बनाम "रूलर (पैमाना)"

स्टैंडर्ड राउंडिंग (राउंड-टू-नियरएस्ट): एक ऐसे रूलर की तरह उपयोग करना जिसमें केवल इंच के निशान हैं। यदि एक छड़ी 1.4 इंच की है, तो आप उसे 1 इंच पर काट देते हैं। यदि वह 1.6 इंच की है, तो आप उसे 2 इंच पर काट देते हैं। आप हमेशा "अतिरिक्त" हिस्से को काट देते हैं। समय के साथ, आप बहुत सारी लकड़ी खो देते हैं।
स्टोकेस्टिक राउंडिंग (SR): एक जादुई आरी की तरह जो कभी थोड़ी लंबी और कभी थोड़ी छोटी काटती है, इस आधार पर कि छड़ी अगले इंच के कितने करीब है।
- यदि छड़ी 1.9 इंच की है, तो आरी लगभग हमेशा 2 पर काटेगी।
- यदि छड़ी 1.1 इंच की है, तो आड़ी शायद ही कभी 2 पर काटेगी।
- परिणाम: सभी कट की औसत लंबाई बिल्कुल सही होती है। यह "स्टैग्नेशन" (ठहराव) को रोकता है, जहाँ छोटी संख्याएँ शून्य में राउंड होकर गणना से पूरी तरह गायब हो जाती हैं।

2. "लिमिटेड-प्रिसिजन" का ट्विस्ट

एक आदर्श दुनिया में, सिक्का उछालना सटीक गणितीय मान पर आधारित होगा। लेकिन कंप्यूटर तेज़ और सस्ते होते हैं; उनके पास अनंत शुद्धता (precision) नहीं होती।

समस्या: सटीक प्रायिकता (probability) प्राप्त करने के लिए, आपको 16 अंकों की शुद्धता वाले सिक्के की आवश्यकता हो सकती है। यह कंप्यूटर चिप के लिए बहुत धीमा और महंगा है।
समाधान (लिमिटेड-प्रिसिजन SR): यह पेपर एक शॉर्टकट पेश करता है। एक सुपर-सटीक सिक्के का उपयोग करने के बजाय, हम एक "काफी अच्छे" सिक्के (जैसे 13-बिट या 20-बिट रैंडम नंबर) का उपयोग करते हैं।
- उपमा: कल्पना कीजिए कि आप तापमान का अनुमान लगाने की कोशिश कर रहे हैं। हजारवें अंश तक पढ़ने वाले थर्मामीटर के बजाय, आप एक ऐसे थर्मामीटर का उपयोग करते हैं जो निकटतम दसवें भाग तक पढ़ता है। यह पूरी तरह से सटीक नहीं है, लेकिन यह तेज़, सस्ता है, और त्रुटियाँ काम के लिए पर्याप्त रूप से संतुलित हो जाती हैं।

3. AI को इसकी आवश्यकता क्यों है

आधुनिक AI (जैसे वे बड़े लैंग्वेज मॉडल जिनसे आप चैट करते हैं) बहुत विशाल होते जा रहे हैं। उन्हें तेज़ और सस्ता बनाने के लिए, इंजीनियर उन्हें बहुत छोटी संख्याओं (लो प्रिसिजन) का उपयोग करने के लिए मजबूर कर रहे हैं।

खतरा: जब संख्याएँ बहुत छोटी होती हैं, तो स्टैंडर्ड राउंडिंग उन्हें खत्म कर देता है। यह तूफान में फुसफुसाहट सुनने की कोशिश करने जैसा है; फुसफुसाहट को शोर मानकर चुप करा दिया जाता है।
सुधार: स्टोकेस्टिक राउंडिंग उस फुसफुसाहट को जीवित रखता है क्योंकि यह कभी-कभी "अनुमान" लगाता है कि वह जितनी है उससे अधिक तेज़ है। यह AI को बिना अपना दिमाग खोए, छोटी संख्याओं पर प्रशिक्षण लेने की अनुमति देता है।

इस पेपर में नया क्या है?

लेखक एक पिछले रिपोर्ट (2022) को अपडेट कर रहे हैं क्योंकि दुनिया बहुत तेज़ी से आगे बढ़ी है। यहाँ मुख्य अपडेट दिए गए हैं:

1. हार्डवेयर आखिरकार यहाँ है!

वर्षों तक, यह केवल एक गणितीय सिद्धांत था। अब, वास्तविक कंप्यूटर चिप्स "स्टोकेस्टिक राउंडिंग" बटन के साथ बनाए जा रहे हैं।

खिलाड़ी: NVIDIA (चिप दिग्गज), AMD, Intel और Google, इन सभी को अपने नवीनतम ग्राफिक्स कार्ड और AI प्रोसेसर में यह फीचर डाल रहे हैं।
चुनौती: वे सभी बिल्कुल एक ही "सिक्का" का उपयोग नहीं कर रहे हैं। कुछ 13 रैंडम बिट्स का उपयोग करते हैं, अन्य 20 का। पेपर विश्लेषण करता है कि ये अलग-अलग "सिक्के" सटीकता को कैसे प्रभावित करते हैं। यह अलग-अलग बेकरी द्वारा थोड़े अलग तराजू का उपयोग करने जैसा है; केक अभी भी स्वादिष्ट होता है, लेकिन आपको पता होना चाहिए कि आप कौन सा तराजू उपयोग कर रहे हैं।

2. "डेटा ही रैंडमनेस है" वाला हैक

रैंडम नंबर बनाना समय और ऊर्जा लेता है। कुछ नए पेटेंट एक चतुर ट्रिक सुझाते हैं: डेटा का उपयोग स्वयं रैंडम नंबर के रूप में करें।

उपमा: किसी संख्या को राउंड करने का निर्णय लेने के लिए सिक्का उछालने के बजाय, संख्या के अपने "फिंगरप्रिंट" (इसके अंतिम कुछ बिट्स) को देखें। यदि फिंगरप्रिंट "रैंडम" दिखता है, तो इसका उपयोग यह तय करने के लिए करें कि ऊपर राउंड करना है या नीचे। यह प्रक्रिया को तेज़ और पुनरुत्पादनीय (reproducible) बनाता है (यदि आप समान डेटा चलाते हैं तो आपको हर बार समान परिणाम मिलता है)।

3. इसका उपयोग और कहाँ होता है?

यह केवल AI के लिए नहीं है। पेपर दिखाता है कि SR इसमें मदद कर रहा है:

मौसम का पूर्वानुमान (Weather Forecasting): जलवायु मॉडल दशकों तक चलते हैं। स्टैंडर्ड राउंडिंग नकली "चक्र" (cycles) बनाता है जहाँ मौसम एक लूप में फंस जाता है। SR बस इतना "शोर" जोड़ता है जो लूप को तोड़ देता है, जिससे सिमुलेशन यथार्थवादी रहता है।
न्यूरोमॉर्फिक कंप्यूटिंग: ऐसे कंप्यूटर जो मानव मस्तिष्क की नकल करते हैं। चूंकि वास्तविक न्यूरॉन्स "शोर वाले" और अप्रत्याशित होते हैं, इसलिए SR डिजिटल चिप्स पर उनका अनुकरण करने का एक आदर्श तरीका है।

निचोड़ (The Bottom Line)

यह पेपर स्टोकेस्टिक राउंडिंग के लिए एक "स्टेट ऑफ द यूनियन" संबोधन है।

यह हमें बताता है कि संख्याओं को राउंड करने का "सिक्का उछालने" वाला तरीका गणितीय सिद्धांत से हटकर एक वास्तविक दुनिया के उपकरण के रूप में विकसित हो गया है। अब इसे उन चिप्स में बनाया जा रहा है जो हमारे फोन, सेल्फ-ड्राइविंग कारों और AI को शक्ति देते हैं। "लिमिटेड-प्रिसिजन" सिक्कों (तेज़, सस्ते रैंडम नंबर) का उपयोग करके, इंजीनियर बिना डेटा खोए तेज़, सस्ते और अधिक सटीक AI सिस्टम बना सकते हैं।

संक्षेप में: हम कंप्यूटर को थोड़ा सा रैंडमनेस (अनिश्चितता) अपनाने के लिए सिखा रहे हैं ताकि वे अधिक स्मार्ट और कुशल बन सकें।

यहाँ एल अरार, फासी, फिलिप और मिकाइटिस के शोध पत्र "लिमिटेड-प्रिसिजन स्टोकेस्टिक राउंडिंग" (Limited-Precision Stochastic-Rounding) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

यह शोध पत्र बड़े पैमाने पर, कम-परिशुद्धता (low-precision) वाली संख्यात्मक गणनाओं में मानक नियतात्मक राउंडिंग मोड (विशेष रूपकर 'राउंड-टू-नियरएस्ट' या RN) की सीमाओं को संबोधित करता है।

त्रुटि संचय (Error Accumulation): लंबाई- $n$ वाले योगों (summations) में, RN के लिए सबसे खराब स्थिति वाली त्रुटि रैखिक रूप से ( $O(n)$ ) बढ़ती है, जबकि स्टोकेस्टिक राउंडिंग (SR) उच्च संभावना के साथ $O(\sqrt{n})$ के रूप में बढ़ती है।
स्थिरता/ठहराव (Stagnation): कम-परिशुद्धता अंकगणित में, RN अक्सर "स्थिरता" का कारण बनता है, जहाँ छोटे योग (summands) पूरी तरह से शून्य में राउंड हो जाते हैं और योग में योगदान देने में विफल रहते हैं। SR इसे ऊपर या नीचे राउंड करने की संभाव्यता सुनिश्चित करके कम करता है, जिससे यह सुनिश्चित होता है कि छोटे मान भी योग के प्रत्याशा (expectation) में योगदान दें।
कार्यान्वयन अंतराल (Implementation Gap): जबकि "सटीक" SR के लिए सटीक संभावनाओं की गणना करने हेतु अनंत परिशुद्धता वाले यादृच्छिक नंबरों (random numbers) की आवश्यकता होती है, व्यावहारिक हार्डवेयर और सॉफ्टवेयर कार्यान्वयन सीमित परिशुद्धता द्वारा बाधित होते हैं। इसलिए लिमिटेड-प्रिसिजन स्टोकेस्टिक राउंडिंग ( $SR_{p,r}$ ) को समझना, मानकीकृत करना और लागू करना आवश्यक है, जहाँ उपयोग किए जाने वाले यादृच्छिक नंबरों की एक निश्चित बिट-चौड़ाई ( $r$ ) होती है।

2. कार्यप्रणाली (Methodology)

लेखक 2022 के एक सर्वेक्षण का व्यापक अपडेट प्रदान करते हैं, जो SR के सिद्धांत, मानकीकरण और कार्यान्वयन में चार वर्षों की प्रगति (2022-2026) को कवर करता है।

सैद्धांतिक ढांचा (Theoretical Framework):
- सटीक SR ( $SR_p$ ) को परिभाषित करता है जहाँ ऊपर राउंड करने की संभावना संख्या और उसके दो निकटतम फ्लोटिंग-पॉइंट उम्मीदवारों के बीच की दूरी के समानुपाती होती है।
- लिमिटेड-प्रिसिजन SR ( $SR_{p,r}$ ) को परिभाषित करता है जहाँ इनपुट $x$ को पहले उच्च परिशुद्धता $p+r$ में राउंड किया जाता है, इससे पहले कि स्टोकेस्टिक निर्णय लिया जाए। यह एक बायस (bias) पेश करता है ( $E(SR_{p,r}) \neq x$ ), लेकिन यह हार्डवेयर की व्यवहार्यता के लिए आवश्यक है।
- मार्टिंगेल तकनीकों (martingale techniques) और कंसंट्रेशन इनइक्वेलिटीज (concentration inequalities) (जैसे Bienaymé–Chebyshev) का उपयोग करके त्रुटि सीमाओं का विश्लेषण करता है, जो दिखाता है कि SR नियतात्मक $O(nu) $की तुलना में$ O(\sqrt{nu})$ के संभाव्य त्रुटि बाउंड प्रदान करता है।
मानकीकरण विश्लेषण (Standardization Analysis):
- IEEE P3109 के अंतरिम रिपोर्ट की समीक्षा करता है, जो तीन लिमिटेड-प्रिसिजन वेरिएंट को परिभाषित करता है:
  - StochasticA: सबसे सरल परीक्षण, जिसमें संभावित छोटा बायस हो सकता है।
  - StochasticB: बायस को कम करने के लिए $2^{r+1}$ उप-अंतरालों (subintervals) का उपयोग करता है।
  - StochasticC: सटीक SR के निकटतम सन्निकटन के लिए 'फ्लोर ऑपरेटर' को 'राउंड-टू-नियरएस्ट-ईवन' (RNE) से बदल देता है।
हार्डवेयर और सॉफ्टवेयर सर्वेक्षण (Hardware and Software Survey):
- प्रमुख विक्रेताओं (Graphcore, NVIDIA, AMD, Intel, Huawei, Google) और अनुसंधान प्रोटोटाइप में कार्यान्वयन को सूचीबद्ध करता है।
- विभिन्न रूपांतरण परिदृश्यों (जैसे binary32 से fp8) में उपयोग किए जाने वाले यादृच्छिक नंबरों की बिट-चौड़ाई ( $r$ ) का विश्लेषण करता है।
- उन सॉफ़्टवेयर लाइब्रेरीज़ की समीक्षा करता है जो उन CPU/GPU पर SR का अनुकरण (emulate) करती हैं जिनमें नेटिव सपोर्ट नहीं है (जैसे StochasTorch, Jochastic, Gfloat, sr-float)।

3. मुख्य योगदान (Key Contributions)

व्यापक अपडेट: यह शोध पत्र 100 से अधिक संदर्भों के साथ SR का निर्णायक अत्याधुनिक (state-of-the-art) समीक्षा के रूप में कार्य करता है।
लिमिटेड-प्रिसिजन SR पर ध्यान: यह ध्यान "सटीक" SR से हटाकर व्यावहारिक "लिमिटेड-प्रिसिजन" SR पर केंद्रित करता है, जो यादृच्छिक नंबरों की बिट-चौड़ाई ( $r$ ) और कम्प्यूटेशनल सटीकता के बीच के ट्रेड-ऑफ का विश्लेषण करता है।
हार्डवेयर परिदृश्य मानचित्रण: यह इस बात का विस्तृत विवरण देता है कि विभिन्न आर्किटेक्चर (NVIDIA Blackwell, AMD MI300, Graphcore IPU) कैसे SR को लागू करते हैं, जिसमें विशिष्ट निर्देश सेट (जैसे NVIDIA PTX में cvt.rs) और रैंडम बिट जनरेशन रणनीतियाँ शामिल हैं।
एल्गोरिथमिक अंतर्दृष्टि:
- पहचानता है कि रिकर्सिव समेशन (recursive summation) के लिए $r \approx \lceil (\log_2 n)/2 \rceil$ चुनना इष्टतम लागत-सटीकता ट्रेड-ऑफ प्रदान करता है।
- रैंडम हेडामर्ड ट्रांसफॉर्म्स (RHTs) के उपयोग पर चर्चा करता है, जो सूक्ष्म-स्केल फॉर्मेट्स (जैसे NVFP4) में आउटलेयर्स को पुनर्वितरित करने के लिए उपयोग किए जाते हैं, जो SR के साथ मिलकर वेरिएंस रिड्यूसर के रूप में कार्य करते हैं।
- पुनरुत्पादकता बनाम यादृच्छिकता (Reproducibility vs. Randomness): बाहरी छद्म-यादृच्छिक संख्या जनरेटर (PRNGs) को हटाने के लिए पेटेंट (NVIDIA, Mellanox, Huawei) में डेटा से सीधे "रैंडम-लुकिंग" बिट्स निकालने की प्रवृत्ति को उजागर करता है, जो सीड प्रबंधन के बिना पुनरुत्पादकता सुनिश्चित करता है।

4. परिणाम और निष्कर्ष (Results and Findings)

मशीन लर्निंग (ML): SR, लार्ज लैंग्वेज मॉडल्स (LLMs) में मिक्सड-प्रिसिजन ट्रेनिंग (MPT) के लिए एक महत्वपूर्ण सक्षमकर्ता है। यह बैकवर्ड पास में अनबायस्ड ग्रेडिएंट एस्टीमेशन की अनुमति देता है, जिससे लो-प्रिसिजन (4-बिट/8-बिट) फॉर्मेट में स्थिरता (stagnation) को रोका जा सकता है। हालांकि, इसे फॉरवर्ड पास के लिए सामान्यतः अनुशंसित नहीं किया जाता है जहाँ यह अभिसरण (convergence) को बाधित कर सकता है।
न्यूरोमॉर्फिक कंप्यूटिंग: SR डिजिटल और एनालॉग न्यूरोमॉर्फिक सिस्टम में सिनैप्टिक प्लास्टिसिटी और स्पाइक ट्रेनों को प्रभावी ढंग से सिम्युलेट करता है, जिससे फिक्स्ड-पॉइंट अंकगणित में सटीकता में सुधार होता है जहाँ पारंपरिक राउंडिंग विफल हो जाती है।
मौसम और जलवायु सिमुलेशन: SR अराजक डायनेमिकल सिस्टम्स (chaotic dynamical systems) के सही दीर्घकालिक सांख्यिकीय व्यवहार को बनाए रखता है। RN के विपरीत, जो प्रक्षेपवक्र (trajectories) को छोटी आवधिक कक्षाओं (periodic orbits) में धकेलता है (कृत्रिम स्थिरीकरण), SR प्रक्षेपवक्रों को चक्रों से बाहर निकलने की अनुमति देता है, जिससे binary16 परिशुद्धता में भी 100 साल के सिमुलेशन में सांख्यिकीय निष्ठा बनी रहती है।
वैज्ञानिक गणना: लंबी संचय श्रृंखलाओं (जैसे जलवायु मॉडल) में, SR नियतामक RN की तुलना में त्रुटि वृद्धि को तीन गुना तक कम कर देता है।
हार्डवेयर कार्यान्वयन:
- Graphcore: सिग्निफिकैंड (significand) में जोड़े जाने वाले परिवर्तनीय-लंबाई वाले रैंडम बिट स्ट्रीम (13–24 बिट्स) का उपयोग करता है।
- AMD (MI300): FP8 रूपांतरणों के लिए 20–21 रैंडम बिट्स का उपयोग करता है; नॉर्मलाइज्ड वैल्यूज के लिए सटीक और सब-नॉर्मल्स के लिए लिमिटेड है।
- NVIDIA (Blackwell): PTX में .rs मॉडिफायर के माध्यम से SR को लागू करता है, जो राउंडिंग पोजीशन में रैंडम बिट्स जोड़ता है।
- Intel: समान रूपांतरण निर्देशों का वर्णन करने वाले पेटेंट का उपयोग करता है जिनमें 13–16 रैंडम बिट्स होते हैं।

5. महत्व (Significance)

यह शोध पत्र महत्वपूर्ण है क्योंकि यह सैद्धांतिक संख्यात्मक विश्लेषण और औद्योगिक हार्डवेयर कार्यान्वयन के बीच के अंतर को पाटता है।

हार्डवेयर एडॉप्शन: यह SR के एक शोध जिज्ञासा से अगले पीढ़ी के AI एक्सेलेरेटर्स (NVIDIA Blackwell, AMD MI300, Google TPU) में एक मानक विशेषता के रूप में संक्रमण को प्रलेखित करता है, जो यह संकेत देता है कि लो-प्रिसिजन कंप्यूटिंग को कैसे संभाला जाएगा इसमें एक प्रतिमान परिवर्तन (paradigm shift) है।
AI स्केलिंग को सक्षम करना: 4-बिट और 8-बिट फॉर्मेट में ट्रेनिंग को स्थिर करने के लिए SR को एक तंत्र के रूप में मान्य करके, यह पेपर ट्रिलियन-पैरामीटर मॉडल्स की ओर उद्योग के कदम का समर्थन करता, जो मेमोरी और परिशुद्धता बाधाओं के कारण अन्यथा असंभव होते।
भविष्य की दिशाएँ: लेखक हार्डवेयर की व्यापक उपलब्धता, यादृच्छिक संख्या उत्पादन (या डेटा-व्युत्पन्न यादृчность) के बेहतर मानकीकरण, और अल्ट्रा-लो-प्रिसिजन कंप्यूटिंग के लाभों को अधिकतम करने के लिए RHTs जैसे अन्य तकनीकों के साथ SR के बीच के अंतर्संबंधों में और अधिक शोध की आवश्यकता पर जोर देते हैं।