🔢 mathematics

Stochastic Rounding Increases Small Singular Values

यह शोध पत्र प्रदर्शित करता है कि स्टोकेस्टिक राउंडिंग (stochastic rounding) एक सामान्य स्पेक्ट्रल रेगुलराइज़र (spectral regularizer) के रूप में कार्य करती है, जो अत्यधिक और स्थिर पहलू अनुपात (aspect ratios) वाली मैट्रिसेस में न केवल सबसे छोटे सिंगुलर मान (singular value) को, बल्कि पूंछ वाले सिंगुलर मानों (tail singular values) के संपूर्ण क्लस्टर्स को भी ऊपर उठाती है।

मूल लेखक: Linkai Ma, Tingzhou Yu, Petros Drineas

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Linkai Ma, Tingzhou Yu, Petros Drineas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल स्प्रेडशीट है जिसमें मशीन लर्निंग मॉडल के डेटा को दर्शाने वाली संख्याएँ हैं। कंप्यूटर की दुनिया में, स्थान बचाने और गणनाओं को तेज़ करने के लिए इन संख्याओं को अक्सर "राउंड ऑफ" (गोल) कर दिया जाता है, ठीक वैसे ही जैसे कोई कैशियर किसी कीमत को निकटतम पांच के नोट (nickel) तक राउंड कर सकता है। आमतौर पर, यह राउंडिंग एक अनुमानित और कठोर तरीके (डिटरमिनिस्टिक राउंडिंग) से की जाती है, जो अनजाने में महत्वपूर्ण विवरणों को कुचल सकती है, जिससे डेटा वास्तविक रूप से जितना है उससे अधिक सपाट या कम उपयोगी दिखने लगता है।

यह शोध पत्र एक अलग दृष्टिकोण पेश करता है जिसे स्टोकेस्टिक राउंडिंग (SR) कहा जाता है। हमेशा नीचे या ऊपर राउंड करने के बजाय, SR एक सिक्का उछालता है। यदि कोई संख्या दो मानों के बीच में है, तो यह यादृच्छिक (रैंडम) रूप से एक को चुन लेता है। यह पेपर तर्क देता है कि यह "यादृच्छिकता" केवल शोर (noise) नहीं है; यह एक छिपे हुए सहायक की तरह काम करती है जो वास्तव में डेटा की गणितीय संरचना को बेहतर बनाती है।

यहाँ उनकी दो मुख्य खोजों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "स्थिरता" की खोज: यह केवल अजीब आकृतियों पर ही नहीं, बल्कि सामान्य आकृतियों पर भी काम करता है

पुराना विचार: पिछले शोधों ने सुझाव दिया था कि यह रैंडम राउंडिंग केवल तभी मदद करती है जब स्प्रेडशीट अत्यंत "लंबी और पतली" (एक गगनचुंबी इमारत की तरह) या "छोटी और चौड़ी" (एक पैनकेक की तरह) हो। इन चरम आकृतियों में, राउंडिंग से होने वाला रैंडम शोर इस तरह जमा होता है कि वह अनजाने में डेटा को अधिक स्थिर बना देता है।

नई खोज: लेखक सिद्ध करते हैं कि यह सहायक प्रभाव केवल उन अजीब, चरम आकृतियों तक सीमित नहीं है। यह तब भी काम करता है जब स्प्रेडशीट लगभग वर्गाकार (एक मानक कागज के टुकड़े की तरह) हो।

उपमा: कल्पना कीजिए कि आप ब्लॉकों के एक टॉवर को संतुलित करने की कोशिश कर रहे हैं। पिछले अध्ययनों ने कहा था कि आप इसे केवल तभी संतुलित कर सकते हैं जब टॉवर अविश्वसनीय रूप से पतला हो। यह पेपर दिखाता है कि स्टोकेस्टिक राउंडिंग से होने वाला "रैंडम डगमगाहट" (wobble) टॉवर को तब भी स्थिर करने में मदद करता है जब वह एक मजबूत, चौड़े, वर्गाकार ब्लॉक जैसा हो। इसका अर्थ है कि यह तकनीक केवल चरम मामलों के लिए ही नहीं, बल्कि वास्तविक दुनिया की बहुत सारी कंप्यूटर समस्याओं के लिए उपयोगी है।

2. "स्पेक्ट्रम" की खोज: यह केवल ऊपरी सिरे को नहीं, बल्कि पूरे निचले हिस्से को उठाता है

पुराना विचार: वैज्ञानिकों ने सोचा था कि स्टोकेस्टिक राउंडिंग केवल डेटा के सबसे कमजोर बिंदु—सबसे छोटी संख्या (सबसे छोटा सिंगुलर वैल्यू)—को ठीक करती है। उन्होंने इसे ढेर के बिल्कुल नीचे के लिए एक एकमुश्त समाधान के रूप में देखा था।

नई खोज: लेखक दिखाते हैं कि स्टोकेस्टिक राउंडिंग केवल सबसे निचले बिंदु को ही नहीं उठाती, बल्कि यह स्पेक्ट्रम के निचले हिस्से में मौजूद कमजोर संख्याओं के एक पूरे समूह (cluster) को उठाती है।

उपमा: एक गायक मंडली (choir) के बारे में सोचें जहाँ कुछ गायक बहुत धीमे गा रहे हैं और उन्हें सुनना कठिन है।
- पुराना दृष्टिकोण: आपने सोचा था कि स्टोकेस्टिक राउंडिंग एक मेगाफोन की तरह है जो केवल एक सबसे शांत गायक को सुनने योग्य बनाता है।
- नया दृष्टिकोण: लेखकों ने पाया कि यह एक हल्की हवा की तरह काम करता है जो एक साथ पीछे बैठे शांत गायकों की पूरी पंक्ति को ऊपर उठा देता है। यह केवल सबसे कमजोर कड़ी को ही ठीक नहीं करता; यह सूक्ष्म विवरणों को ले जाने वाले "कमजोर" संकेतों के एक पूरे समूह को मजबूत करता है।

यह क्यों मायने रखता है?

पेपर बताता है कि मशीन लर्निंग में, डेटा स्पेक्ट्रम के निचले हिस्से में ये "कमजोर" संकेत अक्सर इस बात का रहस्य होते हैं कि एक मॉडल कितनी अच्छी तरह सीखता है और सामान्यीकरण (generalize) करता है। स्टोकेस्टिक राउंडिंग का उपयोग करके, कंप्यूटर एक विशिष्ट प्रकार का "स्ट्रक्चर्ड नॉइज़" इंजेक्ट करता है जो डेटा को एक सपाट, अनभिोंत अवस्था में ढहने से रोकता है।

राउंडिंग एरर (त्रुटि) को एक बग के रूप में देखने के बजाय जो जानकारी को नष्ट कर देता है, यह पेपर दिखाता है कि स्टोकेस्टिक राउंडिंग उस त्रुटि को एक विशेषता (feature) में बदल देती है। यह एक "इम्प्लिसिट रेगुलराइज़र" के रूप में कार्य करता है—एक फैंसी तरीका जिसका अर्थ है कि यह बिना किसी अतिरिक्त मैनुअल ट्यूनिंग के डेटा को स्वाभाविक रूप से अधिक मजबूत और उपयोगी बनाने के लिए व्यवस्थित करता है।

संक्षेप में: यह पेपर सिद्ध करता है कि रैंडम राउंडिंग एक शक्तिशाली उपकरण है जो सामान्य आकार के डेटा (केवल चरम आकृतियों पर नहीं) पर काम करता है और यह न केवल सबसे कमजोर बिंदु को, बल्कि कमजोर डेटा बिंदुओं के एक पूरे समूह को मजबूत करता है, जिससे AI मॉडल का अंतर्निहित गणित अधिक स्थिर और प्रभावी हो जाता है।

तकनीकी सारांश: स्टोकेस्टिक राउंडिंग लघु सिंगुलर मानों (Singular Values) को बढ़ाती है

समस्या विवरण
हालिया शोध ने स्थापित किया है कि स्टोकेस्टिक राउंडिंग (Stochastic Rounding - SR) एक अंतर्निहित रेगुलराइज़र (implicit regularizer) के रूप में कार्य करती है, जो मैट्रिसेस के लघुतम सिंगुलर मान (smallest singular value) को बढ़ाती है, विशेष रूप से उन मैट्रिसेस के लिए जिनमें अत्यधिक पहलू अनुपात (aspect ratios) होते हैं (जैसे बहुत लंबे-और-पतले या छोटे-और-चौड़े)। हालांकि, इस घटना की वर्तमान सैद्धांतिक समझ दो महत्वपूर्ण तरीकों से सीमित है:

पहलू अनुपात संबंधी बाधाएं (Aspect Ratio Constraints): मौजूदा सीमाएं मुख्य रूप से उन मैट्रिसेस पर लागू होती हैं जहाँ पंक्तियों और स्तंभों की संख्या में महत्वपूर्ण अंतर होता है (जैसे $d \ll n^{1/4}$ )। वे स्थिर पहलू अनुपात वाले मैट्रिसेस को संबोधित करने में विफल रहती हैं, जो आधुनिक मशीन लर्निंग (जैसे सेल्फ-अटेंशन वेट्स, फुली कनेक्टेड लेयर्स) में सर्वव्यापी हैं।
स्पेक्ट्रल दायरा (Spectral Scope): पूर्व विश्लेषण लगभग विशेष रूप से लघुतम सिंगुलर मान ( $\sigma_{\min}$ ) पर केंद्रित हैं। वे "स्पेक्ट्रल टेल" (spectral tail)—लघु सिंगुलर मानों के क्लस्टर जो सूक्ष्म जानकारी को एनकोड करते हैं और डीप लर्निंग में सामान्यीकरण (generalization) को प्रभावित करते हैं—को ध्यान में नहीं रखते हैं।

यह शोध पत्र यह निर्धारित करने का प्रयास करता है कि क्या SR का रेगुलराइजेशन प्रभाव स्थिर पहलू अनुपात वाले मैट्रिसेस के लिए बना रहता है और क्या यह एकल लघुतम सिंगुलर मान से आगे बढ़कर स्पेक्ट्रम की टेल में स्थित सिंगुलर मानों के पूरे क्लस्टर्स को ऊपर उठाने तक विस्तृत है।

कार्यप्रणाली
लेखक एक मैट्रिक्स $\tilde{A} \in \mathbb{R}^{n \times d}$ का विश्लेषण करते हैं जिसे एक मैट्रिक्स $A$ पर एंट्रीवाइज (entrywise) यूनिफॉर्मली डिथर्ड क्वांटाइज़र (Uniformly Dithered Quantizer) लागू करके प्राप्त किया गया है। इस प्रक्रिया को $\tilde{A} = A + E$ के रूप में मॉडल किया गया है, जहाँ $E$ एक शोर मैट्रिक्स (noise matrix) है जिसके स्वतंत्र, केंद्रित (centered), बाउंडेड और सब-गौसियन (sub-Gaussian) प्रविष्टियाँ हैं।

विश्लेषण दो मुख्य दिशाओं में आगे बढ़ता है:

लघुतम सिंगुलर मान ( $\sigma_d(\tilde{A})$ ):
लेखक असमानता $\sigma_d(\tilde{A}) \geq \sigma_d(E) - \|P_A E\|_2$ का उपयोग करते हैं, जहाँ $P_A$ , $A$ के कॉलम स्पेस पर ऑर्थोगोनल प्रोजेक्टर है।

वे ब्राइलोव्स्काया और वान हैंडल [2024] से प्राप्त $\sigma_d(E)$ के लिए एक शार्प लोअर बाउंड का उपयोग करते हैं, जो गैर-समांगी (non-homogeneous) शोर वेरिएंस को ध्यान में रखता है।
वे $\epsilon$ -नेट तर्कों और हॉफडिंग की असमानता (Hoeffding's inequality) का उपयोग करके प्रोजेक्शन टर्म $\|P_A E\|_2$ के लिए एक नया, अधिक सटीक अपर बाउंड व्युत्पन्न करते हैं।
यूनियन बाउंड के माध्यम से इन्हें संयोजित करके, वे एक उच्च-संभाव्यता वाला लोअर बाउंड स्थापित करते हैं जो स्थिर पहलू अनुपात बाधाओं ( $d \leq c_0 n$ ) के तहत मान्य है।

स्पेक्ट्रल टेल रेगुलराइजेशन (Spectral Tail Regularization):
सिंगुलर मानों के क्लस्टर्स का विश्लेषण करने के लिए, लेखक मानते हैं कि $A$ में इंडेक्स $k$ पर एक बड़ा स्पेक्ट्रल गैप ( $\sigma_k(A) \gg \sigma_{k+1}(A)$ ) है। वे "अपेक्षित अतिरिक्त टेल ऊर्जा" (expected excess tail energy) $T$ को $\tilde{A}$ और $A$ के बीच इंडेक्स $k+1$ से $d$ तक के स्क्वेर्ड सिंगुलर मानों के योग के अंतर के रूप में परिभाषित करते हैं।

कंटूर इंटीग्रेशन (Contour Integration): वे स्पेक्ट्रल प्रोजेक्टर्स के रेज़ोलवेंट रिप्रेजेंटेशन (resolvent representation) का उपयोग करते हैं। एक कंटूर $\Gamma$ को परिभाषित करके जो ग्राम मैट्रिक्स $G = A^\top A$ के शीर्ष $k$ आइगेनवैल्यू को घेरता है लेकिन शेष को बाहर रखता है, वे ऊर्जा शिफ्ट को कंटूर इंटीग्रल्स की एक श्रृंखला के रूप में व्यक्त करते हैं।
न्यूमैन एक्सपेंशन (Neumann Expansion): विक्षेपित (perturbed) रेज़ोलवेंट को न्यूमैन सीरीज़ में विस्तारित किया जाता है। अग्रणी पदों ( $I_1, I_2$ ) की गणना रेसिड्यू कैलकुलस (residue calculus) का उपयोग करके सटीक रूप से की जाती है, जबकि उच्च-क्रम के पदों को एकाग्रता असमानताओं (concentration inequalities) और विक्षोभ (perturbation) $\Delta = \tilde{G} - G$ के ऑपरेटर नॉर्म बाउंड्स का उपयोग करके सीमित किया जाता है।
एनर्जी आइडेंटिटी (Energy Identity): वे इस पहचान का लाभ उठाते हैं कि अपेक्षित कुल स्क्वेर्ड सिंगुलर वैल्यू मास, शोर के अपेक्षित स्क्वेर्ड फ्रोबिनियस नॉर्म द्वारा बढ़ जाता है, जिससे वे टेल एनर्जी शिफ्ट को टॉप- $k$ ऊर्जा शिफ्ट से जोड़ने में सक्षम होते हैं।

मुख्य योगदान और परिणाम

स्थिर पहलू अनुपात के लिए सामान्यीकरण:
यह शोध पत्र सिद्ध करता है कि SR का रेगुलराइजेशन प्रभाव केवल चरम आयामी असंतुलन (extreme dimensional imbalances) तक सीमित नहीं है।

परिणाम: एक मैट्रिक्स $A$ के लिए जहाँ $d \leq c_0 n$ , राउंडेड मैट्रिक्स $\tilde{A}$ का लघुतम सिंगुलर मान उच्च संभाव्यता के साथ $\sigma_d(\tilde{A}) \gtrsim \rho \sqrt{n} \nu$ को संतुष्ट करता है, जहाँ $\rho$ क्वांटाइजेशन रेजोल्यूशन है और $\nu$ शोर मैट्रिक्स के कॉलम-वार वेरिएंस को मापता है।
तुलना: यह पिछले कार्य (जैसे डेक्सटर एट अल. [2025]) में काफी सुधार करता है, जिसमें $d = o((n/\log n)^{1/4})$ की आवश्यकता थी। नया बाउंड उन मैट्रिसेस को कवर करता है जहाँ $d$ और $n$ समान क्रम के हैं, जिससे यह परिणाम मानक डीप लर्निंग वेट मैट्रिसेस के लिए लागू हो जाता है।

सिंगुलर वैल्यू क्लस्टर्स का रेगुलराइजेशन:
यह शोध पत्र यह प्रदर्शित करता है कि SR न केवल न्यूनतम सिंगुलर मान को उठाता है, बल्कि स्पेक्ट्रल टेल के एक गैर-तुच्छ (non-trivial) हिस्से को भी उठाता है।

परिणाम: अपेक्षित अतिरिक्त टेल ऊर्जा $T$ , शोर मैट्रिक्स के सबसे छोटे $(d-k)$ कॉलम वेरिएंस के योग से, स्पेक्ट्रल गैप और विक्षोभ परिमाण पर निर्भर निम्न-क्रम के पदों को घटाकर, लोअर-बाउंडेड है।
निहितार्थ: यह इंग दर्शाता है कि SR ऐसा शोर इंजेक्ट करता है जो दिशाओं में फैलता (diffuse) है, जिससे निम्न-आयामी सबस्पेस में संकेंद्रण (concentration) को रोका जा सके। फलस्वरूप, यह एक आयामी रेगुलराइज़र के रूप में कार्य करने के बजाय, एक क्लस्टर के भीतर कमजोर स्पेक्ट्रल मोड्स को मजबूत करता है।

महत्व और दावे
लेखक दावा करते हैं कि ये परिणाम स्टोकेस्टिक राउंडिंग के एक स्पेक्ट्रल रेगुलराइज़र के रूप में अधिक सामान्य और सटीक लक्षण वर्णन प्रदान करते हैं।

सैद्धांतिक आधार: यह कार्य लो-प्रिसिजन ट्रेनिंग में SR की अनुभवजन्य सफलता के लिए एक कठोर सैद्धांतिक आधार प्रदान करता है, जो यह सुझाव देता है कि "हानिकारक" क्वांटाइजेशन शोर वास्तव में इस तरह से संरचित है कि वह स्पेक्ट्रल ज्योमेट्री में सुधार करता है।
अंतर्निहित रेगुलराइजेशन का तंत्र: यह दिखाकर कि SR स्पेक्ट्रल टेल को प्रभावित करता है, यह पेपर SR को डीप लर्निंग में देखे जाने वाले 'इम्प्लिसिट सेल्फ-रेगुलराइजेशन' की घटना से जोड़ता है, जहाँ हेवी-टेल्ड स्पेक्ट्रा सामान्यीकरण क्षमता के साथ सह-संबंधित होते हैं।
सीमाएँ: लेखक विनम्रतापूर्वक स्वीकार करते हैं कि स्पेक्ट्रल टेल के लिए उनके बाउंड्स प्रतिबंधात्मक धारणाओं पर निर्भर हैं, जिसमें एक मजबूत स्पेक्ट्रल गैप, सीमित आइगेनवैल्यू अनुपात और छोटा विक्षोभ स्तर शामिल है। वे नोट करते हैं कि लघुतम सिंगुलर मान के लिए निकट-वर्गाकार (near-square) शासन ( $d \approx n$ ) उनके वर्तमान विश्लेषण द्वारा पूरी तरह से कवर नहीं किया गया है, और डाउनस्ट्रीम डीप लर्निंग टास्क में और अधिक अनुभवजन्य सत्यापन की आवश्यकता है।

संक्षेप में, यह शोध पत्र स्थापित करता है कि स्टोकेस्टिक राउंडिंग एक सामान्य-उद्देश्य वाला स्पेक्ट्रल रेगुलराइज़र है जो स्थिर पहलू अनुपात वाले मैट्रिसेस पर कार्य करता है और लघु सिंगुलर मानों के पूरे क्लस्टर्स को ऊपर उठाता है, जिससे मैट्रिक्स स्पेक्ट्रम के लो-एनर्जी सबस्पेस को नया आकार मिलता है।

1. "स्थिरता" की खोज: यह केवल अजीब आकृतियों पर ही नहीं, बल्कि सामान्य आकृतियों पर भी काम करता है

2. "स्पेक्ट्रम" की खोज: यह केवल ऊपरी सिरे को नहीं, बल्कि पूरे निचले हिस्से को उठाता है

यह क्यों मायने रखता है?

इसी तरह के और पेपर