🔢 mathematics

How Controlling the Variance can Improve Training Stability of Sparsely Activated DNNs and CNNs

यह शोध पत्र यह सिद्ध करके 'एज-ऑफ-केओस' (Edge-of-Chaos) सिद्धांत को स्पार्सली एक्टिवेटेड (sparsely activated) डीप नेटवर्क्स तक विस्तारित करता है कि रैखिक सेटिंग्स के विपरीत, बड़े फिक्स्ड-पॉइंट गॉसियन प्रोसेस वेरिएंस प्रशिक्षण स्थिरता को बढ़ाते हैं, जो एक नई इनिशियलाइज़ेशन रणनीति को सक्षम बनाता है जिससे 90% तक हिडन लेयर स्पैरसिटी वाले DNNs और CNNs को प्रशिक्षित किया जा सकता है।

मूल लेखक: Emily Dent, Jared Tanner

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Emily Dent, Jared Tanner

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल टीम, जिसमें 1,00,000 लोग हैं (एक डीप न्यूरल नेटवर्क), को एक पहेली सुलझाना सिखाने की कोशिश कर रहे हैं। उन्हें शुरुआत करने के लिए, आप उन्हें निर्देशों का एक सेट देते हैं (इनिशियलाइजेशन/आरंभ)।

अतीत में, शोधकर्ताओं ने इन निर्देशों के लिए "गोल्डिलॉक्स" ज़ोन की खोज की थी जिसे एज-ऑफ-केओस (Edge-of-Chaos - अराजकता का किनारा) कहा जाता है। यदि निर्देश बहुत अधिक अराजक हैं, तो टीम घबरा जाती है और चिल्लाने लगती है (एक्सप्लोडिंग ग्रेडिएंट्स)। यदि वे बहुत अधिक शांत हैं, तो वे सो जाते हैं और बात करना बंद कर देते हैं (वैनिशिंग ग्रेडिएंट्स)। गोल्डिलॉक्स ज़ोन उन्हें सीखने के लिए पर्याप्त सक्रिय रखता है।

हालाँकि, यह शोध पत्र एक विशिष्ट, पेचीदा प्रकार के निर्देश पर ध्यान केंद्रित करता है: स्पर्सिटी (Sparsity - विरलता)। यह वह स्थिति है जहाँ आप टीम के 85% से 90% लोगों को किसी विशेष कार्य के लिए "चुप रहने और कुछ न करने" का निर्देश देते हैं। यह ऊर्जा और कंप्यूटिंग शक्ति बचाने के लिए बहुत अच्छा है (जैसे एक मस्तिष्क जो केवल उन न्यूरॉन्स का उपयोग करता है जिनकी उसे आवश्यकता है), लेकिन यह प्रशिक्षण को अविश्वसनीय रूप से अस्थिर बना देता है। यह एक ऑर्केस्ट्रा संचालित करने जैसा है जहाँ 10 में से 9 संगीतकारों को चुप रहने के लिए कहा गया है; यदि कंडक्टर (गणित) सटीक नहीं है, तो जो कुछ लोग खेल रहे हैं, वे बहुत तेज़ या बहुत धीमे हो सकते हैं, और संगीत बिगड़ सकता है।

पुराना तरीका बनाम नई खोज

पुरानी धारणा:
वर्षों से, इन "मौन बहुमत" वाले नेटवर्क के लिए मानक सलाह यह थी: "सक्रिय संगीतकारों की आवाज़ को बहुत, बहुत कम रखें।"
गणितीय रूप से, इसका अर्थ था वेरिएंस (आवाज़ का स्तर या डेटा का फैलाव) को बहुत छोटा, शून्य के करीब रखना। सिद्धांत यह था कि यदि आप सिग्नल को शांत रखते हैं, तो सन्नाटा खराब नहीं होगा।

नई खोज:
एमिली डेंट और जेरेड टैनर ने पाया कि इन विशिष्ट "चुप रहने" वाले निर्देशों के लिए, पुरानी सलाह वास्तव में चीजों को बदतर बना देती है। फुसफुसाने के बजाय, उन्होंने पाया कि आवाज़ बढ़ाने से नेटवर्क बहुत अधिक स्थिर हो जाता है।

उन्होंने सिद्ध किया कि सक्रिय न्यूरॉन्स की "ऊँची आवाज़" (वेरिएंस, जिसे वे $q^*$ कहते हैं) बढ़ाकर, नेटवर्क अधिक:

सममित (Symmetrical) बनता है: सिग्नल कैसे प्रवाहित होता है, इसका वर्णन करने वाला गणित अधिक संतुलित हो जाता है, जैसे कि एक पूरी तरह से संतुलित सी-सॉ (seesaw)।
कम संवेदनशील (Less Sensitive) बनता है: नेटवर्क डेटा में मामूली बदलावों पर अत्यधिक प्रतिक्रिया देना बंद कर देता है। यह मजबूत हो जाता है, जैसे कि एक जहाज जो लहरों के थपेड़ों को झेल सके बिना पलटे।
प्रशिक्षण में तेज़ होता है: नेटवर्क पहेली को बहुत तेज़ी से सीखता है।

रचनात्मक उपमा: "शांत कमरा"

एक बड़े कमरे की कल्पना करें जहाँ आप एक छोर से दूसरे छोर तक एक गुप्त संदेश भेजने की कोशिश कर रहे हैं।

समस्या: आपके पास एक नियम है कि कमरे में 90% लोगों को बिल्कुल स्थिर खड़ा रहना होगा और कुछ भी नहीं बोलना होगा। केवल 10% ही बोल सकते हैं।
पुरानी रणनीति (लो वेरिएंस): आप उन 10% को, जो बोल सकते हैं, इतनी धीरे फुसफुसाने के लिए कहते हैं कि उन्हें मुश्किल से सुना जा सके। समस्या यह है कि शोर भरे कमरे में, फुसफुसाहट आसानी से खो जाती है। यदि कोई एक व्यक्ति लड़खड़ाता है या थोड़ा तेज़ बोलता है, तो संदेश टूट जाता है। 90% का "सन्नाटा" 10% की अस्थिरता को बढ़ा देता है।
नई रणनीति (हाई वेरिएंस): आप 10% को स्पष्ट और आत्मविश्वास के साथ बोलने के लिए कहते हैं। क्योंकि वे अधिक ऊर्जा और स्पष्टता के साथ बोल रहे हैं, उनका संदेश शोर के बीच से रास्ता बना लेता है। भले ही 90% लोग शांत हों, सक्रिय कुछ लोगों का मजबूत सिग्नल पूरे कमरे के अंत तक बिना किसी विकृति के स्थिर रूप से पहुँच जाता है।

उन्होंने वास्तव में क्या किया

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने भारी गणितीय गणनाएँ कीं और प्रयोग भी चलाए:

सिद्धांत: उन्होंने उन्नत गणित (गौसियन प्रोसेस) का उपयोग करके दिखाया कि जब आप सक्रिय न्यूरॉन्स की "ऊँची आवाज़" ( $q^*$ ) बढ़ाते हैं, तो नेटवर्क के व्यवहार का वर्णन करने वाले गणितीय "वक्र" (curves) अधिक सुचारू और अनुमानित हो जाते हैं। यह प्रशिक्षण के दौरान नेटवर्क को क्रैश होने से रोकता है।
प्रयोग: उन्होंने 90% स्पर्सिटी (90% न्यूरॉन्स शांत) वाले डीप न्यूरल नेटवर्क (DNNs) और कन्वोल्यूशनल नेटवर्क (CNNs) बनाए।
- जब उन्होंने पुराने "फुसफुसाने" वाले तरीके ( $q^*=1$ ) का उपयोग किया, तो नेटवर्क अक्सर सीखने में विफल रहा या खराब परिणाम दिए, विशेष रूप से उच्च स्पर्सिटी पर।
- जब उन्होंने नए "बोलने" वाले तरीके ( $q^*=2$ या $3$) का उपयोग किया, तो नेटवर्क सफलतापूर्वक प्रशिक्षित हुआ, उच्च सटीकता प्राप्त की, और ट्यूनिंग के प्रति बहुत कम संवेदनशील रहा।

मुख्य निष्कर्ष

यह शोध पत्र इस बात के दृष्टिकोण को बदल देता है कि हमें बहुत स्पार्स न्यूरल नेटवर्क को कैसे शुरू करना चाहिए। सिग्नल को छोटा और नाजुक रखने के बजाय, हमें शुरुआत से ही सक्रिय हिस्सों को थोड़ी अधिक "ऊर्जा" (वेरिएंस) देनी चाहिए। यह सरल परिवर्तन हमें ऐसे नेटवर्क बनाने की अनुमति देता है जो 90% शांत (भारी मात्रा में कंप्यूटिंग शक्ति बचाते हुए) हो सकते हैं, लेकिन फिर भी विश्वसनीयता और तेज़ी से प्रशिक्षित हो सकते हैं।

नोट: यह शोध पत्र विशेष रूप से इनिशियलाइजेशन और मानक डेटासेट्स जैसे MNIST और CIFAR-10 पर प्रशिक्षण स्थिरता के गणितीय सिद्धांत पर केंद्रित है। यह दावा नहीं करता है कि ये परिणाम क्लिनिकल उपयोगों, विशिष्ट वास्तविक दुनिया के अनुप्रयोगों, या ट्रांसफॉर्मर (जिन्हें उन्होंने स्पष्ट रूप से इस अध्ययन से बाहर रखा है) जैसे भविष्य के आर्किटेक्चर पर लागू होते हैं।

तकनीकी सारांश: स्पार्सली एक्टिवेटेड DNNs और CNNs के प्रशिक्षण की स्थिरता में सुधार के लिए वेरिएंस (Variance) को नियंत्रित करना

समस्या विवरण
ऐसे डीप न्यूरल नेटवर्क्स (DNNs) और कन्वोल्यूशनल न्यूरल नेटवर्क्स (CNNs) को प्रशिक्षित करना जिनमें उच्च स्तर की स्पर्सिटी (जैसे, 85% से 90%) उत्पन्न करने वाले एक्टिवेशन फंक्शन होते हैं, महत्वपूर्ण इनिशियलाइजेशन चुनौतियां प्रस्तुत करता है। पारंपरिक एज-ऑफ-केओस (EoC) सिद्धांत, जो स्थिर सूचना प्रसार सुनिश्चित करने के लिए मध्यवर्ती परतों को गाऊसी प्रक्रियाओं (Gaussian processes) के रूप में वर्णित करता है, आमतौर पर यह मानकर चलता है कि एक्टिवेशन मूल बिंदु (origin) के आसपास लगभग रैखिक (linear) होते हैं। इस शासन (regime) में, EoC सिद्धांत अक्सर यह सुझाव देता है कि प्री-एक्टिवेशन डिस्ट्रीब्यूशन का फिक्स्ड-पॉइंट वेरिएंस, $q^*$ , डायनेमिक आइसोमेट्री प्राप्त करने के लिए शून्य या एक छोटे गैर-शून्य मान की ओर अभिसरित (converge) होना चाहिए।

हालांकि, स्पर्सिटी-इंड्यूसिंग एक्टिवेशन के लिए जहाँ $\phi(z) = 0$ होता है $|z| \leq \tau$ (मूल बिंदु के पास का एक क्षेत्र) के लिए, रैखिकता (linearity) का अनुमान विफल हो जाता है। पिछले कार्य [1] ने प्रदर्शित किया है कि मानक EoC इनिशियलाइजेशन रणनीतियाँ इन सेटिंग्स में प्रशिक्षण अस्थिरता (training instability) की ओर ले जाती हैं। यह अस्थिरता इसलिए उत्पन्न होती है क्योंकि हिडन लेयर्स का एम्पिरिकल वेरिएंस, $\tilde{q}^{(\ell)}$ , सैद्धांतिक फिक्स्ड पॉइंट $q^*$ के चारों ओर स्टोकेस्टिक रूप से उतार-चढ़ाव करता है। मूल बिंदु के पास रैखिकता की अनुपस्थिति में, ये उतार-चढ़ाव त्रुटियों के मल्टीप्लिकेटिव परटर्बेशन (multiplicative perturbation of errors) को गहराई के साथ तेजी से बढ़ा सकते हैं, जिससे ग्रेडिएंट्स का विस्फोट (exploding gradients) या नेटवर्क की एक्सप्रेसिविटी का पतन हो सकता है।

कार्यप्रणाली (Methodology)
लेखक स्पर्सिटी-इंड्यूसिंग एक्टिवेशन के संदर्भ में EoC सिद्धांत का विस्तार करते हैं, विशेष रूप से एक्सेम्प्लर फंक्शन $CReLU_{\tau,m}$ (और $CST_{\tau,m}$ , $HardShrink $, और$ Sawtooth $जैसे संबंधित कार्यों) का विश्लेषण करते हैं। मुख्य कार्यप्रणाली में फिक्स्ड-पॉइंट वेरिएंस$ q^*$ को केवल एक व्युत्पन्न पैरामीटर के रूप में नहीं, बल्कि एक ट्यून करने योग्य हाइपरपैरामीटर के रूप में मानना शामिल है।

सैद्धांतिक विश्लेषण तीन नियंत्रण मेट्रिक्स पर केंद्रित है जो बड़े-चौड़ाई सीमा (large-width limit) में प्रशिक्षण स्थिरता को निर्धारित करते हैं:

वेरिएंस मैप की समरूपता (Symmetry of the Variance Map): लेखक वेरिएंस मैपिंग फंक्शन का दूसरा व्युत्प导 (second derivative) $V''(q^*)$ का विश्लेषण करते हैं। एक बड़ा $V''(q^*)$ फिक्स्ड पॉइंट के आसपास समरूपता की हानि को दर्शाता है, जिससे एम्पिरिकल वेरिएंस $\tilde{q}^{(\ell)}$ विषम रूप से विचलित होता है।
फाइनाइट डायमेंशनल करेक्शन (Finite Dimensional Correction): फाइनाइट-विड्थ नेटवर्क्स के लिए एक अनंत श्रृंखला विस्तार (infinite series expansion) का उपयोग करते हुए, लेखक अगले-प्रमुख-क्रम (next-leading-order) सुधार पद $\tilde{q}^{(1)}$ के लिए सीमाएं (bounds) प्राप्त करते हैं। यह पद अनंत-चौड़ाई वाले गाऊसी सीमा से विचलन का प्रतिनिधित्व करता है।
$\chi_1$ की संवेदनशीलता (Sensitivity of $\chi_1$ ): लेखक वेरिएंस $q$ के सापेक्ष मल्टीप्लिकेटिव परटर्बेशन फैक्टर $\chi'_{1,\phi}(q^*)$ के व्युत्प导 का परीक्षण करते हैं। उच्च संवेदनशीलता का अर्थ है कि लेयर वेरिएंस में छोटे स्टोकेस्टिक उतार-चढ़ाव त्रुटि प्रसार में बड़े बदलाव लाते हैं।

प्रस्तावित इनिशियलाइजेशन रणनीति में स्पष्ट रूप से $q^*$ को बढ़ाना (जैसे, 1 से 2 या 3 तक) और एक्टिवेशन पैरामीटर्स ( $\tau, m$ ) तथा वेट/बायस वेरिएंस ( $\sigma_w^2, \sigma_b^2$ ) को इस तरह समायोजित करना शामिल है कि वे इस नए, उच्च फिक्स्ड पॉइंट पर EoC स्थितियों ( $\chi_1(q^*) = 1$ और $q^* = V(q^*)$ ) को संतुष्ट कर सकें।

मुख्य योगदान

नई घटना की पहचान: पेपर एक प्रति-सहज (counter-intuitive) घटना की पहचान करता है जहाँ, मूल बिंदु के पास शून्य होने वाले एक्टिवेशन के लिए, फिक्स्ड-पॉइंट वेरिएंस $q^*$ को बढ़ाना प्रशिक्षण स्थिरता में सुधार करता है। यह पारंपरिक EoC दृष्टिकोणों के विपरीत है जो $q^* \to 0$ की तलाश करते हैं।
सैद्धांतिक लक्षण वर्णन (Theoretical Characterization): लेखक सिद्ध करते हैं कि $q^*$ $q^{*}$ को बढ़ाने से साथ-साथ निम्नलिखित होता है:
- वेरिएंस मैप $V(q)$ के चारों ओर फिक्स्ड पॉइंट के आसपास समरूपता में सुधार होता है (जिससे $V''(q^*)$ कम हो जाता है)।
- फाइनाइट-डायमेंशनल करेक्शन टर्म $\tilde{q}^{(1)}$ के लिए बाउंड टाइट हो जाता है, जिससे फाइनाइट-विड्थ व्यवहार अनंत-चौड़ाई वाले गाऊसी सीमा के अधिक करीब आ जाता है।
- लेयर वेरिएंस के उतार-चढ़ाव के प्रति त्रुटि प्रसार कारक $\chi_1$ की संवेदनशीलता कम हो जाती (अर्थात $\chi'_{1,\phi}(q^*)$ कम हो जाता है)।
व्यावहारिक इनिशियलाइजेशन स्कीम: स्पर्सिफाइंग एक्टिवेशन के लिए एक ठोस इनिशियलाइजेशन प्रक्रिया प्रदान की गई है। यह स्कीम 90% तक की स्पर्सिटी वाले नेटवर्क्स को प्रशिक्षित करने की अनुमति देती है, जो पहले एक कठिन स्थिरता वाला क्षेत्र था।

प्रायोगिक परिणाम
लेखक अपने सिद्धांत को DNNs (100 लेयर्स, विड्थ 300) और CNNs (50 लेयर्स, 300 चैनल्स) पर MNIST, CIFAR10, और Tiny ImageNet पर $CReLU_{\tau,m}$ एक्टिवेशन के साथ प्रशिक्षित करके मान्य करते हैं।

स्थिरता और सटीकता: उच्च स्पर्सिटी स्तरों ( $s=0.85$ और $s=0.9$ ) के लिए, $q^*=1$ के साथ इनिशियलाइज किए गए नेटवर्क अक्सर विफल रहे या स्लोप पैरामीटर $V'(q^*)$ के चयन के प्रति उच्च संवेदनशीलता प्रदर्शित किए। $q^*$ को 2 या 3 तक बढ़ाने से इस संवेदनशीलता में काफी कमी आई और प्रशिक्षण स्थिरता बहाल हुई।
प्रदर्शन: उन मामलों में जहाँ $q^*=1$ के परिणामस्वरूप कम सटीकता मिली (जैसे, $s=0.9$ पर DNNs के लिए 11%), $q^*$ को 3 तक बढ़ाने से सटीकता को पूर्ण स्तर के करीब (जैसे, 89%) तक पहुँचा दिया गया।
अभिसरण (Convergence): ट्रेनिंग लॉस और वैलिडेशन एक्यूरेसी कर्व्स उच्च $q^*$ मानों के लिए, विशेष रूप से उच्च-स्पर्सिटी शासन में, तेज़ अभिसरण दिखाते हैं।
दक्षता: पेपर में एक कस्टम CUDA कर्नेल कार्यान्वयन शामिल है जो प्रदर्शित करता है कि प्रेरित स्पर्सिटी कम्प्यूटेशनल स्पीडअप (लगभग ~2.9x तक) और ऊर्जा में कमी प्रदान करती है, जो स्पर्सिटी की व्यावहारिक उपयोगिता को प्रमाणित करती है।

महत्व और दावे
पेपर दावा करता है कि फिक्स्ड-पॉइंट वेरिएंस $q^*$ स्पार्सली एक्टिवेटेड नेटवर्क्स के प्रशिक्षण गतिकी (training dynamics) को नियंत्रित करने के लिए एक महत्वपूर्ण, बल्कि पहले से अनछुआ पैरामीटर है। गैर-रैखिक एक्टिवेशन के लिए EoC फ्रेमवर्क को पुनर्व्यवस्थित करके, जो मूल बिंदु के पास शून्य होते हैं, लेखक प्रदर्शित करते हैं कि एक सरल समायोजन— $q^*$ को बढ़ाना—उच्च-स्पर्सिटी शासन में अंतर्निहित अस्थिरता को दूर कर सकता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि उनके परिणाम अनंत-चौड़ाई सीमा (infinite-width limit) धारणा पर निर्भर हैं और मुख्य रूप से गहरे प्रॉक्सी आर्किटेक्चर (DNNs और CNNs) पर प्रदर्शित किए गए हैं, न कि अनुकूलित प्रोडक्शन मॉडल्स पर। वे स्पष्ट रूप से कहते हैं कि आर्किटेक्चरल अंतर (जैसे, स्किप कनेक्शन जो एक्टिवेशन स्पर्सिटी को निष्प्रभावी कर देते हैं) के कारण ट्रांसफॉर्मर्स और स्टेट-स्पेस मॉडल्स के लिए विस्तार कवर नहीं किए गए हैं और वे अलग विश्लेषण की रेखाएं हैं। हालांकि, यह कार्य अत्यधिक एक्टिवेशन स्पर्सिटी (90% तक) के साथ स्थिर प्रशिक्षण को सक्षम करने के लिए एक सैद्धांतिक आधार और एम्पिरिकल प्रूफ-ऑफ-कॉन्सेप्ट प्रदान करता है, जो मॉडल प्रदर्शन से समझौता किए बिना महत्वपूर्ण कम्प्यूटेशनल दक्षता को अनलॉक करने की क्षमता रखता है।

पुराना तरीका बनाम नई खोज

रचनात्मक उपमा: "शांत कमरा"

उन्होंने वास्तव में क्या किया

मुख्य निष्कर्ष

इसी तरह के और पेपर