🤖 machine learning

Simplicity Suffices for Parameter Noise Injection in Stochastic Gradient Descent

यह शोध पत्र यह प्रदर्शित करता है कि स्टोकेस्टिक ग्रेडिएंट डिसेंट में पैरामीटर नॉइज़ इंजेक्शन के लिए सरल, हल्के रणनीतियाँ, विशेष रूप से एक एकल विचलित फॉरवर्ड पास के साथ आइसोट्रोपिक नॉइज़ का उपयोग करना, अधिक जटिल परटर्बेशन डिज़ाइनों के अनुकूलन और सामान्यीकरण लाभ प्राप्त करने के लिए पर्याप्त हैं।

मूल लेखक: Benjamin Leblanc, Louis-Jacob Lebel, Teddy Kana, Richard Kamel

प्रकाशित 2026-06-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Benjamin Leblanc, Louis-Jacob Lebel, Teddy Kana, Richard Kamel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधली पर्वत श्रृंखला में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं (यह एक जटिल AI मॉडल को प्रशिक्षित करने का प्रतिनिधित्व करता है)। लक्ष्य तल तक पहुँचना है ताकि AI अच्छी तरह से काम करे। आमतौर पर, आप अपने ठीक सामने वाली ढलान के आधार पर नीचे की ओर छोटे कदम उठाते हैं। इसे स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) कहा जाता है।

कभी-कभी, ज़मीन कठिन होती है। आप एक छोटे गड्ढे में फंस सकते हैं जो असली तल जैसा दिखता है लेकिन वह वास्तविक तल नहीं है, या आप एक सपाट, फिसलन भरी जगह (सैडल पॉइंट) पर फंस सकते हैं जहाँ आप यह नहीं बता पाते कि नीचे जाने का रास्ता कौन सा है।

इसे ठीक करने के लिए, शोधकर्ताओं ने लंबे समय से एक तरकीब का उपयोग किया है जिसे नॉइज़ इंजेक्शन (Noise Injection) कहा जाता है। इसे एक हाइकर (पर्वतारोही) को कभी-कभार एक हल्का, यादृच्छिक (random) "धक्का" देने के रूप में समझें। ये धक्के हाइकर को छोटे गड्ढों से बाहर निकलने और वास्तविक सर्वोत्तम स्थान खोजने के लिए इलाके को अधिक व्यापक रूप से तलाशने में मदद करते हैं।

यह शोध पत्र एक सरल प्रश्न पूछता है: क्या हमें इसे काम करने के लिए एक जटिल, महंगे, हाई-टेक "धक्का देने वाली मशीन" की आवश्यकता है, या क्या एक साधारण, सस्ता धक्का भी उतना ही अच्छा काम करेगा?

यहाँ लेखकों ने जो पाया है, उसे रोज़मर्रा की अवधारणाओं में तोड़कर दिया गया है:

1. "बैच" धक्कों के साथ समस्या

आधुनिक AI प्रशिक्षण में, हम एक बार में केवल एक पहाड़ी रास्ते को नहीं देखते; हम एक साथ रास्तों के एक पूरे समूह को देखते हैं (एक "बैच")।

पुराना तरीका: कल्पना कीजिए कि आपके पास 64 हाइकर का एक समूह है। पुराने तरीके में पूरे समूह को एक ही समय में बिल्कुल एक ही यादृच्छिक धक्का दिया जाता था। यह कुशल था, लेकिन इसका मतलब था कि सभी एक ही थोड़े अजीब दिशा में चलते थे।
नया विचार: लेखक चाहते थे कि प्रत्येक 64 हाइकर को अपना अनूठा, यादृच्छिक धक्का मिले। इससे समूह इलाके को बहुत बेहतर तरीके से तलाश पाता।
बाधा: आमतौर पर, प्रत्येक को एक अनूठा धक्का देने के लिए आपको 64 बार अलग-अलग गणितीय गणना करनी पड़ती है, जो धीमी और कंप्यूटेशनल रूप से महंगी होती है (जैसे एक गाइड के बजाय 64 अलग-अलग गाइड रखना)।
समाधान: लेखकों ने एक गणितीय शॉर्टकट (एक "डिस्ट्रीब्यूशनल आइडेंटिटी") की खोज की। यह पहाड़ के आकार और धक्का देने के प्रकार को जानने के समान है, जिससे आप 64 अनूठे धक्कों के परिणाम की गणना एक ही समय में कर सकते हैं जो केवल एक धक्का देने में लगता है। वे अपने इस नए तरीके को ENSGD कहते हैं। यह अनुमति देता है कि प्रत्येक प्रशिक्षण उदाहरण को अपना अनूठा "धक्का" मिले बिना कंप्यूटर की गति कम किए।

2. क्या हमें कई धक्कों की आवश्यकता है?

शोधकर्ताओं ने सोचा: "यदि एक धक्का मदद करता है, तो क्या 10 धक्के या 100 धक्के और भी अधिक मदद करेंगे?"

परीक्षण: उन्होंने हाइकर को उनके हर कदम के लिए 1, 2, 4, 8, या यहाँ तक कि 128 अलग-अलग यादृच्छिक धक्के देकर परीक्षण किया।
परिणाम: पहले धक्का देने के बाद, अधिक धक्का देने से वास्तव में कोई लाभ नहीं हुआ। वास्तव में, इसने प्रशिक्षण में बहुत अधिक समय लगा दिया।
निष्कर्ष: प्रत्येक कदम के लिए एक एकल, सरल धक्का लगभग सभी लाभों को कैप्चर कर लेता है। अधिक बार ऐसा करना वैसा ही है जैसे एक लग्जरी कार के लिए भुगतान करना जब एक साइकिल आपको उसी गंतव्य तक पहुँचा सकती है।

3. क्या हमें फैंसी धक्कों की आवश्यकता है?

उन्होंने यह भी परीक्षण किया कि क्या धक्का देने का प्रकार मायने रखता है।

साधारण धक्का: किसी भी दिशा में एक मानक, समान धक्का (Isotropic noise)।
फैंसी धक्के: जटिल धक्के जो इस आधार पर बदलते हैं कि हाइकर कितनी तेज़ी से चल रहा था, या उनके कदमों का इतिहास क्या था, या ज़मीन की विशिष्ट बनावट क्या थी (विभिन्न "डायगोनल गौसियन" पैरामीट्रिज़ेशन)।
परिणाम: साधारण, समान धक्के फैंसी, जटिल धक्कों की तरह ही अच्छे से काम करते थे। फैंसी तरीकों ने अतिरिक्त गणितीय कार्य जोड़ा लेकिन उन्हें AI को स्मार्ट या अधिक सटीक नहीं बनाया।

मुख्य निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि सादगी ही पर्याप्त है।

AI प्रशिक्षण को बेहतर बनाने के लिए आपको विस्तृत, हाई-टेक डिज़ाइन की आवश्यकता नहीं है। बस प्रशिक्षण प्रक्रिया को एक सरल, यादृच्छिक धक्का देना (और इसे कुशलतापूर्वक करना ताकि प्रत्येक उदाहरण को अपना अनूठा धक्का मिले) ही काफी है ताकि AI खराब जगहों से बच सके और बेहतर सीख सके।

संक्षेप में: "धक्कों" को बहुत जटिल न बनाएं। एक सरल, हल्का रणनीति भी अन्य जटिल तरीकों की तरह ही अच्छा काम करती है, जिससे प्रदर्शन से समझौता किए बिना समय और कंप्यूटिंग शक्ति की बचत होती है।

तकनीकी सारांश: स्टोकैस्टिक ग्रेडिएंट डिसेंट में पैरामीटर नॉइज़ इंजेक्शन के लिए सरलता पर्याप्त है

समस्या विवरण

डीप न्यूरल नेटवर्क के प्रशिक्षण और सामान्यीकरण (generalization) को बढ़ाने के लिए अनुकूलन प्रक्रिया (optimization process) में शोर (noise) डालना एक स्थापित तकनीक है, जिसे अक्सर तीक्ष्ण मिनिमा (sharp minima) और सैडल पॉइंट्स (saddle points) से बचने के लिए एक स्मूथिंग तंत्र के रूप में व्याख्या किया जाता है। हालाँकि, मौजूदा दृष्टिकोणों के विस्तृत परिदृश्य के बावजूद—जिसमें पैरामीटर्स, ग्रेडिएंट्स या ग्रेडिएंट-मुक्त योजनाओं में नॉइज़ इंजेक्शन शामिल है—यह स्पष्ट नहीं है कि कौन से विशिष्ट डिज़ाइन विकल्प व्यावहारिक लाभ प्रदान करते हैं।

दो प्राथमिक प्रश्न इस जांच को संचालित करते हैं:

बैच दक्षता (Batch Efficiency): कोई व्यक्ति कंप्यूटेशनल दक्षता को बनाए रखते हुए, प्रत्येक प्रशिक्षण उदाहरण को उसके अपने अद्वितीय विक्षोभ (perturbation) के साथ कुशलतापूर्वक कैसे जोड़ सकता है?
जटिलता बनाम लाभ (Complexity vs. Benefit): क्या परिष्कृत नॉइज़ पैरामीट्रिकरण (जैसे, समय-परिवर्तनीय वेरिएंस के साथ विकर्ण गैसियन वितरण) या मल्टी-सैंपल ग्रेडिएंट एवरेजिंग (एक अपडेट के लिए कई विक्षेपित फॉरवर्ड पास का उपयोग करना) सरल विकल्पों, जैसे कि एकल विक्षोभ के साथ आइसोट्रोपिक नॉइज़ की तुलना में महत्वपूर्ण सुधार प्रदान करते हैं?

कार्यप्रणाली

कुशल नॉइज़ इंजेक्शन (ENSGD)

लेखक लीनियर लेयर्स के लिए एक वितरण पहचान (distributional identity) का लाभ उठाकर पहले चुनौती का समाधान करते हैं। मानक नॉइज़ इंजेक्शन पूरे बैच के लिए एक ही रैंडम वेट परटर्बेशन $Z$ लागू करता है, जिसका अर्थ है कि प्रत्येक उदाहरण $x_i$ को समान शोर प्राप्त होता है। प्रत्येक उदाहरण को अद्वितीय विक्षोभ देने के लिए, जबकि बैच कंप्यूटेशन को बनाए रखा जाए, लेखक मैट्रिक्स उत्पाद के बजाय आउटपुट में शोर डालने का प्रस्ताव देते हैं।

दिया गया है कि एक लीनियर लेयर $L_k(X) = \sigma(XW_k)$ है, यदि वेट्स को $Z \sim \mathcal{N}(0, \sigma^2 I)$ द्वारा विक्षेपित किया जाता है, तो एक एकल इनपुट $x$ के लिए परिणाम $x(W_k + Z) = xW_k + xZ$ है। लेम्मा 1 को लागू करते हुए, जो बताता है कि $xZ \sim \mathcal{N}(0, \sigma^2 \|x\|^2 I)$ , लेखक थ्योरम 1 को व्युत्पन्न करते हैं। यह थ्योरम सिद्ध करता है कि बैच में प्रत्येक उदाहरण के लिए अद्वितीय विक्षोभों को प्री-एक्टिवेशन आउटपुट में एक नॉइज़ टर्म $\psi$ जोड़कर सिम्युलेट किया जा सकता है, जहाँ $\psi_i \sim \mathcal{N}(0, \sigma^2 \|x_i\|^2 I)$ ।

यह एफिशिएंट नॉइज़ी स्टोकैस्टिक ग्रेडिएंट डिसेंट (ENSGD) एल्गोरिदम (एल्गोरिदम 2) की ओर ले जाता है, जो:

एक मिनी-बैच में प्रत्येक उदाहरण के लिए एक अद्वितीय विक्षोभ असाइन करता है।
प्रति फॉरवर्ड पास एक सिंगल मैट्रिक्स उत्पाद की दक्षता को सुरक्षित रखता है।
इसे बायस (biases) और अन्य लीनियर लेयर्स तक विस्तारित किया जा सकता है।

प्रयोगात्मक डिज़ाइन

लेखक तीन डेटासेट्स पर प्रस्तावित विधि का कई बेसलाइन्स के विरुद्ध व्यवस्थित मूल्यांकन करते हैं:

CIFAR-100: एक CNN का उपयोग करके इमेज क्लासिफिकेशन।
AG News और IMDB: TF-IDF वेक्टर्स और फुली-कनेक्टेड MLPs का उपयोग करके टेक्स्ट क्लासिफिकेशन।

प्रयोग तीन प्रमुख कारकों को बदलते हैं:

नॉइज़ मैग्नीट्यूड ( $\sigma$ ): एक लॉग-यूनिफॉर्म रेंज में टेस्ट किया गया।
सैंपल्स की संख्या ( $s$ ): सिंगल-सैंपल अपडेट्स ( $s=1$ ) बनाम मल्टी-सैंपल एवरेजिंग ( $s \in \{2, 4, \dots, 128\}$ ) की तुलना।
नॉइज़ पैरामीट्रिकरण: एक आइसोट्रोपिक बेसलाइन (स्थिर वेरिएंस) बनाम:
- मूविंग (Moving): एम्पिरिकल ग्रेडिएंट वेरिएंस का एक्सपोनेंशियल मूविंग एवरेज।
- SqGrad: एडम (Adam) के सेकंड मोमेंट द्वारा स्केल किया गया।
- InvSqGrad: एडम के सेकंड मोमेंट के व्युत्क्रम (inverse) द्वारा स्केल किया गया।

मुख्य परिणाम

1. अद्वितीय विक्षोभों की दक्षता

CIFAR-100 पर स्टैंडर्ड नॉइजी SGD (NSGD, एल्गोरिदम 1) की तुलना में प्रस्तावित ENSGD (एल्गोरिदम 2) का उपयोग करते हुए, ENSGD ने सभी परीक्षण किए गए नॉइज़ स्तरों पर लगातार कम टेस्ट एरर प्राप्त किया। यह पुष्टि करता है कि प्रत्येक उदाहरण के भीतर अद्वितीय विक्षोभ असाइन करने से कंप्यूटेशनल दक्षता से समझौता किए बिना ऑप्टिमाइजेशन प्रदर्शन में सुधार होता है।

2. मल्टी-सैंपल एवरेजिंग के घटते प्रतिफल (Diminishing Returns)

अपडेट स्टेप के प्रति विक्षेपित नॉइज़ सैंपल्स $s$ की संख्या को बदलते हुए प्रयोगों ने खुलासा किया कि $s > 1$ होने पर घटते प्रतिफल मिलते हैं।

सबसे अच्छा टेस्ट एरर $s=1$ (0.6185) के साथ प्राप्त हुआ।
$s$ को 128 तक बढ़ाने से महत्वपूर्ण कंप्यूटेशनल लागत के साथ मामूली गिरावट (0.6261) हुई।
यह सुझाव देता है कि अपडेट स्टेप के प्रति एक सिंगल विक्षेपित फॉरवर्ड पास, नॉइज़ इंजेक्शन के अधिकांश लाभों को कैप्चर कर लेता है।

3. नॉइज़ पैरामीट्रिकरण की सरलता

CIFAR-100, AG News और IMDB में, सरल आइसोट्रोपिक नॉइज़ पैरामीट्रिकरण ने अधिक जटिल स्कीमों के मुकाबले प्रतिस्पर्धी प्रदर्शन किया:

इमेज क्लासिफिकेशन (CIFAR-100): आइसोट्रोपिक विधि (0.6241) सबसे अच्छा प्रदर्शन करने वाली विधि, SqGrad (0.6213) से केवल मामूली रूप से खराब थी।
टेक्स्ट क्लासिफिकेशन: बेसलाइन की तुलना में नॉइज़ इंजेक्शन से लाभ मामूली था (अधिकतम 0.11 प्रतिशत अंक), जो संभवतः TF-IDF रिप्रेजेंटेशन के पहले से ही स्मूथ ऑप्टिमाइजेशन लैंडस्स्केप के कारण है। इन सेटिंग्स में, आइसोट्रोपिक विधि ने सर्वश्रेष्ठ परिणामों का मुकाबला किया या उनके करीब पहुँची।
जटिलता: SqGrad और InvSqGrad जैसी परिष्कृत विधियों ने व्यवस्थित लाभ प्रदान नहीं किया। विशेष रूप से, SqGrad परीक्षण किए गए किसी भी नॉइज़ लेवल पर IMDB पर बेसलाइन से बेहतर प्रदर्शन करने में विफल रहा।
स्थिरता: किसी भी विधि ने अपने इष्टतम नॉइज़ लेवल पर महत्वपूर्ण गिरावट नहीं की।

महत्व और दावे

पेपर निष्कर्ष निकालता है कि स्टोकैस्टिक ग्रेडिएंट डिसेंट में पैरामीटर नॉइज़ इंजेक्शन के लिए सरलता पर्याप्त है। लेखक दावा करते हैं कि अभ्यासकर्ताओं को नॉइजी SGD के ऑप्टिमाइजेशन और जनरलाइजेशन लाभों को प्राप्त करने के लिए जटिल विक्षेपण डिज़ाइनों, जैसे कि समय-परिवर्तनीय वेरिएंस वाले डायगोनल गैसियन पैरामीट्रिकरण या मल्टी-सैपल ग्रेडिएंट एवरेजिंग, का सहारा करने की आवश्यकता नहीं है।

इसके बजाय, निम्नलिखित का संयोजन:

आइसोट्रोपिक नॉइज़ (स्थिर वेरिएंस), और
प्रति अपडेट स्टेप एक सिंगल विक्षेपित फॉरवर्ड पास (जो कुशल ENSGD एल्गोरिदम द्वारा सक्षम है),

अधिक जटिल स्कीमों के अधिकांश लाभों को प्राप्त करने के लिए पर्याप्त है। यह खोज नॉइज़-आधारित रेगुलराइजेशन के कार्यान्वयन को सरल बनाती है, यह सुझाव देती है कि हल्के (lightweight) रणनीतियाँ विविध टास्क सेटिंग्स में मजबूत हैं, जहाँ अंतर्निहित ऑप्टिमाइजेशन लैंडस्केप पहले से ही अपेक्षाकृत स्मूथ है।

भविष्य का कार्य

लेखक अपने निष्कर्षों को और अधिक पुख्ता करने के लिए अतिरिक्त डेटासेट्स के साथ अपने प्रयोगात्मक खंड को व्यापक बनाने और नॉइज़ इंजेक्शन पद्धति को लीनियर लेयर्स से कन्वोल्यूशनल लेयर्स (वेट शेयरिंग सहित) तक विस्तारित करने की योजना बना रहे हैं।