🤖 machine learning

Vanilla SGD with Momentum Survives Heavy-Tailed Noise: Convergence Analysis without Gradient Clipping or Normalization

यह शोध पत्र बिना किसी ग्रेडिएंट नियंत्रण तंत्र के, हेवी-टेल्ड (heavy-tailed) शोर के तहत मोमेंटम के साथ वेनिला SGD का पहला व्यापक अभिसरण विश्लेषण (convergence analysis) प्रदान करता है, जो यह प्रकट करता है कि हालांकि यह अभिसरित होता है, लेकिन इसकी दरएं स्वाभाविक रूप से विशिष्ट क्लिप्ड (clipped) या सामान्यीकृत (normalized) वेरिएंट की तुलना में निम्नतर हैं।

मूल लेखक: Ryusei Yamada, Naoki Sato, Hideaki Iiduka

प्रकाशित 2026-07-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ryusei Yamada, Naoki Sato, Hideaki Iiduka

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधली घाटी में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं। कंप्यूटर एल्गोरिदम इसी तरह डेटा से "सीखते" हैं; वे त्रुटियों को कम करने के लिए नीचे की ओर कदम बढ़ाते हैं। इस घाटी का सबसे प्रसिद्ध पर्वतारोही स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) कहलाता है। आमतौर पर, यह पर्वतारोही बहुत भरोसेमंद होता है, लेकिन कभी-कभी ज़मीन अजीब तरह से ऊबड़-खाबड़ हो जाती है। डीप लर्निंग की दुनिया में, इन ऊबड़-खाबड़ रास्तों को "हेवी-टेल्ड नॉइज़" (heavy-tailed noise) कहा जाता है। ये अचानक आने वाले बड़े गड्ढों की तरह होते हैं, जो सामान्य छोटे पत्थरों की तुलना में कहीं अधिक बड़े और अप्रत्याशित होते हैं।

लंबे समय तक, विशेषज्ञों का मानना था कि इन विशाल गड्ढों से बचने का एकमात्र तरीका विशेष जूते पहनना है। इन जूतों को ग्रेडिएंट क्लिपिंग (gradient clipping) या नॉर्मलाइजेशन (normalization) कहा जाता है। वे एक सुरक्षा हार्नेस की तरह काम करते हैं, जो पर्वतारोही के कदमों के आकार को जबरन सीमित कर देते हैं, चाहे ज़मीन कितनी भी उथल-पुथल भरी क्यों न हो। सामान्य धारणा यह थी: "यदि आप अपने कदमों को क्लिप या नॉर्मलाइज़ नहीं करेंगे, तो आप खाई में गिर जाएंगे।"

लेकिन इस शोध पत्र में, मेइजी यूनिवर्सिटी के शोधकर्ताओं र्युसेई यामाडा, नाओकी सातो और हिदेआकी इइदुका ने एक साहसी प्रश्न पूछा: क्या होगा यदि हम पर्वतारोही को बिना किसी सुरक्षा हार्नेस के चलने दें? विशेष रूप से, उन्होंने "वैनिला एसजीडी विद मोमेंटम" (Vanilla SGD with Momentum) पर गौर किया। "मोमेंटम" का अर्थ है पर्वतारोही को एक छोटी सी दौड़ने वाली शुरुआत देना; वे पिछले कदम से अपनी गति बनाए रखते हैं ताकि वे छोटे उभारों के ऊपर से आसानी से निकल सकें।

बड़ी खोज: पर्वतारोही बच जाता है (लेकिन थोड़ा लड़खड़ाता है)

इस शोध पत्र का मुख्य निष्कर्ष एक चौंकाने वाला मोड़ है। वैनिला एससीजी विद मोमेंटम वास्तव में बिना किसी क्लिपिंग या नॉर्मलाइजेशन के हेवी-टेल्ड नॉइज़ में भी जीवित रहता है।

लेखकों ने गणितीय रूप से सिद्ध किया कि यह "नग्न" पर्वतारोही खाई में नहीं गिरता है। उन्होंने दिखाया कि शोर (noise) के जंगली और अप्रत्याशित उछालों के बावजूद, एल्गोरिदम तीन प्रकार के परिदृश्यों के लिए अभिसरण (converge) करता है (यानी निचला बिंदु ढूंढ लेता है):

स्ट्रॉन्गली कॉनवेक्स (Strongly Convex): एक सुंदर, चिकना कटोरे जैसा आकार।
कॉनवेक्स (Convex): एक सपाट, चौड़ी घाटी।
नॉन-कॉन्वेक्स (Nonconvex): एक अस्त-व्यस्त भूभाग जिसमें कई छोटे उतार-चढ़ाव हैं।

हालाँकि, इसमें एक पेच है। जबकि पर्वतारोही बच जाता है, वे सुरक्षा हार्नेस पहनने वालों की तरह तेज़ नहीं दौड़ पाते। शोध पत्र स्पष्ट रूप से बताता है कि इनके अभिसरण की दर (convergence rates - वे कितनी तेज़ी से नीचे पहुँचते हैं) क्लिप्ड या नॉर्मलाइज्ड संस्करणों की तुलना में कमतर (inferior) है। सुरक्षा हार्नेस अभी भी गति के लिए "गोल्ड स्टैंडर्ड" है। वैनिला विधि एक मजबूत, भरोसेमंद पैदल यात्री की तरह है जो अंततः वहां पहुँच तो जाता है, लेकिन विशेष गियर वाले धावकों की तुलना में उसे थोड़ा अधिक समय लगता है।

गुप्त सामग्री: "स्मूथनेस" का नियम

शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने इसे सिद्ध करने के लिए एक नया गणितीय मानचित्र बनाया। पुराने मानचित्रों ने माना था कि ज़मीन पूरी तरह से चिकनी (जिसे L-smoothness कहा जाता है) है, जो तब विफल हो जाता है जब शोर बहुत अधिक अनियस्त हो जाता है।

इसके बजाय, उन्होंने होल्डर कंटीन्यूटी (Hölder continuity) नामक एक अधिक लचीले विचार का उपयोग किया। इसे इस तरह समझें कि ज़मीन को पूरी तरह से चिकना नहीं, बल्कि "लगभग चिकना" (roughly smooth) बताया गया है। शोध पत्र अस्तित्व के लिए एक महत्वपूर्ण नियम पेश करता है, जिसे ν + 1 ≤ p के रूप में लिखा गया है।

ν (न्यू) यह दर्शाता है कि ज़मीन कितनी "खुरदरी" है (फंक्शन की स्मूथनेस)।
p यह दर्शाता है कि शोर कितना जंगली है (हेवी-टेल्ड डिस्ट्रीब्यूशन का टेल इंडेक्स)।

शोध पत्र सिद्ध करता है कि यदि ज़मीन शोर की तुलना में बहुत अधिक खुरदरी नहीं है (विशेष रूप से, यदि स्मूथनेस पैरामीटर प्लस एक, शोर के टेल इंडेक्स से कम या उसके बराबर है), तो पर्वतारोही सफल होगा। यदि यह स्थिति टूट जाती है, तो पर्वतारोही वास्तव में फंस सकता है या भटक सकता है।

यह शोध पत्र क्या खारिज करता है

यह शोध पत्र बहुत स्पष्ट है कि यह क्या नहीं कह रहा है:

यह यह नहीं कहता कि क्लिपिंग या नॉर्मलाइजेशन बेकार है। वास्तव में, यह तर्क देता है कि वे विधियाँ अभी भी तेज़ और अधिक कुशल हैं।
यह यह दावा नहीं करता कि वैनिला एसजीडी हर चीज़ के लिए सबसे अच्छी विधि है। यह केवल यह सिद्ध करता है कि यह अतिरिक्त सुरक्षा उपकरणों के बिना काम करता है, जिसे पहले असंभव माना जाता था।
यह यह सुझाव नहीं देता कि मानक "L-smoothness" (पूर्ण चिकनाई) यहाँ काम करती है। शोध पत्र का तर्क है कि हेवी-टेल्ड नॉइज़ के तहत, पूर्ण चिकनाई की मानक धारणा वास्तव में गणित के साथ असंगत है, और अधिक लचीली होल्डर स्मूथनेस ही इसे देखने का सही तरीका है।

वे कितने आश्वस्त हैं?

लेखक अपने सैद्धांतिक परिणामों को लेकर बहुत आश्वस्त हैं। उन्होंने केवल यह सुझाव नहीं दिया कि ऐसा हो सकता है; उन्होंने तीनों प्रकार के परिदृश्यों (स्ट्रॉन्गली कॉनवेक्स, कॉनवेक्स और नॉन-कॉन्वेक्स) के लिए कठोर गणित के साथ इसे सिद्ध किया है।

उन्होंने अपने गणित को सिमुलेशन (simulations) के माध्यम से भी पुष्ट किया। उन्होंने नकली परिदृश्य बनाए और कृत्रिम हेवी-टेल्ड नॉइज़ (एक विशिष्ट डिस्ट्रीब्यूशन का उपयोग करके जहाँ शोर एक पावर लॉ का पालन करता है जिसका टेल इंडेक्स α 1.1 और 2.0 के बीच है) डाला।

इन सिमुलेशन में, उन्होंने ज़मीन की खुरदरापन (ν) और शोर की जंगलीपन (α) के 100 अलग-अलग संयोजनों का परीक्षण किया।
परिणामों ने एक स्पष्ट पैटर्न दिखाया: पर्वतारोही तभी सफल हुआ जब ν + 1 ≤ α की स्थिति पूरी हुई।
उन्होंने एक वास्तविक दुनिया के कार्य पर भी इसका परीक्षण किया: WikiText-2 डेटासेट पर एक Transformer-XL मॉडल को प्रशिक्षित करना (एक टेक्स्ट प्रेडिक्शन कार्य)। उन्होंने पाया कि वैनिला एसजीडी विद मोमेंटम बिना क्लिपिंग के अभिसरित हुआ, हालांकि नॉर्मलाइज्ड संस्करण अभी भी तेज़ था।

मुख्य निष्कर्ष

कल्पना कीजिए कि आप तूफान में हाइकिंग कर रहे हैं। हर कोई आपसे कह रहा है, "आपको सुरक्षा हार्नेस पहनना ही होगा वरना आप मर जाएंगे।" यह शोध पत्र कहता है, "वास्तव में, आप बिना हार्नेस के भी जीवित रह सकते हैं, बशर्ते आप जानते हों कि ज़मीन कितनी खुरदरी है और हवा कितनी जंगली है।"

मोमेंटम के साथ वैनिला हाइकर हमारी सोच से अधिक सख्त है। वे विशेष ट्रिक्स के बिना हेवी-टेल्ड नॉइज़ को संभाल सकते हैं। लेकिन, यदि आप दौड़ जीतना चाहते हैं, तो सुरक्षा हार्नेस (क्लिपिंग/नॉर्मलाइजेशन) अभी भी बेहतर विकल्प है। यह शोध पत्र हमें समझने के लिए एक नया, अधिक लचीला मानचित्र (होल्डर स्मूथनेस) देता है कि पर्वतारोही क्यों जीवित रहता है, जो हमें उस सटीक सीमा को दिखाता है जहाँ ज़मीन मदद के बिना पार करने के लिए बहुत खतरनाक हो जाती है।

तकनीकी सारांश: वेनिला SGD विथ मोमेंटम हैवी-टेल्ड नॉइज़ में भी जीवित रहता है

समस्या विवरण

आधुनिक अनुकूलन (optimization) मुख्य रूप से स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) और इसके मोमेंटम-आधारित वेरिएंट्स पर निर्भर करता है। हालाँकि, मानक अभिसरण विश्लेषण (convergence analyses) आमतौर पर यह मान लेते हैं कि स्टोकेस्टिक नॉइज़ में सीमित विचरण (bounded variance) होता है (अर्थात, एक परिमित द्वितीय क्षण/finite second moment)। हालिया डीप लर्निंग और रिइन्फोर्समेंट लर्निंग के अनुभवजन्य प्रमाण बताते हैं कि स्टोकेस्टिक नॉइज़ अक्सर हैवी-टेल्ड वितरण (heavy-tailed distributions) प्रदर्शित करती है, जहाँ विचरण अनबाउंडेड हो सकता है, और केवल निम्न-क्रम के क्षण ( $p \in (1, 2]$ ) ही परिमित होते हैं।

इन हैवी-टेल्ड स्थितियों के तहत, वेनिला SGD अभिसरण करने में विफल रहता है। फलस्वरूप, प्रचलित दृष्टिकोण एक विशेष संशोधन जैसे कि ग्रेड क्लिपिंग या नॉर्मलाइजेशन का उपयोग करना रहा है ताकि स्थिरता सुनिश्चित की जा सके। यह शोध पत्र एक मौलिक प्रश्न की जांच करता है: क्या वेनिला SGD, विशेष रूप से मोमेंटम के साथ, बिना किसी ग्रेड कंट्रोल मैकेनिज्म (क्लिपिंग या नॉर्मलाइजेशन) को अपनाए, हैवी-टेल्ड नॉइज़ के तहत अभिसरण कर सकता है?

कार्यप्रणाली (Methodology)

लेखक एक सैद्धांतिक ढांचे का प्रस्ताव करते हैं जो मानक $L$ -स्मूथनेस धारणा (जो लिप्सचिट्ज़ निरंतर ग्रेडिएंट्स को दर्शाती है) और बाउंडेड वेरिएंस धारणा से हटकर जाता है। इसके बजाय, विश्लेषण दो मुख्य धारणाओं पर निर्भर करता है:

ग्रेडिएंट्स की होल्डर निरंतरता (Hölder Continuity of Gradients - धारणा 2.1): यह माना गया है कि ग्रेडिएंट $\nabla f$ , पैरामीटर $\nu \in (0, 1]$ के साथ होल्डर निरंतर है। यह $L$ -स्मूथनेस ( $\nu=1$ के साथ) का सामान्यीकरण करता है और एक सामान्यीकृत डिसेंट लेम्मा (generalized descent lemma) के उपयोग की अनुमति देता है जिसमें $\|y-x\|^2$ के बजाय $\|y-x\|^{\nu+1}$ पद शामिल होता है।
नॉइज़ का बाउंडेड $p$ -थ मोमेंट (Bounded $p$ -th Moment of Noise - धारणा 2.2): स्टोकेस्टिक नॉइज़ का $p \in (1, 2]$ के लिए एक परिमित $p$ -वा मोमेंट है, जो $p < 2$ होने पर अनबाउंडेड वेरिएंस की अनुमति देता है।

प्रमुख तकनीकी उपकरण:

सामान्यीकृत डिसेंट लेम्मा (Generalized Descent Lemma): होल्डर निरंतरता का उपयोग करके, लेखक फंक्शन डिक्रीज (function decrease) के लिए एक ऊपरी सीमा (upper bound) प्राप्त करते हैं जो स्टेप साइज के $(\nu+1)$ -वें पावर और ग्रेडिएंट नॉर्म पर निर्भर करती है, न कि स्क्वेर्ड नॉर्म पर।
मोमेंट बाउंड्स (Moment Bounds): विश्लेषण स्टोकेस्टिक ग्रेडिएंट के $(\nu+1)$ -वें पावर के एक्सपेक्टेशन को बाउंड करने के लिए असमानताओं (विशेष रूप से लेम्मा 2.2 और लेम्मा 2.4) का लाभ उठाता है। एक महत्वपूर्ण प्रतिबंध निकाला गया है: $\nu + 1 \le p$ । यह स्थिति सुनिश्चित करती है कि अभिसरण के लिए आवश्यक मोमेंट बाउंड्स वैध हैं।
लयापुनोव फंक्शन्स और ऑक्सिलरी सीक्वेंस (Lyapunov Functions and Auxiliary Sequences): मोमेंटम के मामले में, लेखक मोमेंटम टर्म को ग्रेडिएंट नॉइज़ से अलग करने के लिए ऑक्सिलरी सीक्वेंस ( $z_t$ ) और लयापुनोव फंक्शन्स का उपयोग करते हैं, जिससे स्ट्रॉन्गली कॉन्वेक्स, कॉन्वेक्स और नॉनकॉन्वेक्स ऑब्जेक्टिव्स के लिए अभिसरण प्रमाण सुगम हो जाता है।

मुख्य योगदान

यह शोध पत्र बिना ग्रेड क्लिपिंग या नॉर्मलाइजेशन के हैवी-टेल्ड नॉइज़ के तहत वेनिला SGD विथ मोमेंटम के लिए पहला व्यापक अभिसरण विश्लेषण प्रदान करता है। योगदानों को ऑब्जेक्टिव के प्रकार के आधार पर वर्गीकृत किया गया है:

स्ट्रॉन्गली कॉन्वेक्स फंक्शन्स (Strongly Convex Functions):
- वेनिला SGD और वेनिला SGD विथ मोमेंटम दोनों के लिए एक्सपेक्टेशन में अभिसरण सिद्ध करता है।
- जब $\nu + 1 = p$ हो, तो वेनिला SGD के लिए $O(T^{-(p-1)})$ की अभिसरण दर स्थापित करता है।
- मोमेंटम के लिए, $O((1-\eta)^T + \eta^p)$ की दर प्राप्त करता है, जो $p=2$ के लिए शास्त्रीय परिणामों को पुनः प्राप्त करता है।
कॉन्वेक्स फंक्शन्स (Convex Functions):
- दोनों वेरिएंट्स के लिए एक्सपेक्टेशन में अभिसरण स्थापित करता है।
- वेनिला SGD $O(\frac{\log T}{T^{(p-1)/p}})$ की दर प्राप्त करता है।
- मोमेंटम-आधारित SGD $O(\frac{1}{\eta T} + \eta^{p-1})$ प्राप्त करता है।
नॉनकॉन्वेक्स फंक्शन्स (Nonconvex Functions):
- ग्रेड नॉर्म $\mathbb{E}[\|\nabla f(x_t)\|]$ के लिए एक्सपेक्टेशन में अभisरण सिद्ध करता है।
- वेनिला SGD $O(\frac{\log T}{T^{(p-1)/p}})$ प्राप्त करता है।
- मोमेंटम-आधारित SGD $O(T^{-\frac{p-1}{2p}})$ प्राप्त करता है जब $p$ ज्ञात हो, और $O(T^{-\frac{p-1}{4}})$ जब $p$ अज्ञात हो।
- तुलना: लेखक नोट करते हैं कि हालांकि ये दरें नॉर्मलाइज्ड SGD विथ मोमेंटम (जो $O(T^{-\frac{p-1}{3p-2}})$ प्राप्त करता है) की तुलना में थोड़ी कमतर हैं, फिर भी परिणाम प्रदर्शित करते हैं कि वेनिला विधियों को अभिसरण के लिए किसी स्पष्ट ग्रेड कंट्रोल की आवश्यकता नहीं होती है, भले ही उनकी दर धीमी हो।

प्रयोगात्मक परिणाम

सैद्धांतिक निष्कर्षों को सिंथेटिक फंक्शन्स और एक वास्तविक कार्य पर प्रयोगों के माध्यम से मान्य किया गया है:

सिंथेटिक फंक्शन्स: लेखकों ने होल्डर पैरामीटर $\nu$ $ν$ और टेल इंडेक्स $\alpha$ $α$ (जहाँ $p < \alpha$ $p < α$ ) के विभिन्न संयोजनों का परीक्षण किया।
- महत्वपूर्ण स्थिति: प्रयोग अनुभवजन्य रूप से पुष्टि करते हैं कि स्थिर अभिसरण के लिए स्थिति $\nu + 1 \le \alpha$ आवश्यक है। जब इस स्थिति का उल्लंघन होता है (अर्थात, पैरामीटर स्पेस के ऊपरी-बाएँ क्षेत्र में), तो एल्गोरिदम अभिसरण करने में विफल रहता है।
- स्थिरता (Stability): छोटे $\nu$ मान (व्यापक होल्डर स्मूथनेस) हैवी टेल्स (छोटे $\alpha$ ) के तहत अभिसरण की अनुमति देते हैं, जबकि मानक $L$ -स्मूथनेस ( $\nu=1$ ) $\alpha < 2$ होने पर विफल हो जाता है।
Transformer-XL के साथ WikiText-2: लैंग्वेज मॉडलिंग कार्य पर किए गए प्रयोगों ने पुष्टि की कि वेनिला SGD विथ मोमेंटम बिना क्लिपिंग या नॉर्मलाइजेशन के अभिसरण करता है। हालांकि, नॉर्मलाइज्ड SGD विथ मोमेंटम ने कम लॉस तेजी से प्राप्त किया, जो इस सैद्धांतिक निष्कर्ष के अनुरूप है कि विशेष विधियां बेहतर दरें प्रदान करती हैं।

महत्व और दावे

यह शोध पत्र अपने महत्व का दावा करता है:

मौलिक बेसलाइन (Fundamental Baseline): यह स्थापित करता है कि वेनिला SGD विथ मोमेंटम में हैवी-टेल्ड नॉइज़ के विरुद्ध अंतर्निहित मजबूती (inherent robustness) होती है, जो क्लिपिंग या नॉर्मलाइजेशन जैसे एड-हॉक ग्रेड कंट्रोल मैकेनिज्म की आवश्यकता के बिना एक्सपेक्टेशन में अभिसरण करता है। यह मानक ऑप्टिमाइज़र्स की सीमाओं को समझने के लिए एक आवश्यक सैद्धांतिक बेसलाइन प्रदान करता है।
सैद्धांतिक ढांचा (Theoretical Framework): $L$ -स्मूथनेस से होल्डर स्मूथनेस की ओर शिफ्ट होकर, यह पेपर हैवी-टेल्ड नॉइज़ के तहत स्टोकेस्टिक ऑप्टिमाइज़ेशन के विश्लेषण के लिए अधिक सामान्य और यथार्थवादी ढांचा प्रदान करता है। यह मानक $L$ -स्मूथनेस और सख्त हैवी-टेल्ड नॉइज़ ( $p < 2$ ) के बीच असंगति को उजागर करता है।
अंतर्निहित सीमाएं (Inherent Limitations): अभिसरण को सिद्ध करते हुए, परिणाम अंतर्निहित सीमाओं को भी प्रकट करते हैं। वेनिला विधियों की अभिसरण दर क्लिप्ड या नॉर्मलाइज्ड वेरिएंट्स की तुलना में उप-इष्टतम (sub-optimal) है, जो यह सुझाव देती है कि हालांकि वेनिला SGD हैवी-टेल्ड नॉइज़ में जीवित रहता है, लेकिन इष्टतम दक्षता के लिए विशेष संशोधनों की अभी भी आवश्यकता है।
स्थिति $\nu + 1 \le p$ : यह कार्य इस स्थिति को फंक्शन स्मूथनेस और नॉइज़ टेल इंडेक्स के बीच एक महत्वपूर्ण संरेखण (alignment) के रूप में पहचानता है, जो सैद्धांतिक और अनुभवजन्य अवलोकन दोनों द्वारा समर्थित है।

संक्षेप में, यह पेपर प्रदर्शित करता है कि वेनिला SGD विथ मोमेंटम हैवी-टेल्ड नॉइज़ के तहत सैद्धांतिक रूप से सुदृढ़ है, बशर्ते कि फंक्शन की स्मूथनेस और नॉइज़ का टेल इंडेक्स विशिष्ट बाधाओं को पूरा करें। यह इस धारणा को चुनौती देता है कि अभिसरण के लिए ग्रेड कंट्रोल अनिवार्य है, और साथ ही ऐसे कंट्रोल्स को छोड़ने के प्रदर्शन लागत (performance cost) को भी मापता है।