📊 statistics

Why Adam Works Better with $\beta_1 = \beta_2$ : The Missing Gradient Scale Invariance Principle

यह शोध पत्र यह प्रकट करता है कि एडम (Adam) ऑप्टिमाइज़र में $\beta_1 = \beta_2$ निर्धारित करना इष्टतम है क्योंकि यह विशिष्ट रूप से प्रथम-क्रम ग्रेडिएंट स्केल इनवेरिएंस (first-order gradient scale invariance) सुनिश्चित करता है, जो एक ऐसी संरचनात्मक विशेषता है जो विविध कार्यों में प्रशिक्षण स्थिरता और प्रदर्शन में अनुभवजन्य रूप से देखे गए सुधारों की व्याख्या करती है।

मूल लेखक: Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alberto Fernández-Hernández, Cristian Pérez-Corral, Jose I. Mestre, Manuel F. Dolz, Enrique S. Quintana-Ortí

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चलना सिखाने की कोशिश कर रहे हैं। आप उसे उसके पिछले कुछ कदमों में हुई लड़खड़ाहट के आधार पर निर्देश देते हैं। Adam, जो सबसे लोकप्रिय "ऑप्टिमाइज़र" (एक टूल जो AI को सीखने में मदद करता है) है, इसी तरह काम करता है। यह यह तय करने के लिए कि अतीत की बात कितनी सुननी है और वर्तमान की कितनी, दो "मेमोरी नॉब्स" (स्मृति नियंत्रणों) का उपयोग करता है।

लगभग एक दशक तक, विशेषज्ञों ने इन नॉब्स को विशिष्ट सेटिंग्स पर घुमाया है: पहले मेमोरी के लिए 0.9 और दूसरे के लिए 0.999। लेकिन हाल ही में, एक दिलचस्प पैटर्न सामने आया: जब शोधकर्ताओं ने दोनों नॉब्स को एक ही नंबर पर सेट किया (जैसे, दोनों को 0.99), तो रोबोट अधिक सुचारू रूप से चला और तेजी से सीखा। किसी को नहीं पता था कि यह जादुई ट्रिक क्यों काम कर रही थी।

यह पेपर इस रहस्य को सुलझाता है। यहाँ सरल अंग्रेजी (और हिंदी) में स्पष्टीकरण दिया गया, जिसमें कुछ उपमाओं का उपयोग किया गया है।

समस्या: "वॉल्यूम नॉब" बनाम "दिशा"

कल्पना कीजिए कि आप एक घुमावदार सड़क पर कार चला रहे हैं।

ग्रेडिएंट (Gradient) वह सड़क है। कभी सड़क खड़ी (बड़ा ग्रेडिएंट) होती है, तो कभी सपाट (छोटा ग्रेडिएंट)।
अपडेट (Update) वह तरीका है जिससे आप स्टीयरिंग व्हील घुमाते हैं।

आदर्श रूप से, आपको केवल इस बात की परवाह होनी चाहिए कि स्टीयरिंग किस दिशा में घुमानी है (दिशा)। आप नहीं चाहते कि सड़क की ढलान की वजह से आप स्टीयरिंग को पागलों की तरह इधर-उधर घुमाएं। यदि सड़क अचानक अधिक खड़ी हो जाती है, तो आपको अचानक स्टीयरिंग को 90 डिग्री नहीं मोड़ना चाहिए; आपको बस उसी दिशा में स्टीoring जारी रखनी चाहिए।

लेखकों ने पाया कि मानक Adam (अलग-अलग नॉब्स के साथ) सड़क की "ढलान" के प्रति बहुत संवेदनशील है। यदि ग्रेडिएंट बड़ा हो जाता है, तो Adam अत्यधिक प्रतिक्रिया करता है। लेकिन जब दोनों नॉब्स को एक ही मान पर सेट किया जाता है, तो Adam "वॉल्यूम" (आकार) की परवाह करना बंद कर देता है और पूरी तरह से "दिशा" पर ध्यान केंद्रित करता है।

गुप्त नुस्खा: "ग्रेडिएंट स्केल इनवेरिएंस" (Gradient Scale Invariance)

यह पेपर इस गुण को Gradient Scale Invariance कहता है।

इसे संगीत सुनने जैसा समझें।

मानक Adam (अलग-अलग नॉब्स): यदि आप संगीत का वॉल्यूम बढ़ाते हैं (ग्रेडिएंट को बड़ा करते हैं), तो इक्वलाइज़र (ऑप्टिमाइज़र) घबरा जाता है और बास (bass) और ट्रेबल (treble) सेटिंग्स को बेतहाशा बदल देता है। गाना विकृत सुनाई देने लगता है।
संतुलित Adam (एक ही नॉब): यदि आप वॉल्यूम बढ़ाते हैं, तो इक्वलाइज़र शांत रहता। वह समझ जाता है, "ओह, गाना बस तेज़ है, लेकिन धुन वही है।" वह संगीत को सुचारू बनाए रखने के लिए, वॉल्यूम की परवाह किए बिना, सेटिंग्स को पूरी तरह से समायोजित करता है।

यह पेपर गणितीय रूप से सिद्ध करता है कि केवल तभी जब दो मेमोरी नॉब्स समान होते हैं, Adam यह "वॉल्यूम-प्रूफ" स्थिरता प्राप्त करता है। जब वे अलग होते हैं, तो गणित में एक "लैग" (विलंब) पैदा होता है जो ग्रेडिएंट के आकार में बदलाव होने पर रोबोट को लड़खड़ाने पर मजबूर कर देता है।

"स्मूथनेस" (सुचारूता) परीक्षण

इसे साबित करने के लिए, शोधकर्ताओं ने केवल अंतिम स्कोर (AI ने कैसा प्रदर्शन किया) को नहीं देखा। उन्होंने रोबोट की गतिविधियों को कदम-दर-कदम देखा।

उन्होंने दोलन (oscillation) को मापा (रोबोट के कदम कितनी बार इधर-उधर डगमगाते थे)।

जब नॉब्स अलग थे: रोबोट के कदम झटकेदार थे। कदम का आकार ऊपर-नीचे बहुत तेजी से बदल रहा था, जैसे खराब सस्पेंशन वाली कार।
जब नॉब्स समान थे: कदम अविश्वसनीय रूप से सुचारू हो गए। रोबोट एक स्थिर, लयबद्ध गति के साथ आगे बढ़ा।

उन्होंने कई अलग-अलग "रोबोटों" (AI मॉडल) पर इसका परीक्षण किया जो विभिन्न कार्य कर रहे थे:

विज़न (Vision): छवियों को पहचानना (जैसे बिल्ली बनाम कुत्ता)।
भाषा (Language): टेक्स्ट लिखना या प्रश्नों के उत्तर देना।

हर मामले में, "संतुलित" सेटिंग ( $\beta_1 = \beta_2$ ) ने सबसे सुचारू और स्थिर प्रशिक्षण दिया।

मुख्य निष्कर्ष

वर्षों तक, लोगों ने सोचा कि Adam में काम करने के लिए दो नॉब्स का अलग होना आवश्यक है। यह पेपर दिखाता है कि स्थिरता का "गुप्त नुस्खा" वास्तव में आँखों के सामने ही था: उन्हें समान बनाएं।

जब आप उन्हें समान सेट करते हैं, तो आप एक छिपी हुई महाशक्ति को अनलॉक करते हैं: ऑप्टिमाइज़र ग्रेडिएंट के आकार के अराजक उतार-चढ़ाव के प्रति प्रतिरक्षित हो जाता है। यह इस बात की "शोर" (noise) पर प्रतिक्रिया करना बंद कर देता है कि त्रुटि कितनी बड़ी है और पूरी तरह से इस "सिग्नल" पर ध्यान केंद्रित करने लगता है कि किस दिशा में जाना है।

संक्षेप में: यदि आप चाहते हैं कि आपका AI प्रशिक्षण अधिक सुचारू और स्थिर हो, तो सेटिंग्स का अनुमान लगाना बंद करें। बस दोनों मोमेंटम नॉब्स को एक ही नंबर पर सेट करें, और गणित को अपना काम करने दें।

तकनीकी सारांश: क्यों Adam $\beta_1 = \beta_2$ के साथ बेहतर काम करता है

समस्या विवरण
लगभग एक दशक से बड़े पैमाने पर न्यूरल नेटवर्क प्रशिक्षण के लिए Adam डिफ़ॉल्ट ऑप्टिमाइज़र होने के बावजूद, एक निरंतर अनुभवजन्य अवलोकन (empirical observation) अनुत्तरित बना हुआ है: प्रशिक्षण स्थिरता और सत्यापन प्रदर्शन (validation performance) में सुधार होता है जब मोमेंटम पैरामीटर समान सेट किए जाते हैं ( $\beta_1 = \beta_2$ )। जबकि हाल के अध्ययन (जैसे, Orvieto और Gower [2025]) विभिन्न आर्किटेक्चर में इस घटना को प्रलेखित करते हैं, इस बात का कोई कठोर सैद्धांतिक स्पष्टीकरण नहीं है कि यह विशिष्ट विन्यास बेहतर व्यवहार क्यों देता है या यह ऑप्टिमाइज़र की आंतरिक गतिशीलता से कैसे संबंधित है। इसके अलावा, आधुनिक ऑप्टिमाइज़र डिज़ाइन (जैसे, Lion, Muon, Scion) में एक समानांतर रुझान शामिल है जो स्पष्ट रूप से स्केल-रोबस्ट अपडेट को लागू करता है, फिर भी इन नई विधियों और Adam के "संतुलित" (balanced) शासन के बीच संबंध स्पष्ट नहीं रहा है।

कार्यप्रणाली (Methodology)
लेखक Adam की गतिशीलता का विश्लेषण करने के लिए ग्रेडिएंट स्केल इनवेरिएंस (gradient scale invariance) नामक एक संरचनात्मक गुण पेश करते हैं। वे इस अवधारणा को इस प्रकार औपचारिक रूप करते हैं: एक ऑप्टिमाइज़र ग्रेडिएंट स्केल इनवेरिएंट है यदि वर्तमान ग्रेडिएंट को एक धनात्मक कारक $\lambda$ से पुनर्गठित (rescaling) करने पर (आंतरिक अवस्था को स्थिर रखते हुए) अपडेट वेक्टर अनिवार्य रूप से अपरिवर्तित रहता है।

इसकी जांच करने के लिए, लेखक Adam एल्गोरिदम के सतत-समय सीमा (continuous-time limit) विश्लेषण का उपयोग करते हैं। वे Adam को साधारण अवकल समीकरणों (ODEs) द्वारा नियंत्रित एक डायनेमिकल सिस्टम के समय विविक्तीकरण (time discretization) के रूप में मॉडल करते हैं। $\beta_1$ और $\beta_2$ के अनुरूप विश्रांति समय (relaxation times) $\tau_1$ और $\tau_2$ को पेश करके (वाया $\beta_i = e^{-\Delta t/\tau_i}$ ), वे प्रथम और द्वितीय क्षणों ( $m(t)$ और $v(t)$ ) के लिए एक सतत-समय प्रवाह (continuous-time flow) व्युत्पन्न करते हैं।

विश्लेषण का मुख्य भाग सामान्यीकृत अपडेट वेक्टर $R(t) = m(t)/\sqrt{v(t)}$ को ग्रेडिएंट के लॉगारिदमिक स्केल ड्रिफ्ट (logarithmic scale drift) पर निर्भर घटकों में विभाजित करना है, जिसे $\delta(t) = \frac{d}{dt} \log |g(t)|$ के रूप में परिभाषित किया गया है। लेखक सिद्ध करते हैं कि अपडेट को एक स्केल-इनवेरिएंट साइन घटक, एक स्पष्ट "स्केल-लैग" (scale-lag) पद जो $(\tau_2 - \tau_1)\delta(t)$ के समानुपाती है, और उच्च-क्रम के शेष पदों में विभाजित किया जा सकता है।

मुख्य योगदान

ग्रेडिएंट स्केल इनवेरिएंस का औपचारिकीकरण: पेपर प्रथम-क्रम ग्रेडिएंट स्केल इनवेरिएंस को परिभाषित करता है, जहाँ ग्रेडिएंट स्केल में परिवर्तनों के प्रति स्पष्ट रैखिक प्रतिक्रिया शून्य हो जाती है।
Adam का सैद्धांतिक लक्षण वर्णन: लेखक सिद्ध करते हैं कि Adam तभी प्रथम-क्रम ग्रेडिएंट स्केल इनवेरिएंस प्राप्त करता है जब $\beta_1 = \beta_2$ हो (या $\tau_1 = \tau_2$ $τ_{1} = τ_{2}$ के समतुल्य)।
- जब $\beta_1 \neq \beta_2$ होता है, तो अपडेट में ग्रेडिएंट स्केल ड्रिफ्ट के समानुपाती एक प्रथम-क्रम पद होता है, जो अपडेट को ग्रेडिएंट परिमाण के उतार-चढ़ाव के प्रति संवेदनशील बनाता है।
- जब $\beta_1 = \beta_2$ होता है, तो यह प्रथम-क्रम पद सटीक रूप से रद्द हो जाता है, जिससे संवेदनशीलता दूसरे क्रम (second order) तक चली जाती है। फलस्वरूप, अपडेट एक साइन-आधारित विधि की तरह व्यवहार करता है, जो स्वाभाविक रूप से स्केल-इनवेरिएंट है।
सिंथेटिक और अनुभवजन्य सत्यापन:
- सिंथेटिक प्रयोग: पुनर्गठित (rescaled) ग्रेडिएंट संकेतों के साथ नियंत्रित प्रयोगों से पता चलता है कि जब $\beta_1 = \beta_2$ होता है, तो अपडेट वेक्टर का नॉर्म (norm) स्केल परिवर्तनों के तहत स्थिर रहता है, जबकि $\beta_1 \neq \beta_2$ होने पर महत्वपूर्ण प्रथम-क्रम विचलन होता है।
- वास्तविक-विश्व प्रशिक्षण: विज़न (EfficientNet, ResNet, ViT) और लैंग्वेज (NanoGPT, T5) कार्यों में व्यापक प्रयोग दिखाते हैं कि अपडेट नॉर्म ( $\|R_k\|$ ) का दोलन तब न्यूनतम होता है जब $\beta_1 = \beta_2$ होता है। लेखक अपडेट स्थिरता को मापने के लिए एक दोलन मीट्रिक $\omega$ को परिभाषित करते हैं, और पाते हैं कि डायगोनल कॉन्फ़िगरेशन लगातार स्मूथ अपडेट प्रक्षेपवक्र (trajectories) प्रदान करते हैं।
- सांख्यिकीय महत्व: कई मॉडल-डेटासेट युग्मों पर एक द्विपद परीक्षण (binomial test) पुष्टि करता है कि अपडेट स्थिरता के लिए न्यूनतम $\beta_2$ , उच्च सांख्यिकीय महत्व के साथ $\beta_1$ के साथ मेल खाता है।

परिणाम
प्रयोग पुष्टि करते हैं कि स्केल-लैग पद का सैद्धांतिक रद्दीकरण सीधे व्यावहारिक प्रशिक्षण गतिशीलता में अनुवादित होता है।

अपडेट नॉर्म स्थिरता: सभी परीक्षित आर्किटेक्चर (NanoGPT, EfficientNet-B0, ResNet18, ViT-B16, T5) में, $\beta_1 = \beta_2$ की तुलना में ऑफ-डायगोनल सेटिंग्स में अपडेट नॉर्म $\|R_k\|$ काफी कम दोलन प्रदर्शित करता है।
विघटन विश्लेषण (Decomposition Analysis): फिक्स्ड-डेटा प्रोब ग्रेडिएंट्स पर एक डायग्नोस्टिक रिप्ले से पता चलता है कि जब $\beta_1 \neq \beta_2$ होता है, तो स्पष्ट स्केल-लैग पद सामान्यीकृत अपडेट के कुल बजट के लगभग 50% हिस्से के लिए जिम्मेदार होता है। जब $\beta_1 = \beta_2$ होता है, तो यह पद लुप्त हो जाता है, और अपडेट स्केल-इनवेरिएंट साइन घटक द्वारा डोमिनेट होता है।
मजबूती (Robustness): निष्कर्ष विभिन्न रैंडम सीड्स, लर्निंग रेट शेड्यूल्स और आर्किटेक्चरल परिवारों में बने रहते हैं, जो यह सुझाव देते हैं कि यह घटना ऑप्टिमाइज़र के विशिष्ट हाइपरपैरामीटर्स का आर्टिफैक्ट नहीं बल्कि ऑप्टिमाइज़र की संरचना का एक मौलिक गुण है।

महत्व और दावे
पेपर दावा करता है कि यह Adam में संतुलित शासन ( $\beta_1 = \beta_2$ ) की अनुभवजन्य सफलता के लिए एक सुसंगत सैद्धांतिक स्पष्टीकरण प्रदान करता है। यह तर्क देता है कि यह विन्यास केवल एक सुविधाजनक ह्यूरिस्टिक नहीं है बल्कि एक संरचनात्मक संरेखण है जो Adam को प्रथम-क्रम ग्रेडिएंट स्केल इनवेरिएंस प्रदान करता है।

लेखक का तर्क है कि यह गुण Adam को हाल के अत्याधुनिक ऑप्टिमाइज़र्स (जैसे, Lion और Muon) के समान वैचारिक श्रेणी में रखता है जो स्पष्ट रूप से स्केल-रोबस्टनेस के लिए डिज़ाइन किए गए हैं। यह पहचानकर कि यह वांछनीय गुण Adam के मानक फॉर्मूलेशन के भीतर अंतर्निहित है, यह कार्य पारंपरिक एडेप्टिव विधियों और आधुनिक स्केल-इनवेरिएंट डिज़ाइन्स के बीच के अंतर को पाटता है।

पेपर निष्कर्ष निकालता है कि ग्रेडिएंट स्केल के प्रति संवेदनशीलता को कम करना स्थिर एडेप्टिव ऑप्टिमाइज़ेशन के लिए एक संरचनात्मक सिद्धांत है। हालांकि यह कार्य कोई नया ऑप्टिमाइज़र प्रस्तावित नहीं करता है, लेकिन यह भविष्य के ऑप्टिमाइज़र डिज़ाइन के लिए एक मार्गदर्शक सिद्धांत प्रदान करता है और सुझाव देता है कि $\beta_1 = \beta_2$ सेट करना प्रशिक्षण स्थिरता में सुधार के लिए एक सिद्धांत-आधारित विकल्प है, विशेष रूप से उन परिदृश्यों में जहां ग्रेडिएंट परिमाण में उतार-चढ़ाव होता है। लेखक विनम्र रहते हुए नोट करते हैं कि उनका विश्लेषण स्थानीय (local) और कोऑर्डिनेट-वाइज (coordinate-wise) है, और डायगोनल पर सामान्य $\beta$ का इष्टतम मान विशिष्ट प्रशिक्षण गतिशीलता पर निर्भर एक खुला प्रश्न बना हुआ है।

समस्या: "वॉल्यूम नॉब" बनाम "दिशा"

गुप्त नुस्खा: "ग्रेडिएंट स्केल इनवेरिएंस" (Gradient Scale Invariance)

"स्मूथनेस" (सुचारूता) परीक्षण

मुख्य निष्कर्ष

इसी तरह के और पेपर