🤖 machine learning

Adaptive Memory Momentum via a Model-Based Framework for Deep Learning Optimization

यह शोध पत्र 'अडैप्टिव मेमोरी' नामक एक नवीन, मॉडल-आधारित ढांचे को प्रस्तुत करता है जो दो तलों (planes) के माध्यम से उद्देश्य फलन (objective function) का अनुमान लगाकर प्रशिक्षण के दौरान मोमेंटम गुणांक को गतिशील रूप से समायोजित करता है, और विभिन्न कार्यों में बिना किसी अतिरिक्त हाइपरपैरामीटर ट्यूनिंग के SGD और AdamW जैसे मानक ऑप्टिमाइज़र की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Kristi Topollai, Anna Choromanska

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kristi Topollai, Anna Choromanska

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंध भरे पहाड़ पर नीचे की घाटी (जो एक AI मॉडल के लिए सटीक समाधान का प्रतिनिधित्व करती है) को खोजने के लिए रास्ता खोजने की कोशिश कर रहे हैं। आप पूरे रास्ते को नहीं देख सकते, इसलिए आपको अपने पैरों के ठीक नीचे की ढलान के आधार पर छोटे कदम उठाने होंगे। AI मॉडल इसी तरह से "सीखते" हैं।

अधिकांश AI मॉडल मोमेंटम (Momentum) नामक विधि का उपयोग करते हैं। मोमेंटम को एक पहाड़ी से नीचे फिसलने वाली एक भारी स्लेज (sled) की तरह समझें। एक बार जब स्लेज चलना शुरू कर देती है, तो यह गति पकड़ लेती है। यदि आप किसी छोटे उभार या हल्की चढ़ाई से टकराते हैं, तो स्लेज का मोमेंटम उसे बिना रुके सीधे आगे बढ़ने में मदद करता है। यह आमतौर पर मददगार होता है, लेकिन इसमें एक पेंच है: वर्तमान AI प्रशिक्षण में, इस स्लेज का "वजन" स्थिर होता है। आप शुरुआत में स्लेज के वजन को एक विशिष्ट संख्या (आमतौर पर 0.9) पर सेट कर देते हैं और इसे कभी नहीं बदलते, चाहे कुछ भी हो जाए।

इस शोध पत्र के लेखक तर्क देते हैं कि यह एक ऐसी कार चलाने जैसा है जिसका क्रूज कंट्रोल एक ही गति पर अटक गया हो। कभी-कभी आपको तेज़ चलने की आवश्यकता होती है; कभी-कभी आपको धीमा होने या तीखे मोड़ पर पूरी तरह रुकने की आवश्यकता होती है। एक स्थिर सेटिंग अक्सर उप-इष्टतम (suboptimal) होती है।

नया विचार: एक "स्मार्ट स्लेज"

यह शोध पत्र एडेप्टिव मेमोरी मोमेंटम (Adaptive Memory Momentum) नामक एक नई विधि पेश करता है। एक निश्चित वजन वाली भारी स्लेज के बजाय, एक स्मार्ट स्लेज की कल्पना करें जो अपनी स्थिति और वजन के आधार पर तुरंत अपना वजन और आकार बदल सकती है।

उन्होंने इसे एक सरल उपमा का उपयोग करके बनाया है:

दो-तल मानचित्र (The Two-Plane Map):
किसी भी क्षण स्लेज को कितना भारी होना चाहिए, यह तय करने के लिए, शोधकर्ता उस स्थान पर एक छोटा, सरलीकृत मानचित्र बनाते हैं जहाँ आप खड़े हैं। वे ज़मीन का अनुमान लगाने के लिए दो "प्लेन" (समतल सतहों) का उपयोग करते हैं:

प्लेन A: इस पर आधारित है कि आप अभी ढलान को कैसा महसूस कर रहे हैं (वर्तमान ग्रेडिएंट)।
प्लेन B: इस पर आधारित है कि आप अभी किस दिशा से आ रहे थे (आपका संचित मोमेंटम)।

संतुलन का खेल:
एल्गोरिदम एक सरल प्रश्न पूछता है: "यदि मैं वर्तमान ढलान के अहसास को अपने पिछले मोमेंटम के साथ मिला दूँ, तो वह मुझे कहाँ ले जाएगा?"

यदि वर्तमान ढलान और आपकी पिछली दिशा एक समान हैं, तो स्लेज भारी हो जाती है (उच्च मोमेंटम)। आप गति पकड़ते रहते हैं क्योंकि आप एक स्पष्ट, सीधे रास्ते पर हैं।
यदि वर्तमान ढलान आपकी पिछली दिशा के विपरीत है (शायद आप अभी-अभी एक तीखे मोड़ या उभार से टकराए हैं), तो स्लेज हल्की हो जाती है (कम मोमेंटम)। यह प्रभावी रूप से कहता है, "अतीत को भूल जाओ; जो अभी हो रहा है उस पर भरोसा करो।" यह AI को दीवारों से टकराने से रोकता है क्योंकि वह दिशा बदलने में बहुत जिद्दी था।

परिणाम:
यह "स्मार्ट स्लेज" हर एक कदम पर अपने लिए एक नया वजन निर्धारित करती है। इसे किसी इंसान द्वारा ट्यून करने की आवश्यकता नहीं है; यह इसे चलते-चलते खुद ही समझ लेती है।

उन्होंने क्या पाया

शोधकर्ताओं ने इस "स्मार्ट स्लेज" का परीक्षण सरल गणितीय समस्याओं से लेकर विशाल AI भाषा मॉडल (जैसे वे जो टेक्स्ट लिखते हैं या चैट करते हैं) को प्रशिक्षित करने तक सब कुछ पर किया।

यह तेज़ है: एडेप्टिव स्लेज ने लगभग हर परीक्षण में फिक्स्ड-वेट (निश्चित वजन वाली) स्लेज की तुलना में घाटी के तल तक तेज़ी से पहुँच बनाई।
यह अधिक स्थिर है: प्रशिक्षण के शुरुआती, अराजक चरणों में (जहाँ AI भ्रमित होता है और रास्ता ऊबड़-खाबed होता है), एडेप्टिव विधि सुरक्षित रहने के लिए पर्याप्त रूप से धीमी हो जाती है, जबकि फिक्स्ड विधि अक्सर क्रैश हो जाती है या डगमगा जाती है।
यह सेटअप पर समय बचाती है: आमतौर पर, इंजीनियरों को "वार्म-अप" (एक अवधि जहाँ वे धीरे-धीरे गति बढ़ाते हैं) को मैन्युअल रूप से समायोजित करने में बहुत समय बिताना पड़ता है ताकि शुरुआत में AI के क्रैश होने से बचा जा सके। एडेप्टिव विधि इसे स्वचालित रूप से संभाल लेती है, जिससे इस मैनुअल ट्यूनिंग की आवश्यकता समाप्त हो सकती है।

मुख्य निष्कर्ष

शोध पत्र का दावा है कि AI को यह तय करने देने से कि उसे हर कदम पर अतीत की कितनी "याददाश्त" रखनी है—बजाय इसके कि उसे हमेशा एक ही मात्रा में याद रखने के लिए मजबूर किया जाए—हम AI मॉडल को तेज़ी से, अधिक विश्वसनीय रूप से और कम मानवीय हस्तक्षेप के साथ प्रशिक्षित कर सकते हैं। यह गणित में एक सरल परिवर्तन है जो सीखने की प्रक्रिया के लिए एक डायनेमिक शॉक एब्जॉर्बर (dynamic shock absorber) की तरह काम करता है।

तकनीकी सारांश: डीप लर्निंग ऑप्टिमाइज़ेशन के लिए एक मॉडल-आधारित फ्रेमवर्क के माध्यम से एडेप्टिव मेमोरी मोमेंटम (Adaptive Memory Momentum)

1. समस्या विवरण (Problem Statement)

आधुनिक डीप लर्निंग मॉडल मुख्य रूप से मोमेंटम-आधारित फर्स्ट-ऑर्डर ऑप्टिमाइज़र (जैसे कि Heavy Ball के साथ SGD, AdamW, Lion) पर निर्भर करते हैं। ये विधियाँ एक मोमेंटम गुणांक (coefficient), $\beta$ , का उपयोग करती हैं जो ऑप्टिमाइज़र के "मेमोरी" को नियंत्रित करता है—यह निर्धारित करता है कि पिछले ग्रेडिएंट्स वर्तमान अपडेट की दिशा को कितना प्रभावित करते हैं। व्यवहार में, $\beta$ को लगभग सार्वभौमिक रूप से एक निश्चित मान (आमतौर पर $\beta = 0.9$ ) पर सेट किया जाता है और पूरे प्रशिक्षण के दौरान स्थिर रहता है।

लेखक इस स्थिर दृष्टिकोण के साथ दो महत्वपूर्ण सीमाओं की पहचान करते हैं:

उप-इष्टतमता (Suboptimality): अनुभवजन्य साक्ष्य (Empirical evidence) बताते हैं कि एक एकल निश्चित $\beta$ पूरे प्रशिक्षण पथ या विभिन्न डेटासेट्स और मॉडल आर्किटेक्चरों में इष्टतम (optimal) होना दुर्लभ है।
अस्थिरता (Instability): इष्टतम निश्चित $\beta$ के आसपास प्रदर्शन का परिदृश्य अत्यधिक अस्थिर है; इष्टतम मान से मामूली विचलन भी अभिसरण (convergence) को बुरी तरह से खराब कर सकता है।
सैद्धांतिक अंतराल (Theoretical Gap): जबकि मोमेंटम नियत (deterministic) कॉनवेक्स सेटिंग्स में अभिसरण को तेज करता है, स्टोकेस्टिक, नॉन-कॉन्वेक्स डीप लर्निंग सेटिंग्स के लिए सैद्धांतिक गारंटी अक्सर यह दर्शाती है कि स्टोकेस्टिक Heavy Ball, प्लेन SGD की तुलना में कोई बेहतर अभिसरण दर प्राप्त नहीं करता है, बावजूद इसके कि यह अनुभवजन्य रूप से सफल है।

मुख्य प्रश्न जो उठाया गया है: क्या मोमेंटम गुणांक अनुकूलित होने वाले लैंडस्केप से बेहतर तालमेल बिठाने के लिए समय के साथ अनुकूलित (adapt) हो सकता है?

2. कार्यप्रणाली (Methodology)

यह शोध पत्र एडेप्टिव मेमोरी (AM) का प्रस्ताव करता है, जो एक फ्रेमवर्क है जो स्थिर मोमेंटम गुणांक को एक डायनेमिक, समय-परिवर्तनीय गुणांक $\beta_t$ से बदल देता है, जिसे ऑप्टिमाइज़ेशन के दौरान ऑनलाइन गणना की जाती है।

मुख्य फ्रेमवर्क: मॉडल-आधारित सन्निकटन (Model-Based Approximation)

यह विधि प्रॉक्सिमल मॉडल-आधारित ऑप्टिमाइज़ेशन से व्युत्पन्न है। वास्तविक लॉस फंक्शन $f(x)$ को सीधे कम करने के बजाय, लेखक इसे एक सरोगेट मॉडल $f^m_t(x)$ का उपयोग करके सन्निकट (approximate) करते हैं, जो दो प्लेन (planes) से निर्मित होता है:

ग्रेडिएंट प्लेन (The Gradient Plane): वर्तमान ग्रेडिएंट $\nabla f(x_t)$ पर आधारित।
मोमेंटम प्लेन (The Momentum Plane): पिछले डिसेंट डायरेक्शन $\frac{1}{\eta}(x_{t-1} - x_t)$ पर आधारित, जो संचित मोमेंटम को एनकोड करता है।

सरोगेट मॉडल को इस प्रकार परिभाषित किया गया है:
$f^m_t(x) = \max \left\{ f(x_t) + g_t^\top(x - x_t), \quad \hat{f}(x_t) + \frac{1}{\eta}(x_{t-1} - x_t)^\top(x - x_t) \right\}$
जहाँ $g_t = \nabla f(x_t)$ है और $\hat{f}(x_t)$ एक बायस टर्म है जो मोमेंटम प्लेन का प्रतिनिधित्व करता है।

$\beta_t$ का व्युत्पत्ति (Derivation of Adaptive $\beta_t$ )

अपडेट स्टेप को एक प्रॉक्सिमल मिनिमाइजेशन समस्या के रूप में तैयार किया गया है जिसमें वर्तमान और पिछले डिसेंट दिशाओं के बीच संरेखण (alignment) को नियंत्रित करने के लिए एक अतिरिक्त रेगुलराइजेशन टर्म जोड़ा गया है:
$x_{t+1} \in \arg\min_x \left( f^m_t(x) + \frac{1}{2\eta}\|x - x_t\|^2 + \frac{\lambda}{\eta}\langle x_{t-1} - x_t, x - x_t \rangle \right)$

इस ऑप्टिमाइज़ेशन समस्या को हल करने से $\beta_t^*$ के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन प्राप्त होता है। समाधान एक क्वाड्रेटिक प्रोग्राम है जो वर्तमान ग्रेडिएंट और संचित मोमेंटम के बीच संतुलन बनाता है। परिणामी अपडेट नियम Heavy Ball पद्धति के समान दिखता है लेकिन इसमें एक डायनेमिकली कंप्यूटेड $\beta_t$ होता है:
$d_{t+1} = \frac{\beta_t^* + \lambda}{1 + \lambda} d_t + \frac{1 - \beta_t^*}{1 + \lambda} g_t$
$x_{t+1} = x_t - \eta d_{t+1}$

व्यावहारिक कार्यान्वयन विवरण (Practical Implementation Details)

स्टोकेस्टिक सेटिंग्स में स्थिरता और दक्षता सुनिश्चित करने के लिए, लेखक कई व्यावहारिक संशोधन पेश करते हैं:

क्लिपिंग (Clipping): $\beta_t$ को $[0, \beta_{\max}]$ अंतराल में क्लिप किया जाता है, जहाँ $\beta_{\max}$ आमतौर पर मानक निश्चित मान (जैसे 0.9) होता है।
लॉस सन्निकटन (Loss Approximation): उसी बैच पर सटीक लॉस अंतर $\Delta f = f(x_{t-1}) - f(x_t)$ की गणना करना अक्षम है, जबकि अलग-अलग बैच शोर (noise) पेश करते हैं। लेखक इसे फर्स्ट-ऑर्डर एक्सपेंशन का उपयोग करके सन्निकट करते हैं: $\Delta f \approx \eta g_t^\top d_t$ ।
ओवरएस्टिमेशन रणनीति (Overestimation Strategy): पारंपरिक बंडल मेथड्स के विपरीत जो अभिसरण की गारंटी देने के लिए अंडरएस्टिमेटिंग प्लेन का उपयोग करते हैं, लेखक पाते हैं कि ओवरएस्टिमेटिंग प्लेन ( $\hat{f}(x_t) = f(x_{t-1})$ ) का उपयोग करने से व्यवहार में तेज़ अभिसरण होता है।
AdamW में विस्तार: फ्रेमवर्क को डायगोनल प्रीकंडिशनर्स ( $P_t$ ) और डीकप्ल्ड वेट डिके (decoupled weight decay) को शामिल करके AdamW में विस्तारित किया गया है। LLMs में लेयर विषमता (layer heterogeneity) को ध्यान में रखते हुए $\beta_t$ की गणना प्रति-लेयर (per layer) की जाती है।

3. मुख्य योगदान (Key Contributions)

प्रेरणा (Motivation): यह पेपर अनुभवजन्य रूप से प्रदर्शित करता है कि निश्चित मोमेंटम उप-इष्टतम है और इष्टतम स्थिर $\beta$ खोजना थकाऊ और गैर-मजबूत (non-robust) है।
नवीन कार्यप्रणाली (Novel Methodology): यह लॉस फंक्शन के दो-प्लेन सन्निकटन का उपयोग करके एक क्लोज्ड-फॉर्म, एडेप्टिव मोमेंटम गुणांक प्राप्त करने के लिए एक प्रॉक्सिमल फ्रेमवर्क पेश करता है। यह मोमेंटम-आधारित ऑप्टिमाइज़ेशन के लिए ऐसे प्रॉक्सिमल फ्रेमवर्क का पहला अनुप्रयोग है।
एल्गोरिदम वेरिएंट (Algorithmic Variants): लेखक SGD (AM-MGD) और AdamW (AM-AdamW) दोनों के लिए एडेप्टिव मेमोरी वेरिएंट लागू करते हैं।
सैद्धांतिक गारंटी (Theoretical Guarantees): मानक स्मूथनेस और बाउंडेड ग्रेडिएंट धारणाओं के तहत दोनों कॉनवेक्स और नॉन-कॉन्वेक्स सेटिंग्स के लिए $O(1/\sqrt{T})$ की अभिसरण दर स्थापित की गई है, जो इसे मानक स्टोकेस्टिक फर्स्ट-ऑर्डर मेथड्स के परिदृश्य में रखती है।
हाइपरपैरामीटर दक्षता (Hyperparameter Efficiency): इस विधि के लिए मानक बेसलाइन सेटिंग्स (जैसे $\lambda$ और $\beta_{\max}$ विभिन्न कार्यों के लिए निश्चित हैं) के अलावा किसी अतिरिक्त हाइपरपैरामीटर ट्यूनिंग की आवश्यकता नहीं है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न कार्यों पर AM का मूल्यांकन किया:

कॉनवेक्स समस्याएं (Convex Problems): लॉजिस्टिक रिग्रेशन कार्यों (LIBSVM डेटासेट्स) पर, AM-MGD ने बिना किसी ट्यूनिंग के फिक्स्ड-मोमेंटम बेसलाइन्स (जिसमें ग्रिड-सर्च किया गया इष्टतम $\beta^*$ भी शामिल है) को लगातार पछाड़ दिया।
इमेज क्लासिफिकेशन (Image Classification): VGG, ResNet, और Wide-ResNet आर्किटेक्चर का उपयोग करके CIFAR-10/100 और ImageNet पर, AM-MGD ने तेज़ ऑप्टिमाइज़ेशन और बेहतर सामान्यीकरण (generalization) प्राप्त किया।
- डायनामिक्स (Dynamics): एडेप्टिव $\beta_t$ ने स्वाभाविक रूप से तीन चरणों को प्रदर्शित किया: शोर वाले प्रारंभिक प्रशिक्षण के दौरान कम मोमेंटम (SGD-जैसा), त्वरण चरण के दौरान उच्च मोमेंटम, और उन इंटरपोलेशन पॉइंट्स के पास बार-बार "सॉफ्ट रिस्टार्ट" ( $\beta_t$ में गिरावट) जहाँ ग्रेडिएंट कमजोर होते हैं।
लार्ज लैंग्वेज मॉडल प्रीट्रेनिंग (LLM Pretraining): C4: पर LLaMA मॉडल्स (20M से 1B पैरामीटर्स) पर प्रशिक्षित होने पर:
- AM-AdamW ने सभी स्केल्स पर मानक AdamW को पछाड़ दिया।
- वार्म-अप उन्मूलन (Warm-up Elimination): विशेष रूप से, AM-AdamW ने बिना किसी लर्निंग रेट वार्म-अप शेड्यूल के भी शुरुआती प्रशिक्षण को स्थिर किया, एक ऐसा क्षेत्र जहाँ मानक AdamW अक्सर विफल हो जाता है या सावधानीपूर्वक ट्यूनिंग की आवश्यकता होती है। यह सुझाव देता है कि AM, वार्म-अप के लिए एक हाइपरपैरामीटर-फ्री विकल्प के रूप में कार्य कर सकता है।
एब्लेशन स्टडीज (Ablation Studies):
- विधि $\lambda$ ( $[0.01, 1]$ के भीतर) के चयन के प्रति मजबूत है।
- प्रदर्शन लाभ विभिन्न बैच साइज़ और लर्निंग रेट के बावजूद बने रहते हैं, जहाँ AM उच्च लर्निंग रेट पर अभिसरण की अनुमति देता है जहाँ स्टैटिक बेसलाइन्स विफल हो जाते हैं।
- LLMs के लिए कम्प्यूटेशनल ओवरहेड नगण्य है (लगभग 0.2% समय वृद्धि) और इसमें कोई अतिरिक्त मेमोरी फुटप्रिंट नहीं है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि एडेप्टिव मेमोरी, स्टैटिक मोमेंटम के लिए एक सिद्धांत-आधारित, ट्यूनिंग-मुक्त विकल्प प्रदान करता है। इसका महत्व यहाँ निहित है:

सिद्धांत और व्यवहार को जोड़ना: यह लॉस लैंडस्केप की स्थानीय ज्यामिति (local geometry) के अनुकूल होने वाला तंत्र प्रदान करता है, जो अभिसरण दरों और अनुभवजन्य प्रदर्शन के बीच के अंतर को संबोधित करता है।
प्रशिक्षण पाइपलाइनों को सरल बनाना: लर्निंग रेट वार्म-अप शेड्यूल्स की आवश्यकता को समाप्त करके और शुरुआती प्रशिक्षण को स्थिर करके, AM बड़े पैमाने के मॉडल्स के प्रशिक्षण को सरल बनाता है।
मजबूती (Robustness): विधि उच्च लर्निंग रेट और विविध बैच साइज़ के प्रति मजबूती प्रदर्शित करती है, जिससे हाइपरपैरामीटर चयन के प्रति डीप लर्निंग प्रशिक्षण की संवेदनशीलता कम हो जाती है।

लेखक निष्कर्ष निकालते हैं कि यह कार्य ऑप्टिमाइज़ेशन में अनुकूलता (adaptivity) प्रेरित करने के नए तरीके खोलने के द्वार खोलता है, विशेष रूप से एडेप्टिव लर्निंग रेट से आगे बढ़कर एडेप्टिव मोमेंटम की ओर जाना, और यह प्रति-पैरामीटर मोमेंटम गुणांक और मोमेंटम रिस्टार्ट्स की आगे की जांच का सुझाव देता है।