🤖 machine learning

Optimistic Dual Averaging Unifies Modern Optimizers

यह शोध पत्र SODA को प्रस्तुत करता है, जो ऑप्टिमिस्टिक ड्यूल एवरेजिंग (Optimistic Dual Averaging) का एक सामान्यीकरण है जो Muon और Lion जैसे आधुनिक ऑप्टिमाइज़र्स को एक एकल ढांचे के तहत एकीकृत करता है और विभिन्न प्रशिक्षण पैमानों पर प्रदर्शन में निरंतर सुधार करते हुए वेट डिके (weight decay) ट्यूनिंग को स्वचालित रूप से समाप्त करने के लिए एक व्यावहारिक रैपर प्रदान करता है।

मूल लेखक: Thomas Pethick, Wanyun Xie, Roman Machacek, Volkan Cevher

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Thomas Pethick, Wanyun Xie, Roman Machacek, Volkan Cevher

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल रोबोट (एक डीप लर्निंग मॉडल) को चलना सिखाने की कोशिश कर रहे हैं। वह रोबोट कदम लेकर सीखता है, लेकिन कभी-कभी वह लड़खड़ा जाता है, ज़रूरत से ज़्यादा आगे निकल जाता है, या शोर भरे निर्देशों से भ्रमित हो जाता है। उसे तेज़ी से और स्थिरता से सीखने में मदद करने के लिए, इंजीनियर "ऑप्टिमाइज़र्स" (optimizers) का उपयोग करते हैं—ये वे गणितीय रेसिपी हैं जो यह तय करती हैं कि प्रत्येक कदम कितना बड़ा होना चाहिए और किस दिशा में होना चाहिए।

पिछले एक दशक में, शोधकर्ताओं ने नई, शानदार रेसिपीज़ (जैसे Adam, Lion, Muon, और NAdam) का आविष्कार किया है। प्रत्येक रेसिपी का अपना एक गुप्त नुस्खा होता है, और वे सभी अलग-अलग कारणों से अच्छी तरह काम करती हैं। समस्या यह है कि इन रेसिपीज़ को ट्यून करना एक बिना रेसिपी के परफेक्ट केक बनाने की कोशिश करने जैसा है: आपको हर नए मॉडल के आकार और प्रशिक्षण की अवधि के लिए "वेट डिके" (weight decay - एक नॉब जो रोबोट को बहुत ज़्यादा अनियंत्रित होने से रोकता है) की सही मात्रा का अंदाज़ा लगाना पड़ता है।

यह पेपर SODA (स्टोकेस्टिक ऑप्टिमिस्टिक डुअल एवरेजिंग) पेश करता है। इसे एक नई केक रेसिपी के रूप में नहीं, बल्कि एक यूनिवर्सल बेकिंग रैपर के रूप में समझें जिसे आप किसी भी मौजूदा रेसिपी को बेहतर बनाने के लिए उसके ऊपर लगा सकते हैं।

यह कैसे काम करता है, इसका विवरण सरल उपमाओं (analogies) का उपयोग करके यहाँ दिया गया है:

1. "ऑप्टिमिस्टिक" लुक-अहेड (आगे की ओर देखना)

अधिकांश ऑप्टिमाइज़र्स एक ऐसे ड्राइवर की तरह होते हैं जो केवल अपने ठीक सामने की सड़क देखते हैं। वे एक उभार देखते हैं, प्रतिक्रिया देते हैं, और मुड़ते हैं।
SODA उस ड्राइवर की तरह है जो थोड़ा आगे की ओर देखता है। यह यह अनुमान लगाने के लिए "ऑप्टिमिज्म" (आशावाद) नामक तकनीक का उपयोग करता है कि सड़क वहां पहुँचने से पहले कैसी होने वाली है।

उपमा: कल्पना कीजिए कि आप एक गलियारे में चल रहे हैं। एक मानक ऑप्टिमाइज़र तब तक इंतज़ार करता है जब तक आप दीवार से न टकरा जाएँ, फिर मुड़ता है। एक "ऑप्टिमिस्टिक" ऑप्टिमाइज़र देखता है कि दीवार आ रही है, थोड़ा आगे की ओर झुकता है, और आपके टकराने से पहले ही मुड़ जाता है। यह रोबोट को इधर-उधर डगमगाने से रोकता है, जिससे वह अधिक सुचारू रूप से और तेज़ी से चल पाता है।

2. "डुअल एवरेजिंग" मेमोरी (दोहरी औसत स्मृति)

ऑप्टिमाइज़र्स को याद रखने की भी आवश्यकता होती है। क्या वे अब तक लिए गए हर एक कदम को याद रखते हैं? या केवल पिछले कदम को?
SODA "डुअल एवरेजिंग" की एक विधि का उपयोग करता है। केवल वर्तमान कदम पर प्रतिक्रिया देने के बजाय, यह अब तक महसूस किए गए सभी "धक्कों" (gradients) का एक रनिंग एवरेज रखता है।

उपमा: एक हाइकर (पगडंडी पर चलने वाला) की कल्पना करें जो कोहरे से भरी घाटी में सबसे निचले बिंदु को खोजने की कोशिश कर रहा है।
- स्टैंडर्ड ऑप्टिमाइज़र: "मुझे बाईं ओर ढलान महसूस हो रही है, इसलिए मैं बाईं ओर एक कदम लूँगा।"
- SODA: "मुझे 10 कदम पहले बाईं ओर ढलान महसूस हुई थी, 5 कदम पहले दाईं ओर ढलान महसूस हुई थी, और अभी-अभी बाईं ओर ढलान महसूस हुई है। यदि मैं इन सभी 'अनुभवों' का औसत निकालूँ, तो वास्तविक रास्ता वास्तव में थोड़ा आगे-बाएँ की ओर है।"
  समय के साथ इन "अनुभवों" (gradients) को औसत करके, SODA शोर को फ़िल्टर करता है और अधिक विश्वसनीय रूप से सही रास्ता खोज लेता है।

3. "मैजिक रैपर" (अब कोई ट्यूनिंग नहीं)

AI इंजीनियरों के लिए सबसे बड़ा सिरदर्द वेट डिके (Weight Decay) है। यह एक ऐसी सेटिंग है जो एक "लीश" (पट्टे) की तरह काम करती है, जो रोबोट के कदमों को बहुत ज़्यादा अनियंत्रित होने से रोकती है।

पुराना तरीका: आपको पट्टे की सही लंबाई का अंदाज़ा लगाना होता है। यदि रोबोट छोटा है, तो आपको छोटा पट्टा चाहिए। यदि रोबोट बहुत बड़ा है, तो आपको लंबा पट्टा चाहिए। यदि आप लंबे समय तक प्रशिक्षण देते हैं, तो आपको पट्टे की लंबाई फिर से बदलनी होगी। यह लगातार अंदाज़ा लगाने का खेल है।
SODA का तरीका: लेखकों ने पाया कि यदि आप किसी भी ऑप्टिमाइज़र (जैसे Adam या Muon) को SODA के साथ लपेटते हैं, तो आपको अब पट्टे की लंबाई का अंदाज़ा लगाने की ज़रूरत नहीं है।
- SODA स्वचालित रूप से अब तक लिए गए कदमों की संख्या के व्युत्क्रम (1 divided by the number of steps taken so far) के आधार पर लीश को एडजस्ट करता है।
- उपमा: एक ऐसे पट्टे की कल्पना करें जो आपके चलते रहने के साथ अपने आप छोटा होता जाता है। आपको पट्टा पकड़ने की ज़रूरत नहीं है; पट्टे को पता है कि कदम 1 पर, कदम 100 पर, या कदम 10,000 पर उसे कितना टाइट होना चाहिए।

4. उन्होंने क्या सिद्ध किया?

पेपर दावा करता है कि SODA कई आधुनिक बेहतरीन ऑप्टिमाइज़र्स (जैसे Muon, Lion, और NAdam) को एक ही गणितीय छाते के नीचे लाता है। यह दिखाता है कि ये अलग-अलग "शानदार" तरीके वास्तव में इसी "ऑप्टिमिस्टिक एवरेजिंग" विचार के विशेष संस्करण हैं।

परिणाम:

बेहतर प्रदर्शन: जब लेखकों ने लोकप्रिय ऑप्टिमाइज़र्स को SODA के साथ लपेटा, तो मॉडल तेज़ी से सीखे और कम त्रुटि दर (error rates) तक पहुँचे।
कोई अतिरिक्त काम नहीं: उन्हें कोई नए नॉब ट्यून करने की ज़रूरत नहीं पड़ी। उन्होंने बस रैपर लागू किया।
सर्वश्रेष्ठ को भी पीछे छोड़ दिया: अपने परीक्षणों में, SODA ने मूल ऑप्टिमाइज़र्स के "सबसे अच्छी तरह से ट्यून किए गए" संस्करणों को भी मात दी। मूल ऑप्टिमाइज़र्स को अच्छे परिणाम पाने के लिए वेट डिके को सावधानीपूर्वक एडजस्ट करने के लिए एक इंसान की ज़रूरत थी; SODA ने इसे स्वचालित रूप से किया और बेहतर तरीके से किया।

सारांश

SODA को एक "स्मार्ट ऑटोपायलट" के रूप में समझें जिसे आप किसी भी मौजूदा कार इंजन (ऑप्टिमाइज़र) से जोड़ा जा सकता है।

यह बाधाओं से बचने के लिए आगे देखता है (Optimism)।
यह रास्ते पर बने रहने के लिए यात्रा को याद रखता है (Averaging)।
यह ब्रेक को स्वचालित रूप से एडजस्ट करता है (Weight Decay) इस आधार पर कि आपने कितनी दूर यात्रा की है, ताकि आपको कभी भी यह अंदाज़ा न लगाना पड़े कि ब्रेक कितनी ज़ोर से लगाना है।

पेपर निष्कर्ष निकालता है कि यह सरल, स्वचालित समायोजन बड़े AI मॉडल के प्रशिक्षण को अधिक स्थिर, तेज़ और मानवीय अनुमानों पर कम निर्भर बनाता है।

तकनीकी सारांश: ऑप्टिमिस्टिक डुअल एवरेजिंग आधुनिक ऑप्टिमाइज़र्स को एकीकृत करता है

समस्या विवरण

डीप लर्निंग ऑप्टिमाइज़ेशन दो प्राथमिक अक्षों के साथ विकसित हुआ है: ज्यामिति और अनुकूलन (मॉडल संरचना को दर्शाने वाले निहित नॉर्म्स या प्रीकंडीशनर्स के साथ अपडेट को डिज़ाइन करना, जैसे Adam, Muon) और सामग्रियों का संयोजन (स्थिरता के लिए ग्रेडिएंट फीडबैक, मोमेंटम और शेड्यूल्स को मिलाना, जैसे Lion, शेड्यूल-फ्री विधियाँ)। जबकि कई अत्याधुनिक ऑप्टिमाइज़र्स (जैसे Muon, Lion, AdEMAMix, और NAdam) अलग प्रतीत होते हैं, उनमें एक एकीकृत सैद्धांतिक ढांचा (theoretical framework) की कमी है जो उनके संबंध की व्याख्या कर सके और हाइपरपैरामीटर ट्यूनिंग के लिए सिद्धांतगत मार्गदर्शन प्रदान कर सके।

एक विशिष्ट, निरंतर चुनौती वेट डिके (weight decay) की ट्यूनिंग है। मल्टी-एपॉक ट्रेनिंग में, वेट डिके एक रेगुलराइज़र के रूप में कार्य करता है जो इटरेट नॉर्म्स (iterate norms) को सीमित करता है। हालाँकि, सिंगल-एपॉक ट्रेनिंग में भी, जहाँ ओवरफिटिंग की चिंता कम होती है, वेट डिके अक्सर फायदेमंद रहता है। हाल के स्केलिंग नियम सुझाव देते हैं कि वेट डिके को $1/d$ (मॉडल डायमेंशन) के समानुपाती सेट किया जाना चाहिए, लेकिन मॉडल डायमेंशन $d$ बनाम ट्रेनिंग होराइजन $n$ पर इसकी निर्भरता को अलग करना कठिन है। इसके अलावा, विभिन्न ऑप्टिमाइज़र्स के लिए इष्टतम वेट डिके मान काफी भिन्न होते हैं (उदाहरण के लिए, Lion को AdamW की तुलना में बहुत अधिक बड़े डिके की आवश्यकता होती है), जिससे महंगी प्रति-ऑप्टिमाइज़र ट्यूनिंग की आवश्यकता पड़ती है।

कार्यप्रणाली: SODA

लेखक SODA (स्टोकेस्टिक ऑप्टिमिस्टिक डुअल एवरेजिंग) पेश करते हैं, जो ऑप्टिमिस्टिक डुअल एवरेजिंग (ODA) का एक सामान्यीकरण है जो ग्रेडिएंट्स के डुअल प्रोसेसिंग और इटरेट्स के प्रिमल प्रोसेसिंग को एकीकृत करता है।

सैद्धांतिक ढांचा

SODA मानक डुअल एवरेजिंग अपडेट का सामान्यीकरण करता है:
$x_{k+1} \in \arg \min_{x \in X} \gamma_k \langle d_k, x \rangle + h_k(x)$
यह एक प्रिमल एक्सट्रपलेशन सीक्वेंस $(y_k)$ और एक ऑप्टिमिस्टिक डुअल वेरिएबल $(\bar{m}_{k+1})$ को पेश करके इसे विस्तृत करता है। एल्गोरिदम बनाए रखता है:

डुअल प्रोसेसिंग: एक मोमेंटम-आधारित ग्रेडिएंट एवरेज $m_{k+1}$ और एक ऑप्टिमिस्टिक एवरेज $\bar{m}_{k+1}$ जो वर्तमान ग्रेडिएंट $\nabla f(y_k, \xi_k)$ को शामिल करता है।
प्रिमल प्रोसेसिंग: एक इटरेट अपडेट $x_{k+1}$ और एक एक्सट्रपलेटेड पॉइंट $y_{k+1}$ , जो $\lambda_k$ और $\bar{\lambda}_k$ द्वारा नियंत्रित होते हैं।

अपडेट नियम हैं:
$\begin{aligned} m_{k+1} &= (1 - \alpha_k)m_k + \alpha_k \nabla f(y_k, \xi_k) \\ \bar{m}_{k+1} &= (1 - \bar{\alpha}_k)m_{k+1} + \bar{\alpha}_k \nabla f(y_k, \xi_k) \quad (\text{ऑप्टिमिज्म}) \\ z_{k+1} &\in \partial h_k^*(-\gamma_k \bar{m}_{k+1}) \\ x_{k+1} &= (1 - \lambda_k)x_k + \lambda_k z_{k+1} \\ y_{k+1} &= (1 - \bar{\lambda}_k)x_{k+1} + \bar{\lambda}_k z_{k+1} \quad (\text{प्रिमल एक्सट्रपलेशन}) \end{aligned}$
जहाँ $h_k$ एक रेगुलराइज़र (मिरर मैप) है जो ज्यामिति (जैसे Lion के लिए $\ell_\infty$ , Muon के लिए स्पेक्ट्रल) को परिभाषित करता है।

मौजूदा ऑप्टिमाइज़र्स का एकीकरण

पेपर यह प्रदर्शित करता है कि विशिष्ट पैरामीटर्स और ज्योमेट्री चुनकर, SODA कई आधुनिक ऑप्टिमाइज़र्स को विशेष मामलों के रूप में प्राप्त करता है:

NAdam / Lion / Muon: इन्हें "मॉडर्नाइज्ड" (Modernized) शासन के तहत प्राप्त किया जाता है जहाँ $\bar{\lambda}_k = 0$ $\overset{ˉ}{λ}_{k} = 0$ (ग्रेडिएंट मूल्यांकन बिंदु के लिए कोई प्रिमल एक्सट्रपलेशन नहीं) और $\bar{\alpha}_k > 0$ $\overset{α}{ˉ}_{k} > 0$ (ऑप्टिमिज्म) है।
- Lion: $\ell_\infty$ ज्योमेट्री ( $h_k = K^*$ ) और विशिष्ट मोमेंटम पैरामीटर्स का उपयोग करता है।
- Muon: स्पेक्ट्रल ज्योमेट्री और नेस्टरोव मोमेंटम ( $\bar{\alpha}_k = \alpha_k$ ) का उपयोग करता है।
- NAdam: एक स्मूद्थ $\ell_\infty$ ज्योमेट्री के साथ एडेप्टिव स्केलिंग का उपयोग करता है।
टेबल 1 में पेपर स्पष्ट रूप से इन विधियों को उनके संगत ग्रेडिएंट एवरेजिंग ( $\alpha_k$ ), ऑप्टिमिज्म ( $\bar{\alpha}_k$ ), और ज्योमेट्री ( $h_k$ ) के चयन के साथ मैप करता है।

SODA रैपर (Wrapper)

एक प्रमुख व्यावहारिक योगदान एक SODA रैपर (एल्गोरिदम 1) है जो किसी भी बेस ऑप्टिमाइज़र (जैसे Adam, Lion, Muon) को बिना नए हाइपरपैरामीटर पेश किए रैप कर सकता है।

कॉन्फ़िगरेशन: यह $\bar{\lambda}_k = 0$ सेट करता है (मॉडर्नाइज्ड शासन से मेल खाता है), यूनिफॉर्म इटरेट एवरेजिंग $\lambda_k = 1/(k+2)$ का उपयोग करता है, और स्टेपसाइज़ $\gamma_k = (k+2)\eta_k$ को स्केल करता है।
वेट डिके उन्मूलन: रैपर अपडेट को ओरिजिन के बजाय $z_0$ से एंकर (anchor) करता है। परिणामी अपडेट नियम प्रभावी रूप से एक वेट डिके शेड्यूल $\mu_k = 1/(k+2)$ लागू करता है।
व्याख्या: लेखक तर्क देते हैं कि इस ढांचे में, वेट डिके केवल एक रेगुलराइज़र नहीं है बल्कि प्रिमल एवरेजिंग का एक रूप है। यह सिद्धांतगत रूप से आधारित $1/k$ डिके, एक अलग वेट डिके हाइपरपैरामीटर को ट्यून करने की आवश्यकता को समाप्त करता है।

मुख्य योगदान

ऑप्टिमिज्म और डुअलाइजेशन के माध्यम से एकीकरण: SODA एक एकल टेम्पलेट प्रदान करता है जो Muon, Lion, NAdam और अन्य को डुअल एवरेजिंग के ऑप्टिमिस्टिक इंस्टेंस के रूप में प्राप्त करता है, जिससे उनके संरचनात्मक संबंधों को स्पष्ट किया जाता है।
सैद्धांतिक गारंटी: ढांचा $L$ -स्मूथ कॉन्वेक्स फंक्शन्स के लिए कन्वर्जेंस एनालिसिस में सिद्धांतगत रूप से आधारित हाइपरपैरामीटर विकल्प (विशेष रूप से $1/k$ डिके शेड्यूल) निकालता है। यह वेट डिके को प्रिमल एवरेजिंग के एक तंत्र के रूप में फिर से परिभाषित करता है।
पैरामीटर-फ्री रैपर: प्रस्तावित SODA रैपर किसी भी बेस ऑप्टिमाइज़र के लिए वेट डिके को ट्यून करने की आवश्यकता को हटा देता है जबकि प्रदर्शन में सुधार या स्थिरता बनाए रखता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग दिखाते हैं कि मॉडल आकार और ट्रेनिंग होराइजन दोनों में सुसंगत सुधार होता है।

प्रयोगात्मक परिणाम

प्रयोग nanoGPT पर FineWeb100 डेटासेट का उपयोग करके किए गए, जिसमें ट्यून किए गए बेसलाइन्स के विरुद्ध SODA-रैप्ड ऑप्टिमाइज़र्स की तुलना की गई।

होराइजन के पार स्थानांतरण (Transfer Across Horizon): पाया गया कि Muon के लिए इष्टतम वेट डिके, जैसे-जैसे ट्रेनिंग होराइजन बढ़ता है, कम होता जाता है, जो स्थिर स्केलिंग नियमों (जैसे $1/d$ ) का खंडन करता है। SODA रैपर का डायनेमिक $1/(k+2)$ डिके, Muon को उसके सर्वोत्तम-ट्यून किए गए वेट डिके के साथ भी, लगातार बेहतर प्रदर्शन करता रहा (चित्र 1)।
सामान्य प्रयोज्यता: रैपर ने विभिन्न ट्रेनिंग होराइजन (1 $\times$ और 4 $\times$ Chinchilla स्टेप्स) में Adam, Muon, और Scion के लिए प्रदर्शन में सुधार किया, बिना किसी अतिरिक्त ट्यूनिंग के (चित्र 2)।
स्केलिंग: जब मॉडल का आकार 64M से 1B पैरामीटर्स तक बढ़ाया गया (चिंचिला स्केलिंग का पालन करते हुए), तो SODA (विशेष रूप से ऑप्टिमिस्टिक वेरिएंट SODA $^\dagger$ ) ने बेस ऑप्टिमाइज़र्स (Scion/uScion) को लगातार पछाड़ा, और मॉडल का आकार बढ़ने के साथ प्रदर्शन का अंतर बढ़ता गया (चित्र 4)।
सरलीकरण: SODA $^\dagger$ कॉन्फ़िगरेशन ने सभी लेयर्स के लिए Adam को Lion से बदलकर और एक सिंगल मोमेंटम हाइपरपैरामीटर का उपयोग करके Muon बेसलाइन को सरल बना दिया, फिर भी प्रतिस्पर्धी या बेहतर प्रदर्शन हासिल किया।

महत्व और दावे

पेपर का दावा है कि SODA एक सिद्धांतगत तंत्र प्रदान करता है जो बिना हाइपरपैरामीटर ट्यूनिंग के विभिन्न ट्रेनिंग होराइजन और मॉडल स्केल के बीच ऑप्टिमाइज़ेशन रणनीतियों को स्थानांतरित करने की अनुमति देता है।

वेट डिके का पुनर्गठन: लेखक एक दृष्टिकोण परिवर्तन का प्रस्ताव करते हैं: वेट डिके को केवल ओवरफिटिंग के खिलाफ रेगुलराइज़र के रूप में नहीं, बल्कि प्रिमल एवरेजिंग के एक रूप के रूप में समझा जाना चाहिए जो ऑप्टिमाइज़ेशन प्रक्षेपवक्र (trajectory) को इनिशियलाइजेशन से एंकर करता है।
व्यावहारिक प्रभाव: आधुनिक ऑप्टिमाइज़र्स को SODA फ्रेमवर्क के तहत एकीकृत करके, लेखक एक "प्लग-एंड-प्ले" रैपर प्रदान करते हैं जो वेट डिके को ट्यून करने की थकाऊ और महंगी प्रक्रिया को समाप्त करता है, जो मॉडल के आकार बढ़ने के साथ मैन्युअल ट्यूनिंग को अत्यधिक महंगा बना देता है।
विनम्रता (Modesty): लेखक अपनी सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि उनका सैद्धांतिक विश्लेषण वर्तमान में कॉन्वेक्स (convex) सेटिंग तक सीमित है (हालांकि डीप लर्निंग के लिए अनुभवजन्य रूप से सूचनात्मक है) और सिंगल-एपॉक ट्रेनिंग पर केंद्रित है। वे सुझाव देते हैं कि मल्टी-एपॉक ट्रेनिंग में ओवरफिटिंग की चिंताओं के कारण रेगुलराइजेशन स्ट्रेंथ के लिए एक हाइपरपैरामीटर की आवश्यकता हो सकती है।

संक्षेप में, SODA आधुनिक ऑप्टिमाइज़र्स के डिज़ाइन स्पेस को ऑप्टिमिस्टिक डुअल एवरेजिंग के लेंस के माध्यम से एकीकृत करता है और एक सिद्धांतगत रूप से आधारित, पैरामीटर-मुक्त विधि प्रदान करता है जो विभिन्न स्केल्स पर ट्रेनिंग स्थिरता और प्रदर्शन में सुधार करती है।