🔢 mathematics

Convergence Rate Analysis of the AdamW-Style Shampoo: Unifying One-sided and Two-Sided Preconditioning

यह लेख एक AdamW-जैसे शैम्पू (Shampoo) ऑप्टिमाइज़र का सैद्धांतिक अभिसरण विश्लेषण (convergence analysis) प्रदान करता है जो SGD की इष्टतम दर के अनुरूप एक न्यूक्लियर-नॉर्म-आधारित अभिसरण दर स्थापित करने के लिए एक-तरफा और दो-तरफा प्रीकंडीशनिंग को संयोजित करता है।

मूल लेखक: Huan Li, Yiming Dong, Zhouchen Lin

प्रकाशित 2026-05-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Huan Li, Yiming Dong, Zhouchen Lin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले पहाड़ी क्षेत्र में सबसे गहरी घाटी (एक AI मॉडल के लिए पूर्ण समाधान) खोजने के लिए रास्ता खोजने की कोशिश कर रहे हैं। आपके पास एक मानचित्र है, लेकिन वह कुछ धुंधला है, और हर बार जब आप एक कदम उठाते हैं, तो जमीन थोड़ी खिसक जाती है। एक डीप न्यूरल नेटवर्क को प्रशिक्षित करना बिल्कुल ऐसा ही महसूस होता है।

वर्षों से, ये कदम उठाने के लिए सबसे लोकप्रिय तरीका एक तकनीक रही है जिसे Adam कहा जाता है। Adam को एक ऐसे हाइकर (पर्वतारोही) के रूप में सोचें जो अपने पैरों के नीचे की ढलान को देखता है और प्रत्येक व्यक्तिगत दिशा (उत्तर, दक्षिण, पूर्व, पश्चिम) में अपनी गति को समायोजित करता है। यह एक अच्छा हाइकर है, लेकिन यह प्रत्येक दिशा को स्वतंत्र रूप से मानता है, यह अनदेखा करते हुए कि इलाके आपस में कैसे जुड़े हुए हैं।

फिर Shampoo का प्रवेश होता है, जो एक नया, अधिक परिष्कृत हाइकर है। व्यक्तिगत दिशाओं को देखने के बजाय, Shampoo पूरे इलाके को एक संपूर्ण, दो-आयामी सतह के रूप में देखता है। यह समझता है कि उत्तर की ओर बढ़ने का प्रभाव पूर्व की ओर कैसे पड़ सकता है। यह "दो-तरफा" दृष्टिकोण इसे अधिक स्मार्ट और कुशल कदम उठाने की अनुमति देता है। हाल ही में, Shampoo के एक संस्करण, जिसे AdamW-style Shampoo कहा जाता है, ने वास्तव में AI मॉडल को प्रशिक्षित करने के सबसे तेज़ तरीके को खोजने की एक प्रमुख प्रतियोगिता जीती, जिससे इसने पुराने मानक को पीछे छोड़ दिया।

फिर भी, जबकि सभी जानते थे कि यह नया हाइकर व्यवहार में बहुत तेज़ है, किसी के पास कोई ठोस गणितीय प्रमाण नहीं था कि यह वास्तव में क्यों काम करता है या यह कितनी तेज़ी से समाधान तक पहुँचने की गारंटी देता है।

यह कार्य क्या हासिल करता है
यह कार्य एक कठोर इंजीनियरिंग रिपोर्ट की तरह है जो अंततः इस सुपर-हाइकर के पीछे के भौतिक विज्ञान (physics) की व्याख्या करता है। लेखकों, हुआन ली, यिमिंग डोंग और झोउचेन लिन ने तीन मुख्य कार्य किए हैं:

नियमों का एकीकरण: उन्होंने एक एकल गणितीय ढांचा बनाया जो Shampoo के दोनों संस्करणों (एक-तरफा संस्करण जो पंक्तियों या कॉलमों को अलग-अलग देखता है, और दो-तरफा संस्करण जो पूरे ग्रिड को देखता है) को कवर करता है। यह एक ही नियम पुस्तिका लिखने जैसा है जो लिमोजिन और ट्रक दोनों चलाने की व्याख्या करती है।
गति का प्रमाण: उन्होंने गणना की कि यह एल्गोरिदम कितनी तेज़ी से अभिसरण (convergence/समाधान तक पहुँचना) करता है। उन्होंने पाया कि $K$ $K$ चरणों के बाद, त्रुटि लगभग $1/\sqrt[4]{K}$ $1/ 4 K$ की दर से कम होती है।
- उपमा: कल्पना कीजिए कि आप एक लक्ष्य की ओर बढ़ रहे हैं। "पुराना" रास्ता (SGD) आपको एक निश्चित गति से वहां पहुँचाता है। लेखकों ने सिद्ध किया कि यह नया Shampoo विधि अनिवार्य रूप से आपको उसी सैद्धांतिक गति सीमा के साथ वहां पहुँचा देती है, बशर्ते कि इलाका (समस्या का गणित) अनुकूल व्यवहार करे।
सिद्धांत और वास्तविकता के बीच सेतु: गणित और वास्तविक दुनिया के बीच एक अंतर था। गणित ने सुझाव दिया कि एल्गोरिदम को कार्य करने के लिए एक बहुत छोटे "सुरक्षा बफर" (एक संख्या जिसे $\epsilon$ कहा जाता है) की आवश्यकता है, लेकिन व्यवहार में, लोग इस बफर को लगभग शून्य पर सेट कर देते हैं। लेखकों ने दिखाया कि इस सूक्ष्म बफर के साथ भी, एल्गोरिदम के "प्रीकंडिशनर्स" (इसका आंतरिक मानचित्र) स्वाभाविक रूप से इतने बड़े बने रहते हैं कि हाइकर सुरक्षित रहे। यह समझाता है कि यह एल्गोरिदम वास्तविक जीवन में इतना अच्छा क्यों काम करता है, भले ही सैद्धांतिक "सुरक्षा जाल" बहुत पतला प्रतीत होता हो।

सामान्य दर्शकों के लिए मुख्य बातें

"दो-तरफा" लाभ: कल्पना कीजिए कि आप एक गांठ खोलने की कोशिश कर रहे हैं। एक एक-तरफा दृष्टिकोण एक सिरे पर खींचता है। एक दो-तरफा दृष्टिकोण (जैसे Shampoo) दोनों सिरों पर एक साथ खींचता है और समझता है कि धागे आपस में कैसे बुने हुए हैं। यह कार्य सिद्ध करता है कि दोनों सिरों पर खींचना गणितीय रूप से सही है और सर्वोत्तम संभव रणनीति के समान ही तेज़ है।
"न्यूक्लियर नॉर्म" का रहस्य: हाइकर कितनी तेज़ी से चल रहा है, इसे मापने के लिए लेखकों ने "न्यूक्लियर नॉर्म" नामक एक विशेष गणितीय पैमाने का उपयोग किया। उन्होंने दिखाया कि जबकि यह पैमाना पुराने तरीकों में उपयोग किए जाने वाले मानक पैमाने से थोड़ा अलग है, फिर भी यह एक ऐसा परिणाम देता है जो वास्तविक दुनिया में व्यावहारिक रूप से समान है। यह एक कमरे को "फुट" बनाम "मीटर" में मापने जैसा है—संख्याएं अलग दिख सकती हैं, लेकिन कमरे का आकार वही रहता है।
यह क्यों महत्वपूर्ण है: यह केवल अमूर्त गणित नहीं है। यह पुष्टि करता है कि AlgoPerf प्रतियोगिता के विजेताओं द्वारा उपयोग किया जाने वाला एल्गोरिदम (जो चैटबॉट्स को संचालित करने वाले विशाल AI मॉडल को प्रशिक्षित करता है) केवल एक भाग्यशाली संयोग नहीं है। यह एक गणितीय रूप से सुदृढ़ विधि है जो सबसे जटिल, गैर-रेखीय समस्याओं के लिए भी कुशलतापूर्वक सर्वोत्तम समाधान खोजने की गारंटी देती है।

संक्षेप में, यह कार्य एक मशीन लर्निंग प्रतियोगिता के "ब्लैक बॉक्स" विजेता को खोलता है, और कहता है: "यह ठीक इसी तरह काम करता है, यहाँ इसका प्रमाण है कि यह तेज़ है, और यहाँ कारण है कि यह वास्तविक दुनिया में उपयोग किए जाने पर क्यों विफल नहीं होता है।"

यहाँ "Convergence Rate Analysis of the AdamW-Style Shampoo: Unifying One-sided and Two-Sided Preconditioning" नामक शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र AdamW-Style Shampoo ऑप्टिमाइज़र के सैद्धांतिक अभिसरण विश्लेषण (theoretical convergence analysis) को संबोधित करता है, जो कि एक अत्याधुनिक एल्गोरिदम है जिसने न्यूरल नेटवर्क प्रशिक्षण के लिए AlgoPerf प्रतियोगिता जीती थी। जबकि Shampoo (और इसके वेरिएंट जैसे कि SOAP और Muon) ने फुल-मैट्रिक्स प्रीकंडीशनर्स (full-matrix preconditioners) के उपयोग के माध्यम से डायगोनल प्रीकंडीशनिंग विधियों (जैसे Adam) की तुलना में श्रेष्ठ अनुभवजन्य प्रदर्शन (empirical performance) प्रदर्शित किया है, नॉनकॉन्वेक्स ऑप्टिमाइज़ेशन (nonconvex optimization) के लिए इसके सैद्धांतिक अभिसरण गारंटी या तो अनुपलब्ध थीं या अपर्याप्त और सीमित थीं।

विशेष रूप से, मौजूदा साहित्य में तीन प्रमुख कमियाँ थीं:

नॉनकॉन्वेक्सिटी (Nonconvexity): अधिकांश पिछले विश्लेषण कॉन्वेक्स सेटिंग्स तक ही सीमित थे।
प्रीकंडीशनिंग का दायरा (Scope of Preconditioning): पिछले नॉनकॉन्वेक्स विश्लेषण (जैसे, Xie et al., 2026) वन-साइडेड (one-sided) प्रीकंडीशनिंग तक सीमित थे और अधिक जटिल और प्रभावी टू-साइडेड (two-sided) प्रीकंडीशनिंग की अनदेखी करते थे, जिसका उपयोग व्यावहारिक कार्यान्वयन में किया जाता है।
व्यावहारिक घटक (Practical Components): मौजूदा सिद्धांतों में अक्सर महत्वपूर्ण व्यावहारिक विशेषताओं जैसे कि मोमेंटम (momentum) और डिकपल्ड वेट डिके (decoupled weight decay - AdamW-शैली), को छोड़ दिया गया था, जो आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) के प्रशिक्षण के लिए अनिवार्य हैं।

इस शोध पत्र का लक्ष्य एक सामान्य AdamW-Style Shampoo एल्गोरिदम के लिए एक कठोर अभिसरण दर (convergence rate) स्थापित करना है, जो वन-साइड और टू-साइड प्रीकंडीशनिंग दोनों को एक नॉनकॉन्वेक्स फ्रेमवर्क के तहत एकीकृत करता है।

2. कार्यप्रणाली (Methodology)

लेखक एल्गोरिदम 1 का विश्लेषण करते हैं, जो AdamW-Style Shampoo ऑप्टिमाइज़र का प्रतिनिधित्व करता है। अपडेट नियम में शामिल हैं:

एक्सपोनेंशियल मूविंग एवरेज (EMA): ग्रेडिएंट्स के प्रथम मोमेंट्स ( $M_k$ ) और द्वितीय मोमेंट्स ( $L_k, R_k$ ) को ट्रैक करना।
टू-साइडेड प्रीकंडीशनिंग (Two-sided Preconditioning): अपडेट स्टेप इस प्रकार दिया गया है: $X_{k+1} = (1-\lambda\eta)X_k - \eta L_{k,\epsilon}^{-\frac{1}{2p}} M_k R_{k,\epsilon}^{-\frac{1}{2q}}$ , जहाँ $L_k$ और $R_k$ ग्रेडिएंट्स के संचित आउटर प्रोडक्ट्स (accumulated outer products) हैं (जो $E[GG^T]$ और $E[G^TG]$ का अनुमान लगाते हैं)।
एकीकृत घातांक (Unified Exponents): पैरामीटर्स $p$ और $q$ (जहाँ $1/p + 1/q = 1$ ) एल्गोरिदम को टू-साइड ( $p, q < \infty$ ) और वन-साइड ( $p=1, q=\infty$ या इसके विपरीत) प्रीकंडीशनिंग के बीच स्विच करने की अनुमति देते हैं।

प्रमुख तकनीकी नवाचार (Key Technical Innovations):
नॉनकॉन्वेक्स सेटिंग्स में टू-साइडेड मैट्रिक्स प्रीकंडीशनिंग की जटिलता को संभालने के लिए, लेखकों ने नई प्रमाण तकनीकें विकसित की हैं:

शैटन-p हॉल्डर असमानता (Schatten-p Hölder Inequality): Adam विश्लेषण में उपयोग किए जाने वाले मानक वेक्टर-आधारित हॉल्डर असमानताओं के बजाय, लेखक ग्रेडिएंट के न्यूक्लियर नॉर्म ( $\|\cdot\|_*$ ) को बाउंड करने के लिए शैटन-p हॉल्डर असमानता का उपयोग करते हैं। यह महत्वपूर्ण है क्योंकि प्रीकंडीशनिंग मैट्रिक्स पैरामीटर्स के सिंगुलर मानों (singular values) पर कार्य करती है।
मैट्रिक्स कॉची-श्वार्ज़ असमानता (Matrix Cauchy-Schwarz Inequality): अपडेट स्टेप ( $L^{-1/2p} M R^{-1/2q}$ ) के स्पेक्ट्रल नॉर्म को बाउंड करने के लिए, वे बाएं और दाएं प्रीकंडीशनर्स के बीच की अंतःक्रिया को संभालने के लिए एक मैट्रिक्स-विशिष्ट कॉची-श्वार्ज़ असमानता लागू करते हैं।
स्पेक्ट्रल फ्लोर विश्लेषण (Spectral Floor Analysis): वे प्रीकंडीशनर के निचले स्तर ( $\hat{\epsilon}$ ) के संबंध में एक स्थिति (Condition 4) पेश करते हैं। वे तर्क देते हैं कि व्यवहार में, प्रीकंडीशनर का प्रभावी स्पेक्ट्रल फ्लोर संख्यात्मक रेगुलराइजेशन $\epsilon$ (जैसे, $10^{-12}$ ) की तुलना में काफी बड़ा होता है, जिससे सैद्धांतिक सीमाएं (theoretical bounds) अनुभवजन्य अवलोकनों के साथ संरेखित होती हैं।

3. मुख्य योगदान (Main Contributions)

एकीकृत अभिसरण दर (Unified Convergence Rate): यह शोध पत्र नॉनकॉन्वेक्स ऑप्टिमाइज़ेशन में AdamW-Style Shampoo के लिए पहला अभिसरण दर स्थापित करता है, जिसमें वन-साइड और टू-साइड प्रीकंडीशनिंग दोनों शामिल हैं।
इष्टतम दर का व्युत्पन्न (Derivation of the Optimal Rate): वे सिद्ध करते हैं कि ग्रेडिएंट का औसत अपेक्षित न्यूक्लियर नॉर्म इस दर पर अभिसरित होता है:
$\frac{1}{K} \sum_{k=1}^K \mathbb{E}[\|\nabla f(X_k)\|_*] \leq O\left( \frac{\sqrt{m+n} \cdot C}{K^{1/4}} \right)$
जहाँ $m, n$ मैट्रिक्स आयाम हैं, $K$ इटरेशन की संख्या है, और $C$ इष्टतम SGD दर के स्थिरांक (constant) के अनुरूप है।
व्यावहारिक सेटिंग्स के लिए सैद्धांतिक औचित्य: यह विश्लेषण स्पष्ट करता है कि संख्यात्मक रेगुलराइज़र $\epsilon$ को अत्यंत छोटे मानों (जैसे, $10^{-12}$ ) पर सेट करने से अभिसरण में बाधा नहीं आती है। सिद्धांत दिखाता है कि प्रभावी प्रीकंडीशनर फ्लोर संख्यात्मक $\epsilon$ के बजाय ग्रेडिएंट नॉइज़ स्केल द्वारा निर्धारित होता है।
नॉर्म संबंध (Norm Relationship): लेखक दिखाते हैं कि व्युत्पन्न न्यूक्लियर नॉर्म दर, आदर्श स्थिति में इष्टतम फ्रोबेनियस नॉर्म दर ( $O(K^{-1/4})$ ) के समान है, जहाँ $\|\nabla f(X)\|_* \approx \Theta(\sqrt{\min(m,n)}) \|\nabla f(X)\|_F$ होता है।

4. परिणाम (Results)

सैद्धांतिक सीमाएं (Theoretical Bounds):
- वर्स्ट-केस बाउंड $\sqrt{m+n}$ पर निर्भर करता है, जो कुछ डायगोनल विधियों या फुल-मैट्रिक्स लोअर बाउंड्स में पाए जाने वाले $\sqrt{mn}$ (कुल आयाम $d$ ) की तुलना में काफी टाइट (tighter) है।
- अभिसरण दर ज्ञात नॉनकॉन्वेक्स स्टोकेस्टिक ऑप्टिमाइज़ेशन लोअर बाउंड ( $O(K^{-1/4})$ ) से $\sqrt{m+n}$ के फैक्टर तक मेल खाती है।
अनुभवजन्य सत्यापन (GPT-2 प्रीट्रेनिंग):
- ग्रेडिएंट नॉर्म रेश्यो: GPT-2 प्रीट्रेनिंग पर प्रयोगों ने दिखाया कि अनुपात $\|\nabla f(X)\|_* / \|\nabla f(X)\|_F$ लगातार सैद्धांतिक ऊपरी सीमा $\sqrt{\min(m,n)}$ के करीब रहता है। यह इस धारणा की पुष्टि करता है कि व्यवहार में न्यूक्लियर नॉर्म दर प्रभावी रूप से फ्रोबेनियस नॉर्म दर के अनुरूप होती है।
- स्पेक्ट्रल फ्लोर: प्रीकंडीशनर्स ( $L_k, R_k$ ) के न्यूनतम आइजनवैल्यू (eigenvalues) संख्यात्मक $\epsilon$ ( $10^{-12}$ ) से कई गुना बड़े और नॉइज़-डिपेंडेंट स्केल $\hat{\sigma}^2/(m+n)$ के तुलनीय देखे गए। यह पुष्टि करता है कि "अप्रासंगिक" (impractical) धारणा कि एक बड़ा स्पेक्ट्रल फ्लोर होता है, वास्तविक LLM ट्रेनिंग में सही बैठती है।

5. महत्व (Significance)

सिद्धांत और व्यवहार को जोड़ना: यह कार्य उस विशिष्ट Shampoo वेरिएंट के लिए पहला कठोर सैद्धांतिक आधार प्रदान करता है जिसने AlgoPerf प्रतियोगिता जीती थी और यह समझाता है कि यह वास्तव में इतना अच्छा प्रदर्शन क्यों करता है।
डायगोनल विधियों से आगे: यह मैट्रिक्स-स्ट्रक्चर्ड पैरामीटर्स के लिए नॉन-डायगोनल (फुल-मैट्रिक्स) प्रीकंडीशनिंग की श्रेष्ठता को सैद्धांतिक रूप से मान्य करता है और प्रदर्शित करता है कि Shampoo द्वारा कैप्चर किए गए क्रॉस-पैरामीटर सहसंबंध (cross-parameter correlations) बेहतर अभिसरण दिशाओं की ओर ले जाते हैं।
हाइपरपैरामीटर्स के लिए मार्गदर्शक: विश्लेषण हाइपरपैरामीटर्स के चयन के लिए सैद्धांतिक औचित्य प्रदान करता है (जैसे, मोमेंटम $\theta$ और सेकंड-मोमेंट डिके फैक्टर $\beta$ के बीच संबंध, और $\epsilon$ की भूमिका) और बड़े पैमाने के मॉडल्स के लिए इन ऑप्टिमाइज़र्स को फाइन-ट्यून करने में अभ्यासकर्ताओं का मार्गदर्शन करता है।
भविष्य के ऑप्टिमाइज़र्स के लिए आधार: वन-साइड और टू-साइड प्रीकंडीशनिंग को एकीकृत करके और मोमेंटम/वेट डिके को शामिल करके, यह फ्रेमवर्क डीप लर्निंग में उन्नत, सेकंड-ऑर्डर जैसी ऑप्टिमाइज़र्स के विश्लेषण के लिए एक नया मानक स्थापित करता है।

संक्षेप में, यह शोध पत्र सफलतापूर्वक Shampoo के सैद्धांतिक विश्लेषण को एकीकृत करता है, यह सिद्ध करते हुए कि यह नॉनकॉन्वेक्स समस्याओं के लिए इष्टतम अभिसरण दर प्राप्त करता है और साथ ही आधुनिक डीप लर्निंग में निहित जटिल मैट्रिक्स संरचनाओं को भी कैप्चर करता है।

1. समस्या विवरण (Problem Statement)

2. कार्यप्रणाली (Methodology)

3. मुख्य योगदान (Main Contributions)

4. परिणाम (Results)

5. महत्व (Significance)

इसी तरह के और पेपर