🤖 machine learning

Convergence Bound and Critical Batch Size of Muon Optimizer

यह शोध पत्र विभिन्न सेटिंग्स में म्यूऑन (Muon) ऑप्टिमाइज़र के लिए सैद्धांतिक अभिसरण प्रमाण प्रदान करता है, यह प्रदर्शित करता है कि वेट डिके (weight decay) सीमित-ग्रेडिएंट धारणाओं की आवश्यकता के बिना पैरामीटर और ग्रेडिएंट नॉर्म्स को सीमित सुनिश्चित करता है, और इसकी प्रशिक्षण दक्षता को नियंत्रित करने वाले क्रिटिकल बैच आकार पर एक हाइपरपैरामीटर-निर्भर निचली सीमा व्युत्पन्न करता है।

मूल लेखक: Naoki Sato, Hiroki Naganuma, Hideaki Iiduka

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Naoki Sato, Hiroki Naganuma, Hideaki Iiduka

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल रोबोट (एक न्यूरल नेटवर्क) को तस्वीरों में बिल्लियों को पहचानना या कहानियाँ लिखना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, आपको एक "कोच" (एक ऑप्टिमाइज़र) की आवश्यकता है जो रोबोट को बेहतर होने के लिए अपने आंतरिक सेटिंग्स को कैसे समायोजित करना है, यह बता सके। लंबे समय तक, मानक कोच AdamW रहा है, जो एक बहुत ही विश्वसनीय ट्रेनर है। लेकिन हाल ही में, Muon नामक एक नया कोच आया है, और यह व्यवहार में अविश्वसनीय परिणाम दिखा रहा है।

यह पेपर एक जासूसी रिपोर्ट की तरह है जो यह समझाने की कोशिश करता है कि क्यों Muon इतना अच्छा है और हमें इसे सबसे कुशलता से उपयोग करने के लिए एक नियम पुस्तिका देता है। यहाँ इसका सरल शब्दों में विवरण दिया गया है:

1. मुख्य विचार: केवल सूची नहीं, बल्कि आकार को देखना

अधिकांश कोच रोबोट के मस्तिष्क के साथ एक विशाल, अव्यवस्थित संख्याओं की सूची की तरह व्यवहार करते हैं। वे त्रुटियों को देखते हैं और कहते हैं, "इस संख्या को बढ़ाओ, उस संख्या को घटाओ।"

Muon अलग है। यह रोबोट के मस्तिष्क को आकारों (मैट्रिक्स) के संग्रह के रूप में देखता है।

उपमा: कल्पना कीजिए कि आप कागज के एक मुड़े हुए टुकड़े को सीधा करने की कोशिश कर रहे हैं।
- पुराने कोच (AdamW): वे कागज के व्यक्तिगत बिंदुओं को बेतरतीब ढंग से धकेल कर उसे चिकना करने की कोशिश करते हैं। यह काम करता है, लेकिन यह थोड़ा अस्त-व्यस्त है।
- Muon: यह पूरे कागज के पन्ने को देखता है। इसे एहसास होता है कि कागज में एक विशिष्ट "मोड़" या संरचना है। केवल धकेलने के बजाय, यह एक विशेष युक्ति (जिसे ऑर्थोगोनलाइजेशन कहा जाता है) का उपयोग करता है ताकि कागज को उसकी प्राकृतिक रेखाओं के साथ पूरी तरह से सीधा किया जा सके। यह हिलने की सबसे "साफ" दिशा खोज लेता है, और इस बात की परवाह नहीं करता कि त्रुटि का संकेत कितना शोर भरा या तेज है।

2. "स्थिरता" का रहस्य: ब्रेक पेडल

पेपर ने एक महत्वपूर्ण नियम की खोज की है कि वेट डिके (Weight Decay) नामक एक फीचर के साथ Muon का उपयोग कैसे किया जाए (जो रोबोट को बहुत ज्यादा अनियंत्रित होने से रोकने के लिए एक ब्रेक की तरह कार्य करता है)।

खोज: इस बात में कि आप रोबोट को कितनी जोर से धक्का देते हैं (लर्निंग रेट) और आप ब्रेक को कितनी जोर से दबाते हैं (वेट डिके) के बीच एक सख्त संबंध है।
नियम: यदि आप बिना पर्याप्त ब्रेक के बहुत जोर से धक्का देते हैं, तो रोबोट नियंत्रण से बाहर हो जाएगा। पेपर गणितीय रूप से सिद्ध करता है कि "धक्का" कभी भी "ब्रेक" की क्षमता से अधिक नहीं होना चाहिए। विशेष रूप से, लर्निंग रेट 1 / Weight Decay से कम होना चाहिए।
परिणाम: जब आप इस नियम का पालन करते हैं, तो रोबोट की सेटिंग्स सुरक्षित, अनुमानित सीमाओं के भीतर रहती हैं। यह पागल या अनियंत्रित नहीं होता है। यह एक बहुत बड़ा लाभ है क्योंकि इसका मतलब है कि आपको यह मानने की आवश्यकता नहीं है कि त्रुटियां छोटी हैं; गणित गारंटी देता है कि रोबोट अपने आप स्थिर रहेगा।

3. "स्वीट स्पॉट" बैच साइज (क्रिटिकल बैच साइज)

इन रोबोटों को प्रशिक्षित करते समय, आप उन्हें एक बार में एक फोटो दिखा सकते हैं, या एक साथ फोटो का पूरा ढेर दिखा सकते हैं (एक बैच)।

समस्या: यदि आप बहुत कम फोटो दिखाते हैं, तो रोबोट धीरे सीखता है। यदि आप बहुत अधिक फोटो दिखाते हैं, तो कंप्यूटर ढेर को प्रोसेस करने में व्यस्त हो जाता है, लेकिन रोबोट बहुत अधिक तेजी से नहीं सीख पाता है। एक "गोल्डिलॉक्स" बिंदु (Goldilocks point) होता है जहाँ आपको कम से कम कंप्यूटर कार्य के लिए सबसे अधिक सीखना मिलता है। इसे क्रिटिकल बैच साइज कहा जाता है।
Muon का गुप्त मंत्र: इस पेपर ने Muon के लिए इस "गोल्डिलॉक्स" बिंदु का एक फॉर्मूला निकाला है।
- मोमेंटम फैक्टर: Muon एक "मोमेंटम" सेटिंग का उपयोग करता है (एक भारी फ्लाईव्हील की तरह जो रोबोट को उसी दिशा में चलते रहने में मदद करता है)। पेपर ने पाया कि यदि आप मोमेंटम को बढ़ाते हैं (फ्लाईव्हील को भारी बनाते हैं), तो "गोल्डिलॉक्स" बैच साइज छोटा हो जाता है। आप कम बैच का उपयोग कर सकते हैं और फिर भी कुशल रह सकते हैं।
- ब्रेक फैक्टर: यदि आप एक मजबूत ब्रेक (वेट डिके) का उपयोग करते हैं, तो "गोल्डिलक्स" बैच साइज बड़ा हो जाता है। सर्वोत्तम दक्षता के लिए आपको रोबोट को एक साथ अधिक फोटो दिखाने की आवश्यकता होती है।

4. यह क्यों मायने रखता है (द "रैंक" एडवांटेज)

पेपर समझाता है कि Muon कुशल है क्योंकि यह समझता है कि रोबोट का मस्तिष्क वास्तव में उतना जटिल नहीं है जितना कि वह दिखता है।

उपमा: कल्पना कीजिए कि 100x100 लाइटों का एक ग्रिड है (10,000 लाइटें)। अधिकांश समय, केवल कुछ ही पैटर्न की लाइटें जल रही होती हैं। बाकी सब केवल शोर (noise) है।
Muon का लाभ: Muon को एहसास है कि "वास्तविक" जानकारी लो-रैंक (सरल पैटर्न) है। यह शोर को अनदेखा कर देता है। इसके कारण, इसे सही दिशा खोजने के लिए बहुत बड़े बैच साइज की आवश्यकता नहीं होती है। यह अन्य तरीकों की तुलना में छोटे बैचों के साथ प्रभावी ढंग से सीख सकता है, जिससे समय और ऊर्जा की बचत होती है।

निष्कर्ष का सारांश

यह काम करता है: Muon को चार अलग-अलग सेटिंग्स (मोमेंटम के साथ/बिना, वेट डिके के साथ/बिना) में गणितीय रूप से अभिसरण (सफलतापूर्वक सीखना) करने के लिए सिद्ध किया गया है।
यह स्थिर है: सही लर्निंग रेट के साथ वेट डिके का उपयोग करने से यह गारंटी मिलती है कि रोबोट पागल नहीं होगा, भले ही त्रुटियों को छोटा न माना जाए।
यह कुशल है: यह पेपर आपको परफेक्ट बैच साइज खोजने के लिए एक फॉर्मूला देता है।
- उच्च मोमेंटम = आप छोटे बैच का उपयोग कर सकते हैं।
- उच्च वेट डिके = आपको बड़े बैच का उपयोग करना चाहिए।
वास्तविक दुनिया की जाँच: लेखकों ने इसे इमेज रिकग्निशन (बिल्लियों/कुत्तों) और लैंग्वेज मॉडल्स (टेक्स्ट लिखना) पर टेस्ट किया। प्रयोगों ने पुष्टि की कि गणित वास्तविकता से मेल खाता है: Muon पुराने मानक, AdamW की तुलना में तेज़ और अधिक कुशल है, खासकर जब आप उनके नए नियमों के अनुसार बैच साइज को ट्यून करते हैं।

संक्षेप में, यह पेपर एक "ब्लैक बॉक्स" ऑप्टिमाइज़र को, जो व्यवहार में अच्छा काम कर रहा था, खोलता है और इसकी कार्यप्रणाली को समझाता है, यह सिद्ध करता है कि यह उपयोग के लिए सुरक्षित है और यह भी बताता है कि अधिकतम गति के लिए इसे कैसे ट्यून किया जाए।

तकनीकी सारांश: Muon ऑप्टिमाइज़र का अभिसरण सीमा (Convergence Bound) और क्रिटिकल बैच साइज़ (Critical Batch Size)

समस्या विवरण

यद्यपि Muon ऑप्टिमाइज़र ने मानक ऑप्टिमाइज़र्स जैसे कि AdamW के एक संभावित उत्तराधिकारी के रूप में मजबूत अनुभवजन्य (empirical) प्रदर्शन प्रदर्शित किया है, लेकिन इसके सैद्धांतिक आधार अभी भी अपूर्ण हैं। मौजूदा साहित्य में Muon के लिए औपचारिक अभिसरण प्रमाणों (convergence proofs) का अभाव है, विशेष रूप से Nesterov मोमेंटम और वेट डिके (weight decay) वाले व्यावहारिक परिवेश में। यह शोध पत्र इन अंतरालों को भरने के उद्देश्य से एक कठोर अभिसरण विश्लेषण प्रदान करने और Muon के क्रिटिकल बैच साइज़ (वह बैच साइज़ जो प्रशिक्षण के स्टोकेस्टिक फर्स्ट-ऑर्डर ऑरेकल (SFO) जटिलता को कम करता है) के लिए एक निचली सीमा (lower bound) प्राप्त करने का लक्ष्य रखता है।

कार्यप्रणाली

लेखक चार व्यावहारिक कॉन्फ़िगरेशन में Muon का सैद्धांतिक विश्लेषण करते हैं:

बिना Nesterov मोमेंटम और बिना वेट डिके के।
Nesterov मोमेंटम के साथ और बिना वेट डिके के।
बिना Nesterov मोमेंटम के और वेट डिके के साथ।
Nesterov मोमेंटम के साथ और वेट डिके के साथ।

सैद्धांतिक ढांचा:

अभिसरण विश्लेषण (Convergence Analysis): लेखक औसत अपेक्षित न्यूक्लियर नॉर्म (nuclear norm) ऑफ द ग्रेडिएंट, $\frac{1}{T}\sum_{t=0}^{T-1} \mathbb{E}[\|\nabla f(W_t)\|_*]$ के लिए ऊपरी सीमाएं (upper bounds) प्राप्त करते हैं। वे $L$ -स्मूथनेस और बाउंडेड ग्रेडिएंट वेरिएंस की मानक धारणाओं का उपयोग करते हैं। एक प्रमुख नवाचार Muon के सर्च डायरेक्शन का विश्लेषण है, जो एक मोमेंटम मैट्रिक्स $C_t$ को ऑर्थोगोनलाइज़ (orthogonalize) करके प्राप्त किया जाता है। लेखक पूर्ण पैरामीटर आयाम के बजाय मोमेंटम एरर मैट्रिक्स की रैंक ( $r_1$ ) और सर्च डायरेक्शन की रैंक ( $r_2$ ) को ध्यान में रखते हैं।
Newton-Schulz सन्निकटन (Approximation): चूंकि Muon व्यावहारिक रूप से सटीक SVD के बजाय Newton-Schulz इटरेशन के माध्यम से ऑर्थोगोनलाइजेशन को सन्निकट करता है, इसलिए लेखक इस सन्निकटन त्रुटि ( $\delta(k)$ ) के प्रभाव का विश्लेषण करते हैं, जो यह दर्शाता है कि यह केवल एक नगण्य पद (negligible term) पेश करता है।
क्रिटिकल बैच साइज़ (CBS) व्युत्पत्ति: लेखक लक्ष्य परिशुद्धता $\epsilon$ तक पहुँचने के लिए आवश्यक प्रशिक्षण चरणों $T$ को बैच साइज़ $b$ के फलन (function) के रूप में मॉडल करते हैं। SFO जटिलता ( $T \times b$ ) को न्यूनतम करके, वे Muon के क्रिटिकल बैच साइज़ $b^*$ के लिए एक निचली सीमा प्राप्त करते हैं।

प्रायोगिक सत्यापन:
लेखक दो-स्तरीय रणनीति के माध्यम से सैद्धांतिक भविष्यवाणियों को सत्यापित करते हैं:

नियंत्रित फुल-Muon प्रयोग: एक सिंथेटिक टीचर-स्टूडेंट कार्य जहाँ Muon सभी पैरामीटर्स को अपडेट करता है, जो सैद्धांतिक धारणाओं से सख्ती से मेल खाता है।
व्यावहारिक-स्तर के हाइब्रिड प्रयोग: CIFAR डेटासेट्स पर ResNet-18/VGG-16 और C4 कॉर्पस पर Llama3.1 (320M) का प्रशिक्षण। इन सेटिंग्स में, Muon को मैट्रिक्स-आकार के पैरामीटर्स पर लागू किया जाता है जबकि बाकी हिस्सों को AdamW संभालता है, जो मानक परिनियोजन (deployment) को दर्शाता है।

मुख्य योगदान

1. चार वेरिएंट्स के लिए अभिसरण प्रमाण (Convergence Proofs)

यह शोध पत्र सभी चार Muon वेरिएंट्स के लिए अभिसरण गारंटी स्थापित करता है। औसत अपेक्षित ग्रेडिएंट नॉर्म के लिए प्राप्त ऊपरी सीमाएँ इस क्रम की हैं:
$O\left(\frac{1}{\eta T} + \sqrt{\frac{(1-\beta)r_1}{b}} + \bar{r}\eta\right)$
(Nesterov और वेट डिके पदों के लिए मामूली बदलावों के साथ)।

महत्व: वेक्टर-आधारित ऑप्टिमाइज़र्स के विपरीत जहाँ वेरिएंस पूर्ण पैरामीटर गणना के साथ स्केल करता है, Muon का बाउंड मोमेंटम एरर मैट्रिक्स की रैंक $r_1$ के साथ स्केल करता है। अनुभवजन्य साक्ष्य बताते हैं कि ओवर-पैरामीटराइज्ड व्यवस्थाओं में $r_1 \ll n$ होता है, जो एक कड़ा (tighter) सैद्धांतिक बाउंड प्रदान करता है।
न्यूक्लियर नॉर्म: यह विश्लेषण न्यूक्लियर नॉर्म का उपयोग करता है, जो कई वेक्टर-आधारित विश्लेषणों में उपयोग किए जाने वाले फ्रोबेनियस नॉर्म (Frobenius norm) की तुलना में एक सख्त मानदंड है, जो यह सुझाव देता है कि Muon न्यूरल नेटवर्क पैरामीटर्स की आंतरिक मैट्रिक्स संरचना का सम्मान करता है।

2. वेट डिके और स्थिरता की भूमिका

लेखक सिद्ध करते हैं कि वेट डिके को शामिल करना बाउंडेड ग्रेडिएंट्स की प्रतिबंधात्मक धारणा पर निर्भर किए बिना दोनों पैरामीटर नॉर्म्स ( $\|W_t\|_F$ ) और ग्रेडिएंट नॉर्म्स ( $\|\nabla f(W_t)\|_F$ ) की लगभग-निश्चित बाध्यता (almost-sure boundedness) सुनिश्चित करता है।

स्थिरता की स्थिति (Stability Condition): वे स्थिरता के लिए एक आवश्यक शर्त प्राप्त करते है: लर्निंग रेट $\eta$ और वेट डिके गुणांक $\lambda$ को $\eta \leq 1/\lambda$ संतुष्ट करना चाहिए। प्रायोगिक परिणाम पुष्टि करते हैं कि जब $\eta$ इस थ्रेसहोल्ड से अधिक हो जाता है, तो प्रशिक्षण अस्थिर हो जाता है।
निहित नियमितीकरण (Implicit Regularization): हालांकि वेट डिके एसिम्प्टोटिक अभिसरण दर के क्रम (order) में सुधार नहीं करता है, लेकिन यह नॉर्म्स को सीमित करके निहित नियमितीकरण प्रदान करता है, जो इसके बेहतर अनुभवजन्य प्रदर्शन की व्याख्या करता है।

3. क्रिटिकल बैच साइज़ (CBS) निचली सीमा

यह शोध पत्र $b^*$ के लिए एक निचली सीमा प्राप्त करता है, जो हाइपरपैरामीटर्स पर इसकी निर्भरता को दर्शाता है:
$b^*_{\text{Muon}} > \frac{9(1-\beta)(1+\sqrt{2\beta})^2 r_1 \sigma^2}{(1-\lambda)^2 \epsilon^2}$

हाइपरपैरामीटर निर्भरता: सूत्र प्रकट करता है कि:
- मोमेंटम ( $\beta$ ): जैसे-जैसे $\beta \to 1$ होता है, $(1-\beta)$ वाला पद लुप्त हो जाता है, जिससे पता चलता है कि क्रिटिकल बैच साइज़ घटता है।
- वेट डिके ( $\lambda$ ): $1/(1-\lambda)^2$ वाला कारक यह संकेत देता है कि वेट डिके बढ़ाने से क्रिटिकल बैच साइज़ बढ़ता है।
- रैंक ( $r_1$ ): बाउंड मोमेंटम एरर की रैंक के साथ स्केल करता है, जो CBS को ग्रेडिएंट्स की लो-रैंक संरचना से जोड़ता है।
गुणात्मक स्केलिंग (Qualitative Scaling): लेखक इस बात पर जोर देते हैं कि यह सूत्र एक गुणात्मक स्केलिंग लॉ प्रदान करता है न कि एक पूर्ण भविष्यवाणी, क्योंकि यह समस्या-विशिष्ट स्थिरांकों ( $\sigma^2, r_1, \epsilon$ ) पर निर्भर करता है। हालाँकि, विभिन्न Muon वेरिएंट्स के बीच CBS का अनुपात केवल $\beta$ और $\lambda$ पर निर्भर करता है।

परिणाम

सैद्धांतिक निष्कर्ष:

अभिसरण दर मानक नॉन-कॉन्वेक्स SGD-प्रकार के तरीकों ( $विशिष्ट हाइपरपैरामीटर शेड्यूल्स के तहत$ O(T^{-1/4})$) से मेल खाती है, लेकिन रैंक निर्भरता के कारण एक कड़े वेरिएंस टर्म के साथ।
Newton-Schulz सन्निकटन त्रुटि का अभिसरण पर सीमित प्रभाव पड़ता है, जो इटरेशन की संख्या के साथ तेजी से घटता है।

अनुभवजन्य निष्कर्ष:

स्थिरता: ResNet-18/CIFAR-10 पर प्रयोग स्थिरता की स्थिति $\eta \leq 1/\lambda$ को मान्य करते हैं। ग्रेडिएंट नॉर्म्स और ट्रेनिंग लॉस इस सीमा के करीब न्यूनतम होते हैं।
अभिसरण गति: Nesterov मोमेंटम और वेट डिके के साथ Muon, AdamW, Momentum SGD और अन्य Muon वेरिएंट्स की तुलना में लगातार लॉस और ग्रेडिएंट नॉर्म में सबसे तेज़ कमी प्राप्त करता है।
क्रिटिकल बैच साइज़ सत्यापन:
- हाइपरपैरामीटर प्रभाव: प्रयोग पुष्टि करते हैं कि Nesterov मोमेंटम जोड़ने से CBS बड़े मानों की ओर शिफ्ट हो जाता है, और वेट डिके बढ़ाने से CBS और अधिक बढ़ जाता है। उदाहरण के लिए, $\lambda$ को 0 से बढ़ाकर 0.5 करने से CBS $\approx 1024$ से $\geq 4096$ की ओर शिफ्ट हुआ, जो अनुमानित $1/(1-\lambda)^2$ स्केलिंग (अनुपात 4.0) से मेल खाता है।
- रैंक स्केलिंग: मॉडल की चौड़ाई (width) को बदलने से दिखाया गया कि प्रभावी रैंक $r_1$ चौड़ाई के साथ स्केल करती है, और $r_1 \cdot \sigma^2$ का उत्पाद अपेक्षाकृत स्थिर रहता है, जो यह समझाता है कि क्यों सैद्धांतिक रैंक निर्भरता के बावजूद अनुभवजन्य CBS मान फ्लैट दिखाई दिए।
- दक्षता: Muon आमतौर पर AdamW की तुलना में कम स्टेप्स और कम SFO जटिलता की आवश्यकता में है, विशेष रूप से छोटे से मध्यम बैच साइज़ पर।

महत्व और दावे

यह शोध पत्र Muon का पहला कठोर अभिसरण विश्लेषण प्रदान करने का दावा करता है जो Nesterov मोमेंटम और वेट डिके दोनों को समाहित करता है, जो इस उभरते हुए ऑप्टिमाइज़र की सैद्धांतिक समझ के अंतर को दूर करता है।

सैद्धांतिक अंतर्दृष्टि: यह प्रदर्शित करता है कि वेट डिके केवल एक रेगुलराइजेशन टूल नहीं है बल्कि एक ऐसा तंत्र है जो बाउंडेडनेस और स्थिरता सुनिश्चित करता है, जिससे बाउंडेड-ग्रेडिएंट धारणाओं की आवश्यकता समाप्त हो जाती है।
व्यावहारिक मार्गदर्शन: प्राप्त CBS निचली सीमा अभ्यासकर्ताओं को कार्रवाई योग्य मार्गदर्शन प्रदान करती है। यह स्पष्ट करता है कि $\beta$ और $\lambda$ को ट्यून करना गुणात्मक रूप से अनुकूलतम बैच साइज़ को कैसे प्रभावित करता है, जिससे यह सुझाव मिलता है कि हाई-मोमेंटम कॉन्फ़िगरेशन को छोटे बैचों के साथ कुशलतापूर्वक प्रशिक्षित किया जा सकता है, जबकि उच्च वेट डिके को दक्षता बनाए रखने के लिए बड़े बैचों की आवश्यकता होती है।
सत्यापन: यह कार्य विजन और लैंग्वेज मॉडलिंग वर्कलोड्स में अपनी भविष्यवाणियों को सत्यापित करके सिद्धांत और व्यवहार के बीच के अंतर को पाटता है, यह पुष्टि करते हुए कि सैद्धांतिक स्केलिंग लॉ हाइब्रिड ऑप्टिमाइज़ेशन सेटिंग्स में भी लागू होते हैं जहाँ Muon को केवल मैट्रिक्स-आकार के पैरामीटर्स पर लागू किया जाता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि उनका एकल-मैट्रिक्स विश्लेषण स्पष्ट रूप से लेयर-वार विषमता (heterogeneity) को मॉडल नहीं करता है, लेकिन वे तर्क देते हैं कि ग्रेडिएंट नॉइज़ स्केल्स के बीच उच्च सहसंबंध उनके निष्कर्षों की सामान्यता (generalizability) का समर्थन करता है। वे यह भी स्वीकार करते हैं कि यद्यपि Muon ने उनके प्रयोगों में Shampoo को पछाड़ दिया है, लेकिन Shampoo के लिए समान बाउंड प्राप्त करना एक खुला प्रश्न बना हुआ है।