🤖 machine learning

Muon learns balanced solutions in matrix factorization without slow saddle-to-saddle dynamics

यह शोध पत्र यह प्रदर्शित करता है कि म्यूऑन (Muon) ऑप्टिमाइज़र धीमी सैडल-टू-सैडल (saddle-to-saddle) गतिशीलता से बचकर मैट्रिक्स फैक्टराइजेशन को तेज़ करता है, उच्च लर्निंग रेट के साथ स्थिर प्रशिक्षण सक्षम करता है, और विशिष्ट संरक्षित मात्राओं (conserved quantities) एवं तीव्र भार संरेखण (weight alignment) के माध्यम से संतुलित समाधान प्राप्त करता है।

मूल लेखक: Mark Rhee, Jamie Simon, Dhruva Karkada

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mark Rhee, Jamie Simon, Dhruva Karkada

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: मशीन को सिखाने का एक नया तरीका

कल्पना कीजिए कि आप एक रोबोट को दो सरल, पारदर्शी प्लास्टिक की शीटों (जिन्हें "Weights" कहा जाता है) को मिलाकर एक जटिल चित्र (जिसे "Target" कहा जाता है) को फिर से बनाने के लिए सिखाने की कोशिश कर रहे हैं। रोबोट का काम इन शीटों को तब तक खिसकाना है जब तक कि उनसे बना चित्र टारगेट से पूरी तरह मेल न खा जाए। इसे मैट्रिक्स फैक्टराइजेशन (Matrix Factorization) कहा जाता है।

आमतौर पर, हम रोबोट को ग्रेडिएंट डिसेंट (Gradient Descent) नामक विधि का उपयोग करके सिखाते हैं। ग्रेडिएंट डिसेंट को एक ऐसे हाइकर (पगडंडी पर चलने वाले) के रूप में सोचें जो घने कोहरे में घाटी के निचले हिस्से को खोजने की कोशिश कर रहा है। हाइकर ढलान की ओर छोटे कदम लेता है। यदि घाटी में एक सपाट, ऊबड़-खाबड़ पठार (एक "सैडल") है, तो हाइकर फंस जाता है और एक उभार से दूसरे उभार तक धीरे-धीरे रेंगता रहता है। यह बहुत धीमा है, खासकर यदि घाटी लंबी और संकरी हो।

यह पेपर Muon नामक एक नया ऑप्टिमाइज़र पेश करता है। हाइकर के कोहरे में रेंगने के बजाय, Muon एक मैग्नेटिक लेविटेशन ट्रेन (चुंबकीय उत्तोलन ट्रेन) की तरह है। इसे ऊबड़-खाबड़ रास्तों या संकरे ट्रैक की परवाह नहीं है। यह अपने गंतव्य तक सुचारू रूप से और तेज़ी से फिसलती है।

Muon की तीन महाशक्तियाँ

लेखकों ने पाया कि Muon मानक विधि से तीन मुख्य तरीकों से बहुत अलग व्यवहार करता है:

1. "बीच में फंसना" अब नहीं (Saddle Problem का समाधान)

पुराना तरीका (Gradient Descent): कल्पना करें कि रोबोट बहुत छोटी, लगभग अदृश्य शीटों के साथ शुरू करता है। बड़ी तस्वीर सीखने के लिए, उसे एक बार में एक परत के रूप में शीटों को बढ़ाना पड़ता है। वह चित्र के सबसे बड़े, सबसे स्पष्ट हिस्सों को पहले सीखता है, और फिर छोटे विवरणों को सीखने से पहले लंबे समय तक फंस जाता है। यह एक चम्मच से बाथटब भरने की कोशिश करने जैसा है; आप पहले नीचे का हिस्सा भरते हैं, फिर अगला इंच, फिर अगला। इसमें बहुत समय लगता है।
Muon का तरीका: Muon इंतज़ार नहीं करता। यह सभी हिस्सों को एक ही गति से सीखता है। यह एक पाइप से पानी डालने जैसा है; पूरा टब समान रूप से भर जाता है। छोटे विवरण भी बड़े विवरणों जितनी ही तेज़ी से सीखे जाते हैं, जिससे लंबे, उबाऊ प्रतीक्षा काल की आवश्यकता नहीं पड़ती।

2. "स्पीड लिमिट" का अस्तित्व नहीं है

पुराना तरीका: पुराने तरीके में, यदि आप रोबोट को बहुत तेज़ चलने (उच्च "लर्निंग रेट") के लिए कहते हैं, तो उसे चक्कर आ जाता है और वह क्रैश हो जाता है। स्पीड लिमिट इस बात से तय होती है कि समस्या कितनी "तीखी" या कठिन है। यदि समस्या कठिन है, तो आपको बहुत धीरे गाड़ी चलानी होगी।
Muon का तरीका: Muon एडेप्टिव सस्पेंशन (अनुकूलन योग्य सस्पेंशन) वाली कार की तरह है। रास्ता कितना भी ऊबड़-खाबड़ क्यों न हो, Muon अपने पहिए ज़मीन पर बनाए रखता है। आप बिना क्रैश हुए उच्च गति पर गाड़ी चला सकते हैं। इसका मतलब है कि आप प्रशिक्षण बहुत तेज़ी से शुरू कर सकते हैं और परिणाम को बेहतर बनाने के लिए केवल अंत में गति धीमी कर सकते हैं।

3. "परफेक्ट बैलेंस" का नृत्य

पुराना तरीका: जैसे-जैसे रोबोट सीखता है, दोनों प्लास्टिक की शीटें (weights) आकार में बिल्कुल संतुलित रहने की कोशिश करती हैं। यदि एक बहुत बड़ी हो जाती है, तो दूसरी को उसकी भरपाई के लिए सिकुड़ना पड़ता है। यह एक विशिष्ट, घुमावदार पथ (जैसे हाइपरबोला) बनाता है जिसका रोबोट को पालन करना होता है।
Muon का तरीका: Muon संतुलन के लिए एक अलग नियम रखता है। यह आकार के वर्गमूल (square root) को संतुलित रखता है। यह रोबोट द्वारा लिए जाने वाले पथ को एक घुमावदार स्लाइड से बदलकर एक सीधे, समानांतर हाईवे में बदल देता है। यह समाधान की ओर एक सीधी रेखा में चलता है, जो बहुत अधिक कुशल है।

"अलाइनमेंट" का रहस्य

रोबोट के तेज़ी से आगे बढ़ने से पहले, दोनों प्लास्टिक शीटों को चित्र के साथ सही ढंग से संरेखित (align) होने की आवश्यकता होती है। पेपर दिखाता है कि Muon इन शीटों को स्वतः और बहुत तेज़ी से संरेखित करता है, भले ही आप रैंडम, बिखरी हुई शीटों के साथ शुरू करें।

लेखकों ने गणना की है कि यह कितनी तेज़ी से होता है। उन्होंने पाया कि यदि शीटें थोड़ी सी भी गलत संरेखित हैं, तो Muon संरेखण को इतनी तेज़ी से ठीक करता है कि यह जादू जैसा लगता है। वास्तव में, उन्होंने एक "चीट कोड" (एक विशेष लर्निंग रेट शेड्यूल) खोजा है जहाँ आप केवल दो स्टेप्स में शीटों को पूरी तरह से संरेखित कर सकते हैं।

"चीट कोड" (स्पाइक्ड लर्निंग रेट)

पेपर एक व्यावहारिक ट्रिक के साथ समाप्त होता है। आमतौर पर, आपको रोबोट की गति धीरे-धीरे बढ़ानी पड़ती है। लेकिन Muon इतना स्थिर है कि आप यह कर सकते हैं:

स्टेप 1: शीटों को पूरी तरह से संरेखित करने के लिए इसे एक हल्का सा धक्का दें।
स्टेप 2: शीटों को सही स्थिति में लाने और विवरण भरने के लिए एक विशाल, भारी बूस्ट दें।
स्टेप 3: काम पूरा करने के लिए धीरे-धीरे एक्सीलेटर से पैर हटा लें।

यह रोबोट को रिकॉर्ड समय में एक लगभग आदर्श समाधान तक पहुँचने की अनुमति देता है।

सारांश

संक्षेप में, यह पेपर साबित करता है कि Muon कुछ प्रकार की समस्याओं पर मशीनों को प्रशिक्षित करने का एक स्मार्ट तरीका है। यह पारंपरिक तरीकों के धीमे, लड़खड़ाते कदमों से बचता है, बिना क्रैश हुए उच्च गति को संभालता है, और अपने आंतरिक हिस्सों को लगभग तुरंत संरेखित करता है। यह एक धीमी, उबाऊ पैदल यात्रा को एक हाई-स्पीड, स्मूथ राइड में बदल देता है।

तकनीकी सारांश: म्यूऑन (Muon) मैट्रिक्स फैक्टराइजेशन में धीमी सैडल-टू-सैडल (Saddle-to-Saddle) गतिकी के बिना संतुलित समाधान सीखता है

समस्या विवरण
यह शोध पत्र मैट्रिक्स फैक्टराइजेशन के संदर्भ में म्यूऑन ऑप्टिमाइज़र की सीखने की गतिकी (learning dynamics) की जांच करता है, जिसे $L(P, Q) = \frac{1}{2}\|M^* - PQ^\top\|_F^2$ को कम करने के रूप में परिभाषित किया गया है। मैट्रिक्स फैक्टराइजेशन गैररेखीय पैरामीटर गतिकी और रिप्रजेंटेशन लर्निंग के अध्ययन के लिए एक न्यूनतम मॉडल के रूप में कार्य करता है, जो डीप लर्निंग से संबंधित व्यवहार प्रदर्शित करता है जैसे कि लो-रैंक बायस (low-rank bias) और रिप्रजेंटेशन अलाइनमेंट। लेखक विशेष रूप से मानक ग्रेडिएंट डिसेंट (GD) के विरुद्ध म्यूऑन की तुलना करते हैं ताकि यह समझा जा सके कि म्यूऑन का अनूठा अपडेट नियम अनुकूलन के प्रक्षेपवक्र (trajectory) को कैसे बदलता है, विशेष रूप से अभिसरण की गति (speed of convergence), स्थिरता (stability) और छोटे रैंडम इनिशियलाइजेशन से प्राप्त समाधानों की प्रकृति के संबंध में।

कार्यप्रणाली
अध्ययन म्यूऑन अपडेट नियम पर केंद्रित है, जो लर्निंग रेट लागू करने से पहले ग्रेडिएंट को ऑर्थोगोनलाइज (orthogonalize) करता है। एक वेट मैट्रिक्स $W$ के लिए, अपडेट $\Delta W = -\eta \cdot \widehat{\nabla_W L}$ है, जहाँ $\widehat{G} = UV^\top$ ग्रेडिएंट $G=USV^\top$ का पोलर अपघटन (polar decomposition/orthogonalization) है। यह सुनिश्चित करता है कि सभी अपडेट $\eta$ द्वारा स्केल किए गए (सेमी-)ऑर्थोगोनल मैट्रिसेस हैं।

लेखक तीन दृष्टिकोणों के माध्यम से गतिकी का विश्लेषण करते हैं:

स्केलर रिडक्शन (Scalar Reduction): यह मानते हुए कि वेट्स अलाइन्ड हैं, समस्या स्वतंत्र स्केलर समस्याओं में विभाजित हो जाती है जहाँ अवशेष (residual) $r = m^* - pq$ अपडेट को निर्धारित करता है।
अलाइनमेंट गतिकी (Alignment Dynamics): लेखक विभिन्न पैरामीटर व्यवस्थाओं (अंडर-पैरामीटराइज्ड, एक्सैक्टली-पैरामीटराइज्ड, और ओवर-पैरामीटराइज्ड) के तहत $P$ और $Q$ के सिंगुलर वेक्टर्स के एक-दूसरे के साथ संरेखण (आंतरिक अलाइनमेंट) और लक्ष्य मैट्रिक्स $M^*$ के साथ संरेखण (टारगेट अलाइनमेंट) के लिए सैद्धांतिक दरों को व्युत्पन्न करते हैं।
संरक्षित मात्राएँ (Conserved Quantities): शोध पत्र म्यूऑन बनाम GD के फ्लो के दौरान संरक्षित विशिष्ट मैट्रिक्स मात्राओं की पहचान करता है।

मुख्य योगदान और परिणाम

1. धीमी सैडल-टू-सैडल गतिकी से बचाव
छोटे इनिशियलाइजेशन से मानक ग्रेडिएंट डिसेंट "सैडल-टू-सैडल" गतिकी प्रदर्शित करता है। सिंगुलर वैल्यूज गुणात्मक रूप से (multiplicatively) बढ़ती हैं, जिसका अर्थ है कि छोटे मोड बड़े मोड की तुलना में धीमे बढ़ते हैं। ऑप्टिमाइज़र लो-रैंक सैडल्स के पास रुक जाता है, जिससे मोड क्रमिक रूप से (stepwise) सीखे जाते हैं।
इसके विपरीत, म्यूऑन एडिटिव (additive) गतिकी प्रदर्शित करता है। एक बार अलाइनमेंट होने के बाद, वेट मैट्रिसेस के सभी सिंगुलर वैल्यूज एक समान दर ( $\eta$ प्रति स्टेप) से बढ़ते हैं, चाहे उनकी वर्तमान परिमाण कुछ भी हो। फलस्वरूप, बड़े मोड से पहले छोटे मोड अभिसरित होते हैं, और ऑप्टिमाइज़र मध्यवर्ती सैडल पॉइंट्स के बिना $M^*$ के सभी टॉप मोड्स को एक साथ सीखता है।

2. क्रिटिकल लर्निंग रेट से परे स्थिरता
ग्रेडिएंट डिसेंट एक क्रिटिकल लर्निंग रेट थ्रेशोल्ड द्वारा सीमित होता है जो स्थानीय लॉस शार्पनेस (विशेष रूप से $2/\lambda_{\max}(\nabla^2 L)$ ) द्वारा निर्धारित होता है। इसे पार करने से विचलन (divergence) होता है, और अभिसरण दर समस्या के कंडीशन नंबर द्वारा सीमित होती है।
म्यूऑन क्रिटिकल थ्रेशोल्ड से अधिक लर्निंग रेट होने पर भी स्थिर रहता है। क्योंकि अपडेट का परिमाण ऑर्थोगोनलाइजेशन स्टेप द्वारा निर्धारित होता है, इसलिए इटरेट्स विचलित नहीं हो सकते। इसके बजाय, बड़े लर्निंग रेट के साथ, अनुकूलन तेजी से सॉल्यूशन मैनिफोल्ड की ओर बढ़ता है और वहां दोलन (oscillate) करता है। यह लर्निंग रेट को कंडीशन नंबर से अलग कर देता है, जिससे एक्सपोनेंशियल (ज्यामितीय) लर्निंग रेट एनीलिंग के माध्यम से तीव्र अभिसरण संभव होता है।

3. विशिष्ट संरक्षित मात्राएँ और संतुलित समाधान
दोनों ऑप्टिमाइज़र वैनिशिंग इनिशियलाइजेशन से "बैलेंस्ड सॉल्यूशंस" (जहाँ $P^\top P = Q^\top Q$ ) पाते हैं, लेकिन वे अलग-अलग मात्राओं को संरक्षित करते हैं:

ग्रेडिएंट फ्लो: मैट्रिक्स मात्रा $\Delta_2 = P^\top P - Q^\top Q$ को संरक्षित करता है। पैरामीटर स्पेस में फ्लो लाइन्स हाइपरबोलिक (hyperbolic) हैं।
म्यूऑन फ्लो: मैट्रिक्स मात्रा $\Delta_1 = \sqrt{P^\top P} - \sqrt{Q^\top Q}$ को संरक्षित करता है। फ्लो लाइन्स एफाइन (affine/समांतर किरणें) हैं।
लेखक व्युत्पन्न करते हैं कि म्यूऑन फ्लो एक हैमिल्टोनियन $H(P, Q) = \text{Tr}(\Delta_1) = \|P\|_* - \|Q\|_*$ (न्यूक्लियर नॉर्म्स का अंतर) द्वारा जनरेट होता है। यह संरक्षण नियम सुनिश्चित करता है कि यदि वेट्स संतुलित (balanced) शुरू होते हैं, तो वे संतुलित ही रहते हैं, जिससे संतुलित समाधान प्राप्त होता है।

4. अलाइनमेंट गतिकी और दरें
शोध पत्र "साइलेंट अलाइनमेंट" चरण (जहाँ सिंगुलर वेक्टर्स अलाइन होते हैं जबकि लॉस फ्लैट होता है) के लिए अलाइनमेंट दरों को व्युत्पन्न करता है:

अंडर-पैरामीटराइज्ड ( $d < n$ ): आंतरिक अलाइनमेंट सरल है; टारगेट अलाइनमेंट $(t/\alpha_{\text{eff}})^{-2(1-s^{-1})}$ के रूप में पॉलिनोमियल रूप से घटता है, जहाँ $s$ सापेक्ष स्पेक्ट्रल गैप है।
ओवर-पैरामीटराइज्ड ( $d > n$ ): टारगेट अलाइनमेंट सरल है; आंतरिक मिसअलाइनमेंट तेजी से $(t/\alpha_{\text{eff}})^{-4}$ के रूप में घटता है।
सामान्य: छोटा इनिशियलाइजेशन स्केल होने पर अलाइनमेंट जल्दी होता है। लेखक दिखाते हैं कि ये सैद्धांतिक दरें सामान्य सेटिंग्स में एम्पिरिकल अलाइनमेंट की भविष्यवाणी करती हैं।

5. स्पाइक्ड लर्निंग रेट शेड्यूल
अलाइनमेंट गतिकी की समझ का लाभ उठाते हुए, लेखक एक विशिष्ट लर्निंग रेट शेड्यूल का निर्माण करते हैं जो ठीक दो ऑप्टिमाइज़ेशन स्टेप्स में लगभग पूर्ण अलाइनमेंट प्राप्त करता है ( $d \ge n$ के लिए):

स्टेप 1: $P$ को $Q$ के साथ अलाइन करने के लिए $\eta^{(0)} = \alpha$ (इनिशियलाइजेशन स्केल) सेट करें।
स्टेप 2: एक बड़ा स्पाइक $\eta^{(1)} \gg \eta^{(0)}$ सेट करें ताकि मॉडल को $M^*$ के साथ एक साथ अलाइन किया जा सके और वेट्स को सॉल्यूशन मैनिफोल्ड तक पहुँचाया जा सके।
एनीलिंग: लीनियर कन्वर्जेंस प्राप्त करने के लिए लर्निंग रेट को ज्यामितीय रूप से एनील (anneal) करें।
यह शेड्यूल प्रदर्शित करता है कि फ्लो में सैद्धांतिक अंतर्दृष्टि को व्यावहारिक अनुकूलन रणनीतियों में कैसे बदला जा सकता है, हालांकि लेखक इसे विशिष्ट व्यवस्थाओं के लिए एक प्रूफ-ऑफ-कांसेप्ट के रूप में नोट करते हैं।

महत्व और दावे
शोध पत्र का दावा है कि म्यूऑन मैट्रिक्स फैक्टराइजेशन के अनुकूलन परिदृश्य (optimization landscape) को मौलिक रूप से बदल देता है, जो मल्टीप्लिकेटिव, सैडल-लेड गतिकी को यूनिफॉर्म, एडिटिव ग्रोथ से बदल देता है। यह म्यूऑन को सक्षम बनाता है:

लक्ष्य मैट्रिक्स के सभी मोड्स को एक ही दर पर सीखना, जिससे GD के धीमे, क्रमिक शिक्षण से बचा जा सके।
क्रिटिकल थ्रेशोल्ड से बहुत अधिक लर्निंग रेट के साथ भी स्थिरता से काम करना, जिससे लर्निंग रेट को समस्या के कंडीशन नंबर से मुक्त किया जा सके।
एक विशिष्ट संरक्षण नियम ( $\sqrt{P^\top P} - \sqrt{Q^\top Q}$ ) के माध्यम से संतुलित समाधान तक पहुँचना जो GD की हाइपरबोलिक ज्यामिति की आवश्यकता के बिना वेट बैलेंस बनाए रखता है।

लेखक इस बात पर जोर देते हैं कि हालांकि उनका विश्लेषण अनमॉडिफाइड स्पेक्ट्रल ग्रेडिएंट डिसेंट (मोमेंटम, वेट डिके और न्यूटन-शुलज़ इटरेशन को नजरअंदाज करते हुए) और सरल मैट्रिक्स फैक्टराइजेशन तक सीमित है, अलाइनमेंट और यूनिफॉर्म ग्रोथ की यांत्रिक समझ म्यूऑन की बड़ी, अधिक जटिल मॉडलों में सफलता को समझने के लिए एक आधार प्रदान करती है। यह कार्य एक सैद्धांतिक स्पष्टीकरण के रूप में कार्य करता है कि क्यों म्यूऑन इल-कंडीशन्ड या हेट्रोजेनियस स्पेक्ट्रल सेटिंग्स में प्रशिक्षण को तेज करता है।