🔢 mathematics

OptMuon: Closed-Loop Orthogonalized Momentum Methods for Stochastic Optimization with Zero-Noise Optimality

यह शोध पत्र OptMuon को प्रस्तुत करता है, जो क्लोज्ड-लूप एडेप्टिव मोमेंटम ऑर्थोगोनलाइजेशन विधियों का एक परिवार है, जो शोर-अनुकूली अभिसरण दरों (noise-adaptive convergence rates) और बिना किसी मैनुअल हाइपरपैरामीटर ट्यूनिंग या समस्या के स्थिरांकों के ज्ञान के, स्टोकेस्टिक नॉनकॉवेक्स ऑप्टिमाइज़ेशन में लगभग इष्टतम ज़ीरो-नॉइज़ प्रदर्शन प्राप्त करने के लिए म्यूऑन-शैली की दिशाओं को प्रक्षेपवक्र-निर्भर परिमाण शेड्यूलिंग (trajectory-dependent magnitude scheduling) के साथ जोड़ता है।

मूल लेखक: Ganzhao Yuan

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ganzhao Yuan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधली घाटी में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं (यह मशीन लर्निंग में "ऑप्टिमाइज़ेशन प्रॉब्लम" है)। आप पूरे परिदृश्य को देख नहीं सकते, इसलिए आप अपने पैरों के नीचे महसूस होने वाले ढलान के आधार पर छोटे कदम उठाते हैं। इसी तरह कंप्यूटर जटिल समस्याओं को हल करने के लिए "सीखते" हैं।

हालाँकि, इस प्रक्रिया के साथ दो मुख्य समस्याएँ हैं:

धुंध (शोर/Noise): कभी-कभी ज़मीन केवल रैंडम उभारों के कारण फिसलन भरी या ऊबड़-खाबड़ महसूस होती है, न कि इसलिए कि आप वास्तव में नीचे की ओर जा रहे हैं। इसे "शोर" (Noise) कहा जाता है।
कम्पास (दिशा): कभी-कभी उन रैंडम उभारों के कारण आपका कम्पास पागलों की तरह घूमता है और आपको गलत दिशा में ले जाता है।

पुराना तरीका: "फिक्स्ड स्टेप" हाइकर (निश्चित कदम वाला यात्री)

लंबे समय तक, एल्गोरिदमों ने यह तय करने के लिए एक "फिक्स्ड रूल" का उपयोग किया कि उनके कदम कितने बड़े होने चाहिए। वे कहते थे, "X आकार का कदम उठाओ।"

यदि कदम बहुत बड़ा होता, तो वे निचले बिंदु को पार कर जाते।
यदि कदम बहुत छोटा होता, तो उन्हें वहाँ पहुँचने में बहुत समय लगता।
महत्वपूर्ण बात यह है कि वे एक वास्तविक ढलान और एक रैंडम उभार के बीच अंतर आसानी से नहीं कर पाते थे।

नया तरीका: "स्मार्ट कम्पास" (Muon)

हाल ही में, Muon नामक एक विधि पेश की गई। कल्पना कीजिए कि आपका कम्पास केवल "नीचे की ओर" ही इशारा नहीं करता; यह सक्रिय रूप से खुद को सीधा करता है। यह सभी भ्रमित करने वाली, घूमती हुई दिशाओं को लेता है और उन्हें एक साफ, सीधी रेखा में बदल देता है (गणितीय रूप से जिसे "ऑर्थोगोनलाइजेशन" कहा जाता है)। यह दिशा को बहुत स्थिर बनाता है।

लेकिन एक समस्या थी: भले ही आपके पास एक परफेक्ट कम्पास था, लेकिन कदम का आकार अभी भी एक फिक्स्ड नियम द्वारा तय किया जाता था। हाइकर के पास एक बेहतरीन कम्पास था लेकिन एक टूटा हुआ पेडोमीटर (कदम मापने वाला यंत्र)।

पेश है OptMuon: "सेल्फ-एडजस्टिंग हाइकर" (स्वयं को ढालने वाला यात्री)

यह पेपर OptMuon को पेश करता है, जो परफेक्ट कम्पास को "स्मार्ट पेडोमीटर" के साथ जोड़ता है।

यहाँ बताया गया है कि एक सरल उपमा (Analogy) का उपयोग करके OptMuon कैसे काम करता है:

1. कम्पास (दिशा)
ठीक Muon की तरह, OptMuon दिशा को साफ करने के लिए एक विशेष गणितीय ट्रिक का उपयोग करता है। यह डेटा के उलझे हुए, घूमते हुए हिस्सों को अनदेखा करता है और आगे का एक सही, सीधा रास्ता खोज लेता है। यह हाइकर को चक्करों में खो जाने से रोकता है।

2. पेडोमीटर (कदम का आकार)
यही इस पेपर का बड़ा नवाचार है। कदम के आकार का अनुमान लगाने के बजाय, OptMuon अपने स्वयं के इतिहास को देखता है।

"रनिंग मैक्सिमम" ट्रिक: कल्पना कीजिए कि आप हाइकिंग कर रहे हैं और आप एक बड़े पत्थर से टकराकर लड़खड़ा जाते हैं (शोर का अचानक उछाल)। एक सामान्य हाइकर घबरा सकता है और पूरी तरह से रुक सकता है। OptMuon के पास एक "सुरक्षा स्मृति" (Safety Memory) है। यह याद रखता है कि आपने अब तक का सबसे बड़ा झटका कब महसूस किया था। यदि आप फिर से लड़खड़ाते हैं, तो यह कहता है, "ठीक है, यह एक बड़ा झटका है, लेकिन मैंने इससे भी बड़े झटके देखे हैं। मैं थोड़ा धीमा हो जाऊँगा, लेकिन मैं रुकूँगा नहीं।" यह एल्गोरिदम को एक बुरे पल के कारण जमने से रोकता है।
"एनर्जी" चेक: यह यह भी देखता है कि उसने अब तक कितनी ऊर्जा खर्च की है। यदि रास्ता बहुत ऊबड़-खाबड़ (उच्च शोर) रहा है, तो यह स्वाभाविक रूप से छोटे, सुरक्षित कदम उठाता है। यदि रास्ता सुगम है, तो यह बड़े, तेज़ कदम उठाता है।

यह विशेष क्यों है? ("जीरो-नॉइज़" सुपरपावर)

पेपर OptMuon के बारे में कुछ बहुत ही शानदार दावा करता है: यह पूरी तरह से काम करता है भले ही धुंध गायब हो जाए।

धुंध में (शोर वाला डेटा): यह शोर के प्रति स्वतः अनुकूल हो जाता है, अराजकता के दौरान धीमा हो जाता है और शांति के दौरान तेज़ हो जाता है। इसे यह बताने की ज़रूरत नहीं है कि, "हे, शोर का स्तर अधिक है, अपनी सेटिंग्स बदलें।"
साफ मौसम में (शून्य शोर): यदि ज़मीन पूरी तरह से चिकनी है और कोई धुंध नहीं है, तो OptMuon बिना किसी रीप्रोग्रामिंग के अपने आप सबसे तेज़ गति पर स्विच हो जाता है। यह स्वाभाविक रूप से एक सुगम पथ के लिए "परफेक्ट" गति खोज लेता है।

परिणाम

लेखकों ने गणितीय रूप से सिद्ध किया कि यह विधि बहुत कुशल है:

जब शोर होता है, तो यह पिछले तरीकों की तुलना में घाटी के निचले हिस्से को तेज़ी से खोज लेता है।
जब शोर नहीं होता है, तो यह सर्वोत्तम संभव तरीकों के समान ही तेज़ होता है।
यह यह सब बिना किसी इंसान द्वारा सही सेटिंग्स (जैसे कि ज़मीन कितनी चिकनी है या शोर कितना है) का अनुमान लगाए करता है।

संक्षेप में: OptMuon एक ऐसे हाइकर की तरह है जिसके पास एक ऐसा कम्पास है जो कभी नहीं घूमता और एक ऐसा पेडोमीटर है जो अपनी गलतियों से सीखता है। वह जानता है कि रास्ता चाहे एक अराजक जंगल हो या एक चिकना हाईवे, उसे खुद से कितनी तेज़ी से चलना है।

"OptMuon: स्टोकैस्टिक ऑप्टिमाइज़ेशन के लिए क्लोज्ड-लूप ऑर्थोगोनलाइज़्ड मोमेंटम मेथड्स विद ज़ीरो-नॉइज़ ऑप्टिमैलिटी" का तकनीकी सारांश

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मैट्रिक्स-वैल्यूड नॉनकॉन्वेक्स ऑब्जेक्टिव्स (matrix-valued nonconvex objectives) के लिए स्टोकैस्टिक फर्स्ट-ऑर्डर ऑप्टिमाइज़ेशन की समस्या को संबोधित करता है:
$\min_{X \in \mathbb{R}^{m \times n}} f(X) := \mathbb{E}_{\xi \sim \mathcal{D}}[f(X; \xi)]$
लक्ष्य एक रैंडम इटरेट $X_{out}$ खोजना है जिससे $T$ स्टोकैस्टिक ग्रेडिएंट कॉल्स के भीतर अपेक्षित फ्रोबेनियस नॉर्म (expected Frobenius norm) $\mathbb{E}[\|\nabla f(X_{out})\|_F]$ को न्यूनतम किया जा सके।

जबकि Muon-शैली के ऑप्टिमाइज़र पोलर फैक्टराइजेशन (polar factorization) के माध्यम से मोमेंटम मैट्रिसेस को लगभग ऑर्थोगोनल दिशाओं में बदलकर अनुभवजन्य स्थिरता (empirical stability) प्रदर्शित कर चुके हैं, मौजूदा विधियाँ आमतौर पर इन दिशाओं को ओपन-लूप (open-loop) या स्थिर परिमाण नियमों के साथ जोड़ती हैं। ये नियम अक्सर निर्धारित स्मूथनेस कांस्टेंट ( $L$ ) या वेरिएंस स्तरों ( $\sigma^2$ ) पर निर्भर करते हैं, जिससे वे हाइपरपैरामीटर ट्यूनिंग के प्रति संवेदनशील हो जाते हैं और देखे गए ऑप्टिमाइज़ेशन प्रक्षेपवक्र (optimization trajectory) के आधार पर अपडेट मैग्नीट्यूड को स्पष्ट रूप से कैलिब्रेट करने में असमर्थ होते हैं। इसके विपरीत, STORM और AdaGrad-Norm जैसी एडेप्टिव विधियाँ "क्लोज्ड-लूप" स्केलर अडैप्टेशन और नॉइज़ अडैप्टिविटी प्रदान करती हैं, लेकिन वे आम तौर पर रॉ ग्रेडिएंट्स के बजाय ऑर्थोगोनलाइज़्ड मोमेंटम दिशाओं पर कार्य करती हैं।

मुख्य चुनौती यह है कि क्या क्लोज्ड-लूप स्केलर अडैप्टेशन को Muon-शैली के ऑर्थोगोनलाइज़्ड मोमेंटम के साथ सफलतापूर्वक जोड़ा जा सकता है ताकि ज्यामितीय स्थिरता (geometric stability) बनाए रखते हुए नॉइज़ अडैप्टिविटी और बिना किसी मैनुअल रिट्यूनिंग के ज़ीरो-नॉइज़ ऑप्टिमैलिटी प्राप्त की जा सके।

2. कार्यप्रणाली: OptMuon (Methodology: OptMuon)

लेखक OptMuon प्रस्तावित करते हैं, जो एक ऐसा फ्रेमवर्क है जो अपडेट दिशा (update direction) को अपडेट परिमाण (update magnitude) से अलग करता है।

दिशा (Orthogonalization): अपडेट दिशा मोमेंटम मैट्रिक्स $M_t$ का पोलर फैक्टर है, जिसे $\text{Orth}(M_t) = U W^\top$ द्वारा दर्शाया गया है (जहाँ $M_t = U \Sigma W^\top$ SVD है)। यह सुनिश्चित करता है कि दिशा ज्योमेट्री-नॉर्मलाइज़्ड है और ओरिएंटेशन को सिंगुलर-वैल्यू स्केलिंग से अलग करती है।
परिमाण (Closed-Loop Adaptation): स्टेप साइज एक स्केलर गुणांक $\gamma_t$ $γ_{t}$ द्वारा निर्धारित होता है जो देखे गए प्रक्षेपवक्र (ग्रेडिएंट और मोमेंटम हिस्ट्री) से प्राप्त होता है, न कि निश्चित समस्या स्थिरांकों से।
- गुणांक शेड्यूल (Coefficient Schedule): मैग्नीट्यूड कंट्रोल का मुख्य हिस्सा एक रनिंग-मैक्सिमम करेक्टेड AdaGrad-Norm शेड्यूल है। यह शोर वाले परिदृश्यों (noisy regimes) में स्टेप्स को दबाने के लिए डिनोमिनेटर में स्टोकैस्टिक ग्रेडिएंट एनर्जी को संचित करता है, लेकिन इसमें एक न्यूमेरेटर टर्म ( $\max g_i^2$ ) शामिल है ताकि आइसोलेटेड ग्रेडिएंट स्पाइक्स के कारण गुणांक अत्यधिक कोलैप्स न हो जाए।
- लिप्सचिट्ज़-फ्री (Lipschitz-Free): इस एल्गोरिदम को पैरामीटर चयन के लिए स्मूथनेस कांस्टेंट $L$ , वेरिएंस $\sigma^2$ , या बाउंडेड-ग्रेडिएंट कांस्टेंट $\hat{G}$ के ज्ञान की आवश्यकता नहीं होती है, हालांकि ये सैद्धांतिक स्थिरांकों में दिखाई देते हैं।

दो वेरिएंट्स:

OptMuon-A (Average Smoothness): औसत स्मूथनेस धारणा के लिए डिज़ाइन किया गया है। यह प्रति इटरेशन एक स्टोकैस्टिक ग्रेडिएंट का उपयोग करता है और एक मानक मोमेंटम एक्यूमुलेशन ( $M_t = G_t + (1-\alpha_t)M_{t-1}$ ) का उपयोग करता है। शेड्यूल में एक्सपोनेंट $q=1/2$ है।
OptMuon-I (Individual Smoothness): व्यक्तिगत स्मूथनेस धारणा के लिए डिज़ाइन किया गया है। यह एक STORM-प्रकार के रिकर्सिव मोमेंटम एस्टिमेटर ( $M_t = (1-\alpha_t)(M_{t-1} - \nabla f(X_{t-1}; \xi_t)) + G_t$ ) का उपयोग करता है, जो वेरिएंस को कम करने के लिए एक ही सैंपल पर दो ग्रेडिएंट मूल्यांकन का उपयोग करता है। इसका एक्सपोनेंट $q=2/3$ है।

दोनों वेरिएंट्स पैरामीटर्स को इस प्रकार अपडेट करते हैं:
$X_{t+1} = X_t - \theta \gamma_t \|M_t\|_F \text{Orth}(M_t)$

3. प्रमुख योगदान (Key Contributions)

पेपर निम्नलिखित विशिष्ट योगदानों का दावा करता है:

क्लोज्ड-लूप मोमेंटम ऑर्थोगोनलाइज़ेशन: एक ऐसा फ्रेमवर्क जो मैट्रिक्स ज्योमेट्री (पोलर फैक्टर के माध्यम से) को मैग्नीट्यूड कैलिब्रेशन (सेल्फ-नॉर्मलाइज्ड स्केलर शेड्यूल के माध्यम से) से स्पष्ट रूप से अलग करता है।
रनिंग-मैक्सिमम करेक्टेड शेड्यूल: एक अभिनव गुणांक डिज़ाइन जो AdaGrad-Norm के सेल्फ-नॉर्मलाइज़्ड सप्रेशन को बनाए रखता है और सिंगल ग्रेडिएंट स्पाइक्स के कारण होने वाले गुणांक कोलैप्स के जोखिम को कम करता है।
नॉइज़-एडेप्टिव कन्वर्जेंस रेट्स: सैद्धांतिक गारंटी जो दिखाती है कि कन्वर्जेंस बाउंड्स में स्टोकैस्टिक टर्म्स वेरिएंस $\sigma$ के घटने के साथ स्वचालित रूप से बेहतर होते हैं।
ज़ीरो-नॉइज़ ऑप्टिमैलिटी: यह प्रदर्शन कि जब $\sigma = 0$ होता है, तो बाउंड्स बिना किसी हाइपरपैरामीटर रिट्यूनिंग के लगभग इष्टतम डिटर्मिनिस्टिक रेट $\tilde{O}(T^{-1/2})$ में स्वतः बदल जाते हैं।

4. सैद्धांतिक परिणाम (Theoretical Results)

लोअर-बाउंडेडनेस, अनबायस्ड स्टोकैस्टिक ग्रेडिएंट्स (बाउंडेड वेरिएंस के साथ), स्मूथनेस (औसत या व्यक्तिगत), और लगभग-निश्चित (almost-sure) बाउंडेड स्टोकैस्टिक ग्रेडिएंट्स की मान्यताओं के तहत, पेपर सिद्ध करता है:

OptMuon-A (Average Smoothness): निम्नलिखित कन्वर्जेंस रेट प्राप्त करता है:
$\tilde{O}\left(T^{-1/2} + \sigma^{1/2}T^{-1/4}\right)$
OptMuon-I (Individual Smoothness): एक शार्पर स्टोकैस्टिक रेट प्राप्त करता है:
$\tilde{O}\left(T^{-1/2} + \sigma^{1/3}T^{-1/3}\right)$

परिणामों का महत्व:

ज़ीरो-नॉइज़ रिकवरी: ज़ीरो-नॉइज़ रिजीम ( $\sigma = 0$ ) में, दोनों बाउंड्स $\tilde{O}(T^{-1/2})$ में बदल जाते हैं, जो इष्टतम डिटर्मिनिस्टिक फर्स्ट-ऑर्डर रेट से मेल खाता है। यह मौजूदा Muon विश्लेषणों के विपरीत है जो अक्सर $\tilde{O}(T^{-1/4})$ देते हैं या निश्चित स्टेप साइज़ की आवश्यकता रखते हैं।
नॉइज़ अडैप्टिविटी: स्टोकैस्टिक टर्म्स ( $\sigma^{1/2}T^{-1/4}$ और $\sigma^{1/3}T^{-1/3}$ ) एडेप्टिव हैं; वे शोर के स्तर के घटने के साथ टाइट होते जाते हैं, जो फिक्स्ड स्टेप साइज़ वाले तरीकों के विपरीत है।
तुलना: पेपर नोट करता है कि OptMuon-A हाल के वेरिएंस-रिड्यूस्ड Muon वेरिएंट्स (जैसे, Chang et al., 2025) द्वारा स्थापित $\tilde{O}(T^{-1/4})$ दर में लो-नॉइज़ रिजीम में सुधार करता है, जबकि ज़ीरो-नॉइज़ ऑप्टिमैलिटी को भी बनाए रखता है।

5. महत्व और सीमाएँ (Significance and Limitations)

महत्व:
यह पेपर स्थापित करता है कि क्लोज्ड-लूप स्केलर अडैप्टेशन को ज्यामितीय स्थिरता से समझौता किए बिना Muon-शैली के ऑर्थोगोनलाइज़्ड मोमेंटम के साथ जोड़ा जा सकता है। यह "ज़ीरो-नॉइज़ अडैप्टिविटी" की अवधारणा को (जो पहले स्केलर एडेप्टिव स्टेपसाइज़ नियमों में पाई गई थी) पोलर-फैक्टर मोमेंटम अपडेट्स तक विस्तारित करता है। यह एक मजबूत ऑप्टिमाइज़ेशन की अनुमति देता है जो शोर के स्तर के अनुसार स्वचालित रूप से समायोजित होता है और बिना किसी मैनुअल हस्तक्षेप के इष्टतम डिटर्मिनिस्टिक प्रदर्शन को पुनः प्राप्त करता है।

सीमाएँ (लेखकों द्वारा बताई गई):

सटीक ऑर्थोगोनलाइज़ेशन: थ्योरी सटीक पोलर-फैक्टर कंप्यूटेशन मानती है। हालांकि Newton-Schulz इटरेशन इसे अनुमानित (approximate) कर सकते हैं, वर्तमान विश्लेषण यह गणना नहीं करता है कि अपूर्ण ऑर्थोगोनलाइज़ेशन से कितना एरर उत्पन्न होता है।
बाउंडेड ग्रेडिएंट्स: विश्लेषण लगभग-निश्चित बाउंडेड स्टोकैस्टिक ग्रेडिएंट कंडीशन (Assumption 4) पर निर्भर करता है। पेपर बाउंडेड-ग्रेडिएंट-फ्री थ्योरी का दावा नहीं करता है।
अनुभवजन्य सत्यापन (Empirical Validation): पेपर मुख्य रूप से सैद्धांतिक कन्वर्जेंस गारंटी पर केंद्रित है और इसमें बड़े पैमाने पर अनुभवजन्य मूल्यांकन या कंपोजिट/कंस्ट्रेंड ऑब्जेक्टिव्स के विस्तार शामिल नहीं हैं, जिन्हें भविष्य के कार्य के रूप में नोट किया गया है।