📊 statistics

Ringmaster LMO: Asynchronous Linear Minimization Oracle Momentum Method

यह शोध पत्र रिंगमास्टर एलएमओ (Ringmaster LMO) को प्रस्तुत करता है, जो एलएमओ-आधारित अनुकूलन (LMO-based optimization) के लिए एक एसिंक्रोनस मोमेंटम विधि है जो हेट्रोजेनियस डिस्ट्रिब्यूटेड सिस्टम्स को संभालने के लिए डिले-थ्रेशोल्डिंग तकनीकों का विस्तार करता है, जो सैद्धांतिक अभिसरण गारंटी (theoretical convergence guarantees) प्रदान करता है और सिंक्रोनस एवं एसिंक्रोनस बेसलाइन्स की तुलना में सिंथेटिक और बड़े पैमाने के लैंग्वेज मॉडल प्रीट्रेनिंग कार्यों में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Abdurakhmon Sadiev, Artavazd Maranjyan, Ivan Ilin, Peter Richtárik

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abdurakhmon Sadiev, Artavazd Maranjyan, Ivan Ilin, Peter Richtárik

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल ऑर्केस्ट्रा (एक कंप्यूटर क्लस्टर) के कंडक्टर हैं, जो एक विशाल AI मॉडल को प्रशिक्षित करने की कोशिश कर रहे हैं। आपका लक्ष्य संगीत को एकदम सटीक बनाना है, जिसका अर्थ है दर्शकों (डेटा) से मिलने वाले फीडबैक के आधार पर हजारों वाद्ययंत्रों (वेट्स/weights) को समायोजित करना।

पुराने दिनों में, कंडक्टर तब तक इंतजार करता था जब तक कि हर एक संगीतकार अपना हिस्सा पूरा न कर ले, और उसके बाद ही अगली आज्ञा देता था। इसे सिंक्रोनस ट्रेनिंग (synchronous training) कहा जाता है। समस्या यह है कि यदि एक संगीतकार धीमा है (शायद उसका वाद्ययंत्र पुराना है, या वह विचलित है), तो पूरा ऑर्केस्ट्रा सन्नाटे में बैठा रहता है, प्रतीक्षा करता रहता है। यह समय की एक बड़ी बर्बादी है, खासकर "विषम" (heterogeneous) प्रणालियों में जहाँ कुछ कंप्यूटर तेज़ और अन्य धीमे होते हैं।

हाल ही में, बजाने की एक नई शैली Muon लोकप्रिय हुई। हर वाद्ययंत्र को एक साधारण नोट की तरह मानने के बजाय, Muon ध्वनि के आकार और संरचना (मैट्रिक्स स्ट्रक्चर) को देखता है ताकि अधिक स्मार्ट और तेज़ समायोजन किए जा सकें। हालाँकि, Muon अभी भी "सबका इंतज़ार करने" की आदत में फंसा हुआ था।

यह पेपर Ringmaster LMO पेश करता है, एक नई विधि जो कंडक्टर को संगीत को बहते रहने देती है, भले ही कुछ संगीतकार धीमे हों। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "रिंगमास्टर" रणनीति: धीमे व्यक्ति का इंतज़ार न करें

एक सर्कस में रिंगमास्टर की कल्पना करें। एक प्रदर्शन करने वाले के अगले एक्ट शुरू करने से पहले धीमे हाथी के खत्म होने का इंतज़ार करने के बजाय, रिंगमास्टर का एक नियम है: "यदि कोई कलाकार बहुत अधिक समय लेता है, तो हम उसे छोड़ देते हैं और आगे बढ़ जाते हैं।"

समस्या: एक वितरित प्रणाली (distributed system) में, कुछ कार्यकर्ता (कंप्यूटर) अपनी गणनाएँ जल्दी पूरी कर लेते हैं, जबकि अन्य (स्ट्रैग्लर्स/stragglers) बहुत समय लेते हैं।
समाधान: Ringmaster LMO एक समय सीमा (थ्रेशोल्ड) निर्धारित करता है। यदि कोई कार्यकर्ता एक ऐसा ग्रेडिएंट (फीडबैक का एक हिस्सा) भेजता है जो "बहुत पुराना" है (क्योंकि उन्हें बहुत समय लगा), तो सिस्टम उसे त्याग देता है। एक धीमे कार्यकर्ता से बिल्कुल नए अपडेट के लिए प्रतीक्षा करने के बजाय, एक तेज़ कार्यकर्ता से प्राप्त थोड़ा पुराना लेकिन ताज़ा अपडेट उपयोग करना बेहतर है।
परिणाम: सिस्टम कभी भी निष्क्रिय नहीं बैठता। यह आगे बढ़ता रहता है, उन "धीमे हाथियों" को अनदेखा करता है।

2. "स्मार्ट शेप" (LMO)

अधिकांश प्रशिक्षण विधियाँ AI मॉडल को संख्याओं की एक लंबी सूची की तरह मानती हैं। लेकिन यह पेपर Muon पर ध्यान केंद्रित करता है, जो डेटा को एक 3D ब्लॉक या मैट्रिक्स (जैसे कि ताश के पत्तों की एक ढेरी के बजाय एक एकल रेखा) की तरह मानता है।

उपमा: एक मुड़े हुए कागज को सीधा करने की कोशिश करने की कल्पना करें। एक मानक विधि केवल यादृच्छिक कोनों को खींच सकती है। Muon पूरे पन्ने को देखता है और उस दिशा में खींचता है जो इसे सबसे कुशलता से चिकना करती है।
Ringmaster LMO इस "स्मार्ट शेप" दृष्टिकोण को "धीमे लोगों का इंतज़ार न करने" की रणनीति के साथ जोड़ता है। यह पहली बार है जब इस विशिष्ट "स्मार्ट शेप" तकनीक को एसिंक्रोनस (यानी धीमे कार्यकर्ताओं को अनदेज़ करने में सक्षम) बनाया गया है।

3. "स्व-समायोजन" (Self-Adjusting) विशेषता

आमतौर पर, इस तरह की प्रणाली को काम करने के लिए, आपको एक गणित का जादूगर होना चाहिए और अपने विशिष्ट कंप्यूटर सेटअप के लिए कई नॉब्स (पैरामीटर्स) को पूरी तरह से ट्यून करना चाहिए। यदि आप गलत करते हैं, तो प्रशिक्षण विफल हो जाता है।

यह पेपर एक पैरामीटर-एग्नोस्टिक (Parameter-Agnostic) संस्करण पेश करता है।

उपमा: इसे एडाप्टिव क्रूज कंट्रोल वाले कार के रूप में सोचें। आपको यह जानने की ज़रूरत नहीं है कि आपके आगे वाली कार कितनी तेज़ चल रही है या सड़क कितनी फिसलन भरी है; कार चलते समय खुद ही सही गति और दूरी का पता लगा लेती है।
Ringmaster LMO स्वचालित रूप से अपनी "समय सीमा" और सीखने की गति को समायोजित करता है, ताकि आपको इसे ट्यून करने के लिए गणित विशेषज्ञ होने की आवश्यकता न हो।

4. प्रयोगों ने क्या दिखाया

लेखकों ने दो चीजों पर परीक्षण किया:

एक गणितीय पहेली (क्वाड्रेटिक समस्याएं): उन्होंने अलग-अलग गति वाले श्रमिकों के एक समूह का अनुकरण किया।
एक छोटा भाषा मॉडल (NanoChat) को प्रशिक्षित करना: उन्होंने एक वास्तविक दुनिया के चैटबॉट प्रशिक्षण परिदृश्य का अनुकरण किया।

निष्कर्ष:

जब सभी कार्यकर्ता लगभग एक ही गति के थे, तो Ringmaster LMO मौजूदा सर्वोत्तम विधियों के समान ही प्रभावी था।
जब कार्यकर्ताओं की गति बहुत भिन्न थी (उच्च विषमता/heterogeneity), तो Ringmaster LMO काफी आगे निकल गया। जितने अधिक "स्ट्रैग्लर्स" (धीमे कार्यकर्ता) थे, लाभ उतना ही बड़ा होता गया। इसने साबित कर दिया कि वास्तविक दुनिया के जटिल कंप्यूटिंग वातावरण में धीमे अपडेट को अनदेखा करना ही गति की कुंजी है।

सारांश

Ringmaster LMO AI मॉडल को प्रशिक्षित करने का एक नया तरीका है जो:

"स्मार्ट शेप्स" का उपयोग करता है: यह डेटा की जटिल संरचना (जैसे Muon) को समझता है।
धीमे लोगों को अनदेखा करता है: यह उन अपडेट को त्याग देता है जिनमें बहुत अधिक समय लगता है, जिससे पूरी प्रणाली रुकने से बच जाती है।
स्वयं को ट्यून करता है: यह बिना किसी जटिल मैनुअल सेटअप के खुद को समायोजित करता है।

यह एक ऐसे कंडक्टर को नियुक्त करने जैसा है जो सिम्फनी को शीर्ष गति पर चालू रखने के लिए ठीक जानता है कि कब एक धीमे संगीतकार को छोड़ देना है, जिससे यह सुनिश्चित होता है कि AI तेज़ी से सीख सके, भले ही कंप्यूटिंग शक्ति असमान क्यों न हो।

तकनीकी सारांश: रिंगमास्टर LMO: एसिंक्रोनस लीनियर मिनिमाइजेशन ऑरेकल मोमेंटम मेथड

समस्या विवरण

यह शोध पत्र हेटेरोजेनियस (विषम) डिस्ट्रिब्यूटेड सिस्टम में न्यूरल नेटवर्क को प्रशिक्षित करने की चुनौती को संबोधित करता है, जहाँ लीनियर मिनिमाइजेशन ऑरेकल (LMO)-आधारित ऑप्टिमाइज़र्स का उपयोग किया जाता है। LMO-आधारित विधियाँ, जैसे कि हाल ही में प्रस्तावित मून (Muon) ऑप्टिमाइज़र, मैट्रिक्स संरचनाओं (जैसे स्पेक्ट्रल-नॉर्म अपडेट के माध्यम से) का स्पष्ट रूप से उपयोग करके मानक AdamW की तुलना में बेहतर प्रदर्शन प्रदर्शित करती हैं, लेकिन वे वर्तमान में सिंक्रोनस (तुल्यकालिक) ट्रेनिंग पाइपलाइनों तक ही सीमित हैं।

सिंक्रोनस सेटिंग्स में, सिस्टम को आगे बढ़ने से पहले ग्रेडिएंट गणना को पूरा करने के लिए सबसे धीमे वर्कर (worker) की प्रतीक्षा करनी पड़ती है, जो हेटेरोजेनियस वातावरण में एक बाधा (bottleneck) पैदा करता है जहाँ वर्कर की गति काफी भिन्न होती है। मौजूदा एसिंक्रोनस विधियाँ (जैसे Ringmaster ASGD) एक निश्चित विलंब थ्रेशोल्ड (delay threshold) से अधिक होने वाले "स्टेल" (stale) ग्रेडिएंट्स को त्यागकर यूक्लिडियन सेटिंग्स में इष्टतम समय जटिलता (optimal time complexity) प्राप्त करती हैं। हालाँकि, इन विलंब-थ्रेशोल्डिंग तंत्रों को सामान्य LMO-आधारित अपडेट्स के लिए विस्तारित नहीं किया गया है, और न ही आधुनिक डीप लर्निंग में सामान्य स्मूथनेस धारणाओं के तहत इनका विश्लेषण किया गया है।

केंद्रीय प्रश्न यह है: क्या एसिंक्रोनस LMO-आधारित विधियाँ हेटेरोजेनियस वर्कर कंप्यूटेशन समय के तहत ज्ञात यूक्लिडियन सेटिंग्स के लिए इष्टतम समय जटिलता को पुनः प्राप्त कर सकती हैं?

कार्यप्रणाली: रिंगमास्टर LMO

लेखक रिंगमास्टर LMO का प्रस्ताव करते हैं, जो अनकन्स्ट्रेंड स्टोकेस्टिक नॉन-कॉन्वेक्स ऑप्टिमाइज़ेशन के लिए एक एसिंक्रोनस मोमेंटम मेथड है। यह विधि तीन मुख्य घटकों को एकीकृत करती है:

LMO-आधारित मोमेंटम: अपडेट दिशा एक चुने हुए नॉर्म के यूनिट बॉल पर लीनियर मिनिमाइजेशन ऑरेकल (LLMO) द्वारा निर्धारित की जाती है। एक मोमेंटम वेक्टर $m_{k+1}$ के लिए, अपडेट $x_{k+1} = x_k + \eta_k \text{lmo}(m_{k+1})$ है। यह ढांचा विभिन्न ऑप्टिमाइज़र्स को सामान्य बनाता है; उदाहरण के लिए, स्पेक्ट्रल नॉर्म चुनना 'मून' (Muon) को पुनः प्राप्त करता है, जबकि मैक्स-नॉर्म 'साइनSGD' (SignSGD) को पुनः प्राप्त करता है।
डिले-थ्रेशोल्डिंग (विलंब-थ्रेशोल्डिंग): एसिंक्रोनस सेटिंग्स में होने वाले क्षरण को कम करने के लिए, सर्वर एक ग्रेडिएंट $g_k$ (जो $x_{k-\delta_k}$ पर कंप्यूट किया गया है) को तभी स्वीकार करता है जब उसका विलंब $\delta_k$ एक थ्रेशोल्ड $R_k$ से कम हो। इस थ्रेशोल्ड से अधिक विलंब वाले ग्रेडिएंट्स को त्याग दिया जाता है।
सामान्यीकृत स्मूथनेस विश्लेषण: सैद्धांतिक विश्लेषण $(L_0, L_1)$ -स्मूथनेस के तहत संचालित होता है, जहाँ स्थानीय स्मूथनेस कांस्टेंट ग्रेडिएंट नॉर्म के साथ बढ़ सकता है। यह मानक $L_0$ -स्मूथनेस की तुलना में एक अधिक सामान्य धारणा है और आधुनिक मशीन लर्निंग में लॉस के व्यवहार को बेहतर ढंग से कैप्चर करती है।

एल्गोरिदम एक केंद्रीय सर्वर बनाए रखता है जो इटरेट (iterate) और मोमेंटम का प्रबंधन करता है, जबकि $n$ वर्कर समानांतर में स्टोकेस्टिक ग्रेडिएंट्स की गणना करते हैं। सर्वर मोमेंटम को अपडेट करता है और केवल तभी LMO स्टेप लागू करता है जब उसे एक "फ्रेश" ग्रेडिएंट (विलंब $< R_k$ ) प्राप्त होता है।

मुख्य योगदान

1. समय जटिलता गारंटी के साथ प्रथम एसिंक्रोनस LMO-आधारित विधि

यह शोध पत्र पहला एसिंक्रोनस LMO-आधारित तरीका पेश करता है जो हेटेरोजेनियस वर्कर कंप्यूटेशन समय के तहत कठोर समय जटिलता गारंटी प्रदान करता है। यह Euclidean SGD अपडेट्स से Ringmaster ASGD के विलंब-नियंत्रण सिद्धांत को सामान्य LMO-आधारित अपडेट्स तक विस्तारित करता है।

2. सामान्यीकृत स्मूथनेस के तहत अभिसरण (Convergence)

लेखक $(L_0, L_1)$ -स्मूथनेस के तहत Ringmaster LMO के लिए अभिसरण दरें स्थापित करते हैं।

फिक्स्ड-पैरामीटर रिजीम: वे इटरेशन कॉम्प्लेक्सिटी बाउंड्स निकालते हैं जो विलंबित ग्रेडिएंट्स को समायोजित करते हुए मानक स्टोकेस्टिक LMO-प्रकार की निर्भरता को पुनः प्राप्त करते हैं। क्लासिकल यूक्लिडियन स्मूथ सेटिंग ( $L_1=0$ ) में, बाउंड्स फर्स्ट-ऑर्डर स्टोकेस्टिक नॉन-कॉन्वेक्स ऑप्टिमाइज़ेशन के लिए इष्टतम लोअर बाउंड्स से मेल खाते हैं।
पैरामीटर-एग्नोस्टिक रिजीम: घटते स्टेपसाइज़ और एडेप्टिव डिले थ्रेशोल्ड ( $R_k = 1/\alpha_k$ ) के साथ एक वेरिएंट विकसित किया गया है। यह वेरिएंट समस्या के स्थिरांकों (जैसे $L_0, L_1, \sigma$ ) के आधार पर हाइपरपैरामीटर्स को ट्यून करने की आवश्यकता को समाप्त करता है, जो कि Ringmaster ASGD विश्लेषणों में पहले अनुपस्थित था।

3. समय जटिलता विश्लेषण

यह शोध पत्र दो मॉडलों के तहत इटरेशन कॉम्प्लेक्सिटी को समय जटिलता (time complexity) में अनुवादित करता है:

फिक्स्ड कंप्यूटेशन मॉडल: प्रत्येक वर्कर के लिए स्थिर कंप्यूटेशन समय को मानते हुए, समय जटिलता बाउंड्स यूक्लिडियन सेटिंग में Ringmaster ASGD की इष्टतम स्केलिंग को पुनः प्राप्त करते हैं। बाउंड्स स्पष्ट रूप से सबसे तेज़ $m$ वर्कर के हार्मोनिक मीन (harmonic mean) पर निर्भर करते हैं, जो यह दर्शाता है कि यह विधि सिस्टम हेटेरोजेनिटी के प्रति प्रभावी ढंग से अनुकूलित होती है।
यूनिवर्सल टाइम-वेरिंग मॉडल: विश्लेषण को उन परिदृश्यों के लिए विस्तारित किया गया है जहाँ वर्कर की गति समय के साथ बदलती है, जो उतार-चढ़ाव वाले लोड के तहत भी रिकर्सिव टाइम बाउंड्स प्रदान करता है।

4. प्रयोगात्मक सत्यापन

प्रयोग निम्नलिखित पर किए गए:

स्टोकेस्टिक क्वाड्रेटिक प्रॉब्लम्स: नेस्टरोव ट्रिडियागोनल क्वाड्रेटिक ऑब्जेक्टिव का उपयोग करके।
नैनोचैट लैंग्वेज मॉडल प्रीट्रेनिंग: एक 6-लेयर, 192-हिडन ट्रांसफार्मर मॉडल।

परिणाम Ringmaster LMO (विशेष रूप से Ringmaster Muon) की सिंक्रोनस और एसिंक्रोनस बेसलाइन्स (Rennala Muon, Delay-adaptive Muon) के विरुद्ध तुलना करते हैं। प्रयोगों से पता चलता है कि जबकि यह विधि लगभग होमोजेनियस सेटिंग्स में प्रतिस्पर्धी है, इसका लाभ तब काफी बढ़ जाता है जब वर्कर-स्पीड हेटेरोजेनिटी बढ़ती है। अत्यधिक हेटेरोजेनियस रिजीम (जहाँ लीनियर डिले प्रोफाइल है) में, Ringmaster LMO सबसे कम ट्रेनिंग लॉस और सबसे तेज़ अभिसरण प्राप्त करता है।

परिणाम और महत्व

सैद्धांतिक परिणाम:

पैरामीटर-एग्नोस्टिक सेटिंग में यह विधि $\tilde{O}(\Psi^4 / \epsilon^4)$ की इटरेशन कॉम्प्लेक्सिटी प्राप्त करती है, जहाँ $\Psi$ समस्या के स्थिरांकों और शोर (noise) को समाहित करता है।
फिक्स्ड-पैरामीटर सेटिंग में, $\epsilon$ -स्टेशनरी पॉइंट तक पहुँचने की समय जटिलता $O(\min_m H_m \cdot (\dots))$ है, जहाँ $H_m$ पहले $m$ वर्कर के समय का हार्मोनिक मीन है। यह पुष्टि करता है कि यह विधि अत्यधिक पुराने (stale) अपडेट्स को त्यागकर "स्ट्रैगलर" (straggler) समस्या से बचती है, जिससे यूक्लिडियन एसिंक्रोनस SGD के लिए ज्ञात इष्टतम समय जटिलता पुनः प्राप्त होती है।

अनुभवजन्य (Empirical) परिणाम:

हेटेरोजेनिटी संवेदनशीलता: डिले हेटेरोजेनिटी बढ़ने पर Ringmaster LMO और बेसलाइन्स के बीच प्रदर्शन का अंतर बढ़ जाता है। "लीनियर डिले" रिजीम (जहाँ कुछ वर्कर काफी धीमे हैं) में, Ringmaster Muon सभी बेसलाइन्स से बेहतर प्रदर्शन करता है।
मजबूती (Robustness): पैरामीटर-एग्नोस्टिक वेरिएंट बिना किसी मैन्युअल ट्यूनिंग के प्रतिस्पर्धी प्रदर्शन करता है।

महत्व:
यह शोध पत्र मैट्रिक्स-स्ट्रक्चर्ड ऑप्टिमाइज़र्स (जैसे Muon) की अनुभवजन्य सफलता और एसिंक्रोनस डिस्ट्रिब्यूटेड ट्रेनिंग की सैद्धांतिक दक्षता के बीच के अंतर को पाटने का दावा करता है। यह सिद्ध करके कि डिले-थ्रेशोल्डिंग को गैर-यूक्लिडियन, LMO-आधारित अपडेट्स पर सफलतापूर्वक लागू किया जा सकता है, यह कार्य अभिसरण गारंटी से समझौता किए बिना बड़े पैमाने के हेटेरोजेनियस डिस्ट्रिब्यूटेड वातावरण में इन उन्नत ऑप्टिमाइज़र्स के उपयोग को सक्षम बनाता है। लेखक नोट करते हैं कि हालांकि उनका विश्लेषण होमोजेनियस डेटा वितरण मानता है, सिस्टम हेटेरोजेनिटी को संभालने की उनकी क्षमता बड़े पैमाने पर प्रशिक्षण के लिए एक महत्वपूर्ण कदम है।

स्वीकृत सीमाएँ:
लेखक विनम्रतापूर्वक नोट करते हैं कि मनमाने नॉर्म्स में सामान्य LMO-आधारित विधियों की एसिंक्रोनस समय जटिलता के लिए लोअर बाउंड्स अभी भी एक खुला प्रश्न है, क्योंकि सिंक्रोनस मामले के लिए भी मैचिंग लोअर बाउंड्स ज्ञात नहीं हैं। इसके अतिरिक्त, वर्तमान सिद्धांत होमोजेनियस डेटा वितरण मानता है, जिससे डेटा-हेटेरोजेनियस सेटिंग्स एक स्वाभाविक अगला कदम बन जाती है।