🤖 machine learning

Outer-Momentum Restarting in High-Dimensional Two-Phase Optimization

यह शोध पत्र संचार-कुशल वितरित अनुकूलन (communication-efficient distributed optimization) में बाहरी मोमेंटम के आवधिक पुनरारंभ (periodic restarting) का प्रस्ताव और विश्लेषण करता है, जो यह प्रदर्शित करता है कि यह तंत्र चरण रद्दीकरण (phase cancellation) का लाभ उठाने के लिए पुराने मोमेंटम को त्याग देता है, जिससे हाइपरपैरामीटर की स्थिर सीमा विस्तृत होती है और उच्च-आयामी परिवेशों में अभिसरण (convergence) में सुधार होता है।

मूल लेखक: Kristi Topollai, Allan Ma, Tolga Dimlioglu, Sui Jiet Tay, Anna Choromanska

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kristi Topollai, Allan Ma, Tolga Dimlioglu, Sui Jiet Tay, Anna Choromanska

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप छात्रों के एक विशाल समूह (एक कंप्यूटर मॉडल) को कहानी लिखना सिखाने की कोशिश कर रहे हैं। क्योंकि कक्षा बहुत बड़ी है, शिक्षक हर सेकंड हर छात्र से व्यक्तिगत रूप से बात नहीं कर सकता। इसके बजाय, शिक्षक एक दो-चरणीय प्रणाली (two-phase system) का उपयोग करता है:

आंतरिक चरण (स्थानीय कार्य): छात्र कुछ समय के लिए छोटे समूहों में काम करते हैं, बिना शिक्षक से पूछे अपनी समस्याओं को स्वयं हल करते हैं।
बाहरी चरण (चेक-इन): हर कुछ मिनटों में, समूह रुक जाते हैं, उन्होंने जो सीखा उसका सारांश देते हैं, और शिक्षक को एक रिपोर्ट भेजते हैं। फिर शिक्षक उन रिपोर्टों के आधार पर "मास्टर प्लान" को अपडेट करता है।

यह तरीका बहुत सारा समय (संचार) बचाता है, लेकिन इसमें एक पेचीदा समस्या है: "मोमेंटम" का जाल (The "Momentum" Trap)।

समस्या: अति-उत्साही कोच

"बाहरी चरण" में, शिक्षक एक उपकरण का उपयोग करता है जिसे मोमेंटम (Momentum) कहा जाता है। मोमेंटम को एक ऐसे कोच की तरह समझें जो याद रखता है कि पिछले सप्ताह छात्र किस दिशा में दौड़ रहे थे। यदि छात्र एक लक्ष्य की ओर तेज़ी से दौड़ रहे थे, तो कोच कहता है, "इसी दिशा में आगे बढ़ते रहो!"

हालाँकि, इस दो-चरणीय प्रणाली में, कोच की याददाश्त पुरानी (stale) हो सकती है।

छात्र अपने स्थानीय कार्य (आंतरिक चरण) के दौरान पहले ही किसी समस्या को हल कर चुके हो सकते हैं।
लेकिन कोच, पुरानी रिपोर्ट को देखते हुए, अभी भी सोचता है, "हे, हमें इस दिशा में और ज़ोर लगाने की ज़रूरत है!"
इससे छात्र लक्ष्य से आगे निकल जाते हैं, डगमगा जाते हैं, या गोल-गोल घूमने लगते हैं। कोच उन्हें तब धक्का दे रहा होता है जब वे पहले ही पहुँच चुके होते हैं।

समाधान: "रीसेट बटन" (The "Reset Button")

एक शोध पत्र एक सरल समाधान प्रस्तावित करता है: समय-समय पर पुनरारंभ करना (Periodic Restarting)।

कल्पना कीजिए कि कोच का एक नियम है: "हर 3 चेक-इन के बाद, मैं अपनी याददाश्त को पूरी तरह साफ़ कर दूँगा।"

पुरानी याददाश्त पर भरोसा करने के बजाय कि छात्र पिछले सप्ताह किस दिशा में दौड़ रहे थे, कोच कहता है, "ठीक है, अतीत को भूल जाओ। देखो कि हम अभी कहाँ हैं और नए सिरे से शुरुआत करो।"
यह कोच को उस दिशा में धक्का देने के लूप में फंसने से रोकता है जिसे वे पहले ही पूरा कर चुके हैं।

यह कैसे काम करता है (झूले का उदाहरण)

छात्रों की प्रगति को एक झूले पर झूलते बच्चे की तरह समझें।

रीसेट करने के बिना: कोच पिछले समय के आधार पर झूले को धक्का देता रहता है। यदि बच्चा पहले से ही शिखर पर है, तो कोच का धक्का गलत समय पर हो सकता है, जिससे झूला हिंसक रूप से डगमगा सकता है या रुक सकता है।
रीसेट करने के साथ: हर कुछ झूलों के बाद, कोच याददाश्त के आधार पर धक्का देना बंद कर देता है और बस झूले की वर्तमान स्थिति को देखता है। यदि झूला धीमा हो रहा है या दिशा बदल रहा है, तो कोच वर्तमान गति के अनुरूप अपने धक्के को रीसेट कर देता है। यह डगमगाहट को रोकता है और झूले को सुचारू रूप से चलते रहने में मदद करता है।

शोध पत्र ने क्या पाया

शोधकर्ताओं ने इस विचार का परीक्षण एक बड़े लैंग्वेज मॉडल (एक कंप्यूटर जो इंसान की तरह लिखना सीखता है) पर किया। उन्होंने पाया कि:

यह प्रशिक्षण को अधिक लचीला बनाता है: आमतौर पर, यदि आप गलत "धक्का देने की गति" (लर्निंग रेट) या "याददाश्त की शक्ति" (मोमेंटम) चुनते हैं, तो प्रशिक्षण विफल हो जाता है या क्रैश हो जाता है। "रीसेट बटन" के साथ, प्रशिक्षण अच्छी तरह से काम करता है, भले ही आप अपनी सेटिंग्स के साथ पूरी तरह से सटीक न हों। यह एक ऐसी कार होने जैसा है जिसका सस्पेंशन बेहतर है और जो टकराए बिना झटकों को झेल लेती है।
यह विभिन्न प्रकार के कोचों के लिए काम करता है: उन्होंने दो प्रकार के "कोच" (गणितीय विधियाँ जिन्हें Heavy-Ball और Nesterov कहा जाता है) का परीक्षण किया। दोनों ही बेहतर काम करते थे जब वे समय-समय पर रीसेट बटन दबाते थे।
यह ट्यूनिंग में समय बचाता है: क्योंकि यह विधि अधिक स्थिर है, शोधकर्ताओं को सही संयोजन खोजने के लिए हफ्तों तक सेटिंग्स को बदलने में समय बर्बाद नहीं करना पड़ता। वे बस एक मानक सेटिंग चुन सकते हैं और हर कुछ राउंड के बाद "रीसेट" कर सकते हैं।

मुख्य निष्कर्ष

हाई-स्पीड, डिस्ट्रीब्यूटेड AI ट्रेनिंग में, सिस्टम की "याददाश्त" कभी-कभी बाधा बन सकती है। समय-समय पर रीसेट बटन दबाकर पुरानी, पुरानी पड़ चुकी याददाश्त को साफ़ करके, सिस्टम अधिक स्थिर, कम क्रैश होने वाला और प्रबंधित करने में आसान हो जाता है। यह एक सरल ट्रिक है जो AI को तेज़ी से और अधिक विश्वसनीय रूप से सीखने में मदद करती है।

तकनीकी सारांश: उच्च-आयामी द्वि-चरणीय अनुकूलन में आउटर-मोमेंटम रीस्टार्टिंग (Outer-Momentum Restarting)

समस्या विवरण
आधुनिक बड़े पैमाने के लैंग्वेज मॉडल (LM) का प्रशिक्षण, वितरित सेटिंग्स (distributed settings) में संचार लागत (communication costs) के कारण बाधित हो रहा है। इसे कम करने के लिए, DiLoCo जैसे द्वि-चरणीय अनुकूलन (two-phase optimization) विधियों ने लोकप्रियता हासिल की है, जहाँ कार्यकर्ता (workers) एक बाहरी ऑप्टिमाइज़र (बाहरी चरण) के माध्यम से प्रगति को एकत्रित करने से पहले कई स्थानीय अपडेट (आंतरिक चरण) करते हैं। हालांकि यह प्रभावी है, लेकिन ये विधियाँ हाइपरपैरामीटर संवेदनशीलता (hyperparameter sensitivity) की एक नई परत पेश करती हैं। हालिया सैद्धांतिक कार्य सुझाव देते हैं कि बाहरी ऑप्टिमाइज़र आंतरिक लूप द्वारा प्रेरित एक "प्रभावी स्पेक्ट्रम" (effective spectrum) पर कार्य करता है। विशेष रूप से, हेवी-बॉल (HB) आउटर मोमेंटम उन दिशाओं को सीमित कर सकता है जहाँ आंतरिक लूप ने पहले ही महत्वपूर्ण प्रगति कर ली है, जिससे धीमी अभिसरण (convergence) या अस्थिरता हो सकती है, विशेष रूप से जब संचार अवधि लंबी हो या आउटर मोमेंटम मान उच्च हों। मुख्य समस्या द्वि-चरणीय ऑप्टिमाइज़र्स की आउटर मोमेंटम और लर्निंग रेट के चयन के प्रति नाजुकता है, जो प्रीट्रेनिंग परिदृश्यों में ट्यूनिंग को जटिल बनाता है।

कार्यप्रणाली (Methodology)
लेखक "आउटर मोमेंटम बफर के आवधिक पुनरारंभ" (periodic restarting of the outer momentum buffer) को "आउटर मेमोरी" को नियंत्रित करने के लिए एक पूरक तंत्र के रूप में प्रस्तावित करते हैं। यह कार्यप्रणाली सैद्धांतिक विश्लेषण और अनुभवजन्य सत्यापन (empirical validation) को जोड़ती है:

सैद्धांतिक ढांचा:
- लेखक एम्पिरिकल न्यूरल टेंगेंट कर्नेल (NTK) के तहत रैखिकीकृत स्क्वेयर्ड-लॉस सन्निकटन (linearized squared-loss approximation) पर आधारित एक नियत (deterministic), मोड-वाइज मॉडल को अपनाते हैं।
- वे संचार राउंड्स के माध्यम से रेसिडुअल आइगेनकोऑर्डिनेट्स (residual eigencoordinates) की गतिशीलता का विश्लेषण करते हैं। आंतरिक लूप एक छद्म-ग्रेडिएंट (pseudo-gradient) $g_t = \sigma x_t$ उत्पन्न करता है, जहाँ $\sigma$ प्रभावी प्रगति का प्रतिनिधित्व करता है।
- हेवी-बॉल (HB) मोमेंटम के लिए, ट्रांजिशन मैट्रिक्स $T_{HB}$ का डिटरमिनेंट $\beta_{out}$ है, जिससे एक डैम्पिंग दर प्राप्त होती है जो प्रगति $\sigma$ से स्वतंत्र है। इसका तात्पर्य है कि उच्च-प्रगति वाले मोड भी उसी धीमी लिफाफे (envelope) के अधीन होते हैं।
- लेखक एक मोड-वाइज रीस्टार्ट कॉन्ट्रैक्शन व्युत्पन्न करते हैं। प्रत्येक $K$ राउंड में मोमेंटम बफर को रीसेट ( $m \leftarrow 0$ ) करके, सिस्टम फेज कैंसिलेशन (phase cancellation) का लाभ उठाता है। कॉम्प्लेक्स रिजीम (जो उच्च मोमेंटम के लिए विशिष्ट है) में, रेसिडुअल कोऑर्डिनेट एक लिफाफे के भीतर दोलन करता है। एक अच्छी तरह से चुना गया रीस्टार्ट पीरियड $K$ , रीसेट को उस फेज के साथ संरेखित कर सकता है जहाँ प्रोजेक्टेड रेसिडुअल न्यूनतम होता है, जिससे स्टेल (stale) मोमेंटम को हटाते हुए आंतरिक-लूप प्रगति को संरक्षित किया जा सके।
- वे एक कॉन्ट्रैक्शन फैक्टर $\chi_K(\sigma)$ के लिए रिकरेंस रिलेशन व्युत्पन्न करते हैं और दिखाते हैं कि रीस्टार्टिंग, गैर-रीस्टार्टेड HB की तुलना में तब बेहतर होती है जब फेज-डिपेंडेंट प्रोजेक्शन टर्म का परिमाण एक से कम होता है।
प्रायोगिक सेटअप:
- विधि का मूल्यांकन H200 GPUs पर 2-रेप्लिका DiLoCo कॉन्फ़िगरेशन का उपयोग करके 150M-पैरामीटर वाला LLaMA मॉडल प्रीट्रेन करने पर किया गया है।
- प्रयोग विभिन्न संचार अवधियों ( $S$ ) और हाइपरपैरामीटर ग्रिड के माध्यम से हेवी-बॉल (HB) और नेस्टरोव (NAG) दोनों बाहरी ऑप्टिमाइज़र्स को कवर करते हैं।
- अध्ययन मानक DiLoCo बनाम रीस्टार्ट के साथ DiLoCo का मूल्यांकन करता है, जिसमें ग्लोबल, प्रति-मोड और ब्लॉकवाइज़ रीस्टार्ट रणनीतियों का परीक्षण किया गया है।

मुख्य योगदान

तंत्र की पहचान: पेपर पहचान करता है कि द्वि-चरणीय अनुकूलन में आवधिक रीस्टार्टिंग, नेस्टरोव मोमेंटम द्वारा स्पेक्ट्रल एनवेलप को संशोधित करने के तरीके से भिन्न, आउटर मोमेंटम डायनेमिक्स में फेज कैंसिलेशन का लाभ उठाकर कार्य करती है।
सैद्धांतिक व्युत्पत्ति: एक क्लोज्ड-फॉर्म विश्लेषण प्रदान किया गया है, जो दर्शाता है कि रीस्टार्ट्स आउटडेटेड मोमेंटम अवस्थाओं को हटाकर प्रभावी डैम्पिंग दर को कम कर सकते हैं जो दोलन या मिसअलाइनमेंट का कारण बनती हैं।
मजबूती में वृद्धि: प्राथमिक योगदान आउटर हाइपरपैरामीटर्स (लर्निंग रेट $\nu$ और मोमेंटम $\beta_{out}$ ) के स्थिर क्षेत्र को व्यापक बनाने का प्रदर्शन करना है।
व्यावहारिक बेसलाइन: लेखक आवधिक रीस्टार्टिंग को एक सरल, मजबूत बेसलाइन के रूप में स्थापित करते हैं जो नाजुक हाइपरपैरामीटर ट्यूनिंग की आवश्यकता को कम करती है, जो बड़े पैमाने के प्रीट्रेनिंग के लिए एक महत्वपूर्ण गुण है।

परिणाम

स्थिरता और मजबूती: 150M-पैरामीटर वाले LLaMA मॉडल पर अनुभवजन्य परिणाम दिखाते हैं कि बिना रीस्टार्ट के, उच्च आउटर मोमेंटम मान ( $\beta_{out}$ ) और लंबी संचार अवधियों के संयोजन से प्रदर्शन में तीव्र गिरावट या विचलन होता है। आवधिक रीस्टार्ट इन विफलता क्षेत्रों को काफी हद तक समाप्त कर देते हैं, जिससे $\beta_{out}$ और $\nu$ की एक विस्तृत श्रृंखला में स्थिर प्रशिक्षण संभव होता है।
हाइपरपैरामीटर संवेदनशीलता: अध्ययन प्रदर्शित करता है कि रीस्टार्ट पीरियड $K$ , आउटर मोमेंटम गुणांक की तुलना में अधिक "सहिष्णु" (forgiving) हाइपरपैरामीटर है। जबकि गैर-रीस्टार्टेड रन को संचार अवधि $S$ बदलने पर $\beta_{out}$ को फिर से ट्यून करने की आवश्यकता होती है, रीस्टार्टेड रन एक निश्चित $K$ के साथ विभिन्न $S$ मानों में स्थिर प्रदर्शन बनाए रखते हैं।
प्रदर्शन: पीक प्रदर्शन के मामले में, आवधिक रीस्टार्ट सर्वश्रेष्ठ प्राप्त करने योग्य वैलिडेशन पर्प्लेक्सिटी को सुरक्षित रखते हैं, जबकि हाइपरपैरामीटर ग्रिड में प्रदर्शन की भिन्नता को काफी कम कर देते हैं।
सॉफ्ट बनाम हार्ड रीस्टार्ट: "सॉफ्ट रीस्टार्ट" (आंशिक रूप से मोमेंटम को संरक्षित करना) के साथ प्रयोगों ने हार्ड रीसेट की तुलना में मामूली सुधार दिखाया, लेकिन उन्होंने अतिरिक्त हाइपरपैरामीटर्स ( $\alpha, \beta$ ) पेश किए जो प्रशिक्षण कॉन्फ़िगरेशन के प्रति संवेदनशील थे, जिससे लेखकों ने सरल हार्ड रीस्टार्ट दृष्टिकोण को प्राथमिकता दी।

महत्व और दावे
पेपर का दावा है कि आवधिक आउटर-मोमेंटम रीस्टार्टिंग उच्च-आयामी द्वि-चरणीय अनुकूलन को स्थिर करने के लिए एक सरल लेकिन प्रभावी तंत्र है। इसका महत्व प्रीट्रेनिंग में ऑप्टिमाइज़र ट्यूनिंग की "नाजुक" प्रकृति को संबोधित करने में निहित है, जहाँ द्वि-चरणीय विधियाँ जटिलता की एक अतिरिक्त परत जोड़ती हैं। अनहेल्पफुल आउटर मेमोरी को सीमित करके, यह विधि आउटर ऑप्टिमाइज़र को मोमेंटम और लर्निंग रेट के चुनाव के प्रति कम संवेदनशील बनाती है।

लेखक अपने कार्य को एक सार्वभौमिक समाधान के बजाय एक मजबूत बेसलाइन प्रदान करने के रूप में विनम्रतापूर्वक प्रस्तुत करते हैं। वे नोट करते हैं कि जबकि उनका विश्लेषण फिक्स्ड-पीरियड रीसेट्स पर केंद्रित है, अनुभवजन्य परिणाम बताते हैं कि विधि चुने गए पीरियड के प्रति काफी असंवेदनशील है। वे एक व्यापक प्रश्न के साथ समाप्त करते हैं: क्या बाहरी लूप यह तय करने के लिए अनुकूलित (adaptive) हो सकता है कि अपनी मेमोरी को कब रिफ्रेश किया जाए, जो एडेप्टिव रीस्टार्ट रूल्स, प्रति-लेयर पीरियड्स और बड़े पैमाने के अध्ययनों की ओर संभावित दिशाओं का सुझाव देता है।

समस्या: अति-उत्साही कोच

समाधान: "रीसेट बटन" (The "Reset Button")

यह कैसे काम करता है (झूले का उदाहरण)

शोध पत्र ने क्या पाया

मुख्य निष्कर्ष

इसी तरह के और पेपर