🤖 AI

LoRDO: Distributed Low-Rank Optimization with Infrequent Communication

यह शोध पत्र LoRDO का प्रस्ताव करता है, जो एक वितरित प्रशिक्षण ढांचा (डिस्ट्रीब्यूटेड ट्रेनिंग फ्रेमवर्क) है जो सबस्पेस एक्सप्लोरेशन को बहाल करने के लिए एक फुल-रैंक क्वासी-हाइपरबोलिक अपडेट पेश करके लो-रैंक ऑप्टिमाइज़ेशन को विरल संचार (इन्फ्रीक्वेंट कम्युनिकेशन) के साथ एकीकृत करता है, जिससे मानक DDP प्रदर्शन के साथ लगभग समानता प्राप्त करते हुए संचार ओवरहेड को लगभग 10 गुना कम किया जा सकता है।

मूल लेखक: Andrej Jovanović, Alex Iacob, Mher Safaryan, Ionut-Vlad Modoranu, Lorenzo Sani, William F. Shen, Xinchi Qiu, Dan Alistarh, Nicholas D. Lane

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Andrej Jovanović, Alex Iacob, Mher Safaryan, Ionut-Vlad Modoranu, Lorenzo Sani, William F. Shen, Xinchi Qiu, Dan Alistarh, Nicholas D. Lane

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल टीम को कहानी लिखना सिखाने की कोशिश कर रहे हैं (एक कंप्यूटर मॉडल)। इसे करने के लिए, आपके पास किताबों का एक विशाल पुस्तकालय है (डेटा) और शिक्षकों से भरा एक क्लासरूम है (कंप्यूटर/वर्कर्स)।

इसे करने के मानक तरीके (DDP) में, प्रत्येक शिक्षक कुछ पन्ने पढ़ता है, अपने नोट्स लिखता है, और फिर तुरंत सभी के साथ साझा करने के लिए कमरे के सामने भागकर जाता है। वे सभी नोट्स को मिलाते हैं, पाठ योजना (lesson plan) को अपडेट करते हैं, और फिर से शुरू करते हैं।

समस्या:
जैसे-जैसे कहानी अधिक जटिल होती जाती है (मॉडल बड़ा होता है), शिक्षकों को साझा करने वाले "नोट्स" बहुत विशाल होते जाते हैं। क्लासरूम को जोड़ने वाला गलियारा (नेटवर्क बैंडविड्थ) जाम हो जाता है। शिक्षक नोट्स साझा करने के लिए वास्तव में सीखने के बजाय, उन्हें इधर-उधर ले जाने में अधिक समय बिता देते हैं।

इसे ठीक करने के लिए, कुछ शोधकर्ताओं ने एक नया तरीका आजमाया: लो-रैंक ऑप्टिमाइज़ेशन (Low-Rank Optimization)। इसके बजाय कि शिक्षक अपने नोट्स का हर एक विवरण लिखें, वे उन्हें एक छोटे, कम-रिज़ॉल्यूशन वाले स्केच (रेखाचित्र) में सारांशित कर देते हैं। इससे नोट्स ले जाने के लिए बहुत छोटे हो जाते हैं। हालाँकि, इसमें एक पेच है:

लोकल स्केचेस (Local Sketches): यदि प्रत्येक शिक्षक केवल अपने किताबों के छोटे ढेर के आधार पर अपना स्वयं का स्केच बनाता है, तो स्केच शोर (noisy) से भरे और असंगत होते हैं।
ग्लोबल स्केचेस (Global Sketches): यदि वे एक "परफेक्ट" स्केच बनाने के लिए सबके किताबों के अंत तक प्रतीक्षा करते हैं, तो स्केच बहुत कठोर हो जाता है। शिक्षक बार-बार उन्हीं कुछ विचारों को देखते रहने के कारण फंस जाते हैं, जिससे वे नए रचनात्मक दिशाओं को खोजने में असमर्थ हो जाते हैं। सीखने की प्रक्रिया "ठहर" (stagnate) जाती है।

समाधान: LoRDO
लेखकों ने LoRDO (डिस्ट्रीब्यूटेड लो-रैंक ऑप्टिमाइज़ेशन) का प्रस्ताव दिया है। इस क्लासरूम के लिए एक चतुर नए नियम के रूप में जो दोनों दुनियाओं का सर्वश्रेष्ठ संयोजन करता है।

LoRDO कैसे काम करता है, इस रचनात्मक उपमा (analogy) का उपयोग करके देखें:

1. "ग्रुप स्केच" (ग्लोबल प्रोजेक्शन)

प्रत्येक शिक्षक को अपना स्वयं का बिखरा हुआ स्केच बनाने देने के बजाय, शिक्षक एक ब्लॉक की पढ़ाई पूरी करने के बाद प्रतीक्षा करते हैं। फिर वे अपने नोट्स को एक साथ मिलाते हैं ताकि एक एकल, उच्च-गुणवत्ता वाला "ग्रुप स्केच" बनाया जा सके।

यह क्यों मदद करता है: क्योंकि यह स्केच पूरी क्लास के संयुक्त ज्ञान पर आधारित है, इसलिए यह किसी भी व्यक्तिगत शिक्षक के स्केच की तुलना में बहुत अधिक स्पष्ट और कम शोर वाला है। यह सभी को एक ठोस आधार प्रदान करता है।

2. "क्रिएटिव स्पार्क" (फुल-रैंक क्वाज़ी-हाइपरबोलिक मोमेंटम)

यही इस पेपर का बड़ा नवाचार है। यदि शिक्षक केवल "ग्रुप स्केच" का उपयोग करते, तो वे सभी एक ही संकीर्ण मार्ग में सोचने के लिए मजबूर हो जाते। वे नए विचारों को खोजना बंद कर देते और कहानी उबाऊ हो जाती (ठहर जाती)।

इसे ठीक करने के लिए, LoRDO अपडेट प्रक्रिया में एक "क्रिएटिव स्पार्क" जोड़ता है।

कल्पना करें कि जबकि शिक्षक "ग्रुप स्केच" का पालन कर रहे हैं, उन्हें अपने मिश्रण में थोड़ा सा अपना फुल-रिज़ॉल्यूशन, जंगली कल्पना (wild imagination) वापस जोड़ने की अनुमति भी है।
यह "स्पार्क" एक गणितीय ट्रिक है (जिसे फुल-रैंक क्वाज़ी-हाइपरबोलिक मोमेंटम टर्म कहा जाता है) जो लो-डिटेल स्केच में थोड़ी सी फुल-डिटेल जानकारी इंजेक्ट करता है।
परिणाम: शिक्षक एक ही पृष्ठ पर रहते हैं (कुशल लो-रैंक स्केच का उपयोग करके) लेकिन वे विचारों के पूरे पुस्तकालय का पता लगाने के लिए स्वतंत्र होते हैं, न कि केवल उस संकीर्ण पथ के जो स्केच सुझाता है।

3. "अनफ्रीक्वेंट चेक-इन्स" (कम बार होने वाली जाँच)

LoRDO शिक्षकों को लंबे समय तक काम करने की भी अनुमति देता है (कई स्टेप्स तक) इससे पहले कि उन्हें कमरे के सामने जाकर सिंक अप करना पड़े।

क्योंकि वे कुशल "ग्रुप स्केच" और "क्रिएटिव स्पार्क" का उपयोग कर रहे हैं, वे बिना रास्ता भटके बहुत लंबे समय तक स्वतंत्र रूप से काम कर सकते हैं।
यह पुराने तरीकों की तुलना में ट्रैफिक को लगभग 10 गुना कम कर देता है।

उन्होंने क्या पाया?

शोधकर्ताओं ने भाषा मॉडलों पर इसका परीक्षण किया जो छोटे (125 मिलियन पैरामीटर्स) से लेकर मध्यम-बड़े (720 मिलियन पैरामीटर्स) तक थे।

प्रदर्शन (Performance): LoRDO ने मानक, धीमी, उच्च-बैंडविड्थ विधि के लगभग समान प्रदर्शन किया। कहानी की गुणवत्ता (परप्लेक्सिटी द्वारा मापी गई) लगभग समान थी।
दक्षता (Efficiency): इसने 8 से 12 गुना कम मेमोरी का उपयोग किया और संचार ट्रैफिक को 10 गुना कम कर दिया।
कम मेमोरी सेटिंग्स: जब कंप्यूटरों के पास बहुत कम मेमोरी थी (जिसने उन्हें बहुत छोटे "स्केच" का उपयोग करने के लिए मजबूर किया), तो LoRDO ने वास्तव में मानक तरीकों की तुलना में बेहतर प्रदर्शन किया क्योंकि इसने शोर (noise) को बहुत बेहतर तरीके से संभाला।

सारांश में

LoRDO एक स्मार्ट क्लासरूम मैनेजमेंट सिस्टम की तरह है। यह समय बचाने के लिए शिक्षकों को लंबे समय तक स्वतंत्र रूप से काम करने देता है (कम्युनिकेशन)। यह सभी को संरेखित रखने के लिए एक साझा, उच्च-गुणवत्ता वाले सारांश का उपयोग करता है (ग्लोबल प्रोजेक्शन)। लेकिन महत्वपूर्ण रूप से, यह एक विशेष "क्रिएटिव स्पार्क" जोड़ता है जो समूह को एक ही ढर्रे में फंसने से रोकता है, यह सुनिश्चित करता है कि वे अभी भी पुस्तकालय के सभी बेहतरीन विचारों का पता लगा सकें (फुल-रैंक एक्सप्लोरेशन)।

पेपर का दावा है कि यह हमें अंतिम परिणाम की गुणवत्ता से समझौता किए बिना, सस्ते और सीमित हार्डवेयर पर बड़े AI मॉडल को प्रशिक्षित करने की अनुमति देता है।

तकनीकी सारांश: LoRDO – विरल संचार के साथ वितरित निम्न-रैंक अनुकूलन (Distributed Low-Rank Optimization with Infrequent Communication)

1. समस्या विवरण (Problem Statement)

डिस्ट्रीब्यूटेड डेटा पैरेलल (DDP) के माध्यम से फाउंडेशन मॉडल्स का वितरित प्रशिक्षण (distributed training) तेजी से इंटरकनेक्ट बैंडविड्थ और ऑप्टिमाइज़र स्टेट्स (जैसे Adam momenta) को स्टोर करने के लिए आवश्यक मेमोरी ओवरहेड द्वारा बाधित हो रहा है। हालांकि विरल संचार (infrequent communication/local updates) का उपयोग करने वाली रणनीतियां सिंक्रोनाइज़ेशन की आवृत्ति को कम करती हैं, वे अभी भी फुल-रैंक ऑप्टिमाइज़र स्टेट्स के मेमोरी और संचार लागतों से बाधित हैं।

लो-रैंक एडेप्टिव ऑप्टिमाइज़र्स (जैसे Gaore, LDAdam) ग्रेडिएंट्स को एक लो-रैंक सबस्पेस में प्रोजेक्ट करके इन बाधाओं को कम करने का एक मार्ग प्रदान करते हैं। हालांकि, इन विधियों को इनफ्रीक्वेंट-सिंक्रोनाइज़ेशन (infrequent-synchronization) शासन में सामान्य बनाना एक महत्वपूर्ण अनुकूलन चुनौती पेश करता है:

लोकल प्रोजेक्शंस (Local Projections): व्यक्तिगत वर्कर्स पर स्टोकैस्टिक ग्रेडिएंट्स का उपयोग करके स्थानीय रूप से लो-रैंक प्रोजेक्शन कंप्यूट करना, छोटे प्रभावी बैच साइज के कारण महत्वपूर्ण शोर (noise) पेश करता है। यह उप-इष्टतम (suboptimal) प्रोजेक्शन सबस्पेस और प्रदर्शन में गिरावट का कारण बनता है।
ग्लोबल प्रोजेक्शंस (Global Projections): एक ग्लोबल प्रोजेक्शन मैट्रिक्स का उपयोग करना जो एग्रीगेटेड स्यूडो-ग्रेडिएंट्स (जैसा कि DDP में होता है) से प्राप्त होता है, एक अधिक स्थिर आधार प्रदान करता है। हालांकि, लोकल-अपडेट शासन में, यह दृष्टिकोण अनुकूलन प्रक्षेपवक्र (optimization trajectory) को एक निश्चित लो-रैंक सबस्पेस तक स्थायी रूप से सीमित कर देता है। फुल-रैंक सिग्नल्स के बिना, अनुकूलन रुक जाता है क्योंकि प्रोजेक्शन बेसिस प्रारंभिक सबस्पेस के बाहर नए दिशाओं को खोजने या "रिफ्रेश" करने में विफल रहता है।

मूल प्रश्न जिसका समाधान किया गया है: हम उच्च-प्रदर्शन वाले लो-रैंक ऑप्टिमाइज़र्स को संचार-कुशल प्रशिक्षण के लिए कैसे डिज़ाइन कर सकते हैं जो कम संचार और मेमोरी ओवरहेड बनाए रखते हुए सबस्पेस स्टैग्नेशन (subspace stagnation) से बच सकें?

2. कार्यप्रणाली: LoRDO (Methodology: LoRDO)

लेखक LoRDO (Low-Rank Distributed Optimization) प्रस्तावित करते हैं, जो लो-रैंक ऑप्टिमाइज़ेशन को इनफ्रीक्वेंट सिंक्रोनाइज़ेशन के साथ एकीकृत करता है। यह कार्यप्रणाली प्रोजेक्शन स्थिरता और सबस्पेस अन्वेषण (exploration) के बीच के तनाव को तीन प्रमुख तंत्रों के माध्यम से संबोधित करती है:

A. ग्लोबल प्रोजेक्शन मैट्रिसेस (Global Projection Matrices)

प्रत्येक वर्कर द्वारा अपने स्वयं के प्रोजेक्शन मैट्रिक्स $Q_m$ को स्थानीय स्टोकैस्टिक ग्रेडिएंट्स के आधार पर निर्धारित करने के बजाय (जो उच्च विचरण/variance से ग्रस्त है), LoRDO एक ग्लोबल प्रोजेक्शन मैट्रिक्स $Q_t$ का उपयोग करता है। यह मैट्रिक्स सिंक्रोनाइज़ेशन बाउंड्री पर एग्रीगेटेड स्यूडो-ग्रेडिएंट ( $\Delta_t$ ) का उपयोग करके कंप्यूट किया जाता है, जो $K$ स्थानीय स्टेप्स के दौरान मॉडल पैरामीटर्स में कुल परिवर्तन का प्रतिनिधित्व करता है।

लाभ: स्यूडो-ग्रेडिएंट का प्रभावी बैच साइज $M \times B$ (जहाँ $M$ वर्कर्स की संख्या है) होता है, जो स्थानीय ग्रेडिएंट्स की तुलना में कम विचरण के साथ एक अधिक स्थिर सिग्नल प्रदान करता है। यह स्यूडो-ग्रेडिएंट में निहित कर्वेचर (curvature) जानकारी को भी शामिल करता है, जिससे उच्च-गुणवत्ता वाला बेसिस अनुमान प्राप्त होता है।

B. फुल-रैंक क्वाज़ी-हाइपरबोलिक मोमेंटम (Full-Rank Quasi-Hyperbolic Momentum - QHM)

ग्लोबल प्रोजेक्शन के कारण होने वाली "स्टैग्नेंट सबस्पेस" (stagnant subspace) समस्या को हल करने के लिए, LoRDO स्थानीय अपडेट में एक फुल-रैंक क्वाज़ी-हाइपरबोलिक मोमेंटम टर्म इंजेक्ट करता है।

तंत्र: अपडेट नियम लो-रैंक मोमेंटम और दूसरे मोमेंटम द्वारा स्केल किए गए फुल-रैंक ग्रेडिएंट सिग्नल को जोड़ता है।
$\text{Update} \propto (1-\omega)\frac{\hat{G}_t}{\mu(\sqrt{\hat{v}_t} + \epsilon)} + \omega Q_t \left[ \frac{u_t}{\sqrt{v_t} + \epsilon} \right]$
प्रभाव: यह इंजेक्शन एग्रीगेटेड स्यूडो-ग्रेडिएंट को एक निश्चित रैंक- $r$ सबस्पेस के भीतर फंसने से रोकता है। यह अनुकूलन प्रक्रिया को विभिन्न वर्कर्स के अलग-अलग रैंक- $r$ सबस्पेस को अस्थायी रूप से एकत्रित करने की अनुमति देता है, जिससे अंततः पूर्ण सबस्पेस अन्वेषण संभव होता है। यह संचार ओवरहेड बढ़ाए बिना पूर्ण समाधान स्थान (solution space) को खोजने की क्षमता को बहाल करता है।

C. एरर फीडबैक और मोमेंटम रोटेशन (Error Feedback and Momentum Rotation)

LoRDO लो-रैंक कंप्रेशन के दौरान खोई गई जानकारी को प्रबंधित करने के लिए स्थानीय रूप से एरर फीडबैक को शामिल करता है। इसके अतिरिक्त, एक नया प्रोजेक्शन मैट्रिक्स कंप्यूट करने के बाद, ऑप्टिमाइज़र स्टेट्स (momenta) को रोटेट किया जाता है ताकि वे सुनिश्चित रहे कि वे उसी सबस्पेस पर संचित (accumulated) हैं, यह तकनीक LDAdam से ली गई है।

3. मुख्य योगदान (Key Contributions)

प्रोजेक्शन विफलता मोड का विश्लेषण: लेखक प्रदर्शित करते हैं कि स्थानीय प्रोजेक्शन छोटे वर्कर बैच साइज के उच्च विचरण के कारण प्रदर्शन को नुकसान पहुँचाते हैं, जबकि बिना फुल-रैंक सिग्नल के ग्लोबल प्रोजेक्शन सबस्पेस स्टैग्नेशन उत्पन्न करते हैं।
पूर्ण सबस्पेस अन्वेषण की बहाली: LoRDO एक ऐसा लो-रैंक ऑप्टिमाइज़र पेश करता है जो ग्लोबल प्रोजेक्शन (जो एग्रीगेटेड स्यूडो-ग्रेडिएंट्स से प्राप्त होता है) बनाए रखते हुए स्थानीय अपडेट में फुल-रैंक ग्रेडिएंट सिग्नल (QHM के माध्यम से) इंजेक्ट करता है। यह संचार या मेमोरी ओवरहेड बढ़ाए बिना स्टैग्नेशन को रोकता है।
DDP समानता और दक्षता: यह ढांचा सिंक्रोनस लो-रैंक DDP के साथ लगभग समानता (परप्लेक्सिटी गैप < 1%) प्राप्त करता है, जबकि ऑप्टिमाइज़र मेमोरी और संचार को $8\times$ – $12\times$ तक कम करता है। भारी मेमोरी बाधाओं के तहत जहाँ लो-रैंक आवश्यक है, LoRDO परप्लेक्सिटी में DDP से भी बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

SmolLM2 डेटा मिश्रण का उपयोग करके 16M, 125M, और 720M पैरामीटर्स तक स्केल किए गए डिकोडर-ओनली ट्रांसफॉर्मर्स पर प्रयोग किए गए।

स्टैग्नेशन बनाम अन्वेषण (Stagnation vs. Exploration): 16M मॉडल्स में, QHM के बिना ग्लोबल प्रोजेक्शन सीखने में विफल रहा (परप्लेक्सिटी ~~46.8) जबकि DDP (~~36.6) सफल रहा, जो सबस्पेस स्टैग्नेशन की पुष्टि करता है। फुल-रैंक QHM जोड़ने से प्रदर्शन बहाल हुआ, जिससे LoRDO-Global को स्थानीय वेरिएंट्स से बेहतर प्रदर्शन करने में मदद मिली।
प्रोजेक्शन की गुणवत्ता: LoRDO-Global ने विशेष रूप से निचले रैंक ( $r=8, 16$ ) पर बेहतर स्थिरता और प्रदर्शन दिखाया, जिसका कारण एग्रीगेटेड स्यूडो-ग्रेडिएंट से प्राप्त उच्च-गुणवत्ता वाला प्रोजेक्शन बेसिस है। इसने स्थानीय प्रोजेक्शन विधियों की तुलना में स्थानीय बैच साइज में बदलाव के प्रति कम संवेदनशीलता दिखाई।
720M तक स्केलिंग: 720M स्केल पर, LoRDO-Global ( $r=256$ ) ने लो-रैंक DDP ( $r=256$ ) के साथ लगभग समानता (परप्लेक्सिटी गैप < 1%; 10.41 बनाम 10.34) प्राप्त की। इसने डाउनस्ट्रीम टास्क एक्यूरेसी (ARC, HellaSwag, MMLU, PIQA) में भी DDP के बराबर प्रदर्शन किया।
दक्षता लाभ:
- संचार (Communication): LoRDO, लो-रैंक DDP की तुलना में लगभग 10 $\times$ और फुल-रैंक DDP की तुलना में 25 $\times$ कम संचार ओवरहेड कम करता है।
- मेमोरी (Memory): यह फुल-रैंक समकक्षों की तुलना में ऑप्टिमाइज़र स्टेट मेमोरी ओवरहेड को 8 $\times$ कम करता है।
- वॉल-क्लॉक टाइम (Wall-Clock Time): कम बैंडविड्थ वाले वातावरण (10 Gbps मॉडल) में, LoRDO कम सिंक्रोनाइज़ेशन फ्रीक्वेंसी के कारण DDP की तुलना में काफी बेहतर प्रदर्शन करता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि LoRDO संचार-कुशल अनुकूलन में प्रोजेक्शन स्थिरता और सबस्पेस अन्वेषण के बीच के मौलिक तनाव को हल करता है। एग्रीगेटेड स्यूडो-ग्रेडिएंट्स के माध्यम से प्रोजेक्शन स्थिरता और फुल-रैंक क्वाज़ी-हाइपरबोलिक मोमेंटम के माध्यम से अन्वेषण का उपयोग करके, LoRDO सक्षम बनाता है:

स्केलेबल प्रशिक्षण (Scalable Training): काफी कम संचार और मेमोरी लागत के साथ बड़े पैमाने (720M पैरामीटर्स तक) पर प्रतिस्पर्धी प्रदर्शन।
संसाधन दक्षता (Resource Efficiency): उन हार्डवेयर पर प्री-ट्रेनिंग की व्यवहार्यता जहाँ फुल-रैंक ऑप्टिमाइज़र्स अव्यवहार्य हैं (कम मेमोरी/बैंडविड्थ)।
विकेंद्रीकृत लर्निंग (Decentralized Learning): मॉडल प्रशिक्षण को एकल डेटा सेंटरों से आगे बढ़ाकर कुशल विकेंद्रीकृत वातावरण में सीखने का मार्ग प्रशस्त करना।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें औपचारिक अभिसरण प्रमाण (formal convergence proof) की कमी और वर्तमान ध्यान मैट्रिक्स-आधारित ऑप्टिमाइज़र्स (जैसे Muon) के बजाय एडेप्टिव ऑप्टिमाइज़र्स (Adam) पर होना शामिल है, जो भविष्य के कार्यों के लिए छोड़े गए हैं। हालांकि, वे तर्क देते हैं कि छोटे मॉडल्स में देखे गए रुझान बड़े स्तरों पर भी लागू होते हैं।