🤖 machine learning

Factored Gossip DiLoCo: Reducing Blocking Communication in DiLoCo

यह शोध पत्र Factored Gossip DiLoCo को प्रस्तुत करता है, जो एक वितरित प्रशिक्षण ढांचा (distributed training framework) है जो सटीक बाहरी सिंक्रनाइज़ेशन (exact outer synchronization) को गैर-अवरोधक गॉसिप (non-blocking gossip) और अवरोधक चरणों (blocking steps) के एक ट्यूनेबल मिश्रण से बदलकर बड़े पैमाने पर कम-बैंडविड्थ सेटिंग्स में ब्लॉकिंग संचार को कम करता है, जिससे DiLoCo के तुलनीय प्रशिक्षण प्रगति को बनाए रखते हुए कंप्यूट उपयोगिता और विफलताओं के प्रति मजबूती में सुधार होता है।

मूल लेखक: Chamin Hewa Koneputugodage, Thalaiyasingam Ajanthan, Sameera Ramasinghe, Hadi Mohaghegh Dolatabadi, Shamane Siriwardhana, Gil Avraham, Violetta Shevchenko, Karol Pajak, James Snewin, Alexander Long

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chamin Hewa Koneputugodage, Thalaiyasingam Ajanthan, Sameera Ramasinghe, Hadi Mohaghegh Dolatabadi, Shamane Siriwardhana, Gil Avraham, Violetta Shevchenko, Karol Pajak, James Snewin, Alexander Long

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Factored Gossip DiLoCo" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

बड़ी समस्या: "सबसे धीमे कार्यकर्ता" की बाधा (The "Slowest Worker" Bottleneck)

कल्पना कीजिए कि एक विशाल टीम (8 कंप्यूटर) एक स्मार्ट AI को प्रशिक्षित करने के लिए मिलकर एक बहुत बड़ी पहेली सुलझाने की कोशिश कर रही है। वे अलग-अलग घरों में हैं जहाँ इंटरनेट कनेक्शन धीमा है (लो बैंडविड्थ)।

इसे करने के मानक तरीके (जिसे DiLoCo कहा जाता है) में, टीम कुछ समय के लिए अकेले काम करती है, फिर सब कुछ रोककर एक "सिंक मीटिंग" (sync meeting) के लिए रुक जाती है। इस मीटिंग के दौरान, हर किसी को अपनी पूरी प्रगति (progress) सबके साथ साझा करनी होती है।

चुनौती: यह मीटिंग ब्लॉकिंग (blocking) है। इसका मतलब है कि जब तक लोग सबसे धीमे व्यक्ति द्वारा अपना डेटा अपलोड करने का इंतज़ार कर रहे हैं, तब तक कोई भी पहेली सुलझाने का काम नहीं कर सकता। यदि किसी एक व्यक्ति का इंटरनेट फ्लिकर करता है, तो पूरी मीटिंग क्रैश हो जाती है, और उन्हें फिर से शुरू करना पड़ता है।
परिणाम: टीम अपना बहुत सारा समय इंतज़ार करने में बिता देती है और वास्तव में पहेली सुलझाने में बहुत कम समय लगा पाती है।

समाधान: "फैक्टर्ड गॉसिप" (Factored Gossip)

लेखक इन मीटिंग्स को चलाने का एक नया तरीका प्रस्तावित करते हैं जिसे Factored Gossip DiLoCo कहा जाता है। एक बड़ी, कठोर मीटिंग के बजाय जहाँ हर कोई सबका इंतज़ार करता है, वे सिंक्रोनाइज़ेशन प्रक्रिया को दो अलग-अलग प्रकार के "चैट" में विभाजित करते हैं।

इसे एक ग्रुप प्रोजेक्ट की तरह समझें जहाँ आपके पास अपडेट साझा करने के दो तरीके हैं:

1. "कॉफी चैट" (Mix1): नॉन-ब्लॉकिंग और ओवरलैपिंग

यह कैसे काम करता है: जब टीम अपने पहेली के टुकड़ों पर काम करने में व्यस्त होती है (कंप्यूटिंग), तो वे चुपचाप और लगातार अपने कुछ पड़ोसियों के साथ छोटे अपडेट साझा करती रहती है।
उपमा: कल्पना कीजिए कि आप एक रिपोर्ट टाइप कर रहे हैं। मीटिंग का इंतज़ार करने के बजाय, आप बस बगल वाले व्यक्ति को टाइप करते समय धीरे से अपना नवीनतम वाक्य बता देते हैं। आप यह करने के लिए अपना काम नहीं रोकते।
लाभ: यह बैकग्राउंड में होता है। यह काम को धीमा नहीं करता है। यह सबको बिना किसी "रुकने और इंतज़ार करने" के क्षण के, लगभग एक ही पेज पर रखता है।

2. "टीम हडल" (Mix2): ब्लॉकिंग और स्टेबिलाइजिंग

यह कैसे काम करता है: समय-समय पर, टीम एक त्वरित, लक्षित चेक-इन करने के लिए रुकती है। यह एक "ब्लॉकिंग" चरण है (सब कुछ कुछ देर के लिए रुक जाता है), लेकिन यह पुराने पूर्ण मीटिंग्स की तुलना में बहुत छोटा और स्मार्ट है।
उपमा: कभी-कभी टीम लीडर कहता है, "ठीक है, 10 सेकंड के लिए टाइप करना बंद करें। आइए जल्दी से देखें कि क्या हमारे मुख्य विचार मेल खाते हैं।" यदि वे मेल नहीं खाते, तो वे उन्हें ठीक करते हैं। यदि किसी का इंटरनेट खराब है, तो वे बस चैट का एक छोटा सा हिस्सा मिस कर देते हैं, लेकिन मीटिंग क्रैश नहीं होती; यह बस थोड़े कम सटीक जानकारी के साथ जारी रहती है।
लाभ: यह सुनिश्चित करता है कि टीम बहुत अधिक दूर न भटक जाए (अस्थिरता), बिना हर बार बड़े और धीमे डेटा ट्रांसफर की आवश्यकता के।

"सीक्रेट सॉस": "वाइब" को मापना (JS Distance)

पेपर टीम के बीच सहमति के स्तर को मापने का एक चतुर नया तरीका पेश करता है।

पुराना तरीका (L2 Distance): यह मापना कि नंबर एक-दूसरे से कितने दूर हैं। यह मैप पर दो कारों के बीच की दूरी मापने जैसा है।
नया तरीका (JS Distance): यह मापना कि उनके अनुमान (predictions) कितने अलग हैं। यह पूछने जैसा है, "यदि आप दोनों एक तस्वीर देखते हैं, तो क्या आप उसका वर्णन एक ही तरह से करते हैं?"
यह क्यों मायने रखता है: लेखकों ने पाया कि भले ही नंबर करीब दिख रहे हों, लेकिन AI "भ्रमित" (unstable) हो सकता है। नया "वाइब चेक" (JS Distance) भ्रम के इन क्षणों को जल्दी पकड़ लेता है। यदि "वाइब" बहुत अराजक हो जाता है, तो सिस्टम को पता चल जाता है कि चीज़ों को शांत करने के लिए "टीम हडल" (Mix2) को ट्रिगर करना है।

परिणाम: तेज़ और मज़बूत

इस दो-चरणीय दृष्टिकोण (बैकग्राउंड कॉफी चैट + सामयिक लक्षित हडल) का उपयोग करके, टीम ने हासिल किया:

बहुत अधिक दक्षता: उन्होंने पहेली सुलझाने में बहुत अधिक समय बिताया और धीमे इंटरनेट के कारण इंतज़ार करने में बहुत कम। कुछ मामलों में, उन्होंने पुराने तरीके के 36% की तुलना में 100% कंप्यूटर पावर का उपयोग किया।
बेहतर स्थिरता: धीमे इंटरनेट के बावजूद, ट्रेनिंग क्रैश नहीं हुई। यदि कोई कनेक्शन टूट जाता, तो सिस्टम बस थोड़े कमजोर चैट के साथ चलता रहता, बल्कि पूरी प्रक्रिया को रद्द करने के बजाय।
स्मार्ट ट्रेड-ऑफ: उन्होंने पाया कि स्थिर रहने के लिए उन्हें सब कुछ सिंक करने की ज़रूरत नहीं थी। हडल के दौरान केवल मॉडल के सबसे महत्वपूर्ण हिस्सों (AI के "महत्वपूर्ण अंगों") को सिंक करके, उन्होंने AI को स्मार्ट रखते हुए और भी अधिक समय बचाया।

सारांश

यह पेपर एक ऐसे तरीके को लेता है जो वास्तविक दुनिया के लो-इंटरनेट सेटिंग्स के लिए बहुत धीमा और नाजुक था, और इसे तेज़, मजबूत और कुशल बनाता है। यह "रुकने और इंतज़ार करने" वाली मीटिंगों को निरंतर बैकग्राउंड चैटिंग और स्मार्ट, सामयिक चेक-इन के मिश्रण से बदलकर करता है, जिससे यह सुनिश्चित होता है कि AI तेज़ी से सीखता है और धीमे कनेक्शन के कारण अटकता नहीं है।

तकनीकी सारांश: फैक्टर्ड गॉसिप डिलोको (Factored Gossip DiLoCo)

1. समस्या विवरण

बड़े भाषा मॉडल (LLM) के प्रशिक्षण को विकेंद्रीकृत, कम-बैंडविड्थ वाले वातावरण (जैसे, उपभोक्ता-ग्रेड नेटवर्क) में स्केल करने में महत्वपूर्ण संचार बाधाएं आती हैं। जबकि डिलोको (DiLoCo) (डौलरार्ड और अन्य, 2023) वैश्विक सिंक्रनाइज़ेशन के बीच कई स्थानीय अनुकूलन चरणों को निष्पादित करके संचार की आवृत्ति को कम करता है, इसका बाहरी सिंक्रनाइज़ेशन एक महत्वपूर्ण सीमा बनी हुई है। विशेष रूप से, डिलोको सटीक, उच्च-वॉल्यूम, ब्लॉकिंग ग्लोबल सिंक्रनाइज़ेशन (जैसे, रिंग ऑल-रिड्यूस) पर निर्भर करता है। यह दृष्टिकोण भंगुर (brittle) है: यह धीमे लिंक की प्रतीक्षा करते समय गणना को रोक देता है, और एक एकल क्षणिक लिंक विफलता पूरे सिंक्रनाइज़ेशन राउंड को रद्द कर सकती है, जिससे रिट्राइ (retries) की आवश्यकता होती है और दक्षता और भी कम हो जाती है।

यह शोध पत्र बिना प्रशिक्षण स्थिरता (जो अरबों-पैरामीटर वाले मॉडल के लिए आवश्यक है) से समझौता किए, इस ब्लॉकिंग संचार को कम करने की आवश्यकता को संबोधित करता है।

2. कार्यप्रणाली: फैक्टर्ड गॉसिप डिलोको (Factored Gossip DiLoCo)

लेखक फैक्टर्ड गॉसिप डिलोको का प्रस्ताव करते हैं, जो मिक्सिंग/गॉसिप एल्गोरिदम के माध्यम से सटीक वैश्विक सिंक्रनाइज़ेशन को अनुमानित सिंक्रनाइज़ेशन (approximate synchronization) में बदलकर इसे सरल बनाता है। मुख्य नवाचार बाहरी सिंक्रनाइज़ेशन चरण को दो अलग-अलग ऑपरेशनों में विभाजित करना है:

मिक्स1 (Mix1 - नॉन-ब्लॉकिंग पैरामीटर मिक्सिंग):
- कार्य: पिछले बाहरी चरण ( $z_{m,r}$ ) के मापदंडों को मिक्स करता है ताकि अगले दौर के लिए एक नया शुरुआती बिंदु ( $x_{m,r}$ ) तैयार किया जा सके।
- विशेषता: यह चरण नॉन-ब्लॉकिंग है और इसे आगामी आंतरिक चरणों की गणना के साथ ओवरलैप किया जा सकता है।
- तंत्र: लेखक मिक्स1 के लिए ओवरलैप्ड ग्लोबल एवरेजिंग का उपयोग करते हैं। चूंकि अगले दौर के लिए ग्रेडिएंट गणना $z_{m,r}$ (स्थानीय अपडेट) से शुरू होती है न कि वैश्विक रूप से मिश्रित $x_{m,r}$ से, इसलिए यह संचार टेम्पोरल स्टेलेनेस (outdated gradients का उपयोग करना) उत्पन्न नहीं करता है, हालांकि यह एक "स्टार्टिंग-पॉइंट नॉइज़" टर्म पेश करता है।
मिक्स2 (Mix2 - ब्लॉकिंग ग्रेडिएंट मिक्सिंग):
- कार्य: स्थानीय चरणों के पूरा होने के बाद गणना किए गए बाहरी ग्रेडिएंट्स (पैरामीटर अंतर $\Delta_{m,r}$ ) को मिक्स करता है।
- विशेषता: यह चरण ब्लॉकिंग है और यह वर्कर्स के बीच सहमति (consensus) को मजबूत करने का काम करता है ताकि अनुकूलन स्थिरता सुनिश्चित हो सके।
- तंत्र: मिक्स2 को ग्लोबल एवरेज या स्पार्स पेयरवाइज गॉसिप के रूप में कॉन्फ़िगर किया जा सकता है। यह मिक्स1 की अनुमानित प्रकृति से उत्पन्न असहमति को सीमित करने के लिए एक सुधारात्मक चरण के रूप में कार्य करता है।

सैद्धांतिक विश्लेषण

शोध पत्र अपेक्षित सहमति त्रुटि (वर्कर्स के मापदंडों के बीच वर्ग दूरी) पर एक सैद्धांतिक सीमा प्रदान करता है। मान लें कि $\rho_1$ और $\rho_2$ क्रमशः मिक्स1 और मिक्स2 के लिए कॉन्ट्रैक्शन फैक्टर्स हैं। वर्कर्स के बीच औसत दूरी की सीमा है:
$\mathbb{E}[\text{Distance}] \leq 2\eta^2 \sigma^2 H \left(1 + \frac{\rho_2}{1-\rho_1}\right)$

मुख्य अंतर्दृष्टि: यदि $\rho_1 \to 1$ (मिक्स1 में कोई प्रभावी मिक्सिंग नहीं) बिना किसी ग्लोबल मिक्स2 ( $\rho_2=0$ ) के होता है, तो सहमति त्रुटि (consensus error) बढ़ सकती है।
ट्रेड-ऑफ: मिक्स1 विचलन (divergence) को रोकने के लिए महत्वपूर्ण है, जबकि मिक्स2 सीमा को कड़ा करता है। यह ढांचा कंप्यूट यूटिलाइजेशन (ब्लॉकिंग को कम करना) और स्थिरता (सहमति त्रुटि को कम करना) के बीच संतुलन बनाने की अनुमति देता है।

सहमति मेट्रिक्स (Consensus Metrics)

लेखक वर्कर्स के प्रति-टोकन आउटपुट वितरण के बीच जेन्सन-शैनन (JS) दूरी को कार्यात्मक असहमति के एक मेट्रिक के रूप में पेश करते हैं। वे प्रदर्शित करते हैं कि जबकि L2 पैरामीटर दूरी सिद्धांत के साथ सह-संबंध रखती है, JS दूरी प्रशिक्षण अस्थिरता और लॉस स्पाइक्स को बेहतर ढंग से ट्रैक करती है, जो एक व्यावहारिक संकेत है कि कब ब्लॉकिंग संचार (मिक्स2) आवश्यक है।

3. मुख्य योगदान

सिंक्रनाइज़ेशन का गुणनखंड (Factorization of Synchronization): डिलोको के सिंक्रनाइज़ेशन को एक नॉन-ब्लॉकिंग पैरामीटर मिक्स (मिक्स1) और एक ब्लॉकिंग ग्रेडिएंट मिक्स (मिक्स2) में विभाजित करना, जिससे टेम्पोरल स्टेलेनेस के बिना संचार और गणना को ओवरलैप करना संभव हो जाता है।
अनुमानित सिंक्रनाइज़ेशन: भंगुर, सटीक वैश्विक बैरियर्स के स्थान पर गॉसिप-आधारित मिक्सिंग का उपयोग करना जो देरी और क्षणिक विफलताओं के तहत भी सुचारू रूप से कार्य करता है।
JS-दूरी निर्देशित अनुकूलन: संवेदनशील पैरामीटर ब्लॉक्स (जैसे, टोकन एम्बेडिंग्स, LM-हेड, प्रारंभिक परतें) की पहचान करने के लिए कार्यात्मक JS दूरी का उपयोग करना और केवल इन उपसमुच्चयों (subsets) पर ही ब्लॉकिंग मिक्स2 लागू करना, जिससे संचार वॉल्यूम काफी कम हो जाता है और स्थिरता बनी रहती है।
प्रायोगिक सत्यापन: यह प्रदर्शित करना कि यह दृष्टिकोण डिलोको के समान प्रगति बनाए रखते हुए कम-बैंडविड्थ सेटिंग्स में कंप्यूट यूटिलाइजेशन में काफी सुधार करता है।

4. प्रायोगिक परिणाम

प्रयोग 8 वर्कर्स (A100 GPUs) पर FineWeb पर प्रशिक्षित 1.5B पैरामीटर लामा 3 (Llama 3) मॉडल पर सिम्युलेटेड लो-बैंडविड्थ कनेक्शन (100Mbps–200Mbps) के साथ किए गए।

कंप्यूट यूटिलाइजेशन (Compute Utilization):
- डिलोको (DiLoCo): 100Mbps पर 36% और 200Mbps पर 53% यूटिलाइजेशन प्राप्त किया ( $H=100$ के लिए)।
- ग्लोबलM1 (GlobalM1 - केवल मिक्स1, कोई मिक्स2 नहीं): 100Mbps पर 56% और 200Mbps पर 100% प्राप्त किया।
- ग्लोबलM1लोकलM2 (GlobalM1LocalM2 - मिक्स1 ग्लोबल + मिक्स2 लोकल): 100Mbps पर 36% और 200Mbps पर 66% प्राप्त किया, जो एक मजबूत संतुलन प्रदान करता है।
प्रशिक्षण प्रदर्शन (Perplexity):
- ग्लोबलM1लोकलM2 ने 18.80 की वैलिडेशन परप्लेक्सिटी प्राप्त की (10B टोकन पर), जो डिलोको की 18.65 के बहुत करीब है, जबकि यह विशुद्ध रूप से स्थानीय मिक्सिंग (LocalM1M2: 19.37) से काफी बेहतर है।
- ग्लोबलM1लोकलM2-सबसेट (केवल 43% मापदंडों पर मिक्स2 लागू करना) ने उच्च यूटिलाइजेशन (100Mbps पर 45%) के साथ 19.15 परप्लेक्सिटी प्राप्त की।
मजबूती (Robustness): 5% संचार विफलता दर के तहत, डिलोको का यूटिलाइजेशन रीस्टार्ट्स के कारण काफी गिर गया। फैक्टर्ड गॉसिप डिलोको विधियों ने उच्च यूटिलाइजेशन बनाए रखा क्योंकि मिक्सिंग कमजोर सहमति के साथ भी आगे बढ़ सकती है, बजाय इसके कि वह रुक जाए।
स्केलिंग: लाभ विभिन्न वर्कर काउंट्स ( $M=8, 16$ ) और इनर स्टेप काउंट्स ( $H=100, 500, 1000$ ) में देखे गए।

5. महत्व और दावे

शोध पत्र का दावा है कि फैक्टर्ड गॉसिप डिलोको बड़े पैमाने पर वितरित प्रशिक्षण को उच्च-बैंडविड्थ डेटा केंद्रों के बाहर व्यावहारिक बनाता है। ब्लॉकिंग संचार को कम करके, यह ढांचा:

मानक डिलोको की तुलना में कम-बैंडविड्थ, विकेंद्रीकृत सेटिंग्स में कंप्यूट यूटिलाइजेशन में काफी सुधार करता है।
डिलोको के समान प्रशिक्षण प्रगति बनाए रखता है, जिससे वॉल-क्लॉक समय प्रति यूनिट परप्लेक्सिटी कम होती है।
क्षणिक नेटवर्क विफलताओं के तहत सुचारू गिरावट (graceful degradation) प्रदान करता है, जिससे ग्लोबल बैरियर्स से जुड़ी विनाशकारी रद्दीकरण (abort) की स्थिति से बचा जा सकता है।
एक ट्यूनेबल ट्रेड-ऑफ प्रदान करता है, जिससे अभ्यासकर्ता अपने विशिष्ट बैंडविड्थ प्रतिबंधों के आधार पर कॉन्फ़िगरेशन (जैसे, सबसेट-आधारित मिक्स2) चुन सकते हैं।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण डिलोको-आधारित सेटिंग में बिना टेम्पोरल स्टेलेनेस पेश किए संचार और गणना को ओवरलैप करने वाला पहला तरीका है, जो इसे विलंबित ग्रेडिएंट्स (delayed gradients) पर निर्भर एसिंक्रोनस विधियों से अलग करता है।