SPARe: Stacked Parallelism with Adaptive Reordering for Fault-Tolerant LLM Pretraining Systems with 100k+ GPUs
SPARe बड़े पैमाने पर LLM प्रीट्रेनिंग के लिए एक फॉल्ट-टोलरेंट फ्रेमवर्क है जो स्टैक्ड पैरेललिज्म और एडेप्टिव रीऑर्डरिंग का उपयोग करता है ताकि लगभग स्थिर ओवरहेड के साथ नोड विफलताओं को छिपाया जा सके, जो अत्यधिक स्तरों पर पारंपरिक रेप्लिकेशन की तुलना में ट्रेनिंग के समय (time-to-train) को काफी कम कर देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप 100,000 ओवन वाले किचन का उपयोग करके दुनिया का सबसे बड़ा केक बनाने की कोशिश कर रहे हैं। यह सिर्फ एक सामान्य केक नहीं है; यह एक "फाउंडेशन मॉडल" केक है, वही जो दुनिया के सबसे स्मार्ट AI को शक्ति देता है।
इतने विशाल किचन में, चीजें टूट जाती हैं। ओवन जल जाते हैं, टाइमर गड़बड़ा जाते हैं, और पावर सर्ज होते हैं। वास्तव में, 100,000 ओवन के साथ, खराबी आना इतना आम है कि यह एक नया सामान्य नियम बन जाता है।
समस्या: "रीस्टार्ट" का दुःस्वप्न
अतीत में, जब कोई ओवन खराब हो जाता था, तो बेकर बस रुक जाता था, आधे पके हुए केक को फेंक देता था, किचन को रीसेट करता था, और पिछली बार जब उन्होंने रेसिपी चेक की थी, वहां से फिर से शुरू करता था।
लेकिन यहाँ एक पेंच है: फिर से शुरू करना धीमा है।
100,000 ओवन के साथ, उन सभी को यह सहमत होने में कि "ठीक है, चलो फिर से शुरू करते हैं" घंटों लग जाते हैं। यदि हर 5 मिनट में एक ओवन खराब होता है, लेकिन रीस्टार्ट करने में 60 मिनट लगते हैं, तो आप अपना 90% समय केवल रीस्टार्ट करने में बिता देते हैं और केवल 10% समय वास्तव में बेकिंग करने में। आप "रुकें, रीसेट करें, शुरू करें, रुकें, रीसेट करें" के लूप में फंस जाते हैं।
पुराना समाधान: "डबल-बुकड" किचन
इसे ठीक करने के लिए, पारंपरिक तरीकों ने रेप्लिकेशन (Replication) का प्रयास किया।
कल्पना कीजिए कि आपके पास हर रेसिपी स्टेप की 3 कॉपियां हैं। यदि ओवन #42 खराब हो जाता है, तो आप बस ओवन #43 और ओवन #44 से उसकी कॉपी ले लेते हैं।
- अच्छी बात: आपको कभी भी रुकने और फिर से शुरू करने की आवश्यकता नहीं होती है।
- बुरी बात: अब आपको उसी काम को करने के लिए 3 गुना अधिक ओवन की आवश्यकता है। यदि आपको 100,000 ओवन की आवश्यकता है, तो अब आपको 300,000 ओवन चाहिए। यह अविश्वसनीय रूप से महंगा और बर्बादी भरा है।
नया समाधान: SPARe (स्मार्ट शफल)
इस पेपर के लेखक SPARe (स्टैक्ड पैरेललिज्म विद एडेप्टिव रीऑर्डरिंग) का प्रस्ताव देते हैं। इसे अतिरिक्त कॉपियां बनाने के बजाय, एक स्मार्ट, शफ़लिंग ताश की गड्डी के रूप में समझें।
यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:
1. "स्टैक्ड" डेक (गड्डी)
हर ओवन को रेसिपी की पूरी कॉपी देने के बजाय (जिससे जगह बर्बाद होती है), SPARe रेसिपी को छोटे-छोटे पहेली के टुकड़ों (शार्ड्स) में काट देता है।
- कल्पना कीजिए कि आपके पास 1,000 पहेली के टुकड़े हैं।
- हर ओवन को सभी 1,000 टुकड़े देने के बजाय, आप प्रत्येक ओवन को टुकड़ों का एक स्टैक (ढेर) देते हैं।
- लेकिन यहाँ एक ट्रिक है: आप स्टैक्स को इस तरह व्यवस्थित करते हैं कि प्रत्येक एकल पहेली का टुकड़ा कम से कम 3 अलग-अलग स्टैक्स में मौजूद है, लेकिन प्रत्येक स्टैक में वे अलग-अलग तरीके से मिले हुए हैं।
2. "एडेप्टिव शफल" (जादुई हिस्सा)
यहीं से "एडेप्टिव रीऑर्डरिंग" आता है।
- परिदृश्य A (कोई खराबी नहीं): ओवन बेकिंग शुरू करते हैं। उन्हें स्टेप पूरा करने के लिए आवश्यक सभी पहेली के टुकड़े प्राप्त करने के लिए अपने स्टैक की केवल पहली परत को बेक करने की आवश्यकता होती है। उन्हें पूरा स्टैक बेक करने की आवश्यकता नहीं है!
- परिदृश्य B (एक ओवन खराब होता है): अचानक, ओवन #500 बंद हो जाता है।
- पुराना तरीका: घबराहट! सब कुछ फिर से शुरू करें।
- SPARe का तरीका: सिस्टम बचे हुए ओवनों को देखता है। वह महसूस करता है, "ओह नहीं, हमने ओवन #500 से 'फ्रॉस्टिंग' का टुकड़ा खो दिया है।"
- द शफल (The Shuffle): रुकने के बजाय, सिस्टम शेष स्टैक्स को जल्दी से पुनर्व्यवस्थित (rearrange) करता है। यह कहता है, "ठीक है, ओवन #501, आपको अपने स्टैक की तीसरी परत बेक करनी थी, लेकिन अब आपको 'फ्रॉस्टिंग' वाले टुकड़े को तुरंत बेक करने की आवश्यकता है।"
- यह बचे हुए ओवनों में खोए हुए टुकड़े को ढूंढ लेता है और उन्हें उसे बेक करने के लिए कहता है।
3. परिणाम: न्यूनतम बर्बादी
क्योंकि सिस्टम शफल करने और गायब टुकड़ों को खोजने में इतना कुशल है, इसलिए इसे सब कुछ पूरा करने के लिए अपने स्टैक की केवल 2 या 3 परतें ही बेक करने की आवश्यकता होती है, भले ही रेडंडेंसी (redundancy) 20 सेट की गई हो (यानी सिस्टम में हर टुकड़े की 20 कॉपियां मौजूद हैं)।
- पारंपरिक रेप्लिकेशन: यदि आपको 20 कॉपियां चाहिए, तो आप 20 गुना अधिक काम बेक करते हैं। (20x लागत)।
- SPARe: यदि आपको 20 कॉपियां चाहिए, तो आप केवल लगभग 2.5 गुना काम बेक करते हैं। (2.5x लागत)।
यह सब कुछ कैसे बदल देता है
इस पेपर ने एक सिम्युलेटेड 600,000-ओवन वाले किचन पर इसका परीक्षण किया (एक विशाल पैमाना)।
- पुराना तरीका: सिस्टम अपना अधिकांश समय रीस्टार्ट करने में बिताता था। इसे केक खत्म करने में बहुत लंबा समय लगा।
- SPARe: सिस्टम लगभग लगातार बेकिंग करता रहा। इसने मौजूदा सर्वोत्तम तरीकों की तुलना में केक को 40% से 50% तेजी से पूरा किया।
मुख्य निष्कर्ष
SPARe एक ऐसी टीम की तरह है जो घबराती नहीं है जब कोई बीमार पड़ता है। पूरे किचन को रोकने और साफ करने के बजाय, वे तुरंत कार्यों को पुनर्व्यवस्थित (reshuffle) कर देते हैं। बीमार शेफ का काम चुपचाप उन लोगों द्वारा संभाल लिया जाता है जो पहले से ही सही सामग्री के साथ खड़े थे, और बिना किसी रुकावट के कुकिंग जारी रहती है।
यह हमें सबसे बड़े कंप्यूटर क्लस्टर्स पर सबसे बड़े, स्मार्टतम AI मॉडल को प्रशिक्षित करने की अनुमति देता है बिना "ओप्स, चलो फिर से शुरू करते हैं" के अंतहीन लूप में फंसे। यह एक टूटे हुए सिस्टम को एक लचीले (resilient) सिस्टम में बदल देता है, जिससे समय, पैसा और ऊर्जा की बचत होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।