Folding Tensor and Sequence Parallelism for Memory-Efficient Transformer Training & Inference
यह शोध पत्र टेंसर और सीक्वेंस पैरेललिज्म (TSP) को प्रस्तुत करता है, जो एक नवीन निष्पादन रणनीति है जो पैरामीटर और एक्टिवेशन मेमोरी ओवरहेड को एक साथ कम करने के लिए वेट और टोकन शार्डिंग को एक ही डिवाइस एक्सिस पर फोल्ड करती है, जो लॉन्ग-कॉन्टेक्स्ट और मेमोरी-कंस्ट्रेंड ट्रांसफार्मर मॉडल्स के प्रशिक्षण और अनुमान के लिए एक हार्डवेयर-कुशल विकल्प प्रदान करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दोस्तों के एक समूह के साथ एक बहुत बड़ी जिग्सॉ पहेली (jigsaw puzzle) को हल करने की कोशिश कर रहे हैं, लेकिन आपके पास काम करने के लिए केवल एक बहुत छोटी मेज (आपका कंप्यूटर मेमोरी) है। पहेली इतनी बड़ी है कि कोई भी एक व्यक्ति एक बार में सभी टुकड़ों को नहीं पकड़ सकता।
यह पेपर एक नया तरीका पेश करता है जिससे कंप्यूटरों की एक टीम (GPUs) मिलकर विशाल AI मॉडल को प्रशिक्षित कर सकती है, जो वास्तव में इन विशाल पहेलियों की तरह होते हैं। लेखक इस नई रणनीति को TSP (Tensor and Sequence Parallelism) कहते हैं।
यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:
समस्या: काम साझा करने के दो पुराने तरीके
पहेली को हल करने के लिए, टीम आमतौर पर दो पुराने तरीकों का उपयोग करती है, लेकिन दोनों में कमियां हैं:
- "वेट स्प्लिट" विधि (Tensor Parallelism):
कल्पना कीजिए कि पहेली के टुकड़े खेल के "नियम" (मॉडल के वेट्स) हैं। इस विधि में, आप नियम पुस्तिका को आधा कर देते हैं। व्यक्ति A नियमों का पहला आधा हिस्सा रखता है, और व्यक्ति B दूसरा आधा हिस्सा रखता है।
- अच्छी बात: आप मेज पर जगह बचाते हैं क्योंकि आप पूरी नियम पुस्तिका को दो बार नहीं रख रहे हैं।
- बुरी बात: यदि पहेली में एक लंबी कहानी (शब्दों का एक लंबा क्रम/sequence) है, तो खेल खेलने के लिए हर किसी को अभी भी पूरी कहानी अपने हाथों में पकड़नी होगी। यदि कहानी बहुत बड़ी है, तो आपके हाथ (मेवर्री) भर जाएंगे, और आप क्रैश हो जाएंगे।
- "स्टोरी स्प्लिट" विधि (Sequence Parallelism):
कल्पना कीजिए कि पहेली के टुकड़े स्वयं कहानी हैं। इस विधि में, व्यक्ति A कहानी का पहला आधा हिस्सा रखता है, और व्यक्ति B दूसरा आधा हिस्सा रखता है।
- अच्छी बात: आप मेज पर जगह बचाते हैं क्योंकि आप एक समय में पूरी कहानी नहीं पकड़ रहे हैं।
- बुरी बात: हर किसी को अभी भी पूरी नियम पुस्तिका याद करनी होगी। यदि नियम पुस्तिका बहुत बड़ी है, तो आपका दिमाग (मेमोरी) भर जाएगा, और आप क्रैश हो जाएंगे।
पुराना हाइब्रिड: आमतौर पर, टीमें इन दोनों को दो अलग-अलग समूहों का उपयोग करके करने की कोशिश करती हैं: एक समूह नियमों को विभाजित करता है, और दूसरा समूह कहानी को विभाजित करता है। लेकिन यह अक्षम है क्योंकि यह काम को विभाजित करने के लिए आपके सभी दोस्तों का उपयोग कर लेता है, जिससे अन्य कार्यों (जैसे डेटा पैरेललिज्म) में मदद करने के लिए कोई नहीं बचता।
समाधान: "फोल्डेड" विधि (TSP)
लेखक कहते हैं: "दो अलग-अलग समूहों का उपयोग क्यों करें? आइए काम को एक ही एक्सिस (axis) पर फोल्ड करें।"
TSP में, समूह का प्रत्येक व्यक्ति एक ही समय में ये दोनों चीजें करता है:
- वह नियम पुस्तिका का एक हिस्सा (weights) रखता है।
- वह कहानी का एक हिस्सा (sequence) रखता है।
उपमा (Analogy):
कल्पना कीजिए कि आप एक डिनर पार्टी में हैं।
- पुराना तरीका: आपके पास एक मेज है जहाँ एक व्यक्ति मेनू (weights) सबको बांट रहा है जबकि हर कोई पूरा मेनू पढ़ रहा है। दूसरी मेज पर लोग किताब (story) बांट रहे हैं जबकि हर कोई पूरा मेनू याद कर रहा है।
- TSP तरीका: मेज पर मौजूद हर व्यक्ति को मेनू का एक छोटा सा हिस्सा और कहानी का एक छोटा सा हिस्सा मिलता है।
वे इसे कैसे सफल बनाते हैं (जादुई ट्रिक्स)
चूंकि हर किसी के पास मेनू का एक छोटा हिस्सा और कहानी का एक छोटा हिस्सा है, इसलिए उन्हें पहेली को पूरा करने के लिए एक-दूसरे से बहुत बात करनी होगी। पेपर दो चतुर तरीकों का वर्णन करता है जिनसे वे बिना अभिभूत हुए यह काम करते हैं:
"कहानी" वाले हिस्सों के लिए (Attention):
कल्पना कीजिए कि समूह को एक विशिष्ट वाक्य को समझने के लिए पूरी कहानी जानने की आवश्यकता है। पूरी कहानी एक साथ चिल्लाने के बजाय, वे बारी-बारी से काम करते हैं। एक व्यक्ति अपने मेनू के हिस्से को सभी को प्रसारित (broadcast) करता है। फिर, हर कोई अपनी कहानी के हिस्से की गणना करता है, और वे पूर्ण संदर्भ (context) को पुनर्गठित करने के लिए अपने कहानी के टुकड़ों (keys और values) को जल्दी से बदल लेते हैं। यह एक रिले रेस की तरह है जहाँ वे दौड़ते समय बैटन (डेटा) पास करते हैं।"नियमों" वाले हिस्सों के लिए (MLP):
कल्पना कीजिए कि समूह को अपनी कहानी के टुकड़ों पर विभिन्न नियम लागू करने की आवश्यकता है। नियमों को चिल्लाकर बताने के बजाय, वे नियम पुस्तिका के पन्नों को एक घेरे (ring) में घुमाते हैं। व्यक्ति A पेज 1 के साथ अपनी गणितीय गणना करता है, फिर पेज 1 को व्यक्ति B को पास करता है जबकि व्यक्ति B पेज 2 को व्यक्ति C को पास करता है। जब पन्ने घूम रहे होते हैं, तब भी हर कोई गणित करने में व्यस्त रहता है। यह सुनिश्चित करता है कि "ट्रैफिक" चलता रहे जबकि "काम" होता रहे।
यह बेहतर क्यों है?
लेखक दावा करते हैं कि TSP एक "हार्डवेयर-अवेयर" समाधान है, जिसका अर्थ है कि इसे विशेष रूप से इस आधार पर डिज़ाइन किया गया है कि आधुनिक कंप्यूटर चिप्स एक-दूसरे से कैसे बात करते हैं।
- मेमोरी की बचत: क्योंकि हर कोई नियमों का एक हिस्सा और कहानी का एक हिस्सा रखता है, इसलिए प्रत्येक कंप्यूटर पर आवश्यक मेमोरी काफी कम हो जाती है। यह हमें बहुत लंबी कहानियों (लंबे कॉन्टेक्स्ट) को संभालने की अनुमति देता है बिना मेमोरी खत्म हुए।
- गति: भले ही वे अधिक डेटा वापस और आगे (back and forth) भेज रहे हैं (जो धीमा लग सकता है), वे इसे इस तरह से करते हैं कि यह उनके सोचने के समय के साथ ओवरलैप हो जाता है। "पास करना" उनके "सोचने" के दौरान ही होता है, इसलिए कुल समय बहुत अधिक नहीं बढ़ता है।
- कमरे में फिट होना: एक कंप्यूटर क्लस्टर में, सबसे तेज़ कनेक्शन आमतौर पर एक ही मशीन पर चिप्स के बीच होता है (जैसे एक ही मेज पर बैठे लोग)। धीमा कनेक्शन अलग-अलग मशीनों के बीच होता है (अलग-अलग कमरों में बैठे लोग)।
- पुराने तरीके अक्सर टीम को अलग-अलग कमरों में विभाजित करने के लिए मजबूर करते थे, जिससे वे धीमे हो जाते थे।
- TSP इस पूरे "विभाजित" समूह को एक ही मशीन (एक मेज) पर फिट होने की अनुमति देता है, जिससे वे फास्ट लेन में रहते हैं।
परिणाम
लेखकों ने 1,024 शक्तिशाली GPUs (MI300X) के एक विशाल क्लस्टर पर इसका परीक्षण किया।
- मेमोरी: TSP ने हर टेस्ट में सबसे कम मेमोरी का उपयोग किया, विशेष रूप से तब जब कहानियाँ बहुत लंबी थीं।
- गति: TSP पुराने तरीकों के समान तेज़ था, या उनसे भी तेज़ था।
- स्केलेबिलिटी (Scalability): जैसे-जैसे उन्होंने समूह में कंप्यूटर जोड़े, TSP ने अच्छा प्रदर्शन करना जारी रखा, जबकि पुराने तरीके मेमोरी सीमाओं के कारण संघर्ष करने लगे।
संक्षेप में: TSP कंप्यूटरों की एक टीम को व्यवस्थित करने का एक स्मार्ट तरीका है। "नियमों" और "कहानी" को अलग-अलग समूहों में विभाजित करने के बजाय, यह उन्हें जोड़ देता है ताकि प्रत्येक कंप्यूटर दोनों का एक छोटा सा हिस्सा रख सके। यह जगह बचाता है, लंबी कहानियों की अनुमति देता है, और टीम को कुशलतापूर्वक एक ही तेज़ नेटवर्क पर काम करने में मदद करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।