Model Parallelism With Subnetwork Data Parallelism
यह शोध पत्र सबनेटवर्क डेटा पैरेललिज्म (SDP) को प्रस्तुत करता है, जो एक वितरित प्रशिक्षण ढांचा है जो मॉडलों को संरचित सबनेटवर्कों में विभाजित करता है जिन्हें एक्टिवेशन्स (activations) को साझा किए बिना वर्कर्स के बीच प्रशिक्षित किया जाता है, जिससे विभिन्न आर्किटेक्चर और स्केल्स पर प्रदर्शन को बनाए रखते हुए या उसमें सुधार करते हुए महत्वपूर्ण मेमोरी कमी (28%-60%) प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, बुद्धिमान, लेकिन अविश्वसनीय रूप से भूखे रोबोट (एक बड़े AI मॉडल) को बोलना या चित्र पहचानना सिखाने की कोशिश कर रहे हैं। समस्या यह है कि इस रोबोट के लिए एक ऐसा रसोईघर चाहिए जो इतना बड़ा और महंगा हो कि उसे बनाने का खर्च केवल कुछ ही लोग उठा सकें। AI की दुनिया में, यह "रसोईघर" शक्तिशाली ग्राफिक्स कार्ड (GPUs) पर मौजूद कंप्यूटर मेमोरी (RAM) है।
यह शोध पत्र इन विशाल रोबोटों को प्रशिक्षित करने का एक नया तरीका पेश करता है जिसे सबनेटवर्क डेटा पैरेललिज्म (Subnetwork Data-Parallelism - SDP) कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है।
पुराना तरीका: "फुल रेप्लिका" (पूर्ण प्रतिलिपि) की समस्या
परंपरागत रूप से, एक बड़े AI को प्रशिक्षित करने के लिए, शोधकर्ता डेटा पैरेललिज्म (DDP) नामक एक विधि का उपयोग करते हैं।
- उपमा: कल्पना कीजिए कि आपके पास एक विशाल दावत पकाने के लिए 8 शेफ (GPUs) की एक टीम है। पुराने तरीके में, प्रत्येक शेफ को पूरी रेसिपी बुक (नुस्खा पुस्तिका) और हर एक सामग्री की एक पूर्ण, संपूर्ण प्रति मिलती है। वे सभी पूरा भोजन पकाते हैं, उसे चखते हैं, और फिर अगले दौर के लिए रेसिपी को सुधारने के बारेв में सहमति बनाने के लिए एक-दूसरे को अपने नोट्स चिल्लाकर बताते हैं।
- समस्या: यह अविश्वसनीय रूप से बर्बादी भरा है। प्रत्येक शेफ को अपनी रेसिपी और सामग्री की अपनी प्रति रखने के लिए एक विशाल रसोई की आवश्यकता होती है। यदि रेसिपी बहुत बड़ी है, तो रसोई फट जाती है (मेमोरी खत्म हो जाती है), और शेफ खाना पका ही नहीं पाते।
नया तरीका: "विशेषज्ञ टीम" (SDP)
लेखक सबनेटवर्क डेटा पैरेललिज्म (SDP) का प्रस्ताव देते हैं। हर शेफ को पूरी रेसिपी देने के बजाय, वे रेसिपी को विशिष्ट खंडों में विभाजित करते हैं और अलग-अलग खंड अलग-अलग शेफ को सौंप देते हैं।
- उपमा: अब, शेफ A केवल ऐपेटाइज़र (शुरुआती व्यंजन) के लिए जिम्मेदार है, शेफ B सूप के लिए, और शेफ C मुख्य व्यंजनों (मेन कोर्स) के लिए।
- पूरा भोजन साझा न करना: महत्वपूर्ण बात यह है कि उन्हें पूरा व्यंजन बार-बार इधर-उधर भेजने की आवश्यकता नहीं है। वे केवल उन विशिष्ट सामग्रियों के बारे में बात करते हैं जिन पर वे काम कर रहे हैं।
- रसोई छोटी हो जाती है: क्योंकि शेफ A को केवल ऐपेटाइज़र की रेसिपी रखनी पड़ती है, इसलिए उनकी रसोई बहुत छोटी हो सकती है। इससे आप एक विशाल दावत को बहुत छोटी, सस्ती रसोई में फिट कर सकते हैं।
- परिणाम: आप एक बहुत बड़े रोबोट को प्रशिक्षित कर सकते हैं (या इसे तेजी से प्रशिक्षित कर सकते हैं) बिना किसी अत्यधिक महंगे रसोईघर की आवश्यकता के।
काम को विभाजित करने के दो तरीके
शोध पत्र इन "उप-रेसिपी" को शेफ को सौंपने के दो अलग-अलग तरीकों का परीक्षण करता है:
फॉरवर्ड मास्किंग (सामग्री काटने का दृष्टिकोण):
- यह कैसे काम करता है: शेफ खाना शुरू करने से पहले ही उन सामग्रियों को फेंक देता है जिनका उसे उपयोग नहीं करना है। वह केवल उस व्यंजन का हिस्सा पकाता है जो उसे सौंपा गया है।
- लाभ: यह सबसे अधिक जगह बचाता है क्योंकि उन्हें अप्रयुक्त सामग्रियों को स्टोर करने की भी आवश्यकता नहीं होती है। यह केवल सूप बनाने जैसा है लेकिन केवल उन्हीं गाजरों और प्याज को खरीदने जैसा है जिनकी आपको आवश्यकता है, बाकी किराने की सूची को पूरी तरह अनदेखा कर देना।
- चुनौती: क्योंकि वे रेसिपी के कुछ हिस्सों को अनदेखा कर रहे हैं, इसलिए उन्हें पूरी तस्वीर समझने के लिए कुछ और बैच पकाने होंगे।
बैकवर्ड मास्किंग ("पूरी किताब पढ़ें, केवल अपने नोट्स लिखें" दृष्टिकोण):
- यह कैसे काम करता है: शेफ संदर्भ (context) को समझने के लिए पूरी रेसिपी बुक (पूरा मॉडल) पढ़ता है, लेकिन जब वह व्यंजन को सुधारने के बारे में अपने नोट्स लिखता है, तो वह केवल उसी अनुभाग के बारे में लिखता है जिसके लिए वह जिम्मेदार है।
- लाभ: यह थोड़ा अधिक गणितीय रूप से "ईमानदार" है क्योंकि शेफ पूरे भोजन को समझता है, लेकिन वह केवल उन नोट्स को बचाने के लिए जगह बनाता है जो वह लिखता है। यह सीखने का एक सुरक्षित, अधिक स्थिर तरीका है।
उन्होंने क्या पाया?
शोधकर्ताओं ने दो बहुत ही अलग प्रकार के AI पर इनका परीक्षण किया:
लैंग्वेज मॉडल्स (LLMs): जैसे कि "LLaMA" मॉडल जो टेक्स्ट लिखते हैं। उन्होंने 500 मिलियन और 1 बिलियन "न्यूरॉन्स" (पैरामीटर्स) वाले मॉडल को प्रशिक्षित करने का प्रयास किया।
- परिणाम: उन्होंने मेमोरी की आवश्यकता को 28% से 60% तक कम कर दिया। कुछ मामलों में, वे एक ऐसे मॉडल को फिट करने में सक्षम थे जिसके लिए पहले एक विशाल रसोई की आवश्यकता थी, और इसमें AI के बोलने की क्षमता में कोई कमी नहीं आई।
- बोनस: उन्होंने पाया कि SDP अन्य मेमोरी-बचाने वाले तरीकों (जैसे "एक्टिवेशन चेकपॉइंटिंग" और "FSDP") के साथ पूरी तरह से काम करता है। यह लेगो ब्लॉक्स (Lego blocks) को एक के ऊपर एक रखने जैसा है; आप मेमोरी उपयोग को भारी रूप से 85% तक कम करने के लिए SDP को अन्य विधियों के साथ जोड़ सकते हैं।
इमेज क्लासिफायर: चित्र पहचानने वाले मॉडल (जैसे ResNet और Swin Transformers)।
- परिणाम: उन्होंने मानक इमेज डेटासेट (CIFAR) पर इन मॉडलों को प्रशिक्षित किया। काफी कम मेमोरी (कभी-कभी मूल का केवल 40%) के साथ भी, AI चित्र पहचानने में पूर्ण-आकार वाले संस्करण जितना ही अच्छा था। कुछ मामलों में, "विशेषज्ञ टीम" वाला दृष्टिकोण वास्तव में AI को बेहतर सीखने में मदद करता है, जो "रेगुलराइजेशन" (अत्यधिक सोचने से रोकने का एक तरीका) के रूप में कार्य करता है।
निचोड़ (The Bottom Line)
यह शोध पत्र यह दावा नहीं करता कि इसने किसी नए प्रकार के AI का आविष्कार किया है या अस्पतालों या स्वायत्त कारों (self-driving cars) में AI के उपयोग का नया तरीका खोजा है। इसके बजाय, यह एक लॉजिस्टिक्स (रसद) की समस्या को हल करता है।
इसे एक निर्माण दल (construction crew) को व्यवस्थित करने के नए तरीके के रूप में सोचें। प्रत्येक कार्यकर्ता को गगनचुंबी इमारत के ब्लूप्रिंट का पूरा सेट देने के बजाय (जो उनकी जेब में बहुत जगह घेरता है), आप उन्हें केवल उनके विशिष्ट फ्लोर (मंजिल) के ब्लूप्रिंट देते हैं। वे अभी भी वही गगनचुंबी इमारत बनाते हैं, लेकिन उन्हें कम जेब की जगह चाहिए, और आप उपलब्ध संसाधनों के साथ ऊँची इमारतें बना सकते हैं।
मुख्य बातें:
- SDP एक बड़े AI मॉडल को अलग-अलग कंप्यूटरों में छोटे टुकड़ों में विभाजित करता है।
- यह हर कंप्यूटर में पूरा मॉडल रखने की आवश्यकता को समाप्त करता है, जिससे 28%–60% मेमोरी बचती है।
- यह मौजूदा AI मॉडलों (जैसे LLaMA और ResNet) के साथ बिना उनके उपयोग के तरीके को बदले काम करता है।
- इसे और भी अधिक स्थान बचाने के लिए अन्य मेमोरी-बचाने वाले तरीकों के साथ जोड़ा जा सकता है (85% तक)।
- AI पारंपरिक तरीके के समान (या कभी-कभी बेहतर) प्रदर्शन करता है, बावजूद इसके कि यह कम मेमोरी का उपयोग करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।