Distributed Training using an Intelligent Network
यह शोध पत्र वाइड एरिया नेटवर्क्स में वितरित प्रशिक्षण के लिए एक इंटेलिजेंट नेटवर्क फ्रेमवर्क का प्रस्ताव करता है जो बैंडविड्थ और लेटेंसी बाधाओं को दूर करने के लिए ऑप्टिमाइज्ड सिंक्रोनाइज़ेशन शेड्यूल्स के साथ मल्टीकास्ट और इन-लाइन FPGA एग्रीगेशन को जोड़ता है, जिससे कोलोकेटेड ट्रेनिंग के साथ प्रदर्शन के अंतर को कम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
दुनिया के सबसे शक्तिशाली कृत्रिम बुद्धिमत्ता (AI) मॉडल इतने बड़े होते जा रहे हैं कि वे एक अकेली इमारत के भीतर समा नहीं सकते। इन प्रणालियों को प्रशिक्षित करने के लिए हजारों कंप्यूटरों को एक साथ काम करने की आवश्यकता होती है, लेकिन बिजली और स्थान की भौतिक सीमाएं यह तय करती हैं कि कोई भी एकल डेटा सेंटर अब उन सभी को नहीं रख सकता। इसके बजाय, शोधकर्ताओं को अपनी कंप्यूटिंग शक्ति को कई स्थानों पर फैलाना पड़ता है, जो कभी-कभी महासागरों द्वारा अलग किए गए होते हैं। यह एक कठिन समस्या पैदा करता है: तालमेल बनाए रखने के लिए कंप्यूटरों को लगातार एक-दूसरे से बात करने की आवश्यकता होती है, लेकिन लंबी दूरी तक भारी मात्रा में डेटा भेजना धीमा और महंगा होता है। दूर स्थित इन साइटों के बीच के कनेक्शन अक्सर संकीले और असमान होते हैं, जिससे सूचना प्राप्त होने की प्रतीक्षा करते समय कंप्यूटर खाली बैठे रहते हैं। यदि कंप्यूटर अपनी प्रगति को तेज़ी से साझा नहीं कर पाते हैं, तो पूरी प्रशिक्षण प्रक्रिया धीमी हो जाती है, जिससे बहुमूल्य समय और ऊर्जा नष्ट होती है।
डबलजीरो फाउंडेशन (DoubleZero Foundation) के शोधकर्ताओं की एक टीम ने नेटवर्क को ही एक सक्रिय सहायक में बदलकर इस बाधा को हल करने का एक नया तरीका प्रस्तावित किया है। इंटरनेट कनेक्शन को केवल डेटा ले जाने वाले एक निष्क्रिय पाइप के रूप में मानने के बजाय, वे सूचना के प्रवाह को प्रबंधित करने के लिए नेटवर्क के भीतर विशेष हार्डवेयर का उपयोग करने का सुझाव देते हैं। उनका दृष्टिकोण दो मौजूदा तकनीकों को वाइड-एरिया कनेक्शनों के लिए एक नए तरीके से जोड़ता है। सबसे पहले, वे 'मल्टीकास्ट' (multicast) नामक एक विधि का उपयोग करते हैं, जो एक कंप्यूटर को एक संदेश भेजने की अनुमति देता है जिसे नेटवर्क स्वचालित रूप से कई अलग-अलग गंतव्यों को एक साथ वितरित करने के लिए कॉपी करता है, बजाय इसके कि प्रत्येक के लिए अलग-अलग प्रतियां भेजी जाएं। दूसरा, वे नेटवर्क के किनारे पर, प्रत्येक कंप्यूटर क्लस्टर के पास, प्रोग्राम करने योग्य चिप्स, जिन्हें FPGA कहा जाता है, रखते हैं। ये चिप्स स्मार्ट एग्रीगेटर्स (aggregators) के रूप में कार्य करते हैं, जो कई अलग-अलग स्रोतों से आने वाले डेटा स्ट्रीम को इकट्ठा करते हैं और स्थानीय कंप्यूटरों तक पहुँचने से पहले उन्हें एक एकल, स्वच्छ स्ट्रीम में मिला देते हैं। नेटवर्क के भीतर डेटा को कॉपी करने और संयोजित करने का भारी काम करके, यह प्रणाली दूर स्थित साइटों के बीच सीमित कनेक्शनों पर दबाव को कम करती है।
इस प्रणाली को प्रभावी ढंग से काम करने के योग्य बनाने के लिए, शोधकर्ताओं ने एक नया गणितीय ढांचा भी विकसित किया है जिससे यह तय किया जा सके कि कंप्यूटरों को वास्तव में कब और कैसे एक-दूसरे से बात करनी चाहिए। एक पारंपरिक सेटअप में, प्रत्येक कंप्यूटर एक ही समय में अन्य सभी कंप्यूटरों से बात करने की कोशिश कर सकता है, जिससे नेटवर्क जाम हो सकता है। नया ढांचा नेटवर्क को विशिष्ट सड़कों और यातायात नियमों वाले एक मानचित्र की तरह मानता है। यह कंप्यूटरों को संचार के छोटे, घूमते हुए वृत्तों (rotating circles) में समूह बनाने का सबसे अच्छा तरीका निकालता है। प्रत्येक दौर में, कंप्यूटरों का एक विशिष्ट समूह जानकारी का आदान-प्रदान करता है जबकि अन्य प्रतीक्षा करते हैं, और फिर अगले दौर में समूह बदल जाते हैं। लक्ष्य यह पता लगाना है कि कंप्यूटर कितनी देर प्रतीक्षा करते हैं और वे कितनी जानकारी साझा करते हैं, इसके बीच का सही संतुलन क्या है। शोधकर्ताओं ने इस विचार का परीक्षण एक वास्तविक, प्रोग्राम करने योग्य नेटवर्क पर आधारित सिमुलेशन का उपयोग करके किया जो तीन महाद्वीपों में फैले नौ शहरों तक फैला हुआ है। उन्होंने टोक्यो, न्यूयॉर्क और लंदन जैसे शहरों के बीच वास्तविक यात्रा समय और कनेक्शन गति का उपयोग करके मॉडल बनाया ताकि यह देखा जा सके कि विभिन्न समूहीकरण रणनीतियां कैसा प्रदर्शन करती हैं।
सिमुलेशन से पता चला कि सबसे अच्छी रणनीति हार्डवेयर की क्षमताओं पर बहुत अधिक निर्भर करती है। जब नेटवर्क चिप्स में बहुत कम मेमोरी थी, तो सबसे कुशल दृष्टिकोण तीन कंप्यूटरों के छोटे समूह बनाना था जो विभिन्न संयोजनों के माध्यम से घूमते थे। इसने डेटा को तेजी से बहने दिया बिना सिस्टम की सूचना रखने की क्षमता को अभिभूत किए। हालांकि, जब शोधकर्ताओं ने चिप्स को अधिक मेमोरी दी, तो इष्टतम रणनीति पूरी तरह से बदल गई। लंबी दूरी की देरी को संभालने के लिए पर्याप्त मेमोरी के साथ, सिस्टम एक ऐसी रणनीति का समर्थन कर सकता है जहाँ प्रत्येक कंप्यूटर एक ही समय में अन्य सभी कंप्यूटरों से बात करता है। यह "ऑल-टू-ऑल" (all-to-all) दृष्टिकोण, जो पहले लंबी दूरी पर असंभव था, सबसे तेज़ तरीका बन गया क्योंकि इसने जानकारी को सबसे कम समय में सभी तक पहुँचाने की अनुमति दी। अध्ययन ने दिखाया कि इन स्मार्ट नेटवर्क तकनीकों को एक ऐसे शेड्यूल के साथ जोड़कर जो हार्डवेयर की सीमाओं के अनुकूल हो, उन कंप्यूटरों के बीच के अंतर को कम करना संभव है जो दुनिया भर में फैले हुए हैं और उनके बीच जो एक ही कमरे में अगल-बगल बैठे हैं।
शोधकर्ता इस बात पर जोर देते हैं कि उनका काम वर्तमान में एक लाइव नेटवर्क पर आधारित एक सिमुलेशन है जिसे अभी भी बनाया जा रहा है। हालांकि डबलजीरो नेटवर्क मौजूद है और ट्रैफिक ले जाता है, लेकिन इसमें वास्तविक दुनिया के परीक्षण में एक विशाल मॉडल को प्रशिक्षित करने के लिए पर्याप्त जुड़े हुए कंप्यूटर क्लस्टर नहीं हैं। प्रस्तुत परिणाम एक 'प्रूफ ऑफ कॉन्सेप्ट' (proof of concept) हैं, जो यह प्रदर्शित करते हैं कि सैद्धांतिक लाभ वास्तविक हैं और सही नेटवर्क हार्डवेयर और शेड्यूलिंग लॉजिक का संयोजन दूरी की पारंपरिक बाधाओं को दूर कर सकता है। निष्कर्ष बताते हैं कि भविष्य में विशाल कृत्रिम बुद्धिमत्ता मॉडल को प्रशिक्षित करने के लिए न केवल तेज़ कंप्यूटरों की आवश्यकता होगी, बल्कि स्मार्ट नेटवर्क की भी आवश्यकता होगी जो सीखने की प्रक्रिया में सक्रिय रूप से भाग लेते हैं, जिससे डेटा केंद्रों के बीच की विशाल दूरियों को एक कमजोरी के बजाय एक प्रबंधनीय हिस्से में बदला जा सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।