Scalable Construction of Spiking Neural Networks using up to thousands of GPUs
यह शोध पत्र मल्टी-जीपीयू क्लस्टर्स और एक्सास्केल सुपरकंप्यूटरों पर बड़े पैमाने के स्पाइकिंग न्यूरल नेटवर्क के निर्माण और सिमुलेशन के लिए एक नवीन MPI-आधारित विधि प्रस्तुत करता है, जो अनुकूलित स्थानीय कनेक्टिविटी और स्पाइक एक्सचेंज रणनीतियों के माध्यम से जटिल कॉर्टिकल मॉडल के लिए कुशल स्केलिंग प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर पर मानव मस्तिष्क का अनुकरण (simulate) करने की कोशिश कर रहे हैं। मस्तिष्क लगभग 86 अरब न्यूरॉन्स का एक विशाल शहर है, जहाँ प्रत्येक न्यूरल एक घर की तरह है जो हर सेकंड हजारों अन्य घरों को छोटे विद्युत "टेक्स्ट संदेश" (जिन्हें स्पाइक्स कहा जाता है) भेजता है। इसे सिम्युलेट करने के लिए, आपको एक सुपरकंप्यूटर की आवश्यकता है जिसमें हजारों ग्राफिक्स कार्ड (GPUs) एक साथ मिलकर काम कर रहे हों।
समस्या यह है कि ये GPUs द्वीपों की तरह हैं। वे तेज़ तो हैं, लेकिन वे एक-दूसरे से आसानी से बात नहीं कर पाते। यदि एक द्वीप दूसरे द्वीप को संदेश भेजना चाहता है, तो "डाकिया" (संचार प्रणाली) को इधर-उधर दौड़ना पड़ता है, जिससे सब कुछ धीमा हो जाता है।
यह शोध पत्र इन कनेक्शनों का मानचित्र (map) बनाने का एक नया, बहुत तेज़ तरीका पेश करता है जो सिमुलेशन शुरू होने से पहले ही तैयार हो जाता है, ताकि GPUs ट्रैफिक में फंसे बिना सिमुलेशन चला सकें।
उन्होंने यह कैसे किया, इसका सरल विवरण यहाँ दिया गया है:
1. पुराना तरीका: मुख्य भूमि पर मानचित्र बनाना
पहले, जब वैज्ञानिक एक मस्तिष्क नेटवर्क का अनुकरण करना चाहते थे, तो वे पहले धीमे, केंद्रीय कंप्यूटर (CPU) पर "कनेक्शन मैप" बनाते थे। फिर, उन्हें इस विशाल मानचित्र को तेज़ GPUs तक कॉपी करना पड़ता था।
- उपमा: कल्पना कीजिए कि आप एक बहुत बड़ी पार्टी आयोजित कर रहे हैं। पुराने तरीके में, आपने रसोई (CPU) में एक कागज पर हर मेहमान का नाम और वह किसे जानता है, यह लिखा, फिर हर कमरे (GPU) में जाकर उन्हें सूची की एक प्रति थमा दी। तैयारी करने में ही इसमें बहुत समय लग जाता था।
2. नया तरीका: कमरों के अंदर ही मानचित्र बनाना
लेखकों ने एक नई विधि विकसित की है जहाँ प्रत्येक GPU, केंद्रीय कंप्यूटर की प्रतीक्षा किए बिना, सीधे अपने स्वयं के मेमोरी के भीतर अपने कनेक्शन मैप का अपना हिस्सा बनाता है।
- उपमा: अब, रसोई में सूची लिखने के बजाय, हर कमरे में अपना खुद का नोटपैड है। जैसे ही पार्टी शुरू होती है, कमरे में मौजूद मेहमान वहीं लिखते हैं कि वे किसे जानते हैं। अब रसोई तक बार-बार दौड़ने की कोई आवश्यकता नहीं है।
- परिणाम: यह "ऑनबोर्ड" निर्माण पुराने तरीके की तुलना में 10 गुना से भी अधिक तेज़ है। एक परीक्षण में, इसे नेटवर्क बनाने में 55 सेकंड लगे, जबकि पुराने तरीके में लगभग 12 मिनट लगते।
3. संदेश भेजने के दो तरीके
एक बार मानचित्र बन जाने के बाद, सिमुलेशन के दौरान GPUs को "टेक्स्ट मैसेज" (स्पाइक्स) का आदान-प्रदान करने की आवश्यकता होती है। उन्होंने नेटवर्क के संगठन के आधार पर दो अलग-अलग रणनीतियों का परीक्षण किया:
रणनीति A: सीधा फोन कॉल (पॉइंट-टू-प्वॉइंट)
- यह कैसे काम करता है: यदि GPU #1 में एक न्यूरॉन को GPU #2 में एक विशिष्ट न्यूरॉन से बात करनी है, तो वह सीधे उस विशिष्ट GPU को कॉल करता है।
- सबसे अच्छा: उन नेटवर्कों के लिए जहाँ कनेक्शन असमान या विशिष्ट होते हैं (जैसे वास्तविक मस्तिष्क जहाँ कुछ क्षेत्र एक-दूसरे से बहुत अधिक बात करते हैं, लेकिन सभी से नहीं)।
- शोध पत्र का दावा: उन्होंने इसका उपयोग बंदर के विजुअल कॉर्टेक्स (32 अलग-अलग क्षेत्र) के मॉडल के लिए किया। यह पूरी तरह से सफल रहा, जिससे सिद्ध हुआ कि नया मैप-बिल्डिंग तरीका जटिल, वास्तविक दुनिया की मस्तिष्क संरचनाओं के अनुकूल है।
रणनीति B: ग्रुप चैट (कलेक्टिव कम्युनिकेशन)
- यह कैसे काम करता है: व्यक्तियों को कॉल करने के बजाय, एक GPU एक साथ कई GPUs के समूह को अपने संदेश चिल्लाकर भेजता है। पूरा समूह उस शोर को सुनता है और जाँचता है कि क्या संदेश उनके लिए है।
- सबसे अच्छा: विशाल, रैंडम नेटवर्कों के लिए जहाँ हर कोई सभी से बात करता है (जैसे एक संतुलित भीड़)।
- शोध पत्र का दावा: उन्होंने 1,024 GPUs तक स्केल होने वाले एक विशाल "बैलेंस्ड नेटवर्क" पर इसका परीक्षण किया। यह ग्राफिक्स कार्डों की एक बहुत बड़ी संख्या है जो एक साथ काम कर रहे हैं। उन्होंने दिखाया कि इतने अधिक कार्डों के साथ भी, सिस्टम बिना क्रैश हुए सुचारू रूप से स्केल करता है।
4. "मेमोरी लेवल्स" वाली ट्रिक
GPUs में बहुत मेमोरी होती है, लेकिन अनंत नहीं। अरबों न्यूरॉन्स के कनेक्शन मैप को स्टोर करने के लिए बहुत जगह चाहिए होती है।
- उपमा: कल्पना कीजिए कि आपके पास एक छोटा डेस्क (GPU मेमोरी) और एक विशाल गोदाम (CPU मेमोरी) है।
- समाधान: लेखकों ने संगठन के चार "लेवल" बनाए हैं।
- लेवल 0: मैप को गोदाम (CPU) में रखें और केवल वही लाएं जिसकी आपको आवश्यकता है। यह डेस्क की जगह बचाता है लेकिन लाने में धीमा होता है।
- लेवल 3: डेस्क को सब कुछ देकर भर दें। यह सबसे तेज़ है लेकिन इसके लिए बड़े डेस्क की आवश्यकता होती है।
- शोध पत्र का दावा: उन्होंने दिखाया कि सही लेवल चुनकर, वे Leonardo Booster सुपरकंप्यूटर (जिसमें 4,096 GPUs हैं) पर सिमुलेशन चला सकते हैं और यहाँ तक कि भविष्यवाणी भी कर सकते हैं कि आगामी JUPITER सुपरकंप्यूटर 230 मिलियन न्यूरॉन्स और 2.5 ट्रिलियन सिनैप्स वाला नेटवर्क सिम्युलेट कर सकता है! यह लगभग मानव कॉर्टेक्स के आकार का है!
सारांश: उन्होंने क्या हासिल किया
- गति: उन्होंने ग्राफिक्स कार्ड पर सीधे नेटवर्क मैप बनाकर मस्तिष्क सिमुलेशन के "सेटअप" चरण को 10 गुना तेज़ बना दिया।
- स्केल: उन्होंने सिद्ध किया कि यह एक साथ 1,024 GPUs पर काम करता है।
- लचीलापन: उन्होंने संचार को संभालने के दो अलग-अलग तरीके दिखाए (डायरेक्ट कॉल बनाम ग्रुप चैट) ताकि वैज्ञानिक अपने विशिष्ट मस्तिष्क मॉडल के लिए सबसे अच्छा तरीका चुन सकें।
- भविष्य के लिए तैयार: उनकी विधियाँ अगली पीढ़ी के "एक्सास्केल" (Exascale) सुपरकंप्यूटरों के लिए डिज़ाइन की गई हैं, जो व्यक्तिगत सिनैप्स विवरण के साथ पूर्ण मानव मस्तिष्क को सिम्युलेट करने के लिए पर्याप्त शक्तिशाली होंगे।
संक्षेप में, उन्होंने न केवल सिमुलेशन को तेज़ बनाया; बल्कि उन्होंने डेटा के लिए एक बेहतर "सड़क प्रणाली" बनाई ताकि रेस शुरू होने से पहले सुपरकंप्यूटर ट्रैफिक में न फंस जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।