Maia 200: A Software Defined Dataflow System for Large-scale AI Acceleration
यह शोध पत्र Maia 200 को प्रस्तुत करता है, जो एक उच्च-प्रदर्शन, ऊर्जा-कुशल AI एक्सेलेरेटर है जो एक नवीन सॉफ्टवेयर डिफाइंड लोकली एक्सेसड डेटाफ्लो आर्किटेक्चर (SDLA) का उपयोग करके थ्रेड-केंद्रित से डेटा-मूवमेंट-केंद्रित कंप्यूटिंग की ओर स्थानांतरित होता है, जिससे बड़े पैमाने के AI इन्फरेंस वर्कलोड के लिए व्यापक समानांतरता और महत्वपूर्ण लागत बचत प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटिंग की दुनिया वर्तमान में एक बड़े बदलाव से गुजर रही है, जो एक नए प्रकार के सॉफ्टवेयर द्वारा संचालित है जो कविता लिख सकता है, जटिल गणितीय समस्याओं को हल कर सकता है, और सरल विवरणों से चित्र बना सकता है। ये सिस्टम, जिन्हें लार्ज लैंग्वेज मॉडल्स (large language models) के रूप में जाना जाता है, इन्हें चलाने के लिए भारी मात्रा में कंप्यूटिंग शक्ति की आवश्यकता होती है। वर्षों से, उद्योग एक विशिष्ट तरीके से कंप्यूटर चिप्स को व्यवस्थित करने पर निर्भर रहा है, जो डेटा को एक केंद्रीय मस्तिष्क द्वारा संसाधित होने की प्रतीक्षा कर रहे निर्देशों के प्रवाह की तरह मानता है। हालाँकि, जैसे-जैसे ये मॉडल बड़े और अधिक जटिल होते जा रहे हैं, यह पारंपरिक तरीका एक दीवार से टकरा रहा है। चिप्स वास्तव में गणित करने के बजाय डेटा के आने की प्रतीक्षा करने में बहुत अधिक समय बिता रहे हैं, जिससे ऐसे सिस्टम बन रहे हैं जिन्हें बनाना और चलाना अविश्वसनीय रूप से महंगा है, और जो भारी मात्रा में बिजली की खपत करते हैं। मुख्य चुनौती अब केवल गणित को तेज़ बनाने के बारे में नहीं है; यह डेटा को स्वयं अधिक कुशलता से स्थानांतरित करने के बारे में है।
माइक्रोसॉफ्ट के शोधकर्ताओं की एक टीम ने 'माया 200' (Maia 200) नामक एक चिप के साथ इस समस्या को हल करने के लिए एक नया दृष्टिकोण पेश किया है। पुराने सोचने के तरीके को जबरदस्ती काम कराने के बजाय, उन्होंने एक ऐसा सिस्टम डिज़ाइन किया है जो कंप्यूटर चिप द्वारा सूचना को संभालने के बुनियादी नियमों को बदल देता है। वे इस नए डिज़ाइन को "सॉफ्टवेयर डिफाइंड लोकली एक्सेसड डेटाफ्लो" (Software Defined Locally Accessed Dataflow) आर्किटेक्चर कहते हैं। सरल शब्दों में, इसका अर्थ है कि चिप को इस तरह बनाया गया है कि वह डेटा को ठीक वहीं पहुँचा सके जहाँ उसकी आवश्यकता है, और ठीक उसी समय जब उसकी आवश्यकता हो, बिना किसी केंद्रीय कमांड का इंतज़ार किए कि उसे आगे क्या करना है। शोधकर्ताओं ने यह सिद्ध किया है कि यह विधि चिप को पिछले डिजाइनों की तुलना में कहीं अधिक गति और ऊर्जा दक्षता के साथ गणना करने की अनुमति देती है, जो एक ऐसा समाधान प्रदान करती है जो उद्योग की वर्तमान सीमाओं के कारण होने वाले भारी लागत और ऊर्जा दंड के बिना अगली पीढ़ी के आर्टिफिशियल इंटेलिजेंस को शक्ति दे सकता है।
यह समझने के लिए कि यह क्यों महत्वपूर्ण है, व्यक्ति को यह देखना चाहिए कि आधुनिक कंप्यूटर आमतौर पर कैसे काम करते हैं। दशकों से, मानक डिज़ाइन यह रहा है कि एक केंद्रीय प्रोसेसर होता है जो एक बड़े, साझा मेमोरी बैंक से डेटा प्राप्त करता है, उस पर कुछ कार्य करता है, और फिर उसे वापस भेज देता है। यह कई कार्यों के लिए अच्छा काम करता है, लेकिन आर्टिफिशियल इंटेलिजेंस के लिए आवश्यक विशाल, दोहराव वाली गणनाओं के लिए, यह एक बाधा (bottleneck) पैदा करता है। प्रोसेसर अक्सर डेटा के चिप के पार आने की प्रतीक्षा में खाली बैठा रहता है। माइक्रोसॉफ्ट की टीम ने महसूस किया कि इन विशिष्ट प्रकार के वर्कलोड के लिए, सबसे कुशल मार्ग एक एकल केंद्रीय कमांडर होना नहीं है, बल्कि डेटा को अपने स्वयं के निर्देश देना है। उन्होंने एक ऐसा सिस्टम बनाया जहाँ डेटा का संचलन स्पष्ट रूप से प्रोग्राम किया जाता है, जिससे चिप के विभिन्न भाग स्वतंत्र रूप से और समानांतर (parallel) में काम कर सकते हैं। यह ध्यान निष्पादन के थ्रेड्स (threads of execution) को प्रबंधित करने से हटाकर सूचना के प्रवाह को प्रबंधित करने पर केंद्रित करता है।
माया 200 चिप इसी विचार का भौतिक स्वरूप है। यह सिलिकॉन का एक विशाल टुकड़ा है, जिसमें 140 बिलियन से अधिक ट्रांजिस्टर हैं, जिसे विशेष रूप से आर्टिफिशियल इंटेलिजेंस इन्फरेंस (inference) के भारी कार्यों को संभालने के लिए डिज़ाइन किया गया है, जो कि एक प्रशिक्षित मॉडल का उपयोग करके उत्तर उत्पन्न करने की प्रक्रिया है। चिप को एक अद्वितीय आंतरिक संरचना के साथ बनाया गया है जो इसकी मेमोरी को कई छोटे, विशिष्ट पॉकेट में विभाजित करती है जो चिप के उन हिस्सों के ठीक बगल में स्थित होते हैं जो गणित करते हैं। यह एक विशाल साझा मेमोरी पूल रखने वाले पारंपरिक डिज़ाइन से एक जानबूझकर किया गया विचलन है। डेटा को वहीं रखने से जहाँ उसका उपयोग किया जा रहा है, चिप सिलिकॉन के माध्यम से लंबी दूरी की यात्रा से जुड़ी ऊर्जा की बर्बादी और समय की देरी से बच जाता है। शोधकर्ताओं ने पाया कि यह डिज़ाइन चिप को अपनी शक्ति सीमाओं के भीतर पहले कभी न देखी गई प्रदर्शन स्तर प्राप्त करने की अनुमति देता है, जो 750-वाट के ऊर्जा बजट के भीतर भारी मात्रा में कंप्यूटिंग शक्ति प्रदान करता है।
जो चीज़ माया 200 को वास्तव में विशिष्ट बनाती है, वह है इसका डेटा के संचलन को संभालने का तरीका। पुराने सिस्टम में, कंप्यूटर अक्सर एक "कैश" (cache) पर निर्भर करता है, जो एक छोटी, तेज़ मेमोरी है जो स्वचालित रूप से उस डेटा को संग्रहीत करती है जिसके बारे में उसे लगता है कि प्रोसेसर को आगे इसकी आवश्यकता हो सकती है। जबकि यह सामान्य प्रयोजन (general-purpose) की कंप्यूटिंग के लिए अच्छा काम करता है, माइक्रोसॉफ्ट टीम ने पाया कि आर्टिफिशियल इंटेलिजेंस के अनुमानित, दोहराव वाले पैटर्न के लिए, स्वचालित कैशिंग वास्तव में अक्षम है। यह ऐसी जटिलता और ओवरहेड जोड़ता है जो चीजों को धीमा कर देता है। इसके बजाय, माया 200 एक ऐसा सिस्टम उपयोग करता है जहाँ प्रोग्रामर स्पष्ट रूप से बताता है कि डेटा को कहाँ और कब ले जाना है। यह सुनने में ऐसा लग सकता है कि इससे प्रोग्रामिंग कठिन हो जाएगी, लेकिन शोधकर्ताओं ने एक नया सॉफ्टवेयर लेयर डिज़ाइन किया है जो विशेषज्ञों को अधिकतम गति के लिए डेटा मूवमेंट पर पूर्ण नियंत्रण लेने की अनुमति देता है, जबकि सामान्य कार्यों के लिए सरल उपकरण भी प्रदान करता है। यह दृष्टिकोण चिप को सटीकता का एक ऐसा स्तर देता है जो स्वचालित सिस्टम के पास नहीं होता, जिससे यह प्रोसेसर के हर हिस्से को व्यस्त और पूरी क्षमता से काम करने में सक्षम बनाता है।
यह चिप एक बड़े क्लस्टर में अन्य चिप्स के साथ सहजता से काम करने के लिए भी डिज़ाइन की गई है। आर्टिफिशियल इंटेलिजेंस मॉडल अक्सर इतने बड़े होते हैं कि वे एक एकल चिप में नहीं समा सकते, जिसके लिए हजारों चिप्स को मिलकर काम करने की आवश्यकता होती है। माया 200 में एक परिष्कृत नेटवर्क शामिल है जो सीधे चिप के भीतर निर्मित है, जो इसे अन्य चिप्स से डेटा भेजने और प्राप्त करने की अनुमति देता है जैसा कि यह अपने भीतर डेटा स्थानांतरित करता है। शोधकर्ताओं ने प्रदर्शित किया कि यह सिस्टम हजारों चिप्स को एक साथ जोड़ सकता है, जिससे एक ऐसा सुपरकंप्यूटर बनता है जो प्रति सेकंड क्विंटिलियन (quintillions) गणना करने में सक्षम है। उन्होंने इस सिस्टम का परीक्षण वास्तविक दुनिया के आर्टिफिशियल इंटेलिजेंस मॉडल के साथ किया, जिसमें अरबों पैरामीटर वाला एक लार्ज लैंग्वेज मॉडल शामिल था, और पाया कि यह हार्डवेयर की सैद्धांतिक अधिकतम क्षमता के 70 प्रतिशत से अधिक की गति से टेक्स्ट उत्पन्न कर सकता है। यह एक महत्वपूर्ण उपलब्धि है, क्योंकि यह दिखाता है कि नया आर्किटेक्चर केवल सिद्धांत में ही नहीं, बल्कि व्यावहारिक, जटिल परिदृश्यों में भी प्रभावी ढंग से कार्य करता है।
शोध के सबसे महत्वपूर्ण निष्कर्षों में से एक लागत और ऊर्जा पर पड़ने वाला प्रभाव है। टीम ने गणना की कि इस नए डिज़ाइन का उपयोग करके, वे अन्य उपलब्ध एक्सेलेरेटर्स की तुलना में बड़े पैमाने के आर्टिफिशियल इंटेलिजेंस सिस्टम के कुल स्वामित्व लागत (total cost of ownership) को 30 प्रतिशत कम कर सकते हैं और ऊर्जा खपत को 15 प्रतिशत कम कर सकते हैं। एक ऐसे उद्योग में जहाँ ऊर्जा बिल एक प्राथमिक चिंता बनते जा रहे हैं और कंप्यूटिंग शक्ति की मांग तेजी से बढ़ रही है, ये बचत बहुत महत्वपूर्ण हैं। शोधकर्ताओं ने यह उपलब्धि चिप को छोटा या सस्ता बनाकर नहीं, बल्कि पूरे सिस्टम को उसके काम में अधिक कुशल बनाकर हासिल की है। डेटा को अनावश्यक रूप से स्थानांतरित करने में लगने वाले बर्बाद समय और ऊर्जा को समाप्त करके, चिप कम शक्ति के लिए अधिक कार्य करती है।
माया 200 भविष्य के कंप्यूटर बनाने के तरीके में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। यह सब कुछ प्रबंधित करने वाले एक एकल, केंद्रीय मस्तिष्क के पुराने विचार से दूर जाता है और एक ऐसे मॉडल को अपनाता है जहाँ डेटा विशेषज्ञ नेटवर्क के माध्यम से स्वतंत्र रूप से और कुशलता से प्रवाहित होता है। शोधकर्ताओं ने दिखाया है कि डेटा संचलन पर नियंत्रण पाकर और मेमोरी को ठीक वहीं रखकर जहाँ उसकी आवश्यकता है, तेज़, सस्ता और अधिक ऊर्जा-कुशल सिस्टम बनाना संभव है। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस विकसित होता रहेगा और अधिक शक्ति की मांग करेगा, माया 200 जैसे डिज़ाइन एक टिकाऊ और स्केलेबल रास्ता प्रदान करते हैं। यह कार्य प्रदर्शित करता है कि उच्च-प्रदर्शन कंप्यूटिंग का भविष्य केवल गणित को तेज़ बनाने में नहीं, बल्कि डेटा के प्रबंधन और संचलन के तरीके को फिर से सोचने में निहित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।