Neuromorphic Diffusion Language Models: Addressing Compute and Memory Bottlenecks via Sparsity and Block Denoising
यह शोध पत्र न्यूरोमॉर्फिक डिफ्यूजन लैंग्वेज मॉडल्स (N-MDLMs) का प्रस्ताव करता है, जो ब्लॉक डिफ्यूजन और स्पाइक-आधारित स्पर्सिटी (sparsity) को संयोजित करके इनफरेंस थ्रूपुट और ऊर्जा दक्षता में महत्वपूर्ण सुधार करता है, जिससे प्रति पैरामीटर एक्सेस मल्टी-टोकन जनरेशन सक्षम होता है और निष्क्रिय चैनल स्किपिंग के माध्यम से प्रभावी गणना को कम किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया की कल्पना एक विशाल, अत्यंत तीव्र पुस्तकालय के रूप में करें जहाँ एक रोबोट लाइब्रेरियन को एक कहानी लिखने का काम सौंपा गया है, जो एक बार में एक शब्द लिखता है। इन "लार्ज लैंग्वेज मॉडल्स" (LLMs) की वर्तमान पीढ़ी में, लाइब्रेरियन अविश्वसनीय रूप से विस्तृत है लेकिन साथ ही अविश्वसनीय रूप से अनाड़ी भी है। हर एक नया शब्द लिखने के लिए, लाइब्रेरियन को पुस्तकालय के बिल्कुल पीछे तक दौड़ना पड़ता है, नियमों का पूरा विश्वकोश (मॉडल के पैरामीटर्स) बाहर निकालना पड़ता है, उसे पढ़ना पड़ता है, और फिर केवल एक शब्द लिखने के लिए वापस डेस्क पर आना पड़ता है। यह लगातार आगे-पीछे दौड़ना थका देने वाला है; यह बहुत अधिक ऊर्जा खर्च करता है और इसमें बहुत समय लगता है, जिससे लाइब्रेरियन को बनाए रखना धीमा और महंगा हो जाता है।
वैज्ञानिकों ने इसे ठीक करने के लिए लाइब्रेरियन को एक बार में एक शब्द के बजाय एक पूरा पैराग्राफ लिखना सिखाकर इसे सुधारने की कोशिश की है। इसे "डिफ्यूजन" (diffusion) कहा जाता है, और यह इसलिए मददगार है क्योंकि लाइब्रेरियन को कई शब्द लिखने के लिए केवल एक बार पुस्तकालय की उस लंबी यात्रा पर जाना पड़ता है। हालाँकि, इसमें एक पेंच है: भले ही वह एक पैराग्राफ लिख रहा हो, लाइब्रेरियन को अभी भी विश्वकोश के हर एक पन्ने को पढ़ना पड़ता है, यहाँ तक कि उन पन्नों को भी जिनकी उस विशिष्ट वाक्य के लिए आवश्यकता नहीं है। यह एक पूरी कुकबुक (पाक पुस्तिका) पढ़ने जैसा है सिर्फ यह जानने के लिए कि आपको केवल नमक चाहिए। यह पेपर एक ऐसे नए, सुपर-स्मार्ट लाइब्रेरियन से परिचित कराता है जो न केवल पैराग्राफ में लिखता है बल्कि उन पन्नों को अनदेखा करना भी सीख जाता है जो काम के नहीं हैं। "एक बार में कई शब्द लिखने" वाले तरीके को "बेकार के पन्नों को छोड़ने" वाले तरीके के साथ जोड़कर, यह नया सिस्टम वादा करता है कि यह आज के शक्तिशाली कंप्यूटरों पर भी बहुत तेज़ होगा और बहुत कम ऊर्जा का उपयोग करेगा।
द पेपर: एक नए प्रकार का स्मार्ट लाइब्रेरियन
इस अध्ययन के पीछे के शोधकर्ता, जो लंदन के संस्थानों के साथ मिलकर काम कर रहे हैं, आर्टिफिशियल इंटेलिजेंस की दुनिया की एक बड़ी समस्या को हल कर रहे हैं: ये विशाल भाषा मॉडल (language models) अपनी बुद्धिमत्ता खोए बिना कैसे तेज़ और सस्ते बनाए जा सकते हैं। वे एक नई प्रणाली प्रस्तावित करते हैं जिसे न्यूरोमॉर्फिक मास्क्ड डिफ्यूजन लैंग्वेज मॉडल्स (Neuromorphic Masked Diffusion Language Models), या संक्षेप में N-MDLMs कहा जाता है।
N-MDLMs कैसे काम करते हैं, इसे समझने के लिए, आइए उन दो ट्रिक्स को देखें जिन्हें वे मिलाते हैं। सबसे पहले, डिफ्यूजन (Diffusion) वाला हिस्सा है। कल्पना कीजिए कि आप एक गुप्त शब्द का अनुमान लगाने की कोशिश कर रहे हैं। एक-एक अक्षर का अनुमान लगाने के बजाय, आप खाली स्थानों के एक ब्लॉक से शुरुआत करते हैं और धीरे-धीरे उन्हें भरते हैं, जिससे आपका अनुमान बेहतर होता जाता है। यह मॉडल को शब्दों का एक पूरा ब्लॉक (मान लीजिए 4 या 8 एक साथ) उत्पन्न करने की अनुमति देता है, जिसमें उतना ही "लाइब्रेरी ट्रिप" (मेमोरी एक्सेस) लगता है जितना कि एक मानक मॉडल केवल एक शब्द के लिए उपयोग करता है। यह गति के लिए बेहतरीन है, लेकिन इसमें अभी भी एक समस्या है: मॉडल प्रत्येक शब्द उत्पन्न करने के लिए अपने मस्तिष्क के हर हिस्से की जाँच करता है, भले ही उसका अधिकांश हिस्सा शांत हो।
यहीं पर दूसरा ट्रिक, न्यूरोमॉर्फिक स्पर्सिटी (Neuromorphic Sparsity), काम आता है। एक मानक कंप्यूटर की तुलना एक बल्ब से करें जो हमेशा चालू रहता है, बिजली जलाता रहता है चाहे वह कमरे को रोशन कर रहा हो या बस अंधेरे में बैठा हो। एक "न्यूरोमॉर्फिक" सिस्टम मोशन-सेंसर लाइट की तरह अधिक होता है। यह केवल तभी चालू होता है (एक "स्पाइक" फायर करता है) जब वास्तव में कुछ होता है। N-MDLM में, मॉडल केवल तभी भारी काम करता है जब उसे वास्तव में इसकी आवश्यकता होती है। यदि मॉडल का कोई हिस्सा सक्रिय नहीं है, तो वह शांत रहता है, जिससे ऊर्जा बचती है और अनावश्यक काम टल जाता है।
लेखकों ने एक गणितीय मॉडल बनाया है जो यह भविष्यवाणी करता है कि यह संयोजन कितनी अच्छी तरह काम करेगा। उन्होंने एक "रूफलाइन" (roofline) मानचित्र बनाया है—यह मापने का एक तरीका कि क्या एक कंप्यूटर सोचने की गति (compute-bound) द्वारा सीमित है या डेटा को मेमोरी से प्राप्त करने की गति (memory-bound) द्वारा। उनका विश्लेषण बताता है कि जबकि "एक बार में कई शब्द लिखने" वाला तरीका उन पुराने कंप्यूटरों पर बहुत अच्छा काम करता है जो डेटा प्राप्त करने में धीमे हैं, यह आधुनिक, सुपर-फास्ट कंप्यूटरों पर, जो सोचने की गति द्वारा सीमित हैं, अधिक मदद नहीं करता है। हालाँकि, जब आप इसमें "मोशन-सेंसर" स्पर्सिटी को मिला देते हैं, तो यह खेल बदल देता है। यह आवश्यक सोच (thinking) की मात्रा को इतना कम कर देता है कि इन आधुनिक, तेज़ कंप्यूटरों पर भी, नया मॉडल अविश्वसनीय रूप से कुशल हो जाता है।
उन्होंने क्या पाया
अपने विचारों का परीक्षण करने के लिए, शोधकर्ताओं ने शून्य से एक नया रोबोट दिमाग नहीं बनाया। इसके बजाय, उन्होंने एक मौजूदा, अच्छी तरह से प्रशिक्षित मॉडल लिया जो पहले से ही जर्मन से अंग्रेजी अनुवाद करना जानता था और उसे उनके नए N-MDLM स्टाइल में बदल दिया। उन्होंने इस नए मॉडल को एक शक्तिशाली ग्राफिक्स कार्ड (NVIDIA DGX Spark) पर चलते हुए सिम्युलेट किया ताकि देखा जा सके कि यह कैसा प्रदर्शन करता है।
परिणाम उत्साहजनक थे। जब उन्होंने एक ऐसे सिस्टम पर सिमुलेशन चलाया जो आधुनिक, उच्च-गति वाले कंप्यूटर चिप्स की नकल करता है (जिसे वे "इन-चिप मेमोरी सिस्टम" कहते हैं), तो मानक "एक बार में कई शब्द लिखने" वाला मॉडल (MDLM) पुराने "एक बार में एक शब्द" वाले मॉडल से बहुत अधिक तेज़ नहीं हुआ। वह इसलिए अटका हुआ था क्योंकि वह बहुत अधिक "सोच" रहा था। लेकिन नया N-MDLM, अपनी निष्क्रिय हिस्सों को छोड़ने की क्षमता के साथ, बहुत आगे निकल गया।
इन सिमुलेशन में, N-MDLM ने मानक मॉडलों की तुलना में बहुत तेज़ी से टोकन (शब्द) उत्पन्न किए और प्रति शब्द काफी कम ऊर्जा का उपयोग किया। शोधकर्ताओं ने एक "स्वीट स्पॉट" (सही संतुलन) पाया: यदि वे शब्दों के ब्लॉक्स को बहुत बड़ा बनाते, तो सिस्टम आवश्यक सोच की भारी मात्रा के कारण धीमा हो जाता। लेकिन यदि वे ब्लॉक्स को मध्यम आकार (जैसे 4 शब्द) में रखते और "स्पर्सिटी" (sparsity) को बढ़ा देते (मॉडल को इस बात के लिए अधिक चयनात्मक बनाना कि वह किस पर ध्यान देता है), तो उन्हें दोनों दुनियाओं का सर्वश्रेष्ठ लाभ मिलता।
विशेष रूप रूप से, उन्होंने देखा कि K नामक पैरामीटर का उपयोग करके, जिससे मॉडल कितना स्पार्स (sparse) है, वे उच्चतम ऊर्जा दक्षता प्राप्त कर सकते थे जब K = 1 (सबसे अधिक स्पार्स सेटिंग) था। इस मोड में, मॉडल ने केवल आवश्यकता होने पर ही अपने "न्यूरॉन्स" को सक्रिय करके ऊर्जा बचाई। इसके बदले में अनुवाद की गुणवत्ता (जिसे BLEU स्कोर कहा जाता है) में मामूली, लगभग अदृश्य गिरावट आई, लेकिन गति और ऊर्जा में लाभ पर्याप्त थे।
निचोड़
पेपर सुझाव देता है कि शब्दों के समूहों में लिखने की क्षमता और बेकार जानकारी को अनदेखा करने की क्षमता को मिलाकर, हम ऐसे AI मॉडल बना सकते हैं जो न केवल तेज़ हैं, बल्कि अधिक "ग्रीन" (पर्यावरण के अनुकूल) भी हैं। लेखक सावधानी बरतते हुए नोट करते हैं कि ये परिणाम एक समर्पित न्यूरोमॉर्फिक चिप (जो इस विशिष्ट कार्य के लिए अभी मौजूद नहीं है) के बजाय एक मानक ग्राफिक्स कार्ड पर सिमुलेशन से आए हैं। हालाँकि, गणित और सिमुलेशन डेटा दृढ़ता से संकेत देते हैं कि यह दृष्टिकोण उस ऊर्जा और गति की बाधा को हल कर सकता है जो वर्तमान में अगली पीढ़ी के AI को रोक रही है। यह कंप्यूटर को निर्देश देने का एक चतुर तरीका है: "केवल कड़ी मेहनत मत करो; यह जानकर स्मार्ट बनो कि ब्रेक कब लेना है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।