Event-triggered Implicit Perturbation for Zeroth-Order Fine-Tuning of Spiking Transformers
यह शोध पत्र इन-मेमोरी कंप्यूटिंग एक्सेलेरेटर्स पर स्पाइकिंग ट्रांसफॉर्मर्स के ज़ीरोथ-ऑर्डर फाइन-ट्यूनिंग के लिए एक इवेंट-ट्रिगर्ड इम्प्लिसिट परटर्बेशन आर्किटेक्चर (IPZO) प्रस्तावित करता है, जो केवल स्पाइक-एक्टिवेटेड वेट्स के लिए परटर्बेशन्स उत्पन्न करके लागतपूर्ण रीड-मॉडिफाई-राइट ऑपरेशन्स को समाप्त करता है और हार्डवेयर ओवरहेड को कम करता है, जबकि सॉफ्टवेयर-आधारित रैंडम नंबर जेनरेटर्स के तुलनीय सटीकता बनाए रखने के लिए एक XOR रीकॉम्बिनेशन स्कीम का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, 'ट्रांसफॉर्मर' नामक एक विशिष्ट प्रकार का कंप्यूटर प्रोग्राम प्रमुख शक्ति बनकर उभरा है, जो भाषा अनुवाद से लेकर इमेज रिकग्निशन तक सब कुछ संचालित कर रहा है। ये सिस्टम अविश्वसनीय रूप से शक्तिशाली हैं लेकिन साथ ही ऊर्जा और मेमोरी के लिए भी बहुत भूखे हैं, जिन्हें चलाने के लिए अक्सर विशाल डेटा केंद्रों की आवश्यकता होती है। इस बुद्धिमत्ता को स्मार्टफोन या सेंसर जैसे छोटे, रोजमर्रा के उपकरणों तक लाने के लिए, इंजीनियरों ने मानव मस्तिष्क से प्रेरित एक अलग दृष्टिकोण अपनाया है: स्पाइकिंग न्यूरल नेटवर्क। पारंपरिक प्रोग्रामों के विपरीत जो जानकारी को निरंतर प्रोसेस करते हैं, ये नेटवर्क घटनाओं (events) पर काम करते हैं, और केवल तभी सक्रिय होते हैं जब आवश्यक हो, जो इन्हें स्वाभाविक रूप से कुशल बनाता है। हालाँकि, इन नेटवर्कों को सीधे डिवाइस पर नए कार्य सीखने के लिए प्रशिक्षित करना एक कठिन समस्या रही है। उन्हें प्रशिक्षित करने की मानक विधि, जिसमें नेटवर्क के हर एक कनेक्शन को कैसे समायोजित किया जाए इसकी गणना शामिल है, छोटे चिप्स के लिए बहुत जटिल और मेमोरी-गहन है। एक सरल विकल्प मौजूद है, जो सिस्टम को बेहतर बनाने के लिए इसके कनेक्शनों में सूक्ष्म, यादृच्छिक (random) बदलाव करने और यह देखने का अनुमान लगाता है कि क्या परिणाम बेहतर होता है, लेकिन इस पद्धति की अपनी गंभीर हार्डवेयर बाधाएं हैं जिन्होंने इसे व्यावहारिक होने से रोक रखा है।
शोधकर्ताओं की एक टीम ने अब एक नया आर्किटेक्चर डिजाइन किया है जो इन बाधाओं को दूर करता है, जिससे इन कुशल मस्तिष्क-प्रेरित नेटवर्कों को बिना लगातार अपनी आंतरिक मेमोरी को दोबारा लिखे, विशेष कंप्यूटर चिप्स पर सीधे सीखना संभव हो जाता है। मुख्य चुनौती जो उन्होंने सामना की, वह यह थी कि इन यादृच्छिक बदलावों के लिए मानक तरीका यह मांग करता है कि चिप को बार-बार अपनी संग्रहीत जानकारी को पढ़ना, बदलना और फिर से लिखना पड़े। यह प्रक्रिया, जिसे 'रीड-मॉडिफाई-राइट' (read-modify-write) कहा जाता है, धीमी है और बैटरी को खत्म करती है, जो प्रभावी रूप से उन ऊर्जा बचतों को उलट देती है जो विशेष चिप्स को प्रदान करने के लिए डिज़ाइन किए गए थे। इसके अलावा, नेटवर्क के प्रत्येक कनेक्शन के लिए आवश्यक बड़ी संख्या में रैंडम नंबर उत्पन्न करने के लिए एक ऐसा रैंडम नंबर जेनरेटर चाहिए होगा जो मेमोरी से भी अधिक जगह घेर लेगा। शोधकर्ताओं ने एक चतुर समाधान प्रस्तावित किया: संग्रहीत वेट्स (weights) को सीधे बदलने के बजाय, वे यादृच्छिक बदलावों को गणना प्रक्रिया में ही इंजेक्ट करते हैं, ठीक वहीं जहाँ संख्याओं को जोड़ा जा रहा होता है। यह संग्रहीत वेट्स को अछूता और स्थिर रखता है, जिससे चिप की दक्षता बनी रहती है।
इसे काम करने योग्य बनाने के लिए, टीम ने एक विशेष यूनिट बनाई जो केवल नेटवर्क के उन हिस्सों के लिए यादृच्छिक बदलाव उत्पन्न करती है जो किसी भी क्षण वास्तव में सक्रिय होते हैं। क्योंकि ये मस्तिष्क-प्रेरित नेटवर्क स्वाभाविक रूप से 'स्पार्स' (sparse) होते हैं, जिसका अर्थ है कि किसी भी एक क्षण में उनके अधिकांश कनेक्शन शांत रहते हैं, इसलिए इस यूनिट को पूरे नेटवर्क के आकार के एक अंश के बराबर होने की आवश्यकता होती है। हालाँकि, नेटवर्क के विभिन्न हिस्सों के लिए रैंडम नंबरों के एक ही छोटे सेट को पुन: उपयोग करने से एक छिपी हुई समस्या पैदा होती है: बदलाव एक-दूसरे के बहुत समान हो जाते हैं, जिससे सीखने की प्रक्रिया अटक जाती है या गलत हो जाती है। इसे हल करने के लिए, शोधकर्ताओं ने एक 'मिक्सिंग स्कीम' पेश की जो इन पुन: उपयोग किए गए नंबरों को उनके स्थान के आधार पर एक विशिष्ट तरीके से संयोजित करती है, यह सुनिश्चित करते हुए कि नेटवर्क के हर हिस्से को एक अद्वितीय और स्वतंत्र बदलाव मिले। यह मिक्सिंग प्रक्रिया, जिसे वे 'एड्रेस-ड्रिवन XOR रीकॉम्बिनेशन' कहते हैं, उस सांख्यिकीय स्वतंत्रता को बहाल करती है जो सिस्टम के प्रभावी ढंग से सीखने के लिए आवश्यक है।
जब टीम ने इस नए डिजाइन का परीक्षण किया, तो परिणाम चौंकाने वाले थे। सिमुलेशन और मानक चिप निर्माण प्रक्रिया का उपयोग करके किए गए हार्डवेयर परीक्षणों में, उनके सिस्टम ने सॉफ्टवेयर-आधारित तरीकों के समान उच्च सटीकता प्राप्त की जो पूर्ण, स्वतंत्र रैंडम नंबरों का उपयोग करते हैं। इसके विपरीत, एक सरल संस्करण जिसने केवल रैंडम नंबरों को पुन: उपयोग किया था, बिना मिक्सिंग स्कीम के, काफी विफल रहा, जिसमें इमेज रिकग्निशन कार्यों में लगभग दस प्रतिशत की सटीकता कम हो गई और सीखने में बहुत अधिक समय लगा। नया डिजाइन उल्लेखनीय रूप से ऊर्जा-कुशल भी साबित हुआ। क्योंकि यह मेमोरी को दोबारा लिखने की महंगी प्रक्रिया से बचता है, यह सामान्य सेटिंग्स पर चलने के दौरान पारंपरिक पद्धति की तुलना में आधे से भी कम ऊर्जा की खपत करता है। भले ही नया मिक्सिंग यूनिट थोड़ा अतिरिक्त हार्डवेयर जोड़ता है, लेकिन जिस गति से सिस्टम सीखता है, उससे पूरे प्रशिक्षण प्रक्रिया के दौरान उपयोग की जाने वाली कुल ऊर्जा, सरल पुन: उपयोग पद्धति की तुलना में आधी हो जाती है। यह कार्य यह प्रदर्शित करता है कि यादृच्छिक समायोजन को स्टोरेज एरिया से हटाकर कैलकुलेशन एरिया में ले जाकर और एक स्मार्ट मिक्सिंग तकनीक का उपयोग करके, जटिल, मस्तिष्क-प्रेरित AI मॉडल को ऊर्जा-सीमित हार्डवेयर पर सीधे प्रशिक्षित करना संभव है, जो चलते-फिरते सीखने वाले अधिक स्मार्ट और अनुकूलन योग्य उपकरणों के द्वार खोलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।