ThRIve: Thermally Robust CNN Inference via Low-Rank Adaptation in Heterogeneous PIM Architectures
थ्राइव (thrIve) एक नॉइज़-अवेयर ट्रेनिंग पद्धति है जो महत्वपूर्ण मापदंडों को तापीय रूप से स्थिर हार्डवेयर पर संग्रहीत करने के लिए लो-रैंक अडैप्टेशन का लाभ उठाती है, जिससे विषम पीआईएम (PIM) आर्किटेक्चर पर सीएनएन (CNN) इन्फरेंस विभिन्न तापमानों में उच्च सटीकता बनाए रखते हुए SRAM-आधारित प्रणालियों की तुलना में ऊर्जा-विलंब उत्पाद (energy-delay product) में 5.4 गुना तक की कमी लाने में सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने फोन या किसी स्मार्ट रोबोट के लिए एक सुपर-फास्ट, सुपर-एफिशिएंट दिमाग बनाने की कोशिश कर रहे हैं। लंबे समय से, कंप्यूटर एक ऐसे लाइब्रेरियन की तरह रहे हैं जिसे लाइब्रेरी की अलमारियों (मेमोरी) और पढ़ने की मेज (प्रोसेसर) के बीच बार-बार दौड़ना पड़ता है। यह बार-बार दौड़ना बहुत अधिक ऊर्जा और समय लेता है। वैज्ञानिक एक "प्रोसेसिंग-इन-मेमोरी" (PIM) सिस्टम का सपना देख रहे थे, जहाँ लाइब्रेरियन अलमारी पर ही बैठ जाता है और बिना कहीं जाए पढ़ना और सोचना शुरू कर देता है। यह अविश्वसनीय रूप से कुशल है, खासकर आर्टिफिशियल इंटेलिजेंस (AI) को चलाने के लिए आवश्यक भारी गणित के लिए।
हालाँकि, इसमें एक पेंच है। वैज्ञानिक इन "मस्तिष्कों" को बनाने के लिए जिन नए प्रकार की "अलमारियों" का उपयोग कर रहे हैं, वे विशेष सामग्रियों से बनी हैं जो डेटा स्टोर करने में तो बहुत अच्छी हैं, लेकिन गर्मी के प्रति बहुत संवेदनशील हैं। उन्हें ऐसे समझें जैसे धूप में छोड़ी गई चॉकलेट बार; जैसे-जैसे वे गर्म होती हैं, चॉकलेट पिघलने लगती है और अपना आकार खो देती है। इन कंप्यूटर चिप्स में, गर्मी संग्रहीत जानकारी (AI के "ज्ञान") को हिला देती है और विकृत कर देती है। यह "थर्मल नॉइज़" (तापीय शोर) AI को गलतियाँ करने पर मजबूर कर देता है, जैसे कोई छात्र जिसे उत्तर पता है लेकिन वह एक भिनभिनाती मक्खी से विचलित हो जाता है। बड़ा सवाल यह है कि हम इन सुपर-एफिशिएंट AI दिमागों को पूरी तरह से काम करने लायक कैसे रखें, भले ही वे गर्म हो जाएं और जानकारी पिघलने लगे?
यहीं पर शोधकर्ताओं की एक टीम एक चतुर समाधान के साथ सामने आती है जिसे ThRIve कहा जाता है। उन्होंने महसूस किया कि पूरे कमरे को ठंडा करने की कोशिश करना बहुत धीमा और महंगा है। इसके बजाय, उन्होंने हार्डवेयर और सॉफ्टवेयर का मिश्रण करने वाली एक दो-भाग वाली रणनीति विकसित की। पहले, वे लो-रैंक अडैप्टेशन (LoRA) नामक तकनीक का उपयोग करते हैं। कल्पना कीजिए कि AI मॉडल एक विशाल, भारी विश्वकोश (एंसाइक्लोपीडिया) है। हर बार तापमान बदलने पर पूरे पूरे किताब को फिर से लिखने के बजाय (जो कि धीमा होगा और कागज को घिसा देगा), वे सुधारों के साथ छोटे, लचीले स्टिकी नोट्स लिखते हैं। ये स्टिकी नोट्स छोटे हैं, आसानी से इधर-उधर ले जाए जा सकते हैं, और उन्हें जल्दी से अपडेट किया जा सकता है।
दूसरा हिस्सा यह है कि वे इन स्टिकी नोट्स को कहाँ रखते हैं। भारी विश्वकोश "पिघलने वाली" अलमारियों (गर्मी के प्रति संवेदनशील मेमोरी) पर रहता है, लेकिन छोटे, महत्वपूर्ण स्टिकी नोट्स एक अलग, सुपर-मजबूत अलमारी पर रखे जाते हैं जो गर्मी में नहीं पिघलने वाली सामग्री (SRAM नामक एक प्रकार की मेमोरी) से बनी है। AI भारी किताब और स्टिकी नोट्स को एक साथ पढ़ता है, और सही उत्तर पाने के लिए उन्हें मिला देता है। यह सुनिश्चित करने के लिए कि ये स्टिकी नोट्स किसी भी तापमान के लिए काम करें, शोधकर्ताओं ने बेयसियन ऑप्टिमाइज़ेशन (Bayesian Optimization) नामक एक स्मार्ट खोज पद्धति का उपयोग किया। केवल रैंडम तापमान पर AI को प्रशिक्षित करने के बजाय, यह पद्धति एक जासूस की तरह काम करती है, जो विशिष्ट "सबसे खराब स्थिति" वाले गर्मी के परिदृश्यों का पता लगाती है और AI को उन्हें कुशलतापूर्वक संभालने के लिए सिखाती है।
उनके प्रयोगों के परिणाम काफी उत्साहजनक हैं। जब उन्होंने विभिन्न AI मॉडल और हार्डवेयर सेटअप पर इस ThRIve सिस्टम का परीक्षण किया, तो उन्होंने पाया कि तापमान में भारी उतार-चढ़ाव के बावजूद AI अपनी सटीकता बनाए रख सकता है। वास्तव में, औसत सटीकता एक आदर्श, शोर-मुक्त दुनिया की तुलना में 2% के भीतर रही, और पूरे तापमान रेंज में सटीकता का उतार-चढ़ाव उस औसत के 2% के भीतर रहा। इसका मतलब है कि तापमान बढ़ने के कारण AI भ्रमित नहीं हुआ या उसने चीजें नहीं भुलाईं। इसके अलावा, भारी डेटा को कुशल, गर्मी-संवेदनशील अलमारियों पर रखने और केवल छोटे सुधारों के लिए मजबूत अलमारियों का उपयोग करने से, उन्होंने भारी मात्रा में ऊर्जा और समय बचाया। कुछ परीक्षणों में, यह सिस्टम केवल मजबूत, गैर-पिघलने वाली अलमारियों का उपयोग करने की तुलना में 5.4 गुना अधिक कुशल (ऊर्जा-विलंब उत्पाद के संदर्भ में) था।
शोधकर्ताओं ने यह भी दिखाया कि इस समस्या को ठीक करने के पुराने तरीके—जैसे कि हर तापमान के लिए पूरे AI मॉडल को फिर से प्रशिक्षित करने की कोशिश करना या बस इस उम्मीद में रहना कि AI खुद को ढाल लेगा—उतने अच्छे से काम नहीं करते थे। वे पुराने दृष्टिकोण अक्सर इस तरह विफल होते थे कि ठंडे तापमान को संभालने का तरीका सीखने के चक्कर में AI गर्म तापमान को "भूल" जाता था। इसके विपरीत, ThRIve अच्छी तरह से सामान्यीकरण (generalize) करता है, बिना लगातार पुन: प्रशिक्षण की आवश्यकता के पूरे तापमान रेंज को संभालता है। हालांकि ये निष्कर्ष वास्तविक दुनिया के डिवाइस में भौतिक चिप्स के बजाय सिमुलेशन और कंप्यूटर मॉडल से आए हैं, लेकिन डेटा बताता है कि स्मार्ट सॉफ्टवेयर और मिश्रित-सामग्री वाले हार्डवेयर का यह मिश्रण हमारे भविष्य के उपकरणों के लिए विश्वसनीय, ऊर्जा-कुशल AI बनाने की कुंजी हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।