Mitigating the Impact of Retention Loss on Inference Accuracy in 65 nm Single-Poly Floating-Gate Analog In-Memory Computing
यह शोध पत्र एक 65 nm सिंगल-पॉली फ्लोटिंग-गेट एनालॉग इन-मेमोरी कंप्यूटिंग ऐरे पर प्रयोगों और सिस्टम-लेवल सिमुलेशन के माध्यम से यह प्रदर्शित करता है कि सर्किट-लेवल कंपनसेशन (compensation) को एल्गोरिद्मिक बैच नॉर्मलाइज़ेशन रीकैलिब्रेशन के साथ संयोजित करने से 60 दिनों के रिटेंशन लॉस के बाद भी बेसलाइन के 2–4% के भीतर अनुमान सटीकता (inference accuracy) को पुनः प्राप्त किया जा सकता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपका कंप्यूटर केवल एक कारखाने की तरह नंबरों को प्रोसेस नहीं करता, बल्कि एक मस्तिष्क की तरह सोचता है, जिसमें बिजली का उपयोग न्यूरॉन्स के फायर होने के तरीके की नकल करने के लिए किया जाता है। यह एनालॉग इन-मेमोरी कंप्यूटिंग (Analog In-Memory Computing) का क्षेत्र है। डेटा को मेमोरी बैंक और प्रोसेसर के बीच इधर-उधर भेजने के बजाय (जो कि ऐसा है जैसे हर बार चम्मच की जरूरत पड़ने पर रसोई की ओर दौड़ना पड़ता है), यह तकनीक एक न्यूरल नेटवर्क के "वेट्स" (weights)—यानी मस्तिष्क की यादों और सीखों—को सीधे मेमोरी सेल्स के भीतर ही स्टोर करती है। यह एक ऐसी लाइब्रेरी की तरह है जहाँ किताबें आपके लिए गणित भी कर सकती हैं।
हालाँकि, इसमें एक पेंच है। ये मेमोरी सेल्स अक्सर इलेक्ट्रिक चार्ज के छोटे, तैरते हुए द्वीपों से बने होते हैं। समय के साथ, ठीक वैसे ही जैसे एक लीक होता हुआ गुब्बारा धीरे-धीरे हवा खो देता है, ये सेल्स स्वाभाविक रूप से अपना चार्ज खो देते हैं। इसे रिटेंशन लॉस (retention loss) कहा जाता है। डिजिटल दुनिया में, थोड़ा सा चार्ज खो जाना शायद सिर्फ एक 0 को 1 में बदल सकता है, जिसे ठीक करना आसान है। लेकिन इस एनालॉग मस्तिष्क में, चार्ज ही "जवाब" है। यदि चार्ज खिसकता है, तो गणित गलत हो जाता है, और कंप्यूटर एक बिल्ली को टोस्टर समझ सकता है। वैज्ञानिक इन "लीक होते" मेमोरी ब्रेन्स को महीनों या वर्षों तक सटीक बनाए रखने के लिए समाधान खोजने के लिए बेताब हैं, क्योंकि यदि वे ऐसा नहीं कर सके, तो यह सुपर-एफिशिएंट तकनीक कभी लैब से बाहर नहीं निकल पाएगी।
यह शोध पत्र इसी समस्या में गहराई से उतरता है और एक विशिष्ट प्रकार की मेमोरी चिप का उपयोग करता है जो मानक 65 nm तकनीक (एक सामान्य विनिर्माण आकार) के साथ बनाई गई है। शोधकर्ता, मिर्को ब्राज़िनी और उनकी टीम, यह देखना चाहते थे कि क्या वे एक न्यूरल नेटवर्क को उसके सबक भूलने से रोक सकते हैं जब मेमोरी सेल्स समय के साथ धीरे-धीरे चार्ज खो देते हैं। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक वास्तविक चिप बनाई, उसे प्रोग्राम किया, और 60 दिनों तक देखा कि क्या होता है।
टीम ने पाया कि चार्ज का नुकसान दो अलग-अलग तरीकों से होता है, जैसे दो अलग-अलग प्रकार के मौसम एक बगीचे को प्रभावित करते हैं। पहला है सिस्टमैटिक ड्रिफ्ट (systematic drift), जहाँ हर सेल चार्ज खो देता है एक अनुमानित, औसत तरीके से, जिससे पूरे बगीचे की वृद्धि एक दिशा में शिफ्ट हो जाती है। दूसरा है स्टोकेस्टिक नॉइज़ (stochastic noise), एक अराजक, यादृच्छिक जिटर (jitter) जहाँ कुछ सेल्स थोड़ा अधिक चार्ज खोते हैं और कुछ थोड़ा कम, जिससे एक अव्यवस्थित, अप्रत्याशित पैटर्न बनता है।
इसे ठीक करने के लिए, टीम ने दो अलग-अलग उपकरणों का परीक्षण किया, जैसे एक माली जो स्प्रिंकलर और उर्वरक दोनों का उपयोग करता है। पहला उपकरण था सर्किट-लेवल कंपनसेशन (circuit-level compensation)। उन्होंने महसूस किया कि केवल "रीड वोल्टेज" (मेमोरी की जांच करने के लिए इस्तेमाल किया जाने वाला दबाव) को समायोजित करके, वे अनुमानित, औसत ड्रिफ्ट का मुकाबला कर सकते हैं। यह रेडियो के सिग्नल को तेज करने जैसा है ताकि उस सिग्नल की भरपाई की जा सके जो सभी के लिए थोड़ा धीमा होता जा रहा है। दूसरा उपकरण था एल्गोरिद्मिक रीकैलिब्रेशन (algorithmic recalibration), विशेष रूप से जिसे बैच नॉर्मलाइजेशन रीकैलिब्रेशन (BNR) कहा जाता है। यह एक सॉफ्टवेयर ट्रिक है जो न्यूरल नेटवर्क की आंतरिक सेटिंग्स को उस यादृच्छिक, अराजक शोर को संभालने के लिए ट्यून करती है जिसे वोल्टेज समायोजन ठीक नहीं कर सका। यह मस्तिष्क को रेडियो पर आने वाले स्टैटिक (शोर) को अनदेखा करने और गाने पर ध्यान केंद्रित करने के लिए सिखाने जैसा है।
परिणाम उत्साहजनक थे। जब उन्होंने इमेज पहचानने के लिए प्रशिक्षित दो अलग-अलग न्यूरल नेटवर्क (VGG-10 और WideResNet-28-10) पर अपने सिस्टम का परीक्षण किया, तो उन्होंने पाया कि कुछ न करना एक आपदा थी; 60 दिनों के बाद, सटीकता तेजी से गिर गई। केवल वोल्टेज समायोजन का उपयोग करने से मदद मिली, लेकिन नेटवर्क अभी भी यादृच्छिक शोर के साथ संघर्ष कर रहा था। केवल सॉफ्टवेयर रीकैलिब्रेशन का उपयोग करने से शोर के साथ मदद मिली लेकिन यह बड़े ड्रिफ्ट को मिस कर गया। हालाँकि, जब उन्होंने दोनों—वोल्टेज समायोजन और सॉफ्टवेयर रीकैलिब्रेशन—को मिला दिया, तो सिस्टम एक नायक बन गया। उनके सिमुलेशन में, जो वास्तविक प्रयोगात्मक डेटा के साथ कैलिब्रेट किए गए थे, नेटवर्क ने 60 दिनों के बाद भी अपनी बेसलाइन सटीकता को केवल 2-4% के भीतर बहाल कर लिया।
पेपर सावधानी से यह नोट करता है कि यह कोई जादुई छड़ी नहीं है जो सब कुछ हमेशा के लिए हल कर देगी। परिणाम सिस्टम-लेवल सिमुलेशन पर आधारित हैं जो उनके 65 nm चिप से वास्तविक दुनिया के माप के साथ सावधानीपूर्वक ट्यून किए गए थे। वे स्पष्ट रूप रूप से दिखाते हैं कि आप केवल एक विधि पर भरोसा नहीं कर सकते; काम पूरा करने के लिए आपको हार्डवेयर फिक्स और सॉफ्टवेयर फिक्स दोनों की आवश्यकता है। हालांकि यह पेपर यह दावा नहीं करता है कि यह भविष्य के सभी कंप्यूटरों के लिए एक हल की हुई समस्या है, यह एक स्पष्ट, व्यावहारिक मार्ग प्रदर्शित करता है। यह सुझाव देता है कि इन संयुक्त तकनीकों के साथ, फ्लोटिंग-गेट एनालॉग चिप्स संभावित रूप से डीप लर्निंग के लिए विश्वसनीय, दीर्घकालिक इन्फरेंस कार्यों को चला सकते हैं, जिससे बिना किसी रीसेट के कम से कम दो महीने तक उनकी "यादें" तेज बनी रह सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।