Design-Time Optimization of Deep Neural Networks for Intermittent Learning on Microcontrollers
यह शोध पत्र एक हार्डवेयर-जागरूक, बहु-उद्देश्यीय अनुकूलन ढांचे को प्रस्तुत करता है जो प्रति-परत ऊर्जा खपत और चेकपॉइंटिंग ओवरहेड का सटीक अनुमान लगाकर, ऊर्जा-स्वायत्त माइक्रोकंट्रोलर्स पर विश्वसनीय, रुक-रुक कर होने वाले ऑन-डिवाइस लर्निंग के लिए डीप न्यूरल नेटवर्क के डिज़ाइन-टाइम चयन को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छोटे से, बैटरी से चलने वाले रोबोट को अपने किसी दोस्त की आवाज़ पहचानना या किसी टूटे हुए मशीन के पुर्जे को ढूँढना सिखाने की कोशिश कर रहे हैं। यह रोबोट एक दूरस्थ जंगल या एक तैरते हुए बुय (buoy) पर रहता है, जो केवल सूरज या हवा से शक्ति प्राप्त करता है। समस्या यह है कि प्रकृति चंचल है; सूरज बादलों के पीछे छिप सकता है, या हवा थम सकती है, जिससे रोबोट का काम के बीच में ही बैटरी खत्म हो सकती है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह एक दुस्वप्न है। आमतौर पर, यदि कंप्यूटर के सीखने के दौरान उसकी बिजली कट जाती है, तो वह जो कुछ भी अभी-अभी सीखा था, उसे भूल जाता है और आपको फिर से शुरुआत करनी पड़ती है। यह शोध पत्र ठीक इसी सिरदर्द को हल करता है: हम इन छोटे, ऊर्जा-प्यास रोबोटों को तब भी कैसे सिखा सकते हैं जब उनकी बिजली की आपूर्ति अविश्वसनीय हो और लगातार चालू-बंद हो रही हो? लेखक "छोटे कंप्यूटरों" (माइक्रोकंट्रोलर), "ऊर्जा संचयन" (पर्यावरण से शक्ति खींचना), और "इंटरमिटेंट कंप्यूटिंग" (प्रगति को सहेजने का एक तरीका ताकि बिजली जाने के बाद आप वहीं से शुरू कर सकें जहाँ आपने छोड़ा था) के संगम पर काम कर रहे हैं।
याकोब शुबर्ट और उनकी टीम के नेतृत्व में शोधकर्ताओं ने महसूस किया कि इन रोबतों के लिए एक स्मार्ट मस्तिष्क डिजाइन करना वैसा ही है जैसे यह जाने बिना घर बनाना कि कल कितनी बारिश होगी। यदि आप एक भारी, जटिल घर (एक गहरा न्यूरल नेटवर्क) बनाते हैं, तो यह सीखने में बहुत अच्छा हो सकता है, लेकिन यदि घर की एक भी परत बनाने के लिए उतनी ऊर्जा की आवश्यकता है जितनी कि रोबोट की बैटरी एक बार में रख सकती है, तो बिजली झपकने पर पूरा प्रोजेक्ट ढह जाएगा। इन डिजाइनों के परीक्षण के पारंपरिक तरीकों में रोबोट बनाना, उसे क्षेत्र में रखना और यह देखने के लिए इंतजार करना कि क्या होता है जब बिजली खत्म हो जाती है। यह धीमा, महंगा और निराशाजनक है।
बिजली विफल होने का इंतजार करने के बजाय, लेखकों ने ऊर्जा खपत के लिए एक "क्रिस्टल बॉल" (भविभविष्य बताने वाला यंत्र) बनाया। उन्होंने एक गणितीय मॉडल बनाया जो यह अनुमान लगा सकता है कि रोबोट के सीखने की प्रक्रिया का हर एक कदम कितनी ऊर्जा लेगा, इससे पहले कि रोबोट वास्तव में बनाया जाए। वे इसे "डिजाइन-टाइम ऑप्टिमाइज़ेशन" कहते हैं। इसे एक वीडियो गेम डिजाइनर की तरह समझें जो कंप्यूटर प्रोग्राम में एक कूद (jump) के भौतिकी का अनुकरण कर सकता है ताकि यह देख सके कि क्या पात्र खाई को पार कर पाएगा, बिना वास्तविक ट्रैम्पोलिन बनाए। उनका मॉडल न्यूरल नेटवर्क के "सामग्रियों" (इसे कितनी गणनाओं की आवश्यकता है और यह कितनी मेमोरी को छूता है) को देखता है और आश्चर्यजनक सटीकता के साथ ऊर्जा लागत का अनुमान लगाता है।
यहाँ चतुराई भरा हिस्सा है: उन्होंने केवल यह अनुमान नहीं लगाया कि डेटा को देखने (इन्फरेंस) में कितनी ऊर्जा लगती है; उन्होंने यह भी अनुमान लगाया कि डेटा से सीखने (ट्रेनिंग) में कितनी ऊर्जा लगती है। यह महत्वपूर्ण है क्योंकि सीखना बहुत अधिक ऊर्जा-गहन होता है। उन्होंने "चेकपॉइंटिंग" ओवरहेड को भी ध्यान में रखा—वह अतिरिक्त ऊर्जा जो हर बार जब बैटरी कम होती है, तो रोबोट की प्रगति को एक विशेष, नॉन-वोलेटाइल मेमोरी (जैसे एक डिजिटल नोटबुक जिसे खुला रखने के लिए बिजली की आवश्यकता नहीं होती) में सहेजने के लिए आवश्यक होती है।
टीम ने अपने विचार का परीक्षण कॉर्टेक्स-एम4 माइक्रोकंट्रोलर (विशेष रूप से nRF52840) नामक एक विशिष्ट प्रकार के छोटे कंप्यूटर पर किया। उन्होंने अपने ऊर्जा "क्रिस्टल बॉल" का उपयोग करके हजारों संभावित रोबोट मस्तिष्क डिजाइनों में से उन डिजाइनों को खोजने के लिए किया जो इतने स्मार्ट थे कि विसंगतियों (जैसे टूटे हुए मशीन बेयरिंग) को पहचान सकें और इतने छोटे थे कि उनके छोटे, इंटरमिटेंट ऊर्जा बजट में फिट हो सकें। उन्होंने पाया कि उनका भविष्यवाणी मॉडल काफी अच्छा था, जिसमें नेटवर्क परतों के लिए लगभग 16.6% का भारित त्रुटि (weighted error) और मेमोरी बचाने के हिस्से के लिए मात्र 0.9% की त्रुटि थी।
परिणाम प्रभावशाली थे। अपने मॉडल का उपयोग करके सही डिजाइन चुनने से, वे एक ऐसा रोबोट मस्तिष्क खोजने में सक्षम रहे जिसने कम-अनुकूलित संस्करण की तुलना में लगभग 94% कम ऊर्जा का उपयोग किया, जबकि अपना काम सही ढंग से किया। उन्होंने दिखाया कि एक डिजाइन जो कागज पर कुशल दिखता है, वह वास्तव में विफल हो सकता है यदि एक एकल चरण के लिए एक बार में बहुत अधिक शक्ति की आवश्यकता हो, लेकिन उनका मॉडल इन "ऊर्जा जाल" (energy traps) को होने से पहले ही पकड़ सकता था। संक्षेप में, उन्होंने साबित किया कि आप सैकड़ों प्रोटोटाइप बनाए और परीक्षण किए बिना, सीखने की प्रक्रिया की प्रत्येक छोटी आवश्यकता की बिजली जरूरतों का अनुमान लगाने के लिए एक स्मार्ट कैलकुलेटर का उपयोग करके, जंगली परिवेश के लिए बुद्धिमान, स्व-शिक्षण रोबोटों को डिजाइन कर सकते हैं। यह जटिल आर्टिफिशियल इंटेलिजेंस और सौर या पवन शक्ति पर चलने वाली वास्तविक दुनिया की कठोर वास्तविकता के बीच के अंतर को पाटता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।