Online Continual Learning on Intel Loihi 2 via a Co-designed Spiking Neural Network
यह शोध पत्र CLP-SNN प्रस्तुत करता है, जो इंटेल लोइही 2 (Intel Loihi 2) पर कार्यान्वित एक सह-डिज़ाइन किया गया स्पाइकिंग न्यूरल नेटवर्क है, जो रिप्ले-आधारित विधियों के तुलनीय सटीकता के साथ ऑनलाइन निरंतर शिक्षण (online continual learning) प्राप्त करता है और एज-जीपीयू (edge-GPU) बेसलाइन की तुलना में 6,600 गुना कम ऊर्जा खपत और 113 गुना कम विलंबता (latency) प्रदान करता है, जिससे सटीकता और दक्षता के बीच पारंपरिक समझौते को तोड़ा जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक बिखरे हुए घर में वस्तुओं को पहचानना सिखा रहे हैं। वास्तविक दुनिया में, रोबोट केवल एक बार बिल्ली नहीं देखता और रुक नहीं जाता; वह एक बिल्ली देखता है, फिर एक कुत्ता, फिर एक नए प्रकार की कुर्सी, और फिर से एक बिल्ली देखता है, जो एक निरंतर प्रवाह में चलता रहता है।
वर्तमान के अधिकांश AI सिस्टम एक अंतिम परीक्षा के लिए अध्ययन करने वाले छात्रों की तरह हैं: वे सब कुछ याद कर लेते हैं और फिर उन्हें निर्देश दिया जाता है: "ठीक है, अब बिल्लियों और कुत्तों के बारे में सीखी गई हर चीज़ को भूल जाओ, और फिर से शुरू करो, लेकिन केवल कुर्सियों के साथ।" यदि आप उन्हें उनके पुराने नोट्स दोबारा पढ़े बिना कुछ नया सिखाने की कोशिश करते हैं, तो वे अक्सर पुरानी चीजों को पूरी तरह से भूल जाते हैं। इसे "कैटास्ट्रोफिक फॉरगेटिंग" (विनाशकारी विस्मृति) कहा जाता है।
इसे ठीक करने के लिए, इंजीनियर आमतौर पर AI को पुरानी छवियों को बार-बार दिखाकर "अभ्यास" कराते हैं। हालांकि, यह धीमा है और बहुत अधिक बैटरी शक्ति की खपत करता है, जो रोबोट या स्वास्थ्य मॉनिटर जैसे छोटे उपकरणों के लिए एक समस्या है जिन्हें बहुत छोटी बैटरी पर चलना होता है।
बड़ी अवधारणा: एक चिप जैसा मस्तिष्क
यह कार्य AI को सिखाने के एक नए तरीके का परिचय देता है जो एक जैविक मस्तिष्क के मॉडल पर काम करता है और Intel Loihi 2 नामक एक विशेष कंप्यूटर चिप पर चलता है। बड़े, धीमे बैचों में डेटा संसाधित करने वाले मानक कंप्यूटर के बजाय, यह चिप एक तंत्रिका तंत्र की तरह काम करती है: यह केवल तभी "जागती" है और कार्य करती है जब कुछ नया होता है (एक घटना)।
लेखकों ने CLP-SNN (कंटीन्यूअसली लर्निंग प्रोटोटाइप्स - स्पाइकिंग न्यूरल नेटवर्क) नामक एक प्रणाली विकसित की है। यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:
1. "मानसिक फाइलिंग कैबिनेट" (प्रोटोटाइप्स)
कल्पना कीजिए कि AI बिल्ली की हर एक फोटो को याद करने की कोशिश नहीं करता है। इसके बजाय, यह प्रत्येक श्रेणी के लिए अपने मन में कुछ "आदर्श उदाहरणों" या प्रोटोटाइप्स को संग्रहीत करता है।
- पुराना तरीका: जब एक नई छवि आती है, तो AI अपने द्वारा देखी गई हर छवि के साथ तुलना करता है। यह धीमा है और इसके लिए एक विशाल लाइब्रेरी की आवश्यकता होती है।
- CLP-SNN का तरीका: AI एक बिल्ली कैसी दिखती है, इसका एक छोटा, विकसित होता हुआ "मानसिक रेखाचित्र" बनाए रखता है। जब एक नई छवि आती है, तो वह पूछता है: "क्या यह मेरे बिल्ली के रेखाचित्र जैसा दिखता है?" यदि हाँ, तो यह रेखाचित्र को थोड़ा अपडेट करता है। यदि नहीं, तो यह पहचान लेता है: "यह कुछ नया है!" और इसके लिए एक नया रेखाचित्र बनाता है।
2. "स्व-सुधार करने वाला पेन" (लर्निंग रूल)
सामान्य रूप से, जब आप एक रेखाचित्र को अपडेट करते हैं, तो आपको पूरे पृष्ठ को मिटाना होता है और उसे आनुपातिक रूप से फिर से बनाना होता है। यह एक वैश्विक "रीनॉर्मलाइजेशन स्टेप" की तरह है जिसके लिए काफी ऊर्जा और समय की आवश्यकता होती है।
- नवाचार: लेखकों ने एक विशेष गणितीय ट्रिक (एक "सेल्फ-नॉर्मलाइजिंग रूल") का आविष्कार किया है। यह एक ऐसे पेन की तरह है जो आपके चित्र बनाते समय स्वचालित रूप से स्याही के प्रवाह को समायोजित करता है। आपको पूरा पृष्ठ मिटाकर फिर से बनाने की आवश्यकता नहीं है; पेन बस नए विवरण जोड़ने के साथ रेखाचित्र को स्वाभाविक रूप से संतुलित रखता है। यह AI को तुरंत, ठीक वहीं सीखने की अनुमति देता है जहाँ क्रिया हो रही है, बिना किसी केंद्रीय पर्यवेक्षक के काम की जाँच किए।
3. "न्यूरोजेनेसिस" (नए न्यूरॉन्स का विकास)
क्या होता है जब रोबोट एक पूरी तरह से नई वस्तु देखता है, जैसे कि एक "होवरबोर्ड" जिसे उसने पहले कभी नहीं देखा है?
- समाधान: इस प्रणाली में एक "नोवेल्टी डिटेक्टर" (नवीनता डिटेक्टर) है। यदि उसके वर्तमान फाइलिंग कैबिनेट में कुछ भी नए ऑब्जेक्ट से मेल नहीं खाता है, तो यह न्यूरोजेनेसिस को ट्रिगर करता है। यह ऐसा है जैसे रोबोट कहता है: "मेरे पास इसके लिए कोई फोल्डर नहीं है! चलिए अभी एक नया फोल्डर और इसके लिए एक नया रेखाचित्र बनाते हैं।" यह अपनी क्षमता का विस्तार आवश्यकतानुसार करता है, ठीक वैसे ही जैसे मानव मस्तिष्क एक नया कौशल सीखते समय नए कनेक्शन बनाता है।
4. "शांत पुस्तकालय" (स्पैरसिटी)
एक सामान्य कंप्यूटर में, जब कुछ नहीं हो रहा होता है, तब भी लाइटें चालू रहती हैं और कर्मचारी व्यस्त रहते हैं। इस नई प्रणाली (स्पाइकिंग न्यूरल नेटवर्क) में, कर्मचारी केवल तभी जागते हैं जब एक "स्पाइक" (संकेत) होता है।
- उपमा: एक ऐसे पुस्तकालय की कल्पना करें जहाँ लाइटें बंद हैं और लाइब्रेरियन सो रहे हैं। जैसे ही कोई पुस्तक मांगी जाती है (एक स्पाइक), विशिष्ट लाइब्रेरियन जागता है, पुस्तक निकालता है, और वापस सो जाता है। चूंकि सिस्टम इतना शांत है और केवल आवश्यकता होने पर ही काम करता है, इसलिए यह लगभग कोई ऊर्जा खर्च नहीं करता है।
परिणाम: एक बड़ी जीत
टीम ने इसे एक रोबic विजन कार्य (वीडियो से ऑब्जेक्ट रिकग्निशन) पर परखा। उन्होंने अपने नए सिस्टम की तुलना सबसे अच्छे मानक कंप्यूटरों (जैसे NVIDIA Jetson Orin Nano, जो कई रोबोटों में उपयोग किया जाता है) के साथ Loihi 2 चिप पर की।
- गति: Loihi 2 सिस्टम 113 गुना तेज़ था (0.33 मिलीसेकंड बनाम 37 मिलीसेकंड)। यह एक घोंघे और एक रेस कार के बीच के अंतर जैसा है।
- ऊर्जा: Loi히 2 सिस्टम ने 6,600 गुना कम ऊर्जा का उपयोग किया (0.05 मिलीजूल बनाम 333 मिलीजूल)। यह एक सेकंड के लिए एक सिंगल LED लैंप को चलाने की ऊर्जा बनाम एक मिनट के लिए माइक्रोवेव चलाने के बीच के अंतर जैसा है।
- सटीकता: अपनी उच्च गति और दक्षता के बावजूद, इसने पहले सीखी गई चीजों को भूले बिना, मानक प्रणालियों के समान ही अच्छी तरह से सीखा।
यह क्यों मायने रखता है
यह कार्य प्रदर्शित करता है कि मस्तिष्क जैसे एल्गोरिदम (CLP-SNN) को मस्तिष्क जैसी हार्डवेयर (Loihi 2) के साथ जोड़कर, हम अंततः छोटे, बैटरी से चलने वाले उपकरणों पर वास्तविक समय में निरंतर सीखने वाले AI को बना सकते हैं। यह उस पुराने नियम को तोड़ता है कि आपको बुद्धिमत्ता (सटीकता) और दक्षता (गति/कम बिजली की खपत) के बीच किसी एक को चुनना होगा।
लेखकों ने अपने सॉफ्टवेयर कोड को सार्वजनिक कर दिया है ताकि अन्य लोग इस पर आगे निर्माण कर सकें, हालांकि वास्तविक चिप हार्डवेयर वर्तमान में केवल उन शोधकर्ताओं के लिए उपलब्ध है जो Intel के साथ सहयोग कर रहे हैं। यह कार्य सिद्ध करता है कि "ऑनलाइन कंटीन्युअल लर्निंग"—चलते-फिरते सीखना बिना भूले—केवल एक सपना नहीं है, बल्कि एज AI के भविष्य के लिए एक व्यावहारिक वास्तविकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।