Chameleon: A Multiplier-Free Temporal Convolutional Network Accelerator for End-to-End Few-Shot and Continual Learning from Sequential Data
कमीलिऑन (Chameleon) एक 40-एनएम (nm) CMOS एक्सेलेरेटर है जो एक एकीकृत आर्किटेक्चर और एक ड्यूल-मोड, मल्टीप्लायर-फ्री कंप्यूट एरे का उपयोग करके न्यूनतम क्षेत्र ओवरहेड और अल्ट्रा-लो पावर खपत के साथ अनुक्रमिक डेटा पर रिकॉर्ड-तोड़ एंड-टू-एंड फ्यू-शॉट और निरंतर शिक्षण (continual learning) प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सीखने की सीमा: आपके उपकरणों को विकसित होने की आवश्यकता क्यों है
कल्पना कीजिए कि आपका स्मार्टफोन या स्मार्ट स्पीकर एक प्रतिभाशाली लेकिन जिद्दी छात्र है। अभी, यह उन सवालों के जवाब देने में अविश्वसनीय रूप से अच्छा है जो इसे कारखाने से बाहर निकलने से पहले एक क्लासरूम (क्लाउड) में सिखाए गए थे। लेकिन यदि आप इसे उस नए शब्द को पहचानने के लिए कहते हैं जो आपने अभी-अभी बनाया है, या एक ऐसी आवाज़ जो थोड़ी अलग सुनाई देती है क्योंकि आपको सर्दी हुई है, तो यह जम जाता है। यह काम करते समय सीख नहीं सकता। इसे ठीक करने के लिए, हमें आमतौर पर आपके डेटा को क्लाउड में एक विशाल सर्वर पर वापस भेजना पड़ता है, मॉडल को फिर से प्रशिक्षित करना पड़ता है, और उसे वापस भेजना पड़ता है। यह धीमा है, आपकी बैटरी का उपयोग करता है, और गोपनीयता संबंधी चिंताएं पैदा करता है क्योंकि आप अपने व्यक्तिगत रहस्य किसी तीसरे पक्ष को सौंप रहे हैं।
"एज एआई" (Edge AI) का सपना इन उपकरणों को वहीं सीखने की क्षमता देना है जहाँ वे रहते हैं, वास्तविक समय में, बिना क्लाउड की आवश्यकता के। इसे अपने पालतू जानवर को आपके लिविंग रूम में ही एक नया करतब सिखाने जैसा समझें, बजाय इसके कि उसे शहर के दूसरे छोर पर स्थित एक स्कूल में भेजा जाए। चुनौती यह है कि ये उपकरण बहुत छोटे हैं, बैटरी पर चलते हैं, और इनमें मेमोरी बहुत कम होती है। वे किताबों की एक विशाल लाइब्रेरी (मॉडल्स) नहीं ले जा सकते या शून्य से सीखने के लिए आवश्यक भारी गणित नहीं कर सकते। उन्हें केवल कुछ उदाहरणों (जैसे एक या दो बार एक नया कीवर्ड देखना) से सीखने और उसे हमेशा के लिए याद रखने की आवश्यकता है, और वह भी एक हमिंगबर्ड की तरह बहुत कम बिजली खर्च करते हुए। यह वही पहेली है जिसे "कैमेलियन" (Chameleon) चिप के पीछे के शोधकर्ता हल करने की कोशिश कर रहे हैं।
कैमेलियन: छोटे उपकरणों के लिए एक आकार बदलने वाला मस्तिष्क
कैमेलियन से मिलिए। यह कोई छिपकली नहीं है, बल्कि एक माइक्रोचिप है जिसे आर्टिफिशियल इंटेलिजेंस के लिए परम 'शेप-शिफ्टर' (आकार बदलने वाला) बनने के लिए डिज़ाइन किया गया है। इलेक्ट्रॉनिक्स की दुनिया में, अधिकांश चिप्स विशिष्ट उपकरणों की तरह होते हैं: एक हथौड़ा कीलों के लिए महान है लेकिन पेंचों के लिए बुरा है। आमतौर पर, आपके पास "सोचने" (इन्फरेंस) के लिए एक चिप होती है और एक पूरी तरह से अलग, बहुत बड़ी और अधिक बिजली खपत करने वाली सेटअप "सीखने" के लिए होती है। इस पेपर के लेखकों ने एक ऐसा चिप बनाने की इच्छा जताई जो दोनों को सहजता से कर सके, जैसे कि एक स्विस आर्मी नाइफ जो नया ब्लेड जोड़ने पर भारी नहीं होता।
"वन-स्टॉप-शॉप" आर्किटेक्चर
टीम के सामने सबसे बड़ी बाधा यह थी कि सीखने के लिए आमतौर पर बहुत अधिक अतिरिक्त हार्डवेयर की आवश्यकता होती है। कल्पना कीजिए कि आप एक छोटे से ट्रीहाउस में एक लाइब्रेरी जोड़ने की कोशिश कर रहे हैं; यह छत को गिरा देगा। कैमेलियन इसे यह महसूस करके हल करता है कि सीखना और सोचना वास्तव में बहुत समान प्रक्रियाएं हैं। उन्होंने एक एकीकृत प्रणाली बनाई है जहाँ चिप एक नया कार्य सीखने के लिए उन्हीं "मांसपेशियों" (हार्डवेयर सर्किट) का उपयोग करती है जो वह पुराने कार्य को करने के लिए करती है।
एक अलग, भारी लर्निंग इंजन की आवश्यकता के बजाय, कैमेलियन सीखने को सोचने की प्रक्रिया के एक और चरण के रूप में मानता है। उन्होंने इसे एक चतुर गणितीय ट्रिक का उपयोग करके हासिल किया जो "सीखने" के चरण को एक सरल गणना में बदल देता है जिसे चिप पहले से ही करना जानती है। परिणाम? सीखने की क्षमता चिप के आकार में मात्र 0.5% जोड़ती है। यह आपके बैकपैक में एक गुप्त कंपार्टमेंट जोड़ने जैसा है जो आपकी पूरी स्कूल लाइब्रेरी को रखता है लेकिन बैग को भारी या बड़ा नहीं बनाता है।
लॉन्ग-रेंज मेमोरी (TCNs)
वास्तविक दुनिया का डेटा, जैसे आपकी आवाज़ या आपकी धड़कन, समय के साथ घटित होता है। यह एक कहानी है, कोई स्नैपशॉट नहीं। अधिकांश एआई चिप्स लंबी कहानियों को याद रखने में खराब होते हैं; अंत तक पहुँचते-पहुँचते वे शुरुआत भूल जाते हैं। इसे ठीक करने के लिए, कैमेलियन टेम्पोरल कन्वोल्यूशनल नेटवर्क (TCN) नामक चीज़ का उपयोग करता है।
एक TCN को एक सुपर-पावर्ड आवर्धक लेंस (मैग्निफाइंग ग्लास) वाले जासूस के रूप में सोचें। जबकि अन्य चिप्स केवल ऑडियो के पिछले कुछ सेकंड (जैसे एक छोटा वाक्य) को देख सकते हैं, कैमेलमान इतिहास के 16,000 स्टेप्स तक पीछे देख सकता है। यह एक बहुत बड़ी छलांग है। पिछले चिप्स केवल समय की एक छोटी खिड़की देख सकते थे, जिससे इंजीनियरों को ऑडियो को पहले कंप्रेस करने के लिए मजबूर होना पड़ता था, जो एक उपन्यास को ट्वीट में सिकोड़ने जैसा है और सभी विवरण खो देता है। कैमेलियन का TCN बिना सिकोड़े पूरा उपन्यास पढ़ सकता है, जिससे यह सीधे कच्चे ऑडियो में जटिल पैटर्न को समझने में सक्षम होता है।
मल्टीप्लायर-फ्री मैजिक
कैमेलियन का सबसे मनोरंजक हिस्सा यह है कि यह अपना गणित कैसे करता है। आमतौर पर, एआई चिप्स ऐसे कैलकुलेटर की तरह होते हैं जो लगातार संख्याओं को गुणा करते हैं, जिसमें बहुत अधिक ऊर्जा और स्थान लगता है। कैमेलियन ने पूरी तरह से गुणा करना बंद करने का निर्णय लिया। इसके बजाय, यह "बिट शिफ्टिंग" का उपयोग करता है, जो दशमलव बिंदु को बाएं या दाएं ले जाने जैसा है।
कल्पमान कीजिए कि आपके पास लाइट स्विच का एक बैंक है। ठीक से यह गणना करने के बजाय कि कितनी रोशनी चालू करनी है (गुणा), आप बस स्विच को एक नई स्थिति में खिसकाते हैं (शिफ्टिंग)। यह चिप को बिना "मल्टीप्लायर्स" के चलने की अनुमति देता है, जो कंप्यूटर के सबसे अधिक ऊर्जा खपत करने वाले हिस्से हैं। यह डिज़ाइन कैमेलियन को दो मोडों के बीच स्विच करने की अनुमति देता है:
- अल्ट्रा-लो पावर मोड: यह केवल 3.1 µW (माइक्रोवाट) पर चलता है, जो इतनी कम शक्ति है कि सैद्धांतिक रूप से यह एक छोटे सौर सेल या कंपन पर चल सकता है। इस मोड में, यह बैटरी को खत्म किए बिना पूरे दिन "हे सिरी" जैसे कीवर्ड सुनने के लिए एकदम सही है।
- हाई-स्पीड मोड: जब इसे जल्दी से एक नया कार्य सीखने की आवश्यकता होती है, तो यह हाई-स्पीड गियर में स्विच कर सकता है, जो इस काम के लिए वर्तमान में उपलब्ध सर्वश्रेष्ठ चिप्स की तुलना में 4.3 गुना तेज़ चलता है।
चिप ने वास्तव में क्या किया
शोधकर्ताओं ने केवल चिप नहीं बनाया; उन्होंने इसका वास्तविक दुनिया में परीक्षण किया। उन्होंने एक मानक 40-नैनोमीटर मैन्युफैक्चरिंग प्रोसेस (आधुनिक चिप्स के लिए एक सामान्य आकार) का उपयोग करके कैमेलियन को बनाया।
- शून्य से सीखना: उन्होंने इसका परीक्षण ओम्निग्लॉट (Omniglot) नामक एक डेटासेट पर किया, जिसमें विभिन्न लिपियों के हजारों हस्तलिखित अक्षर शामिल हैं। कैमेलियन ने केवल एक या पांच उदाहरणों (शॉट्स) को देखकर नए अक्षरों को पहचानना सीखा। इसने 1-शॉट लर्निंग के लिए 96.8% और 5-शॉट लर्निंग के लिए 98.8% की सटीकता प्राप्त की। यह उन चिप्स के लिए एक नया रिकॉर्ड है जो क्लाउड सर्वर की मदद के बिना पूरी तरह से अपने आप यह काम करते हैं।
- कभी न भूलना: उन्होंने "कंटीन्यूअल लर्निंग" का भी परीक्षण किया, जहाँ चिप समय के साथ एक-एक करके 250 अलग-अलग क्लास सीखती है। सभी 250 सीखने के बाद, इसने उन्हें 82.2% की सटीकता के साथ याद रखा। यह साबित करता है कि चिप केवल नई चीजें नहीं सीखती; यह अपनी पुरानी यादों को भी सुरक्षित रखती है।
- कच्चे ऑडियो को सुनना: अंत में, उन्होंने गूगल स्पीच कमांड्स डेटासेट पर इसका परीक्षण किया। "अल्ट्रा-लो पावर" मोड में, इसने केवल 3.1 µW की शक्ति की खपत करते हुए 12 अलग-अलग वॉयस कमांड्स (जैसे "Yes," "No," "Up," "Down") को 93.3% सटीकता के साथ सही ढंग से पहचाना। इससे भी अधिक प्रभावशाली बात यह है कि यह कच्चे, अनप्रोसेस्ड ऑडियो (बिना किसी अलग फीचर एक्सट्रैक्टर की आवश्यकता के) को सुन सकता था और फिर भी 86.4% सटीकता प्राप्त कर सका, जो जटिल साउंड वेव्स को संभालने की इसकी क्षमता को सिद्ध करता है।
यह क्या नहीं है
यह ध्यान रखना महत्वपूर्ण है कि कैमेलियन क्या नहीं है। यह कोई जादू की छड़ी नहीं है जो बिना किसी प्रयास के तुरंत सब कुछ सीख सकती है। चिप को शुरू करने के लिए अभी भी एक प्री-ट्रेन्ड मॉडल की आवश्यकता होती है; यह शून्य से नहीं सीखता है। यह हर चीज़ के लिए क्लाउड की जगह भी नहीं लेता है; बहुत बड़े और जटिल कार्यों के लिए, क्लाउड अभी भी राजा है। हालाँकि, सीमित शक्ति वाले छोटे डिवाइस पर नए, छोटे कार्यों को सीखने के विशिष्ट कार्य के लिए, कैमेलियन एक नए रास्ते का सुझाव देता है।
लेखकों ने इन परिणामों को एक भौतिक चिप पर मापा है जिसे उन्होंने बनाया है, न कि केवल एक कंप्यूटर सिमुलेशन पर। उन्होंने दिखाया है कि एक एकीकृत लर्निंग आर्किटेक्चर, एक लॉन्ग-रेंज मेमोरी सिस्टम (TCN), और एक मल्टीप्लायर-फ्री डिज़ाइन को जोड़कर, एक ऐसा उपकरण होना संभव है जो चलते-फिरते सीखता है, सब कुछ याद रखता है, और आज के स्मार्ट उपकरणों की तुलना में बहुत कम शक्ति पर चलता है। यह एक ऐसे भविष्य की ओर एक कदम है जहाँ आपके उपकरण केवल आपको जानते ही नहीं; वे आपके साथ बढ़ते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।