Empowering On-Device Model Adaptation with an Edge AI Inference Accelerator
यह शोध पत्र एक हेट्रोजेनियस अडैप्टेशन पाइपलाइन का प्रस्ताव करता है जो फ्रोजन-बैकबोन फीचर एक्सट्रैक्शन के लिए Hailo-8L एज एआई इन्फरेंस एक्सेलेरेटर को पुनरुद्देश्यित करता है और होस्ट CPU पर एक लाइटवेट क्लासिफिकेशन हेड को फाइन-ट्यून करता है, जिससे ऊर्जा-कुशल, उच्च-गति ऑन-डिवाइस मॉडल अडैप्टेशन सक्षम होता है जो CPU-ओनली बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका स्मार्टफोन या एक स्मार्ट कैमरा एक छोटे, अत्यधिक व्यस्त शेफ की तरह है जो एक जटिल व्यंजन बनाने की कोशिश कर रहा है। आमतौर पर, यह शेफ नए व्यंजनों को भोजन चखकर, यह पता लगाकर कि क्या गलत हुआ, और पूरी रेसिपी बुक को फिर से लिखकर सीखता है। लेकिन वास्तविक दुनिया में, ये उपकरण अक्सर बहुत छोटे, बहुत गर्म, या बैटरी के मामले में बहुत अधिक ऊर्जा खपत करने वाले होते हैं ताकि वे काम करते समय उस भारी रीराइटिंग (पुनर्लेखन) को कर सकें। यह "ऑन-डिवाइस लर्निंग" (on-device learning) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ कंप्यूटर बिना सारा डेटा एक विशाल क्लाउड सर्वर पर भेजे, वहीं पर सीखने और अनुकूलित होने की कोशिश करते हैं। बड़ी चुनौती हमेशा यह रही है: आप एक छोटे से उपकरण को बिना उसकी बैटरी सुखाए या उसे धीमा किए, नई स्थितियों को संभालने के लिए कैसे स्मार्ट बना सकते हैं—जैसे कि एक सुरक्षा कैमरा एक नए प्रकार के कुत्ते को पहचानना सीख रहा हो—बिना किसी सुपरकंप्यूटर की शक्ति के।
इस शोध पत्र के शोधकर्ताओं ने एक चतुर जुगाड़ खोजा है, जिसमें उन्होंने एक ऐसे टूल को उधार लिया है जो मूल रूप से सिखाने के लिए नहीं बनाया गया था। उन्होंने एक विशेष चिप ली जिसे Hailo-8L कहा जाता है, जिसे AI मॉडल के लिए एक बिजली की तरह तेज़ "टेस्ट-टेस्टर" (इन्फरेंस) के रूप में डिज़ाइन किया गया है, और इसे वास्तविक "कुकिंग" (ट्रेनिंग) में मदद करने के लिए पुन: उपयोग किया। सामान्यतः, एक मॉडल को ट्रेन करना एक पूरी कुकबुक को फिर से लिखने और साथ ही साथ व्यंजन का स्वाद चखने जैसा है; यह धीमा है और इसमें बहुत अधिक ऊर्जा की आवश्यकता होती है। टीम का समाधान काम को विभाजित करना था। उन्होंने AI मॉडल के "बैकबोन" (रीढ़) को—जो सामान्य आकृतियों और पैटर्न को पहचानता है—को फ्रीज (स्थिर) रखा और इसे छवियों को देखने का भारी काम संभालने के लिए तेज़ चिप को भेज दिया। यह चिप एक सरल, कम-शक्ति वाली भाषा (INT8) में काम करती है जो इसे अविश्वसनीय रूप से तेज़ बनाती है। इस बीच, डिवाइस के मुख्य प्रोसेसर (CPU) को केवल मॉडल के अंतिम "हेड" (सिर) को टवीक (बारीक बदलाव) करने का हल्का काम करना था, जो केवल वह हिस्सा है जो तय करता है कि देखी जा रही विशिष्ट वस्तु क्या है।
ऐसा करके, उन्होंने एक हाइब्रिड सिस्टम बनाया जहाँ भारी काम तेज़ चिप द्वारा किया जाता है, और सीखना मुख्य प्रोसेसर पर होता है। उन्होंने इसका परीक्षण Raspberry Pi 5 पर किया, जो एक छोटा, किफायती कंप्यूटर है, और पाया कि यह कंप्यूटर के प्रोसेसर का अकेले उपयोग करने की तुलना में मॉडल्स को 15.4 गुना तेजी से ट्रेन कर सकता है। उदाहरण के लिए, जब ResNet18 मॉडल को ट्रेन किया गया, तो नए तरीके को प्रति छवि केवल 6.04 मिलीसेकंड लगे, जबकि CPU के अकेले उपयोग करने पर इसमें 92.85 मिलीसेकंड लगे। इसने काफी कम ऊर्जा का भी उपयोग किया, प्रति सैंपल केवल 38.65 मिलीजूल (millijoules) की खपत की, जबकि CPU-ओनली विधि के लिए यह 525.65 मिलीजूल था। हालाँकि, पेपर नोट करता है कि यह गति वृद्धि हर स्थिति में जादू नहीं है; यह तब सबसे अच्छा काम करता है जब मॉडल का "हेड" छोटा और सरल हो। यदि सीखने वाला हिस्सा बहुत जटिल है, तो मुख्य प्रोसेसर फिर से बाधा (bottleneck) बन जाता है, जिससे प्रक्रिया धीमी हो जाती है।
शोधकर्ताओं ने एक पेचीदा दुष्प्रभाव भी देखा: क्योंकि तेज़ चिप सरल गणित का उपयोग करती है, इसलिए यह कभी-कभी डेटा के "स्वाद" को विकृत कर सकती है, जिससे मुख्य प्रोसेसर के लिए सही ढंग से सीखना कठिन हो जाता है। इसे ठीक करने के लिए, उन्होंने कई "रेस्टोरेशन" (पुनर्स्थापना) तकनीकों का प्रयास किया, जैसे कि मसाले को समायोजित करना (बायस करेक्शन) या एक अधिक उन्नत विधि जिसे "नॉलेज डिस्टिलेशन" कहा जाता है। उन्होंने पाया कि कुछ मॉडल्स के लिए, जैसे ResNet18, एक साधारण समायोजन ही सटीकता को सामान्य करने के लिए पर्याप्त था। लेकिन MobileNetV3 जैसे अधिक जटिल मॉडल्स के लिए, उन्हें इन उन्नत रेस्टोरेशन ट्रिक्स की आवश्यकता थी ताकि सटीकता में बहुत अधिक गिरावट को रोका जा सके। अंत में, पेपर सुझाव देता है कि हालांकि आप एक छोटी चिप पर पूर्ण ट्रेनिंग जॉब नहीं डाल सकते, लेकिन आप निश्चित रूप से इन इन्फरेंस चिप्स का उपयोग ऑन-डिवाइस लर्निंग को बहुत तेज़ और अधिक ऊर्जा-कुशल बनाने के लिए कर सकते हैं, बशर्ते आप जानते हों कि विशिष्ट मॉडल के लिए सिस्टम को कैसे ट्यून करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।