NAS-Driven Hardware Accelerator Exploration for Edge AI and Quantization Effects on the Pareto Space
यह शोध पत्र हार्डवेयर-अवेयर न्यूरल आर्किटेक्चर सर्च के लिए एक तीन-चरणीय पाइपलाइन का प्रस्ताव करता है जो पोस्ट-ट्रेनिंग क्वांटाइजेशन और इवोल्यूशनरी हार्डवेयर मैपिंग को एकीकृत करता है, जबकि अनुभवजन्य रूप से यह प्रदर्शित करता है कि क्वांटाइज्ड आर्किटेक्चर के पारेटो स्पेस (Pareto space) को चित्रित करने में FP32 ज़ीरो-शॉट सरोगेट्स, समर्पित INT4-प्रशिक्षित सरोगेट्स से बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक परम रोबोट मस्तिष्क बनाने की कोशिश कर रहे हैं, लेकिन आपके पास एक सख्त नियम है: इसे एक छोटे से, बैटरी से चलने वाले गैजेट जैसे कि स्मार्टवॉच या ड्रोन के भीतर फिट होना चाहिए। यह "एज एआई" (Edge AI) की दुनिया है, जहाँ आर्टिफिशियल इंटेलिजेंस विशाल, भारी बिजली खपत करने वाले क्लाउड सर्वर के बजाय छोटे उपकरणों पर रहता है। इसे काम करने लायक बनाने के लिए, इंजीनियरों को एक पेचीदा पहेली सुलझानी होती है: उन्हें एक ऐसा मस्तिष्क चाहिए जो चेहरों या आवाजों को पहचानने के लिए पर्याप्त स्मार्ट हो, लेकिन इतना छोटा और तेज़ भी हो कि वह कुछ ही मिनटों में बैटरी खत्म किए बिना चल सके।
एक आदर्श मस्तिष्क डिजाइन खोजने के लिए, वैज्ञानिक "न्यूरल आर्किटेक्चर सर्च" (NAS) नामक एक विधि का उपयोग करते हैं। इसे एक सुपर-फास्ट, स्वचालित शेफ के रूप में समझें जो लाखों अलग-अलग रेसिपी (न्यूरल नेटवर्क डिजाइन) आज़माता है ताकि वह उस रेसिपी को ढूंढ सके जो सबसे अच्छा स्वाद (उच्च सटीकता) देती है और साथ ही कम से कम सामग्री (कंप्यूटिंग पावर) का उपयोग करती है। आमतौर पर, ये शेफ "फुल-प्रिसिजन" (पूर्ण-परिशुद्धता) वाली सामग्रियों के साथ खाना बनाते हैं, जो सटीक, भारी माप की तरह हैं। लेकिन नन्हे गैजेट्स के लिए, आपको "क्वांटाइजेशन" (quantization) पर स्विच करना होता है, जो कि सटीक माप के बजाय छोटे, हल्के मापने वाले कपों का उपयोग करने जैसा है (संख्याओं को दर्शाने के लिए कम बिट्स का उपयोग करना)। बड़ा सवाल यह है कि यदि आप मापने के कप बदल देते हैं, तो क्या रसोई में एकदम सही दिखने वाली रेसिपी सड़क पर चलते समय भी वैसा ही स्वाद देगी? यह शोध पत्र ठीक इसी सवाल की गहराई में जाता है, यह पता लगाता है कि मापने की प्रणाली बदलने से सर्वोत्तम रोबोट मस्तिष्क की खोज कैसे प्रभावित होती है और इस मस्तिष्क को एक विशेष, पुनर्गठित करने योग्य चिप पर कैसे फिट किया जाए।
एक नन्हे मस्तिष्क की तीन-चरणीय यात्रा
इस शोध पत्र के लेखक एक सूक्ष्म, तीन-चरणीय पाइपलाइन का प्रस्ताव देते हैं ताकि हार्डवेयर पर एआई को फिट करने की समस्या को हल किया जा सके। वे इसे "NAS-थ्र-क्वांटाइज्ड" (NAS-then-quantized) दृष्टिकोण कहते हैं, जो कुछ ऐसा है जैसे पहले कंप्यूटर पर एक कार डिजाइन करना, फिर यह परीक्षण करना कि वह ऊबड़-खाबड़ कच्ची सड़क पर कैसा प्रदर्शन करती है, और अंत में इलाके के अनुरूप इंजन बनाना।
चरण 1: हार्डवेयर-स्वतंत्र फ्रंटएंड (The Hardware-Agnostic Frontend)
सबसे पहले, टीम एक "सरोगेट" (surrogate) मॉडल का उपयोग करती है—एक स्मार्ट भविष्यवक्ता जो वास्तव में मॉडल बनाए बिना ही यह अनुमान लगा लेता है कि कोई डिजाइन कितना अच्छा है। वे इस भविष्यवक्ता को 15,625 विभिन्न न्यूरल नेटवर्क डिजाइनों (NAS-Bench-201 नामक डेटासेट से) के एक विशाल पुस्तकालय पर प्रशिक्षित करते हैं। यह चरण "हार्डवेयर-स्वतंत्र" है, जिसका अर्थ है कि इसे अभी तक विशिष्ट चिप की परवाह नहीं है; यह केवल सटीकता और आवश्यक गणितीय संचालन (FLOPs) के आधार पर सर्वोत्तम डिजाइनों की तलाश करता है। वे दो खोज रणनीतियों का उपयोग करते हैं: एक सरल "रैंडम सर्च" (यादृच्छिक चयन) और एक "मल्टी-ऑब्जेक्टिव इवोल्यूशनरी एल्गोरिदम" (जो बेहतर डिजाइनों को विकसित करने के लिए प्राकृतिक चयन की नकल करता है)। इस चरण के बाद, उनके पास दस शीर्ष उम्मीदवारों की एक संक्षिप्त सूची होती है।
चरण 2: क्वांटाइजेशन ब्रिज (The Quantization Bridge)
इसके बाद वास्तविकता की जाँच आती है। टीम उन दस शीर्ष उम्मीदवारों को लेकर उन्हें "पोस्ट-ट्रेनिंग क्वांटाइजेशन" (PTQ) नामक तकनीक का उपयोग करके सिकोड़ देती है, विशेष रूप से उन्हें INT4 (सामान्य 32 बिट्स के बजाय केवल 4 बिट्स का उपयोग करना) में बदल देती है। यह एक हाई-डेफिनिशन फोटो को लेकर उसे पुराने फोन पर फिट होने के लिए कंप्रेस करने जैसा है। वे इसे करने के लिए 'Brevitas' नामक टूल का उपयोग करते हैं।
यहीं पर चीजें दिलचस्प हो जाती हैं। जब वे मॉडलों को कंप्रेस करते हैं, तो कुछ डिजाइन जो पहले चरण में शानदार दिख रहे थे, विफल हो सकते हैं या खराब हो सकते हैं। "क्वांटाइजेशन ब्रिज" एक फिल्टर के रूप में कार्य करता है। यह डिजाइनों को इस आधार पर फिर से रैंक करता है कि वे संपीड़न (compression) के दौरान कितनी अच्छी तरह जीवित रहते हैं। यदि कोई डिजाइन बिखर जाता है, तो उसे बाहर कर दिया जाता है। यदि कोई भी डिजाइन जीवित नहीं बचता है, तो सिस्टम चरण 1 पर वापस जाता है और फिर से प्रयास करता है। उन्होंने INT4 को इसलिए चुना क्योंकि, हालांकि यह बहुत आक्रामक है, उन्होंने पाया कि थोड़ी अतिरिक्त ट्रेनिंग (केवल दो एपोक) के साथ, मॉडल अपनी सटीकता को काफी हद तक पुनः प्राप्त कर सकते हैं, जो 9.49% के निचले स्तर से बढ़कर 83.53% तक पहुँच जाता है, जिससे यह सिद्ध होता है कि मूल मॉडल की जानकारी काफी हद तक सुरक्षित रही।
चरण 3: हार्डवेयर-जागरूक बैकएंड (The Hardware-Aware Backend)
अंत में, जीवित बचे डिजाइनों को एक घर की आवश्यकता होती है। टीम इन कंप्रेस किए गए मस्तिष्कों को CGRA (कोर्स-ग्रेन्ड रीकॉन्फ़िगरेबल एरे) नामक हार्डवेयर के एक विशिष्ट प्रकार पर मैप करती है। CGRA को एक लेगो बोर्ड (Lego board) के रूप में समझें जहाँ आप किसी भी आकार में फिट होने के लिए ब्लॉकों को पुनर्व्यवस्थित कर सकते हैं। वे हार्डवेयर के विन्यास (जैसे प्रोसेसिंग यूनिट की संख्या, मेमोरी डेप्थ और डेटा पाथ) को बदलने के लिए एक इवोल्यूशनरी एल्गोरिदम का उपयोग करते हैं। वे भौतिक चिप नहीं बनाते हैं; इसके बजाय, वे यह अनुमान लगाने के लिए एक "फ्री एनालिटिकल ओरकल" (गणितीय सिम्युलेटर) का उपयोग करते हैं कि प्रत्येक व्यवस्था कितनी तेज़ और कुशल होगी। वे उस विन्यास को चुनते हैं जो विलंब (delay) को कम करता है और हार्डवेयर के संसाधनों का अधिकतम उपयोग करता है।
सबसे बड़ा आश्चर्य: पुराने मानचित्र को फेंकें नहीं
इस शोध पत्र की सबसे रोमांचक खोज केवल यह तीन-चरणीय पाइपलाइन नहीं है; बल्कि यह है कि उन्होंने "फुल-प्रिसिजन" (पूर्ण-परिशुद्धता) की दुनिया और "कंप्रेस्ड" (संकुचित) दुनिया के बीच के संबंध के बारे में क्या सीखा।
आमतौर पर, जब आप किसी मॉडल को कंप्रेस करते हैं, तो आप सोच सकते हैं कि आपको शून्य से शुरुआत करनी होगी, यानी कंप्रेस किए गए (INT4) डेटा के लिए एक नया प्रेडिक्टर प्रशिक्षित करना होगा। लेखकों ने इस विचार का परीक्षण किया। उन्होंने दो दृष्टिकोणों की तुलना की:
- समर्पित INT4 सरोगेट: विशेष रूप से कंप्रेस किए गए डेटा पर प्रशिक्षित एक भविष्यवक्ता।
- FP32 ज़ीरो-शॉट सरोगेट: मूल, पूर्ण-परिशुद्धता डेटा पर प्रशिक्षित एक भविष्यवक्ता, जिसका उपयोग उन्होंने बिना पुन: प्रशिक्षण के कंप्रेस किए गए मॉडलों के प्रदर्शन का अनुमान लगाने के लिए किया।
परिणाम आश्चर्यजनक थे। सिमुलेशन में, FP32 ज़ीरो-शॉट सरोगेट ने समर्पित INT4 वाले से बेहतर प्रदर्शन किया। जब उन्होंने अपनी खोज रणनीतियों को चलाया, तो FP32 प्रेडिक्टर ने ऐसे डिजाइन खोजे जिन्होंने समर्पित INT4 प्रेडिक्टर की तुलना में बेहतर ट्रेड-ऑफ (Pareto space) का व्यापक दायरा कवर किया।
क्यों? लेखक सुझाव देते हैं कि फुल-प्रिसिजन डेटा "साफ" और कम शोर वाला है। भले ही कंप्रेस की गई दुनिया अलग है, लेकिन कौन से डिजाइन "अच्छे" हैं और कौन से "बुरे" हैं, इसकी रैंकिंग आश्चर्यजनक रूप से समान रहती है। शोध पत्र नोट करता है कि हालांकि डिजाइनों का सटीक क्रम बदल जाता है (लगभग 21% मामलों में, एक डिजाइन जो फुल-प्रिसिजन में दूसरे से बेहतर था, कंप्रेशन के बाद बदतर हो जाता है), फिर भी "सर्वश्रेष्ठ" डिजाइनों की समग्र संरचना इतनी स्थिर रहती है कि पुराना मानचित्र (FP32 प्रेडिक्टर) अभी भी एक विश्वसनीय मार्गदर्शक है।
पहेली की स्थिरता
टीम ने केवल अनुमान नहीं लगाया; उन्होंने अराजकता को मापा। उन्होंने सभी 15,625 आर्किटेक्चरों का अध्ययन किया कि जब वे INT4 पर स्विच करते हैं तो "पारेटो फ्रंट" (सर्वश्रेष्ठ डिजाइनों की सूची) में कितना बदलाव आता है।
- बदलाव (The Shift): शीर्ष डिजाइनों की सूची पूरी तरह से पुनर्गठित हो गई। मूल शीर्ष डिजाइनों में से कोई भी कंप्रेस की गई दुनिया में शीर्ष डिजाइन के रूप में जीवित नहीं रहा।
- पलटवार (The Flip): लगभग 21.73% समय, दो डिजाइनों के बीच का संबंध उलट गया (डिजाइन A फुल-प्रिसिजन में डिजाइन B से बेहतर था, लेकिन कंप्रेशन के बाद B बेहतर हो गया)।
- सहसंबंध (The Correlation): इस अराजकता के बावजूद, समग्र रैंकिंग सहसंबंध अभी भी मध्यम (0.6655) था, जिसका अर्थ है कि अच्छे डिजाइनों का सामान्य "आकार" संरक्षित रहा।
उन्होंने यह भी पाया कि छोटे, सरल मॉडल (जिनमें कम गणितीय संचालन होते हैं) कंप्रेशन के प्रति बहुत अधिक संवेदनशील थे और अक्सर सटीकता खो देते थे। बड़े, जटिल मॉडल आश्चर्यजनक रूप से मजबूत थे, क्योंकि उनकी संरचना स्वाभाविक रूप से छोटी संख्याओं द्वारा उत्पन्न त्रुटियों को सुचारू कर देती है।
हार्डवेयर परिणाम
अंत में, उन्होंने अपने तीन सर्वश्रेष्ठ जीवित डिजाइनों में से एक को लिया और उन्हें CGRA हार्डवेयर पर मैप किया। उन्होंने पाया कि डिजाइन अलग होने के बावजूद, वे सभी बिल्कुल एक ही इष्टतम हार्डवेयर विन्यास पर पहुंचे: 16 पंक्तियों और 66 कॉलमों का प्रोसेसिंग यूनिट ग्रिड, जिसमें एक विशिष्ट मेमोरी डेप्थ थी। यह सुझाव देता है कि इस प्रकार के कार्य के लिए, हार्डवेयर का "स्वीट स्पॉट" काफी सुसंगत है, चाहे विशिष्ट न्यूरल नेटवर्क डिजाइन कुछ भी हो, बशर्ते कि डिजाइन समान बिल्डिंग ब्लॉक्स का उपयोग करता हो।
निष्कर्ष
यह शोध पत्र बताता है कि हमें हर बार किसी छोटे डिवाइस के लिए एआई मॉडल को छोटा करने के लिए पहिए का पुन: आविष्कार करने की आवश्यकता नहीं है। तीन चरणों की प्रक्रिया का उपयोग करके—पूर्ण परिशुद्धता में सर्वोत्तम डिजाइन खोजना, उन्हें एक संपीड़न परीक्षण के माध्यम से फ़िल्टर करना, और फिर उन्हें लचीले हार्डवेयर पर मैप करना—हम सटीकता और आकार के बीच सही संतुलन कुशलतापूर्वक पा सकते हैं। सबसे महत्वपूर्ण बात यह है कि यह सुझाव देता है कि हम कंप्रेस की गई दुनिया में भी अपने फुल-प्रिसिजन खोज उपकरणों पर भरोसा कर सकते हैं, जिससे हमारी जेबों में शक्तिशाली एआई डालने की खोज में समय और प्रयास की बचत होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।