CARMEN: CORDIC-Accelerated Resource-Efficient Multi-Precision Inference Engine for Deep Learning
यह शोध पत्र CARMEN को प्रस्तुत करता है, जो एक संसाधन-कुशल डीप लर्निंग इन्फरेंस इंजन है जो कम्प्यूटेशनल परिशुद्धता (computational precision) को गतिशील रूप से समायोजित करने के लिए एक रनटाइम-एडेप्टिव CORDIC-आधारित आर्किटेक्चर का लाभ उठाता है, जिससे ASIC और FPGA दोनों प्लेटफॉर्म पर उच्च प्रदर्शन प्रदान करते हुए पावर और साइकिल काउंट में महत्वपूर्ण कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त रसोई चला रहे हैं जहाँ मुख्य काम सामग्रियों को मिलाना (संख्याओं को गुणा और जोड़ना) है ताकि हज़ारों व्यंजन बनाए जा सकें। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, इस "मिश्रण" को MAC ऑपरेशन कहा जाता है, और यह शेफ के समय का लगभग 90% हिस्सा लेता है। बाकी 10% समय में थोड़ा सा गार्निश या स्वाद का तड़का लगाया जाता है (जिसे एक्टिवेशन फंक्शन्स कहा जाता है), जैसे नमक का एक चुटकी या नींबू का एक निचोड़।
अधिकांश वर्तमान AI "रसोईघरों" (चिप्स) के साथ समस्या यह है कि वे एक फैक्ट्री असेंबली लाइन की तरह बने होते हैं। उनके पास मिश्रण करने के लिए एक विशाल, महंगी मशीन है, और गार्निश करने के लिए एक अलग, उतनी ही महंगी मशीन है। लेकिन चूंकि गार्निशिंग बहुत कम होती है, इसलिए वह दूसरी मशीन 84% समय खाली बैठी रहती है, जिससे जगह और बिजली बर्बाद होती है।
CARMEN से मिलिए: एक स्मार्ट, अनुकूलन योग्य किचन असिस्टेंट
IIT इंदौर और बार-इलान यूनिवर्सिटी के शोधकर्ताओं ने एक नया इंजन बनाया है जिसे CARMEN कहा जाता है। इसे AI चिप्स के लिए एक "स्विस आर्मी नाइफ" की तरह समझें जो काम के आधार पर अपने औजार बदल लेता है। यह कैसे काम करता है, इसके सरल उदाहरण यहाँ दिए गए हैं:
1. "डायल-ए-डेप्थ" मिक्सिंग मशीन (द CORDIC MAC)
अधिकांश मशीनें एक निश्चित स्तर की सटीकता के साथ सामग्री मिलाती हैं। यदि आपको केवल एक मोटा अनुमान चाहिए, तो भी वे पूरी, धीमी, उच्च-सटीक प्रक्रिया का उपयोग करती हैं।
- नवाचार: CARMEN एक तकनीक का उपयोग करता है जिसे CORDIC कहा जाता है। कल्पना कीजिए कि एक शेफ जो बर्तन को कितनी बार चलाना है, यह चुन सकता है।
- फास्ट मोड: सरल कार्यों के लिए (जैसे एक मोटा अनुमान), शेफ केवल कुछ ही बार बर्तन चलाता है। यह तेज़ है और बहुत कम ऊर्जा का उपयोग करता है, लेकिन शायद थोड़ी कम सटीक है।
- स्लो मोड: महत्वपूर्ण कार्यों के लिए (जहाँ व्यंजन एकदम परफेक्ट होना चाहिए), शेफ कई बार बर्तन चलाता है। इसमें अधिक समय लगता है लेकिन यह अत्यधिक सटीक होता है।
- लाभ: शेफ को दो अलग-अलग मशीनों की आवश्यकता नहीं है। वे बस काम के दौरान "stirring depth" (मिलाने की गहराई) बदलने के लिए एक डायल घुमाते हैं। इससे 33% तक समय और 21% तक बिजली की बचत होती है क्योंकि मशीन सरल कामों के लिए ज़रूरत से ज़्यादा मेहनत नहीं करती है।
2. "वन-पॉट" गार्निश स्टेशन (द मल्टी-एक्टिवेशन ब्लॉक)
हर गार्निश के लिए एक अलग, महंगी मशीन रखने के बजाय (एक नमक के लिए, एक नींबू के लिए, एक काली मिर्च के लिए), CARMEN के पास एक बहुमुखी स्टेशन है।
- नवाचार: यह टाइम-मल्टीप्लेक्सिंग का उपयोग करता है। यह एक अकेले शेफ की तरह है जो तेजी से कार्यों के बीच स्विच करता है। वे नमक डालते हैं, फिर तुरंत नींबू निचोड़ने के लिए स्विच करते हैं, फिर काली मिर्च, और यह सब अपने उन्हीं हाथों और औजारों का उपयोग करके करते हैं।
- लाभ: चूंकि गार्निशिंग दुर्लभ है (केवल 2-5% काम), यह "स्विचिंग" रसोई को धीमा नहीं करती है। हालांकि, यह बहुत सारी जगह और पैसा बचाता है क्योंकि आपको हर एक स्वाद के लिए एक अलग मशीन बनाने की आवश्यकता नहीं है। यह डिज़ाइन सात अलग-अलग "स्वादों" (ReLU, Softmax जैसे फंक्शन) को सपोर्ट करता है जबकि बहुत कम अतिरिक्त जगह लेता है।
3. परिणाम: एक स्मार्ट, लीन किचन
शोधकर्ताओं ने इस नए इंजन का परीक्षण दो तरीकों से किया:
- ब्लूप्रिंट (ASIC): उन्होंने एक बहुत ही उन्नत निर्माण प्रक्रिया (28 nm) का उपयोग करके चिप को डिज़ाइन किया। परिणाम एक छोटा, सुपर-कुशल इंजन है। एक संस्करण जिसमें एक छोटे स्थान में 256 ऐसे "मिक्सिंग स्टेशन" पैक किए गए हैं, वह अविश्वसनीय रूप से शक्तिशाली है, जो बहुत कम बैटरी पावर का उपयोग करते हुए उच्च गति प्रदान करता है।
- प्रोटोटाइप (FPGA): उन्होंने एक डेवलपमेंट बोर्ड (Pynq-Z2) पर एक वर्किंग मॉडल बनाया। जब हमने उनसे वीडियो में वस्तुओं को पहचानने के लिए कहा (जैसे रीयल-टाइम में बिल्ली या कार को ढूंढना), तो उन्होंने इसे 154.6 मिलीसेकंड में किया जबकि केवल 0.43 वॉट की बिजली का उपयोग किया।
यह क्यों महत्वपूर्ण है
पिछले AI चिप्स किसी प्रक्रिया के हर चरण के लिए एक अलग, महंगी फैक्ट्री बनाने जैसे थे, भले ही वह चरण बहुत कम इस्तेमाल किया जाता हो। CARMEN एक स्मार्ट, अनुकूलन योग्य वर्कशॉप की तरह है जहाँ औजार काम के आधार पर अपना व्यवहार बदलते हैं।
- यह संसाधनों को साझा करके जगह (area) बचाता है।
- यह बैटरी (power) बचाता है क्योंकि यह सरल कार्यों के लिए ज़रूरत से ज़्यादा मेहनत नहीं करता है।
- यह गुणवत्ता (accuracy) को उच्च रखता है क्योंकि यह सिस्टम को यह चुनने की अनुमति देता है कि उसे प्रत्येक विशिष्ट गणना के लिए कितनी सटीकता की आवश्यकता है।
संक्षेप में, CARMEN AI चिप्स को छोटा, सस्ता और लंबे समय तक चलने वाला बनाता है, जो फोन या ड्रोन जैसे छोटे उपकरणों पर स्मार्ट एप्लिकेशन चलाने के लिए एकदम सही है, बिना किसी बड़े पावर प्लांट की आवश्यकता के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।