Retrospective: A CORDIC Based Configurable Activation Function for NN Applications
यह रेट्रोस्पेक्टिव पेपर संसाधन-बाधित AI हार्डवेयर के लिए CORDIC-आधारित कॉन्फ़िगर करने योग्य एक्टिवेशन फंक्शन्स के विकास की समीक्षा करता है, जो DA-VINCI AF और अनुकूलित NEURIC कंप्यूट यूनिट के परिचय के साथ समाप्त होता है, जो डायनेमिक रीकॉन्फ़िगरबिलिटी के माध्यम से आधुनिक एक्टिवेशन फंक्शन्स की एक विस्तृत श्रृंखला का समर्थन करके 98.5% परिणामों की गुणवत्ता प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-स्पीड फैक्ट्री चला रहे हैं जो "स्मार्ट ब्रेन्स" (आर्टिफिशियल इंटेलिजेंस) बनाती है। वर्षों से, यह फैक्ट्री एक विशिष्ट मशीन के प्रति जुनूनी रही है: मैथ कैलकुलेटर। यह मशीन गुणा और जोड़ने (जैसे कि किसी उत्पाद की लागत कितनी है, यह गणना करना) का भारी काम करती है।
हालाँकि, एक समस्या है। जबकि कैलकुलेटर कड़ी मेहनत कर रहे हैं, क्वालिटी कंट्रोल इंस्पेक्टर्स (जिन्हें "एक्टिवेशन फंक्शन्स" कहा जाता है) या तो खाली बैठे हैं या बहुत धीरे चल रहे हैं। ये इंस्पेक्टर तय करते हैं कि क्या कोई सिग्नल अगले चरण में जाने के लिए पर्याप्त मजबूत है या उसे अनदेखा किया जाना चाहिए। आधुनिक AI में, इन इंस्पेक्टरों को कई अलग-अलग, जटिल नियमों की जांच करने की आवश्यकता होती है (जैसे कि "क्या यह एक बिल्ली है?" बनाम "क्या यह एक कुत्ता है?")।
अतीत में, फैक्ट्रियों को हर एक नियम के लिए एक अलग, विशेष इंस्पेक्टर बनाना पड़ता था। यदि आपको नियम बदलना होता, तो आपको फैक्ट्री को रोकना पड़ता, पुराने इंस्पेक्टर को हटाना पड़ता और एक नया बनाना पड़ता। यह धीमा, महंगा और बहुत अधिक जगह घेरने वाला था।
पुराना तरीका: "वन-टूल" की समस्या
इसे ठीक करने के पिछले प्रयास एक विशाल किताब (लुक-अप टेबल्स) देने या एक धीमे, मैनुअल कैलकुलेटर का उपयोग करने जैसे थे।
- किताब विधि: सरल सवालों के लिए तेज़, लेकिन यदि आपको एक नया नियम चाहिए, तो वह किताब ले जाने के लिए बहुत भारी है, और आप तुरंत नए पन्ने नहीं लिख सकते।
- मैनुअल विधि: सटीक, लेकिन गणना करने में बहुत समय लेती है।
नया समाधान: "स्विस आर्मी नाइफ" (DA-VINCI)
यह पेपर एक शानदार नए आविष्कार को पेश करता है जिसे DA-VINCI (और इसके फैक्ट्री फ्लोर संस्करण, NEURIC) कहा जाता है। DA-VINCI को इस फैक्ट्री के लिए एक सुपर-स्मार्ट, आकार बदलने वाले स्विस आर्मी नाइफ के रूप में समझें।
एक हर काम के लिए अलग टूल बनाने के बजाय, यह एक ही टूल तुरंत खुद को बदल सकता है:
- यदि आपको चेक करना है कि सिग्नल पॉजिटिव है या नहीं? तो यह एक ReLU टूल बन जाता है।
- यदि आपको एक कर्व (वक्र) को स्मूथ करना है? तो यह एक Sigmoid टूल में बदल जाता है।
- यदि आपको जटिल प्रोबेबिलिटी (प्रायिकता) को संभालना है? तो यह SoftMax या GELU टूल में बदल जाता है।
यह एक चतुर ट्रिक का उपयोग करके ऐसा करता है जिसे CORDIC कहा जाता है। CORDIC को एक जटिल गणितीय सूत्र के रूप में नहीं, बल्कि एक डिजिटल ओरिगामी तकनीक के रूप में समझें। एक नए मशीन को शून्य से बनाने के बजाय, आप बस उसी धातु के टुकड़े (हार्डवेयर) को अलग-अलग तरीकों से मोड़ते और खोलते हैं ताकि आपको आवश्यक आकार मिल सके। यह जटिल गुणा के बजाय सरल "शिफ्ट एंड ऐड" (जैसे कि एक स्केल को खिसकाना और एक संख्या जोड़ना) मूव्स का उपयोग करता है, जिससे यह अविश्वसनीय रूप से तेज़ और ऊर्जा-कुशल बन जाता है।
यह एक बड़ी बात क्यों है?
1. "कैमेलियन" प्रभाव (पुनर्गठन क्षमता/Reconfigurability)
अतीत में, यदि आपकी AI को चेहरे पहचानने से भाषा अनुवाद करने की ओर स्विच करने की आवश्यकता होती, तो आपको अलग हार्डवेयर की आवश्यकता होती। DA-VINCI के साथ, हार्डवेयर एक गिरगिट (चैमेलियन) है। यह चलते समय में वास्तविक समय में अपनी "त्वचा" (फंक्शन) बदल सकता है। इसका मतलब है कि एक ही हार्डवेयर कई कामों को कर सकता है, जिससे बहुत सारा स्थान और पैसा बचता है।
2. "लीन" फैक्ट्री (दक्षता/Efficiency)
क्योंकि यह टूल इतना कुशल है, इसलिए यह बिजली बर्बाद नहीं करता या फैक्ट्री फ्लोर को गर्म नहीं करता है।
- उपमा: यदि पुराने डिज़ाइन एक एकल पत्र पहुंचाने के लिए गैस से चलने वाले ट्रक चलाने जैसे थे, तो नया DA-VINCI डिज़ाइन एक हाई-स्पीड इलेक्ट्रिक बाइक की तरह है। यह बहुत कम ऊर्जा के साथ काम पूरा करता है।
- पेपर दिखाता है कि यह नया डिज़ाइन पिछले शीर्ष-स्तरीय डिज़ाइनों की तुलना में 16 गुना कम जगह और 14 गुना कम बिजली का उपयोग करता है।
3. "यूनिवर्सल ट्रांसलेटर" (बहुमुखी प्रतिभा/Versatility)
आधुनिक AI अब केवल एक चीज़ नहीं है। हमारे पास "ट्रांसफॉर्मर्स" (जैसे चैटबॉट्स के पीछे की तकनीक), "LSTMs" (लंबी कहानियों को याद रखने के लिए), और "विज़न ट्रांसफॉर्मर्स" (देखने के लिए) हैं।
- पुराने फैक्ट्री टूल्स केवल एक ही प्रकार के काम के लिए विशिष्ट थे।
- NEURIC इंजन (DA-VINCI टूल्स के साथ बनाया गया फैक्ट्री फ्लोर) एक यूनिवर्सल ट्रांसलेटर है। यह बिना दोबारा बनाए सभी अलग-अलग AI "भाषाओं" को संभाल सकता है।
परिणाम: एक स्मार्ट, तेज़ फैक्ट्री
शोधकर्ताओं ने वास्तविक दुनिया के AI कार्यों (जैसे CIFAR-100 डेटासेट या MobileViT पर इमेज पहचानना) पर इस नए "स्विस आर्मी नाइफ" का परीक्षण किया।
- सटीकता (Accuracy): इसने अपनी बुद्धिमत्ता नहीं खोई। इसने सबसे महंगे सुपर कंप्यूटरों की गुणवत्ता का 98.5% हासिल किया।
- गति (Speed): इसने डेटा को बहुत तेज़ी से प्रोसेस किया, एक 184ms के कार्य को 148ms के कार्य में बदल दिया।
- ऊर्जा (Energy): इसने बिजली की खपत को काफी कम कर दिया, जो फोन या रोबोट जैसे बैटरी से चलने वाले उपकरणों पर AI चलाने के लिए महत्वपूर्ण है।
संक्षेप में
यह पेपर एक यूनिवर्सल, आकार बदलने वाले हार्डवेयर टूल को प्रस्तुत करता है जो AI फैक्ट्रियों में आने वाली बाधा (bottleneck) को हल करता है। हर नए AI नियम के लिए एक नई मशीन बनाने के बजाय, अब हमारे पास एक ही, अत्यधिक कुशल मशीन है जो किसी भी नियम को संभालने के लिए खुद को तुरंत बदल सकती है, चाहे वह सरल चेक्स हों या जटिल प्रोबेबिलिटी गणनाएं। यह एक बार उपयोग होने वाले टूल्स से भरी टूलबॉक्स रखने और एक जादुई टूल ले जाने के बीच का अंतर है जो सब कुछ कर सकता है, जिससे स्थान, समय और बैटरी लाइफ की बचत होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।