HYDRA: Hybrid Data Multiplexing and Run-time Layer Configurable DNN Accelerator
यह शोध पत्र HYDRA का प्रस्ताव करता है, जो एक हाइब्रिड डेटा मल्टीप्लेक्सिंग और रनटाइम लेयर-कॉन्फ़िगर करने योग्य DNN एक्सेलेरेटर है, जो कुशल एज कंप्यूटिंग के लिए 35.21 TOPSW प्रदर्शन प्रदान करते हुए बिजली की खपत और क्षेत्र ओवरहेड में 90% से अधिक की कमी प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त रेस्टोरेंट की रसोई चला रहे हैं। पुराने दिनों में, यदि आप एक जटिल 5-कोर्स मील (जैसे कि एक डीप न्यूरल नेटवर्क, या DNN) परोसना चाहते, तो आपको हर एक डिश के लिए एक अलग शेफ, एक अलग चूल्हा और चाकू का एक अलग सेट रखना पड़ता। 50 शेफ सिर्फ एक विशिष्ट सामग्री को पकाने के अपने समय का इंतज़ार करते हुए खड़े रहते।
आज के अधिकांश AI कंप्यूटर इसी तरह काम करते हैं। वे शक्तिशाली हैं, लेकिन वे बहुत विशाल, महंगे और बिजली के भूखे होते हैं। इस विशाल रसोई को एक छोटे से फूड ट्रक (एक "एज डिवाइस" जैसे कि एक स्मार्ट कैमरा या ड्रोन) में फिट करना असंभव है क्योंकि उस ट्रक में न तो पर्याप्त जगह है और न ही बैटरी।
यहाँ HYDRA आता है, जो शोधकर्ताओं की एक टीम द्वारा बनाया गया एक नया आविष्कार है, जो एक अत्यधिक कुशल, आकार बदलने वाली (shape-shifting) रसोई की तरह काम करता है।
HYDRA कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:
1. "एक शेफ, कई व्यंजन" की रणनीति (लेयर मल्टीप्लेक्सिंग)
एक पारंपरिक AI चिप में, न्यूरल नेटवर्क के प्रत्येक लेयर (सोचने की प्रक्रिया का प्रत्येक चरण) के लिए अपना समर्पित हार्डवेयर होता है। यह ऐसा है जैसे प्याज काटने के लिए एक समर्पित शेफ, चिकन तलने के लिए दूसरा, और प्लेटिंग के लिए तीसरा हो, भले ही वे दिन में केवल 5 मिनट के लिए काम करते हों।
HYDRA का दृष्टिकोण: कल्पना कीजिए कि आपके पास एक अविश्वसनीय रूप से प्रतिभाशाली शेफ है जो सब कुछ कर सकता है।
- पहले, शेफ सभी प्याज काटता है (लेयर 1)।
- फिर, वही शेफ तुरंत चिकन तलने के लिए चूल्हे पर जाता है (लेयर 2)।
- फिर, शेफ डिश को प्लेट में सजाता है (लेयर 3)।
हर चरण के लिए एक नई रसोई बनाने के बजाय, HYDRA उसी हार्डवेयर का बार-बार पुन: उपयोग करता है। यह डेटा को स्टेप-बाय-स्टेप प्रोसेस करता है, जैसे कि एक रिले रेस में जहाँ एक ही धावक अलग-अलग स्टेशनों के माध्यम से बैटन पास करता है, न कि हर स्टेशन के लिए एक नया धावक भर्ती करना। इससे बहुत अधिक जगह और पैसे की बचत होती है।
2. "एकल स्वाद-परीक्षक" (एक्टिवेशन फंक्शन रियूज़)
एक न्यूरल नेटवर्क में, गणित करने के बाद, कंप्यूटर को एक निर्णय लेना होता है: "क्या यह बिल्ली है या कुत्ता?" निर्णय लेने के इस चरण को एक्टिवेशन फंक्शन (AF) कहा जाता है।
पुराने डिजाइनों में, प्रत्येक न्यूरॉन (AI के हर छोटे मस्तिष्क सेल) के पास अपना समर्पित स्वाद-परीक्षक होता था। यदि आपके पास 100 न्यूरॉन्स थे, तो 100 स्वाद-परीक्षक अधिकांश समय कुछ न करने के लिए खड़े रहते।
HYDRA का दृष्टिकोण: HYDRA महसूस करता है कि ये स्वाद-परीक्षक महंगे हैं। इसलिए, यह एक एकल, सुपर-फास्ट स्वाद-परीक्षक स्थापित करता है और उन्हें एक-एक करके भोजन तक पहुँचाने के लिए एक विशेष कन्वेयर बेल्ट (जिसे PISO मैकेनिज्म कहा जाता है) का उपयोग करता है।
- 100 लोगों के इंतजार करने के बजाय, 100 प्लेटें एक व्यक्ति के पास से गुजरती हैं।
- यह इस चरण के लिए आवश्यक हार्डवेयर में लगभग 90% की बचत करता है। यह एक स्टेडियम भर जजों को एक बहुत तेज़ जज से बदलने जैसा है।
3. "स्मार्ट कैलकुलेटर" (फ्यूज्ड मल्टीप्लाई-एक्युमुलेट)
AI का मुख्य गणित संख्याओं को गुणा करने और उन्हें जोड़ने में शामिल है। HYDRA एक विशेष, अनुकूलित कैलकुलेटर का उपयोग करता है जिसे FMA (फ्यूज्ड मल्टीप्लाई-एक्युमुलेट) कहा जाता है।
- इसे एक ऐसे कैलकुलेटर के रूप में सोचें जो न केवल गणित करता है; बल्कि यह पिछले उत्तर को याद रखता है ताकि इसे हर बार शून्य से शुरू न करना पड़े।
- HYDRA इस स्मार्ट कैलकुलेटर को "एक शेफ" की रणनीति के साथ जोड़ता है ताकि पूरी प्रक्रिया अविश्वसनीय रूप से तेज़ और ऊर्जा-कुशल बन सके।
यह क्यों मायने रखता है? (परिणाम)
शोधकर्ताओं ने एक वास्तविक चिप (एक FPGA) पर HYDRA का परीक्षण किया और इसकी तुलना मौजूदा सर्वोत्तम डिजाइनों से की। परिणाम एक ईंधन की खपत करने वाली लिमोजिन की तुलना एक चिकनी इलेक्ट्रिक स्कूटर से करने जैसा थे:
- जगह: यह चिप पर 90% कम जगह (एरिया) का उपयोग करता है।
- शक्ति: यह 90% कम बिजली का उपयोग करता है। इसका मतलब है कि आपका स्मार्ट कैमरा या ड्रोन एक सिंगल बैटरी पर बहुत लंबे समय तक AI चला सकता है।
- गति: छोटा और कम बिजली का उपयोग करने के बावजूद, यह अभी भी बहुत तेज़ है, जो 35.21 TOPS/W प्राप्त करता है (एक शानदार तरीका यह कहने का कि यह प्रति वाट बिजली के लिए ट्रिलियन गणनाएं करता है)।
निचोड़
HYDRA एक चतुर तरीका है जो हमें हर कार्य के लिए "रसोई" बनाने से रोकता है। इसके बजाय, यह एक अत्यधिक लचीली, पुन: प्रयोज्य रसोई बनाता है जो किसी भी भोजन को एक समय में एक कोर्स के रूप में पका सकती है।
यह हमें शक्तिशाली AI दिमागों को छोटे, बैटरी से चलने वाले उपकरणों (जैसे कि सेल्फ-ड्राइविंग कार, मेडिकल सेंसर या स्मार्टफोन) में डालने की अनुमति देता है बिना उनके गर्म हुए या उनकी बैटरी खत्म हुए। यह क्लाउड की बुद्धिमत्ता को हमारे रोजमर्रा की दुनिया के "एज" (किनारे) तक लाने की कुंजी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।