AMORL: A Training-Aware, Adaptive, Multi-Objective RL-CNN Framework for Dynamic DNN Mapping on Networks-on-Chip
यह शोध पत्र AMORL को प्रस्तुत करता है, जो एक ट्रेनिंग-अवेयर, एडेप्टिव फ्रेमवर्क है जो विविध DNN वर्कलोड्स को हेट्रोजेनियस नेटवर्क्स-ऑन-चिप (Networks-on-Chip) पर डायनामिक रूप से मैप करने के लिए रिइन्फोर्समेंट लर्निंग और कनवल्शनल न्यूरल नेटवर्क्स को संयोजित करता है, जिससे उच्च थ्रूपुट और ऊर्जा दक्षता बनाए रखते हुए संचार लागत, लोड असंतुलन और विलंबता में महत्वपूर्ण कमी आती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटिंग की आधुनिक दुनिया में, सबसे शक्तिशाली मशीनें अब एक विशाल मस्तिष्क से नहीं, बल्कि तालमेल में काम करने वाले हजारों छोटे प्रोसेसरों से परिभाषित होती हैं। एक ऐसे शहर की कल्पना करें जहाँ लाखों छोटे श्रमिकों को एक एकल, जटिल समस्या को हल करने के लिए लगातार एक-दूसरे को नोट्स (नोट्स) पास करने पड़ते हैं। यदि उनके बीच की सड़कें जाम हो जाएं, तो पूरा शहर थम जाता है। यह उन डीप न्यूरल नेटवर्क्स की वास्तविकता है जो आज की आर्टिफिशियल इंटेलिजेंस को शक्ति प्रदान करते हैं, इमेज रिकग्निशन से लेकर लैंग्वेज ट्रांसलेशन तक। ये सिस्टम कृत्रिम न्यूरॉन्स की परतों से बने होते हैं जो विशाल, जटिल पैटर्न में संवाद करते हैं। इन्हें कुशलतापूर्वक चलाने के लिए, इंजीनियर इन न्यूरॉन्स को 'मेनी-कोर सिस्टम' नामक विशेष चिप्स पर रखते हैं, जहाँ प्रोसेसरों को 'नेटवर्क-ऑन-चिप' नामक सूक्ष्म तारों के नेटवर्क द्वारा जोड़ा जाता है। यह आंतरिक नेटवर्क चिप के परिसंचरण तंत्र (circulatory system) के रूप में कार्य करता है, जो प्रोसेसरों के बीच डेटा ले जाता है। हालाँकि, जैसे-जैसे ये कृत्रिम मस्तिष्क बड़े और अधिक जटिल होते जाते हैं, इन आंतरिक सड़कों पर ट्रैफिक एक बाधा (bottleneck) बन जाता है। पारंपरिक तरीके, जो यह तय करते हैं कि कौन सा प्रोसेसर किस गणना को संभालेगा, अक्सर विभिन्न AI मॉडलों की अनूठी, बदलती मांगों को समझने में विफल रहते हैं, जिससे ऊर्जा की बर्बादी, अत्यधिक गर्मी और धीमी प्रदर्शन क्षमता जैसी समस्याएं होती हैं।
ईस्टर्न इलिनॉय यूनिवर्सिटी के एक शोधकर्ता ने इस ट्रैफिक समस्या को हल करने के लिए एक नया दृष्टिकोण विकसित किया है, जिसे वे AMORL कहते हैं। प्रोसेसरों को कार्य सौंपने के लिए नियमों का एक निश्चित सेट उपयोग करने के बजाय, यह सिस्टम यह सीखता है कि डेटा के प्रवाह को गतिशील रूप से कैसे मैप किया जाए, ठीक उसी तरह जैसे एक स्मार्ट ट्रैफिक कंट्रोल सेंटर वर्तमान भीड़ के आधार पर वास्तविक समय में सिग्नल टाइमिंग को समायोजित करता है। शोधकर्ता ने अपने सिस्टम को दो शक्तिशाली तकनीकों के संयोजन का उपयोग करके प्रशिक्षित किया: 'रीइन्फोर्समेंट लर्निंग', जो कंप्यूटर को परीक्षण और त्रुटि (trial and error) के माध्यम से सीखने की अनुमति देता है, और एक 'कन्वोल्यूशनल न्यूरल नेटवर्क', जो सिस्टम को डेटा के चलने के स्थानिक पैटर्न (spatial patterns) को पहचानने में मदद करता है। सिस्टम को पूरे चिप को एक मानचित्र के रूप में देखने के लिए प्रशिक्षित करके, यह पहचान सकता है कि कौन से प्रोसेसर खाली हैं और कौन से ओवरलोडेड हैं, और फिर सब कुछ सुचारू रूप से चलाने के लिए सूचना के प्रवाह को तुरंत पुनर्गठित (reroute) कर सकता है।
AMORL का मुख्य नवाचार विभिन्न आर्टिफिशियल इंटेलिजेंस मॉडलों और चिप की बदलती स्थितियों की विशिष्ट आवश्यकताओं के अनुकूल होने की इसकी क्षमता में निहित है। शोधकर्ता ने अपने सिस्टम का परीक्षण छह अलग-अलग प्रकार के न्यूरल नेटवर्क्स पर किया, जिसमें बुनियादी इमेज क्लासिफिकेशन के लिए उपयोग किए जाने वाले सरल मॉडल से लेकर ResNet-50 और BERT-tiny जैसे विशाल, जटिल आर्किटेक्चर तक शामिल हैं। उन्होंने इन मॉडलों को विभिन्न आकारों के चिप नेटवर्क पर चलते हुए सिम्युलेट किया, जो 16 प्रोसेसरों के छोटे ग्रिड से लेकर एक हजार से अधिक के विशाल एरे तक विस्तृत थे। सिस्टम को प्रशिक्षण सत्र के संपूर्ण जीवन चक्र को संभालने के लिए डिज़ाइन किया गया था, यह पहचानते हुए कि एक कृत्रिम मस्तिष्क के सीखने के साथ उसके संचार की आवश्यकताएं बदल जाती हैं। सीखने के प्रारंभिक चरण के दौरान, सिस्टम डेटा को आगे भेजता है; बाद में, यह गलतियों को सुधारने के लिए त्रुटि संकेतों (error signals) को पीछे भेजता है; और अंत में, यह अपने आंतरिक भार (weights) को अपडेट करता है। AMORL इन प्रत्येक चरणों के लिए कार्यों के प्लेसमेंट को अनुकूलित करना सीखता है, यह सुनिश्चित करते हुए कि सबसे महत्वपूर्ण डेटा कम से कम दूरी तय करे।
अपने सिमुलेशन में, परिणाम आश्चर्यजनक थे। पुराने मैपिंग रणनीतियों की तुलना में, जो रैंडम असाइनमेंट या मानक अनुकूलन एल्गोरिदम पर निर्भर करती थीं, AMORL फ्रेमवर्क ने संचार लागत को 70 प्रतिशत से अधिक कम कर दिया। इसका अर्थ है कि डेटा को प्रोसेसरों के बीच काफी कम 'हॉप्स' (hops) तय करने पड़े, जिससे सिस्टम को कार्य पूरा करने में लगने वाले समय में भारी कमी आई। सिस्टम ने लोड बैलेंसिंग में भी 86 प्रतिशत तक सुधार किया, यह सुनिश्चित करते हुए कि कोई भी एकल प्रोसेसर खाली न बैठा रहे जबकि अन्य अत्यधिक बोझ तले दबे हों। शायद सबसे महत्वपूर्ण बात यह है कि सिस्टम ने ऐसा कम ऊर्जा खपत बनाए रखते हुए और चिप को गर्म होने से रोकते हुए किया। शोधकर्ता ने अपनी लर्निंग प्रक्रिया में एक 'थर्मल सेफ्टी मेट्रिक' को शामिल किया, जिससे सिस्टम को अत्यधिक गर्म हो रहे प्रोसेसरों से कार्यों को स्वचालित रूप से दूर करने की अनुमति मिली, जिससे चिप को ठंडा होने के लिए धीमा करने की आवश्यकता नहीं पड़ी।
यह सत्यापित करने के लिए कि क्या ये निष्कर्ष वास्तविक परिस्थितियों में भी टिके रहते हैं, शोधकर्ता ने अपने मैपिंग को एक अत्यधिक विस्तृत, 'साइकिल-एक्यूरेट सिम्युलेटर' के माध्यम से चलाया जो चिप के नेटवर्क के भौतिक व्यवहार की नकल करता है। उन्होंने प्रोसेसरों के 4x4 ग्रिड और एक बड़े 8x8 ग्रिड पर अपने सिस्टम का परीक्षण किया, और भारी ट्रैफिक के तहत सिस्टम के प्रदर्शन को देखने के लिए डेटा इंजेक्शन दर को बढ़ाया। छोटे ग्रिड पर, सिस्टम ने 876 गीगाबिट प्रति सेकंड तक का थ्रूपुट बनाए रखा। बड़े 8x8 ग्रिड पर, इसने 2.77 टेराबिट प्रति सेकंड से अधिक का आश्चर्यजनक थ्रूपुट प्राप्त किया। ये संख्याएँ दर्शाती हैं कि सिस्टम न केवल सिद्धांत में काम करता है, बल्कि जब नेटवर्क अत्यधिक दबाव में होता है, तब भी उच्च दक्षता बनाए रखता है। सिमुलेशन ने पुष्टि की कि AMORL द्वारा उत्पन्न मैपिंग बिना किसी नए मॉडल के परिचय के, हर बार सिस्टम को शून्य से फिर से प्रशिक्षित किए बिना, वास्तविक दुनिया के आर्टिफिशियल इंटेलिजेंस वर्कलोड की विविध और अप्रत्याशित मांगों को संभाल सकती है।
शोधकर्ता ने यह भी पता लगाया कि उनके सिस्टम के विभिन्न घटकों ने इसकी सफलता में कैसे योगदान दिया। उन्होंने पाया कि सिस्टम का वह हिस्सा जो विभिन्न लक्ष्यों (जैसे गति बनाम ऊर्जा दक्षता) को गतिशील रूप से वजन देने के लिए जिम्मेदार है, सबसे महत्वपूर्ण कारक था। जब उन्होंने इस एडेप्टिव वेटिंग को हटाया, तो सिस्टम का प्रदर्शन काफी गिर गया, जिससे यह सिद्ध हुआ कि इन जटिल कार्यों के लिए 'एक ही आकार सबके लिए उपयुक्त' (one-size-fits-all) वाला दृष्टिकोण अपर्याप्त है। इसी तरह, चिप पर स्थानिक पैटर्न को पहचानने वाला घटक संचार लागत को कम करने के लिए आवश्यक था, विशेष रूप से जैसे-जैसे चिप का आकार बढ़ता है। सिस्टम ने वर्कलोड में अचानक आए बदलावों के अनुकूल होने की उल्लेखनीय क्षमता भी प्रदर्शित की। यदि ऑपरेशन के बीच में डेटा का प्रकार या कार्य का आकार बदल जाता है, तो सिस्टम बिना किसी पूर्ण रिट्रेनिंग चक्र के तेजी से समायोजन कर सकता है, जिससे निरंतर उच्च प्रदर्शन सुनिश्चित होता है।
यह कार्य आर्टिफिशियल इंटेलिजेंस हार्डवेयर को अधिक कुशल और अनुकूल बनाने की दिशा में एक महत्वपूर्ण कदम है। चिप को स्वयं के आंतरिक ट्रैफिक को व्यवस्थित करने का तरीका सिखाकर, शोधकर्ता ने एक ऐसा फ्रेमवर्क बनाया है जो छोटे, सरल नेटवर्क से लेकर भविष्य के विशाल, जटिल सिस्टम तक स्केल कर सकता है। गति, ऊर्जा और ताप प्रबंधन के लिए संयुक्त रूप से अनुकूलित करने की क्षमता का अर्थ है कि भविष्य के AI एक्सेलेरेटर तेज़ और ठंडे चल सकेंगे, और निरंतर मानवीय हस्तक्षेप के बिना विभिन्न कार्यों को संभाल सकेंगे। निष्कर्ष बताते हैं कि जैसे-जैसे हम हजारों कोर वाले चिप्स की ओर बढ़ रहे हैं, उनकी पूर्ण क्षमता को अनलॉक करने की कुंजी केवल अधिक शक्ति जोड़ने में नहीं, बल्कि उन्हें बुद्धिमानी से उस शक्ति को साझा करना सिखाने में है। AMORL फ्रेमवर्क इस बुद्धिमत्ता के लिए एक ब्लूप्रिंट प्रदान करता है, जो दिखाता है कि सही लर्निंग रणनीतियों के साथ, ये जटिल सिस्टम डिजिटल परिदृश्य में अपने स्वयं के इष्टतम पथ खोज सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।