Neural Network Training with Approximate Logarithmic Computations
यह शोध पत्र फिक्स्ड-पॉइंट अंकगणित के साथ अनुमानित लघुगणकीय संख्या प्रणाली (approximate logarithmic number system) गणनाओं का उपयोग करते हुए एक एंड-टू-एंड डीप न्यूरल नेटवर्क प्रशिक्षण और अनुमान योजना प्रस्तावित करता है, जो यह प्रदर्शित करता है कि 16-बिट लॉग-डोमेन प्रोसेसिंग हार्डवेयर मल्टीप्लायरों की आवश्यकता को समाप्त करते हुए फ्लोटिंग-पॉइंट बेसलाइनों के लगभग 1% के भीतर वर्गीकरण सटीकता प्राप्त करती है।
आधुनिक दुनिया में, कंप्यूटर पैटर्न पहचानने में उल्लेखनीय रूप से कुशल हो गए हैं, एक तस्वीर में बिल्ली की पहचान करने से लेकर बोले गए शब्दों को समझने तक। यह क्षमता न्यूरल नेटवर्क नामक एक प्रकार के सॉफ्टवेयर से आती है, जिसे कई सरल प्रोसेसिंग इकाइयों को एक साथ जोड़कर मानव मस्तिष्क द्वारा सूचना संसाधित करने के तरीके की नकल करने के लिए डिज़ाइन किया गया है। इन नेटवर्कों को स्मार्ट बनाने के लिए, उन्हें डेटा की विशाल मात्रा का उपयोग करके प्रशिक्षित किया जाना चाहिए, एक ऐसी प्रक्रिया जिसमें कंप्यूटर को अरबों जटिल गणनाएं करनी पड़ती हैं। पारंपरिक रूप से, ये गणनाएं गुणा पर बहुत अधिक निर्भर करती हैं, जो एक ऐसी प्रक्रिया है जो गणितीय रूप से सरल है लेकिन इसे तेजी से करने के लिए महत्वपूर्ण ऊर्जा और विशेष हार्डवेयर की आवश्यकता होती है। जैसे-जैसे हम इन बुद्धिमान प्रणालियों को स्मार्टफोन या सेंसर जैसे छोटे, बैटरी से चलने वाले उपकरणों पर चलाने का प्रयास करते हैं, गुणा की भारी मांग एक बाधा बन जाती है, जिससे शक्ति खर्च होती है और सीखने की प्रक्रिया धीमी हो जाती है।
सदर्न कैलिफोर्निया विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इन गणनाओं को संभालने का एक अलग तरीका प्रस्तावित किया है, जो इन नेटवर्कों को प्रशिक्षित करने को बहुत अधिक कुशल बना सकता है। पारंपरिक तरीकों द्वारा आवश्यक मानक गुणा करने के बजाय, वे सभी संख्याओं को लघुगणकीय (लॉगैरिद्मिक) प्रारूप में बदलने का सुझाव देते हैं। इस प्रणाली में, दो संख्याओं को गुणा करने के कठिन कार्य को उन्हें आपस में जोड़ने के बहुत सरल कार्य से बदल दिया जाता है। हालांकि यह रूपांतरण आशाजनक लगता है, लेकिन यह एक नई चुनौती पेश करता है: इस लघुगणकीय प्रारूप में संख्याओं को जोड़ना मानक जोड़ जितना सरल नहीं है और इसे सही ढंग से काम करने के लिए आमतौर पर जटिल लुक-अप टेबल्स या अनुमानों (approximations) की आवश्यकता होती है। शोधकर्ताओं ने यह देखने के लिए काम शुरू किया कि क्या वे अंतिम परिणाम की सटीकता को खराब किए बिना, हार्डवेयर के लिए बनाने में आसान मोटे अनुमानों का उपयोग करके इन जोड़नों को और भी सरल बना सकते हैं।
शोधकर्ताओं ने एक पूर्ण प्रणाली विकसित की जहाँ एक न्यूरल नेटवर्क की पूरी प्रशिक्षण और परीक्षण प्रक्रिया इसी लघुगणकीय दुनिया के भीतर होती है। उन्होंने मानक गुणा चरणों को जोड़ (addition) से बदल दिया और लघुगणकीय जोड़ के जटिल हिस्सों को दो विशिष्ट शॉर्टकट का उपयोग करके संभाला। एक शॉर्टकट पहले से गणना किए गए मानों की एक छोटी तालिका का उपयोग करता है, जो एक 'चीट शीट' के समान है, जबकि दूसरा एक सरल बिट-शिफ्टिंग तकनीक का उपयोग करता है, जो कंप्यूटर के लिए दो की घातों (powers of two) से गुणा करने का एक तेज़ तरीका है। अपने विचार का परीक्षण करने के लिए, उन्होंने एक न्यूरल नेटवर्क का डिजिटल सिमुलेशन बनाया और इसे हस्तलिखित अंकों और कपड़ों की वस्तुओं सहित कई प्रसिद्ध इमेज डेटासेट्स पर प्रशिक्षित किया। उन्होंने अपने नए लघुगणकीय तरीके की तुलना मानक, उच्च-परिशुद्धता वाले फ्लोटिंग-पॉइंट तरीके से की जो वर्तमान में अधिकांश शक्तिशाली कंप्यूटरों में उपयोग किया जाता है।
परिणाम आश्चर्यजनक रूप से उत्साहजनक थे। जब शोधकर्ताओं ने अपनी संख्याओं के लिए 16-बिट प्रतिनिधित्व का उपयोग किया, तो लघुगणकीय पद्धति ने ऐसी वर्गीकरण सटीकता प्राप्त की जो मानक फ्लोटिंग-पॉइंट पद्धति के लगभग एक प्रतिशत के भीतर थी। इसका अर्थ है कि सरलीकृत गणित और अनुमानों का उपयोग करने के बावजूद, नेटवर्क ने छवियों को लगभग उतना ही अच्छा पहचानने में महारत हासिल कर ली जितना कि पारंपरिक प्रणाली। उन्होंने पाया कि केवल बीस प्रविष्टियों वाली एक बहुत छोटी लुक-अप टेबल के साथ भी, सिस्टम ने अच्छा प्रदर्शन किया, और कई मामलों में, उच्च सटीकता बनाए रखने के लिए सरल बिट-शिफ्टिंग शॉर्टकट पर्याप्त था। अध्ययन बताता है कि कई सामान्य कार्यों के लिए, लघुगणकीय डोमेन में 16-बिट फिक्स्ड-पॉइंट प्रतिनिधित्व कहीं अधिक जटिल फ्लोटिंग-पॉइंट गणनाओं के प्रदर्शन के करीब पहुँचने के लिए पर्याप्त है।
यह कार्य प्रदर्शित करता है कि महंगे मल्टीप्लिकेशन हार्डवेयर पर निर्भर किए बिना गहरे न्यूरल नेटवर्क को प्रशिक्षित करना संभव है, बशर्ते कि जोड़ (addition) की प्रक्रियाओं को इन विशिष्ट अनुमानों के साथ संभाला जाए। शोधकर्ताओं ने दिखाया कि सटीकता में गिरावट न्यूनतम है, जो यह सुझाव देता है कि भविष्य के हार्डवेयर डिज़ाइन संभावित रूप से प्रशिक्षण और अनुमान (inference) कार्यों के लिए मल्टीप्लायर को पूरी तरह से समाप्त कर सकते हैं। इससे ऐसे उपकरण बनेंगे जो छोटे, तेज़ और अधिक ऊर्जा-कुशल होंगे, जो डेटा को वापस एक बड़े सर्वर पर भेजने की आवश्यकता के बिना सीधे 'एज' (edge) पर सीखने और अनुकूलन करने में सक्षम होंगे। हालांकि अध्ययन विशिष्ट प्रकार के नेटवर्क और डेटासेट्स पर केंद्रित था, लेकिन निष्कर्ष उन्नत कृत्रिम बुद्धिमत्ता को रोजमर्रा के उपकरणों के लिए अधिक सुलभ और व्यावहारिक बनाने की दिशा में एक व्यवहार्य मार्ग का संकेत देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।