MicroViTv2: Beyond the FLOPS for Edge Energy-Friendly Vision Transformers
MicroViTv2 एक हल्का, हार्डवेयर-जागरूक विज़न ट्रांसफॉर्मर है जो बेहतर सटीकता और एज डिवाइसेस पर ऊर्जा दक्षता प्राप्त करने के लिए रीपैरामीटराइज्ड घटकों और सिंगल डेप्थ-वाइज़ ट्रांसपोज़्ड अटेंशन का लाभ उठाता है, जो यह प्रदर्शित करता है कि वास्तविक दुनिया के प्रदर्शन के लिए अनुकूलित करना FLOPs को कम करने से अधिक महत्वपूर्ण है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक तकनीक की दुनिया में, कंप्यूटर चित्र देखने और जो वे देखते हैं उसे समझने में उल्लेखनीय रूप से कुशल हो गए हैं। वे एक बिल्ली की पहचान कर सकते हैं, एक कार को देख सकते हैं, या एक संकेत को मानवीय दृष्टि के स्तर की सटीकता के साथ पढ़ सकते हैं। यह क्षमता विजन ट्रांसफॉर्मर (Vision Transformer) नामक आर्टिफिशियल इंटेलिजेंस के एक प्रकार पर निर्भर करती है। इन प्रणालियों को अत्यधिक विस्तृत मानचित्रकारों (mapmakers) के रूप में समझें जो एक छवि को स्कैन करते हैं, उसे छोटे टुकड़ों में तोड़ते हैं ताकि वे समझ सकें कि वे एक-दूसरे से कैसे संबंधित हैं। हालांकि ये मानचित्रकार अविश्वसनीय रूप से शक्तिशाली होते हैं, लेकिन वे भारी और मांग वाले भी होते हैं। उन्हें चलाने के लिए भारी मात्रा में कंप्यूटिंग शक्ति और बिजली की आवश्यकता होती है, जो उन्हें स्मार्टफोन, ड्रोन या स्वायत्त रोबोट जैसे छोटे उपकरणों पर उपयोग करना कठिन बनाता है जो बैटरी पर चलते हैं। इन 'एज डिवाइसेस' (edge devices) के लिए, लक्ष्य केवल स्मार्ट होना नहीं है, बल्कि कुशल होना है, यानी उच्च प्रदर्शन और कम ऊर्जा खपत के बीच संतुलन बनाना ताकि वे बिना रिचार्ज किए घंटों तक काम कर सकें।
शोधकर्ताओं लंबे समय से यह मानते आए हैं कि इन प्रणालियों को कुशल बनाने का सबसे अच्छा तरीका केवल उनके द्वारा किए जाने वाले गणितीय गणनाओं की संख्या को कम करना है। उद्योग में, इस गणना को FLOPs कहा जाता है, जो एक मानक मीट्रिक है जिसका उपयोग यह अनुमान लगाने के लिए किया जाता है कि एक कंप्यूटर को कितना काम करना होगा। प्रचलित धारणा यह थी कि कम गणनाओं का अर्थ स्वतः ही एक तेज़ और अधिक ऊर्जा-कुशल उपकरण होता है। हालांकि, एक नया अध्ययन इस लंबे समय से चली आ रही धारणा को चुनौती देता है। ताइवान की नेशनल साइंस एंड टेक्नोलॉजी काउंसिल के साथ मिलकर काम करने वाली शोध टीम का तर्क है कि गणनाओं को गिनना वास्तविक दुनिया के प्रदर्शन को आंकने का एक अपूर्ण तरीका है। उन्होंने पाया कि एक मॉडल जिसमें थोड़ी अधिक गणनाएं हो सकती हैं, वास्तव में वास्तव में तेज़ चल सकता है और कम ऊर्जा का उपयोग कर सकता है यदि इसकी आंतरिक संरचना को उस भौतिक हार्डवेयर के साथ बेहतर ढंग से काम करने के लिए डिज़ाइन किया गया हो जिस पर यह चलता है।
इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने MicroViTv2 नामक एक नया मॉडल विकसित किया। यह विजन ट्रांसफॉर्मर का एक हल्का संस्करण है, जिसे विशेष रूप से जेटसन AGX ओरिन (Jetson AGX Orin) जैसे एज डिवाइसेस के लिए इंजीनियर किया गया है, जो रोबोटिक्स और स्वायत्त प्रणालियों में उपयोग किया जाने वाला एक शक्तिशाली कंप्यूटर है। केवल गणित को कम करने के बजाय, टीम ने मॉडल के आर्किटेक्चर को फिर से डिज़ाइन किया ताकि डिवाइस के मेमोरी और प्रोसेसर पर पड़ने वाले भौतिक तनाव को कम किया जा सके। उन्होंने 'स्ट्रक्चरल री-पैरामीट्राइजेशन' (structural re-parameterization) नामक एक विधि पेश की। प्रशिक्षण चरण के दौरान, मॉडल कई पथों वाले एक जटिल ढांचे का उपयोग करके सीखता है, जो कई गलियारों वाली एक इमारत के समान है। लेकिन मॉडल को वास्तविक दुनिया में तैनात करने से पहले, इन पथों को एक एकल, सुव्यवस्थित पथ में गणितीय रूप से मिला दिया जाता है। इसका मतलब है कि जब डिवाइस वास्तव में मॉडल को चला रहा होता है, तो उसे जटिल प्रशिक्षण संरचना के माध्यम से नेविगेट करने की आवश्यकता नहीं होती है; यह एक सरल, सीधे मार्ग से गुजरता है जो पार करने में बहुत तेज़ है और जिसके लिए कम मेमोरी एक्सेस की आवश्यकता होती है।
शोधकर्ताओं ने यह भी परिष्कृत किया कि मॉडल छवि के विभिन्न हिस्सों को कैसे जोड़ता है। उन्होंने पुराने 'अटेंशन मैकेनिज्म' को सिंगल डेप्थ-वाइज़ ट्रांसपोज़्ड अटेंशन (Single Depth-Wise Transposed Attention) नामक एक नए घटक से बदल दिया। यह मॉडल को पूरी छवि को देखने और दूर के हिस्सों के बीच संबंध समझने की अनुमति देता है बिना अनावश्यक डेटा में उलझे। केवल यह ध्यान केंद्रित करने के बजाय कि मॉडल हार्डवेयर के माध्यम से डेटा को कैसे स्थानांतरित करता है, टीम ने एक ऐसी प्रणाली बनाई जो वास्तविक उपकरणों की भौतिक सीमाओं के लिए अधिक अनुकूल है।
मानक इमेज डेटासेट और ऑब्जेक्ट डिटेक्शन कार्यों पर किए गए उनके प्रयोगों के परिणाम दक्षता को मापने के तरीके में एक स्पष्ट बदलाव दिखाते हैं। जेटसन AGX ओरिन पर परीक्षण किए जाने पर, नया MicroViTv2 मॉडल अपने पूर्ववर्ती और कई अन्य अग्रणी हल्के मॉडलों से बेहतर प्रदर्शन करता है। इसने छवियों को संसाधित करते हुए उच्च सटीकता प्राप्त की और प्रति छवि कम ऊर्जा का उपयोग किया। उदाहरण के लिए, उनके मॉडल के एक संस्करण ने प्रति सेकंड 1,883 छवियों को संसाधित किया जबकि प्रति छवि केवल 14.9 मिलीजूल ऊर्जा की खपत की। तुलना में, कम सैद्धांतिक गणनाओं वाले अन्य मॉडल धीमे थे और अधिक बिजली का उपयोग करते थे। अध्ययन ने प्रदर्शित किया कि नए मॉडल ने अपने पिछले संस्करण की तुलना में सटीकता में 0.5 प्रतिशत तक सुधार किया और गति एवं ऊर्जा दक्षता दोनों में MobileViTv2 और EdgeNeXt जैसे प्रतिस्पर्धियों को पछाड़ दिया।
महत्वपूर्ण रूप से, यह शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि कम गणनाओं का अर्थ हमेशा बेहतर प्रदर्शन होता है। शोधकर्ताओं ने दिखाया कि उनके मॉडल ने वास्तव में कुछ पुराने संस्करणों की तुलना में अधिक गणितीय संचालन किए, फिर भी यह तेज़ चला और कम बिजली का उपयोग किया। यह निष्कर्ष बताता है कि वास्तविक हार्डवेयर पर लागू होने पर गणनाओं की संख्या को कम करने पर पारंपरिक ध्यान भ्रामक है। असली बाधा अक्सर यह होती है कि कंप्यूटर अपनी मेमोरी को कैसे एक्सेस करता है और चिप पर सॉफ़्टवेयर को कैसे शेड्यूल किया जाता है। हार्डवेयर के अनुरूप संरचना को अनुकूलित करके, शोधकर्ताओं ने सिद्ध किया कि एक मॉडल अधिक कुशल हो सकता है भले ही वह अधिक गणित करे।
टीम ने विभिन्न परिदृश्यों में अपने निष्कर्षों को मान्य किया, जिसमें छवियों का वर्गीकरण और जटिल दृश्यों में वस्तुओं का पता लगाना शामिल था। प्रत्येक परीक्षण में, संरचनात्मक सुधारों ने बेहतर परिणाम दिए। अध्ययन यह निष्कर्ष निकालता है कि केवल सैद्धांतिक कार्यभार को कम करने के बजाय डिवाइस की भौतिक वास्तविकता के लिए डिज़ाइन करना अधिक महत्वपूर्ण है। यह दृष्टिकोण कृत्रिम बुद्धिमत्ता बनाने के लिए एक नया मार्ग प्रदान करता है जो न केवल स्मार्ट है, बल्कि उन बैटरी से चलने वाले उपकरणों के लिए भी व्यावहारिक है जो हमारे दैनिक जीवन में तेजी से सामान्य हो रहे हैं। यह कार्य पुष्टि करता है कि वास्तव में कुशल सिस्टम बनाने के लिए, इंजीनियरों को केवल कागज पर लिखे नंबरों से परे देखना चाहिए और यह विचार करना चाहिए कि मॉडल वास्तव में मशीन के भीतर कैसे व्यवहार करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।