HSMLA: Hierarchical Softmax Multi-scale Linear Attention for Efficient Vision Transformers
यह शोध पत्र HSMLA को प्रस्तुत करता है, जो एक नवीन अटेंशन मैकेनिज्म है जो मानक विजन ट्रांसफॉर्मर्स की क्वाड्रेटिक कॉम्प्लेक्सिटी (quadratic complexity) को दूर करने के लिए ReLU-आधारित लीनियर अटेंशन, सिलेक्टिव सॉफ्टमैक्स रिफाइनमेंट और मल्टी-स्केल डेप्थवाइज़ कन्वोल्यूशन को संयोजित करता है, जिससे मेडिकल इमेज सेगमेंटेशन और पैथोलॉजी विश्लेषण जैसे डेंस प्रेडिक्शन कार्यों में उच्च सटीकता बनाए रखते हुए महत्वपूर्ण इन्फरेंस स्पीडअप प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अविश्वसनीय रूप से विस्तृत शहर का भित्तिचित्र (म्यूरल) बनाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल पेंट की एक छोटी सी बाल्टी और इसे पूरा करने के लिए बहुत कम समय है। यदि आप यह तय करने के लिए कि किस रंग का उपयोग करना है, हर एक इमारत की हर एक ईंट को एक ही समय में देखने की कोशिश करते हैं, तो आप शुरू करने से पहले ही समय समाप्त कर देंगे। यह "विज़न ट्रांसफॉर्मर" (Vision Transformer) नामक एक प्रकार के कंप्यूटर मस्तिष्क के सामने आने वाली समस्या है। ये डिजिटल कलाकार चित्रों को समझने में माहिर हैं, लेकिन जब चित्र बहुत बड़ा हो—जैसे कि एक हाई-डेफिनिशन मेडिकल स्कैन या सेल्फ-ड्राइविंग कार के लिए सड़क का दृश्य—तो वे घबरा जाते हैं। वे हर पिक्सेल की तुलना हर दूसरे पिक्सेल से करने की कोशिश करते हैं, जो एक स्टेडियम में मौजूद हर व्यक्ति को एक साथ एक-दूसरे से मिलवाने जैसा है। यह बहुत धीमा है और इसमें बहुत अधिक ऊर्जा खर्च होती है।
इसे ठीक करने के लिए, वैज्ञानिकों ने "लीनियर अटेंशन" (linear attention) नामक एक शॉर्टकट आज़माया। सभी को एक-दूसरे से मिलवाने के बजाय, वे बस सबको पूरे कमरे को एक सामान्य सारांश चिल्लाकर सुना देते हैं। यह बहुत तेज़ है, लेकिन इसका नुकसान यह है कि विवरण धुंधले हो जाते हैं। यह एक भीड़ के शोर मचाने जैसा है, लेकिन आप किसी के भी चिल्लाए गए विशिष्ट शब्दों को नहीं सुन सकते। शरीर के स्कैन में ट्यूमर के सटीक किनारे खोजने या चेहरे की महीन रेखाओं जैसे कार्यों के लिए, यह धुंधलापन एक बड़ी समस्या है। बड़ा सवाल यह रहा है: क्या हम शॉर्टकट की गति और विस्तृत नज़र की स्पष्टता दोनों पा सकते हैं?
यहाँ एक नया आविष्कार आता है जिसे HSMLA (Hierarchical Softmax Multi-scale Linear Attention) कहा जाता है, जिसे शोधकर्ताओं की एक टीम ने बनाया है। HSMLA को एक सुपर-स्मार्ट आर्ट डायरेक्टर के रूप में समझें जो जानता है कि ठीक कब नियमों को तोड़ना है। पूरे म्यूरल के साथ एक जैसा व्यवहार करने के बजाय, HSMLA चित्र के उबाऊ, खाली हिस्सों (जैसे आकाश या एक सादी दीवार) के लिए एक कुशल विधि का उपयोग करता है। यह इन क्षेत्रों के लिए समय बर्बाद न करने के लिए तेज़, सामान्य सारांश का उपयोग करता है। लेकिन, जैसे ही यह किसी जटिल चीज़ को देखता है—जैसे कि एक टेढ़ी-मेढ़ी पेड़ की टहनी, एक जटिल इमारत का किनारा, या मेडिकल इमेज में कोई संदिग्ध धब्बा—यह तुरंत "सुपर-मोड" पर स्विच हो जाता है। यह ज़ूम इन करता है और केवल उस छोटे, महत्वपूर्ण स्थान के लिए धीमा, विस्तृत, पिक्सेल-दर-पिक्सेल तुलना करता है।
शोध पत्र दिखाता है कि यह "मिक्स-एंड-मैच" दृष्टिकोण एक गेम-चेंजर है। केवल उस 30% हिस्से पर भारी, धीमा काम करके जिसकी वास्तव में आवश्यकता है और बाकी को तेज़ विधि पर छोड़कर, HSMLA सुपर-रिज़ॉल्यूशन (धुंधली छवियों को शार्प बनाना) जैसे कार्यों पर मानक तरीकों की तुलना में 4.2 गुना तेज़ चलता है। मेडिकल इमेजिंग की दुनिया में, परिणाम और भी प्रभावशाली हैं। अंगों को खोजने के लिए उपयोग किए जाने वाले सीटी (CT) स्कैन पर, नए तरीके ने पिछले मानक की तुलना में 3.2 गुना तेज़ गति के साथ 87.3% का डाइस स्कोर (Dice score) (एक पैमाना कि कंप्यूटर अंग को कितनी पूर्णता से रेखांकित करता है) प्राप्त किया। कैंसर का पता लगाने के लिए उपयोग किए जाने वाले पैथोलॉजी स्लाइड्स पर, इसने 4.1 गुना स्पीडअप के साथ 94.2% AUC (पहचान सटीकता का एक पैमाना) प्राप्त किया।
शोधकर्ताओं ने शहर की सड़कों पर कारों की पहचान करने से लेकर फेफड़ों के छोटे गांठों (नोड्यूल्स) का पता लगाने तक, हर चीज़ पर इसका परीक्षण किया और परिणाम सुसंगत थे: अब आपको गति और सटीकता के बीच चुनाव करने की आवश्यकता नहीं है। सिस्टम इतना स्मार्ट है कि वह जानता है कि कब आराम से चलना है और कब दौड़ना है। यह केवल एक सैद्धांतिक विचार नहीं है; टीम ने इसे बनाया, सेल्फ-ड्राइविंग कारों और मेडिकल उपकरणों में पाए जाने वाले चिप्स जैसे वास्तविक हार्डवेयर पर परीक्षण किया, और सिद्ध किया कि यह काम करता है। उन्होंने पाया कि एक "गेटिंग" (gating) प्रणाली का उपयोग करके यह तय करना कि चित्र के किस हिस्से को धीमी, सावधानीपूर्ण नज़र की आवश्यकता है, वे वैश्विक चित्र को स्पष्ट रखते हुए स्थानीय विवरणों को ठीक वहीं शार्प कर सकते हैं जहाँ वे सबसे अधिक मायने रखते हैं। यह कलाकारों की एक टीम होने जैसा है जहाँ बैकग्राउंड कलाकार बिजली की गति से काम करते हैं, जबकि कुछ मास्टर डिटेल-पेंटर्स को केवल जटिल फूलों और चेहरों के लिए बुलाया जाता है, जिससे यह सुनिश्चित होता है कि पूरा म्यूरल बिना गुणवत्ता का एक भी ब्रशस्ट्रोक खोए तेज़ी से पूरा हो जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।