SEMA: a Scalable and Efficient Mamba like Attention via Token Localization and Averaging
यह शोध पत्र SEMA को प्रस्तुत करता है, जो एक स्केलेबल और कुशल अटेंशन मैकेनिज्म है जो वेट डिस्पर्सन (weight dispersion) को रोकने के लिए टोकन लोकलाइजेशन (token localization) को ग्लोबल कॉन्टेक्स्ट कैप्चर करने के लिए अरिथमेटिक एवरेजिंग (arithmetic averaging) के साथ जोड़ता है, जिससे यह इमेज क्लासिफिकेशन कार्यों में मौजूदा लीनियर अटेंशन और विजन मंबा मॉडल्स से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को फोटो में बिल्ली पहचानना सिखाने की कोशिश कर रहे हैं। इसके लिए, रोबोट "अटेंशन" (attention) नामक एक विशेष उपकरण का उपयोग करता है, जो एक स्पॉटलाइट की तरह काम करता है। यह स्पॉटलाइट पूरी छवि को स्कैन करती है, यह तय करती है कि कौन से पिक्सेल महत्वपूर्ण हैं (जैसे बिल्ली के कान) और कौन से केवल बैकग्राउंड का शोर हैं (जैसे एक धुंधला पेड़)। समस्या यह है कि जैसे-जैसे फोटो बड़ी होती जाती है, स्पॉटलाइट को हर एक पिक्सेल की दूसरे हर एक पिक्सेल के साथ जांच करनी पड़ती है। यदि फोटो छोटी है, तो यह तेज़ होता है। लेकिन यदि फोटो बहुत बड़ी है, तो रोबोट अभिभूत हो जाता है, कनेक्शन की जांच करने में इतना समय बिता देता है कि वह "बिल्ली" कहने से पहले ही अपनी बैटरी खत्म कर देता है।
वैज्ञानिकों ने इसे "लीनियर" (linear) बनाकर ठीक करने की कोशिश की है, जिसका अर्थ है कि स्पॉटलाइट एक सरल, तेज़ रेखा में जांच करती है। लेकिन इसमें एक पेंच है: ये तेज़ स्पॉटलाइट अक्सर अपना फोकस खो देती हैं। जैसे-जैसे छवि बड़ी होती जाती है, वे हर एक पिक्सेल को समान रूप से महत्वपूर्ण मानने लगती हैं, जैसे कि एक टॉर्च जिसे इतना कम कर दिया गया हो कि वह पूरे कमरे में समान रूप से बस चमक रही हो। रोबोट बिल्ली देखना बंद कर देता है और केवल एक धूसर धुंधलापन देखने लगता है। यह शोध पत्र, जो कैलिफोर्निया विश्वविद्यालय, इर्विन और क्वालकॉम एआई रिसर्च के शोधकर्ताओं द्वारा लिखा गया है, इसी सटीक समस्या को हल करता है। वे एक ऐसी स्पॉटलाइट बनाना चाहते हैं जो विशाल छवियों को संभालने के लिए पर्याप्त तेज़ हो और विवरण देखने के लिए पर्याप्त तीक्ष्ण (sharp) भी हो।
शोधकर्ताओं ने, जिनका नेतृत्व न्हाट थान्ह ट्रान और सहयोगियों ने किया, एक गणितीय सत्य की खोज की जो यह समझाता है कि ये तेज़ स्पॉटलाइट क्यों विफल होती हैं: जैसे-जैसे पिक्सेल (या "टोकन") की संख्या अनंत की ओर बढ़ती है, अटेंशन मैकेनिज्म स्वाभाविक रूप से फैल जाता है और बेकार हो जाता है। वे इसे "डिस्पर्शन" (dispersion - फैलाव) की घटना कहते हैं। यह एक स्टेडियम में फुसफुसाहट सुनने की कोशिश करने जैसा है; यदि आप एक साथ सभी को सुनने की कोशिश करते हैं, तो अंत में आपको शोर के अलावा कुछ सुनाई नहीं देता। यह पत्र सिद्ध करता है कि आप इन तेज़ अटेंशन टूल्स के गणित में चाहे कितनी भी छेड़छाड़ कर लें, यदि छवि बहुत बड़ी हो जाती है, तो वे अंततः अपना फोकस खो देंगे।
इस समस्या को हल करने के लिए, टीम ने SEMA (स्केलेबल एंड एफिशिएंट माम्बा लाइक अटेंशन) नामक एक नई विधि का आविष्कार किया। गणित से लड़ने के बजाय, उन्होंने इसके साथ काम करने का निर्णय लिया। उन्होंने महसूस किया कि जबकि स्पॉटलाइट को विशिष्ट विवरणों पर ध्यान केंद्रित करना चाहिए, उसे एक तरीका भी चाहिए जिससे वह बिना खोए "बड़ी तस्वीर" (big picture) को समझ सके। इसलिए, उन्होंने दो-भागों वाली प्रणाली डिज़ाइन की। पहले, वे टोकन लोकलाइजेशन (Token Localization) का उपयोग करते हैं, जो एक स्पॉटलाइट को एक छोटी खिड़की से देखने जैसा है। यह एक बार में पिक्सेल के एक छोटे से पड़ोस (neighborhood) पर ध्यान केंद्रित करता है, जिससे यह सुनिश्चित होता है कि यह कभी भी अभिभूत या विचलित न हो। यह फोकस को तीक्ष्ण बनाए रखता है।
लेकिन एक छोटी खिड़की से देखने का एक नुकसान है: रोबोट पूरी बिल्ली को मिस कर सकता है यदि वह केवल एक पंजे को देख रहा है। इसे ठीक करने के लिए, SEMA दूसरा चरण जोड़ता है: एवरेजिंग (Averaging - औसत निकालना)। यह पूरे कमरे की एक त्वरित, धुंधली तस्वीर लेने और उसे विस्तृत दृश्य में जोड़ने जैसा है। शोधकर्ताओं ने गणितीय रूप से सिद्ध किया है कि जब छवि बहुत बड़ी होती है, तो छवि के "ग्लोबल" (वैश्विक) अहसास को पकड़ने का सबसे अच्छा तरीका सब कुछ औसत निकालना है। इस स्थानीय खिड़की वाले दृश्य को सरल, वैश्विक औसत के साथ जोड़कर, SEMA को दोनों दुनियाओं का सर्वश्रेष्ठ मिलता है।
पत्र दिखाता है कि यह दृष्टिकोण अविश्वसनीय रूप से अच्छा काम करता है। जब उन्होंने ImageNet-1K जैसे मानक इमेज डेटासेट पर SEMA का परीक्षण किया, तो इसने हाल के "माम्बा" (Mamba) मॉडलों सहित अन्य लोकप्रिय मॉडलों को पीछे छोड़ दिया, विशेष रूप से तब जब छवियां बहुत बड़ी थीं। उदाहरण के लिए, जब छवि का आकार बढ़ाकर 1024x1024 पिक्सेल कर दिया गया, तो अन्य मॉडल काफी संघर्ष करते दिखे और उनकी सटीकता में गिरावट आई, जबकि SEMA मजबूत रहा और यहाँ तक कि उसमें सुधार भी हुआ। शोधकर्ताओं ने यह भी पाया कि SEMA अपने प्रतिस्पर्धियों की तुलना में तेज़ था, जिसे बड़ी छवियों को प्रोसेस करने में कम समय लगा।
इस पत्र का सबसे दिलचस्प हिस्सा यह है कि उन्होंने "डिस्पर्शन" समस्या को कैसे संभाला। अटेंशन को ज़बरदस्ती तीक्ष्ण बनाए रखने के बजाय, जो गणित को तोड़ देता है, उन्होंने यह स्वीकार किया कि विशाल छवियों के लिए, अटेंशन का फैलना स्वाभाविक है। उन्होंने वैश्विक जानकारी को दर्शाने के लिए एक साधारण औसत का उपयोग करके इस फैलाव वाले स्वभाव को अपने लाभ के लिए इस्तेमाल किया। यह यह समझने जैसा है कि यदि आपके पास लाखों दोस्त हैं, तो आप हर एक के बारे में हर विवरण याद नहीं रख सकते, लेकिन आप समूह के सामान्य मिजाज (vibe) को याद रख सकते हैं। SEMA तत्काल पड़ोस के विवरणों को और पूरे समूह के सामान्य मिजाज को याद रखता है, जिससे यह फोटो कितनी भी बड़ी क्यों न हो, बिल्ली को पूरी तरह से पहचानने में सक्षम होता है।
लेखकों ने अपने विचार का परीक्षण विभिन्न कार्यों पर किया, जैसे वस्तुओं को पहचानना से लेकर छवि के विशिष्ट भागों को खोजना (सेगमेंटेशन)। हर मामले में, SEMA ने दिखाया कि वह बड़ी छवियों तक स्केल कर सकता है बिना अपना मानसिक संतुलन खोए। उन्होंने यह भी दिखाया कि जैसे-जैसे छवियां बड़ी होती गईं, उनके सिस्टम का "एवरेजिंग" वाला हिस्सा अधिक महत्वपूर्ण होता गया, जो उनके सिद्धांत को सिद्ध करता है कि भारी मात्रा में डेटा को संभालने के लिए यह सरल चरण महत्वपूर्ण है। हालांकि यह पत्र कंप्यूटर विज़न पर केंद्रित है, टीम का सुझाव है कि यह विचार डेटा के लंबे अनुक्रमों (sequences) से जुड़ी अन्य समस्याओं में भी मदद कर सकता है, जैसे कि विशाल मेडिकल स्कैन का विश्लेषण करना।
संक्षेप में, SEMA एक चतुर तरकीब है जो यह स्वीकार करती है कि जब स्पॉटलाइट बहुत चौड़ी होकर उपयोगी नहीं रह जाती, तो वह एक अलग रणनीति अपना लेती है: पास के विवरणों को करीब से देखें, और बाकी के लिए एक त्वरित, सरल औसत लें। यह एक स्केलेबल, कुशल और गणितीय रूप से सुदृढ़ तरीका है जो कंप्यूटर को दुनिया को स्पष्ट रूप से देखने में मदद करता है, भले ही दुनिया बहुत बड़ी क्यों न हो जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।