Rethinking Attention Locality in Spiking Transformers
यह शोध पत्र स्पैटियली कॉन्टिग्युअस लोकल अटेंशन विद बाउंड्री कॉन्टिन्यूटी पाथवे (SCLA-BCP) को प्रस्तुत करता है, जो एक नवीन विधि है जो नॉन-ओवरलैपिंग लोकल अटेंशन को एक लाइटवेट क्रॉस-बाउंड्री पाथवे और एक पदानुक्रमित परिनियोजन रणनीति के साथ जोड़कर स्पाइकिंग ट्रांसफॉर्मर्स में स्थानिक स्थानीयता (स्पेशियल लोकैलिटी) की कमी को संबोधित करती है, जिससे न्यूनतम ओवरहेड के साथ विभिन्न दृश्य कार्यों में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल संख्याओं की गणना करने वाले अंतहीन कैलकुलेटर की तरह काम नहीं करते, बल्कि हमारे अपने मस्तिष्क की तरह सोचते हैं। यह स्पाइकिंग न्यूरल नेटवर्क (SNNs) का क्षेत्र है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जो इस बात की नकल करता है कि जैविक न्यूरॉन्स केवल आवश्यकता होने पर ही छोटे विद्युत स्पार्क्स, या "स्पाइक्स" कैसे छोड़ते हैं। लगातार काम करने के बजाय, ये नेटवर्क इवेंट-ड्रिवन (घटना-आधारित) होते हैं, जिसका अर्थ है कि वे तब तक शांत रहते हैं जब तक कि कुछ दिलचस्प न हो जाए, जिससे वे अविश्वसनीय रूप से ऊर्जा-कुशल बन जाते हैं। हाल ही में, वैज्ञानिकों ने इस कुशल "स्पाइकिंग" शैली को शक्तिशाली "ट्रांसफॉर्मर" आर्किटेक्चर के साथ जोड़ने का प्रयास किया है—वही बुद्धिमान संरचना जो कंप्यूटर को भाषा समझने और छवियों को पहचानने में मदद करती है। लक्ष्य क्या है? एक सुपर-कुशल AI बनाना जो भारी मात्रा में बिजली जलाए बिना दुनिया को देख और समझ सके। हालाँकि, इसमें एक पेच है: जब ये स्पाइकिंग ट्रांसफॉर्मर किसी छवि के विभिन्न हिस्सों पर ध्यान केंद्रित करने की कोशिश करते हैं, तो वे कभी-कभी एक-दूसरे के ठीक बगल वाली चीजों पर ध्यान देने में संघर्ष करते हैं, जैसे कि एक पड़ोसी अपने ठीक बगल वाले घर को अनदेखा कर रहा हो।
यह शोध पत्र, जिसका शीर्षक "Rethinking Attention Locality in Spiking Transformers" है, उसी विशिष्ट समस्या में गहराई से उतरता है। लेखकों ने, जो झेजियांग यूनिवर्सिटी, वेस्टलेक यूनिवर्सिटी और पेकिंग यूनिवर्सिटी के शोधकर्ताओं की एक टीम है, देखा कि जबकि पिछले प्रयासों ने इस "पड़ोसी" संबंधी समस्या को ठीक करके AI को स्मार्ट बनाया, उन्होंने वास्तव में मूल कारण को ठीक नहीं किया। उन्होंने पाया कि कुछ तरीके केवल स्थानीय स्तर पर गणित कर रहे थे बिना वास्तव में पास के पिक्सेल को देखे, और अन्य तरीकों ने हर नेटवर्क भाग पर एक ही समाधान थोपने की कोशिश की, जो हमेशा काम नहीं करता था। इसे हल करने के लिए, उन्होंने SCLA-BCP नामक एक नई प्रणाली का आविष्कार किया। इसे AI को उसके 'नेबरहुड वॉच' (पड़ोस की निगरानी) को बेहतर ढंग से व्यवस्थित करने का एक बेहतर तरीका देने के रूप में समझें: यह छवि को छोटे, व्यवस्थित ब्लॉकों में विभाजित करता है जहाँ पड़ोसी आसानी से बातचीत कर सकते हैं, लेकिन साथ ही एक विशेष "बाउंडरी ब्रिज" (सीमा सेतु) भी जोड़ता है जो उन ब्लॉकों के बीच सूचना के प्रवाह की अनुमति देता है ताकि कुछ भी छूटे नहीं। उनके प्रयोग दिखाते हैं कि यह नया दृष्टिकोण AI को बेहतर देखने, वस्तुओं को अधिक सटीक रूप से पहचानने में मदद करता है, और वह भी बहुत कम अतिरिक्त ऊर्जा का उपयोग करते हुए।
समस्या: जब "लोकल" का अर्थ "पास का" नहीं होता
लेखकों ने जो खोजा उसे समझने के लिए, हमें पहले यह देखना होगा कि ये स्पाइकिंग ट्रांसफॉर्मर आमतौर पर कैसे काम करते हैं। एक मानक ट्रांसफॉर्मर में, AI एक छवि को देखता है और यह समझने की कोशिश करता है कि विभिन्न हिस्से एक-दूसरे से कैसे संबंधित हैं। वह पूछता है, "क्या यह पिक्सेल उस पिक्सेल की परवाह करता है?" एक सामान्य कंप्यूटर मस्तिष्क में, यह "सॉफ्टमैक्स" (Softmax) नामक एक विशेष गणितीय ट्रिक के साथ किया जाता है, जो AI को यह तय करने में मदद करता है कि कौन से पिक्सेल सबसे महत्वपूर्ण हैं। लेकिन स्पाइकिंग ट्रांसफॉर्मर में, वे चीजों को "स्पाइकी" और कुशल बनाए रखने के लिए सॉफ्टमैक्स को हटा देते हैं। इसका नुकसान क्या है? AI सभी पिक्सेल के साथ लगभग समान व्यवहार करने लगता है, जैसे कि एक छात्र जिसे नहीं पता कि किसके साथ बैठना है और वह अंततः कमरे में मौजूद सभी लोगों को खाली निगाहों से घूरने लगता है।
इसे ठीक करने के लिए, पिछले शोधकर्ताओं ने AI को स्थानीय क्षेत्रों पर ध्यान केंद्रित करने के लिए मजबूर करने की कोशिश की। उन्होंने इसे दो मुख्य तरीकों से किया:
- "ग्रुपिंग" विधि (LSSA): उन्होंने पिक्सेल को एक पैटर्न के आधार पर समूहों में रखने की कोशिश की, जैसे कि हर दूसरे पिक्सेल को एक समूह में रखना। समस्या, जैसा कि लेखकों ने पाया, यह है कि यह एक कमरे में लोगों को उनके जूते के आकार के आधार पर समूहबद्ध करने जैसा है। भले ही आप एक ही समूह में हों, आप कमरे के विपरीत छोरों पर हो सकते हैं। गणित कहता है कि आप "लोकल" हैं, लेकिन भौतिक रूप से, आप दूर हैं। लेखक इसे "कंप्यूटेशनल-स्पेशियल लोकैलिटी डिस्क्रेपेंसी" (गणनात्मक-स्थानिक स्थानीयता विसंगति) कहते हैं। कंप्यूटर सोचता है कि वह पड़ोसियों को देख रहा है, लेकिन वास्तव में वह अजनबियों को देख रहा होता है।
- "यूनिफॉर्म" विधि (LRF-SSA): अन्य शोधकर्ताओं ने AI के मस्तिष्क के प्रत्येक स्तर में एक "लोकल व्यू" जोड़ने की कोशिश की, यह मानते हुए कि नेटवर्क के हर हिस्से को एक ही प्रकार की मदद की आवश्यकता है। लेखकों ने इसका परीक्षण किया और पाया कि यह हर जगह काम नहीं करता है। जिस तरह एक बच्चे को किशोर की तुलना में अलग नियमों की आवश्यकता होती है, उसी तरह AI नेटवर्क के विभिन्न स्तरों को "लोकल" फोकस के विभिन्न स्तरों की आवश्यकता होती है। हर स्तर पर एक ही समाधान लागू करने से कभी-कभी चीजें खराब हो जाती हैं या कोई बदलाव नहीं होता है।
समाधान: SCLA-BCP
लेखकों ने महसूस किया कि समस्या को वास्तव में ठीक करने के लिए, उन्हें दो चीजों की आवश्यकता थी: एक तरीका जिससे यह सुनिश्चित हो सके कि AI वास्तव में भौतिक रूप से सटे हुए पिक्सेल को देख रहा है, और एक तरीका जिससे वे पिक्सेल अपनी सीमाओं के पार अपने पड़ोसियों से बात कर सकें। वे SCLA-BCP के साथ आए।
SCLA (Spatially Contiguous Local Attention):
कल्पना कीजिए कि आपके पास एक विशाल पिज्जा है। उसे एक पैटर्न के आधार पर अजीब, बिखरे हुए स्लाइस में काटने के बजाय, आप उसे साफ, वर्गाकार, गैर-ओवरलैपिंग ब्लॉकों में काटते हैं। SCLA AI को केवल अपने स्वयं के वर्गाकार ब्लॉक के भीतर के पिक्सेल को देखने के लिए मजबूर करता है। यह सुनिश्चित करता है कि जब AI पूछता है, "मेरा पड़ोसी कौन है?", तो वह वास्तव में उसी पिक्सेल से बात कर रहा होता है जो उसके ठीक बगल में बैठा है। यह "जूते के आकार" वाली समस्या को ठीक करता है क्योंकि यह गारंटी देता है कि समूह एक वास्तविक, निरंतर पड़ोस है।
BCP (Boundary Continuity Pathway):
लेकिन एक नई समस्या है: यदि आप पिज्जा को अलग-अलग वर्गों में काटते हैं, तो एक वर्ग के किनारे का पेपरोनी दूसरे वर्ग के किनारे के चीज़ (cheese) से बात नहीं कर सकता। सूचना फंस जाती है। इसे ठीक करने के लिए, लेखकों ने BCP जोड़ा। इसे वर्गों के किनारों के साथ चलने वाले एक विशेष "पुल" या "कूरियर सेवा" के रूप में समझें। यह एक सरल, हल्के उपकरण (कन्वोल्यूशन) का उपयोग करके पूरी छवि पर एक त्वरित नज़र डालता है (उसे काटे बिना) और उस जानकारी को मुख्य सिस्टम में वापस भेजता है। यह AI को अपने छोटे ब्लॉकों की सीमाओं के पार क्या हो रहा है, यह समझने की अनुमति देता है, जिससे यह सुनिश्चित होता है कि पूरी तस्वीर जुड़ी रहे।
उन्होंने इसे कैसे तैनात किया
लेखकों ने यह भी महसूस किया कि आप इस नई प्रणाली को AI के हर हिस्से पर बस नहीं लगा सकते। उन्होंने पाया कि कुछ प्रकार के AI आर्किटेक्चर (जैसे "ViT-जैसे") के लिए, यह सबसे अच्छा काम करता है यदि आप इसे नेटवर्क के पहले आधे हिस्से में उपयोग करते हैं। अन्य प्रकारों (जैसे "मल्टी-स्टेज") के लिए, यह पहले दो चरणों में सबसे अच्छा काम करता है। यह यह जानने जैसा है कि आपको बच्चे को दौड़ना सिखाने से पहले चलना सिखाना होगा; आप बच्चे को दौड़ने के जूते नहीं पहनाते। SCLA-BCP को कहाँ लगाना है, इसे सावधानीपूर्वक चुनकर, उन्होंने बिना ऊर्जा बर्बाद किए सर्वोत्तम परिणाम प्राप्त किए।
परिणाम: दुनिया को बेहतर देखना
टीम ने सात अलग-अलग डेटासेट्स पर अपने नए तरीके का परीक्षण किया, जो सरल चित्र पहचान (जैसे बिल्ली और कुत्ते की पहचान करना) से लेकर जटिल कार्यों जैसे शहर में कारों को खोजने या दृश्य में वस्तुओं को अलग करने तक विस्तृत है। परिणाम प्रभावशाली थे:
- बेहतर सटीकता: COCO 2017 डेटासेट (वस्तुओं को खोजने के लिए उपयोग किया जाने वाला) पर, उनके तरीके ने वस्तुओं को खोजने की सटीकता को 9.50% तक सुधार दिया। ADE20K डेटासेट (दृश्यों को समझने के लिए उपयोग किया जाने वाला) पर, इसने छवि के विभिन्न हिस्सों को अलग करने की क्षमता को 3.42% तक सुधारा।
- दक्षता: वे इस बड़े सुधार को सिस्टम में बहुत कम अतिरिक्त "भार" जोड़कर हासिल करने में सफल रहे। उदाहरण के लिए, कुछ मॉडलों पर, उन्होंने केवल लगभग 0.02 से 0.48 मिलियन पैरामीटर्स (AI के छोटे निर्माण खंड) और बहुत कम अतिरिक्त ऊर्जा (लगभग 0.09 से 0.93 मिलीजूल) जोड़ी।
- प्रूफ ऑफ कॉन्सेप्ट: जब उन्होंने देखा कि AI कैसे "सोच" रहा था (MAD नामक एक मीट्रिक का उपयोग करके), तो उन्होंने देखा कि उनके तरीके ने वास्तव में AI को करीब के पड़ोसियों पर ध्यान केंद्रित करने में मदद की, जबकि पिछले तरीके कभी-कभी ऐसा करने में विफल रहे। विज़ुअलाइज़ेशन ने दिखाया कि उनका AI वास्तविक वस्तुओं (जैसे चिंपांजी) पर अधिक स्पष्ट रूप से ध्यान केंद्रित करता था और बैकग्राउंड के शोर को अनदेखा करता था, जबकि पुराने तरीके कभी-कभी विचलित हो जाते थे।
इसका क्या अर्थ है
यह शोध पत्र सुझाव देता है कि केवल AI को "लोकल" बनाने की कोशिश करना पर्याप्त नहीं है; आपको यह सुनिश्चित करना होगा कि "लोकल" वाला हिस्सा वास्तव में छवि के भौतिक लेआउट से मेल खाता हो। लेखक दिखाते हैं कि एक सख्त "पड़ोस" नियम (SCLA) को एक "बाउंडरी ब्रिज" (BCP) के साथ जोड़कर, और इन नियमों को कहाँ लागू करना है, इसके बारे में समझदारी दिखाकर, हम ऐसे स्पाइकिंग ट्रांसफॉर्मर बना सकते हैं जो न केवल अधिक कुशल हैं बल्कि दुनिया को देखने में भी बहुत बेहतर हैं। यह एक याद दिलाता है कि AI में, कभी-कभी बड़ी तस्वीर देखने का सबसे अच्छा तरीका पहले अपने पड़ोस को व्यवस्थित करना और फिर उन्हें जोड़ने के लिए कुछ पुल बनाना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।