SMM Transformer: Leveraging Spiking Neural Networks for Multimodal Tasks
यह शोध पत्र SMM ट्रांसफॉर्मर को प्रस्तुत करता है, जो एक नवीन मल्टीमॉडल फ्रेमवर्क है जो पारंपरिक ANN बेसलाइन्स की तुलना में प्रतिस्पर्धी सटीकता प्राप्त करने के साथ-साथ कम्प्यूटेशनल ऊर्जा खपत को काफी कम करने के लिए स्थिर प्रशिक्षण तंत्र और स्पाइक-ड्रिवन अटेंशन के साथ स्पाइकिंग न्यूरल नेटवर्क्स का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल अंतहीन, भूखे कैलकुलेटर की तरह नंबरों को नहीं कुचलते, बल्कि मानव मस्तिष्क के न्यूरॉन्स की तरह छोटी, बिजली की चिंगारियों को छोड़ते हैं। यह स्पाइकिंग न्यूरल नेटवर्क (SNNs) का क्षेत्र है। पारंपरिक AI के विपरीत, जो तब भी डेटा को लगातार प्रोसेस करता रहता है जब कुछ नया कहने के लिए कुछ न हो, SNNs "इवेंट-ड्रिवन" (घटना-आधारित) होते हैं। वे केवल तभी जागते हैं और संकेत भेजते हैं जब कुछ दिलचस्प होता है, जो उन्हें अविश्वसनीय रूप से ऊर्जा-कुशल बनाता है। इसे एक लाइट स्विच की तरह समझें जो केवल तभी चालू होता है जब आप कमरे में चलते हैं, न कि एक बल्ब की तरह जो 24/7 चालू रहता है।
हालाँकि, इसमें एक पेच है। जबकि ये चिंगारी-आधारित मस्तिष्क ऊर्जा बचाने में बेहतरीन हैं, वे किसी तस्वीर को देखने और उसके बारे में कहानी लिखने जैसे जटिल, बहु-संवेदी कार्यों को करने में संघर्ष करते हैं। इन कार्यों के लिए वर्तमान "गोल्ड स्टैंडर्ड" एक भारी, ऊर्जा-खपत करने वाली विधि का उपयोग करता है जिसे "अटेंशन" (ध्यान) कहा जाता है, जो कंप्यूटर को हर एक शब्द की तुलना हर दूसरे शब्द से और हर एक पिक्सेल की तुलना हर दूसरे पिक्सेल से करने के लिए मजबूर करती है। यह एक विशाल पार्टी में हर व्यक्ति को दूसरे व्यक्ति से व्यक्तिगत रूप से मिलवाने की कोशिश करने जैसा है, इससे पहले कि कोई बातचीत शुरू कर सके। यह पेपर पूछता है: क्या हम एक ऐसा चिंगारी-आधारित मस्तिष्क बना सकते हैं जो बिना अपनी सारी ऊर्जा जलाए इन जटिल, बहु-संवेदी कार्यों को संभाल सके?
पेश है SMM ट्रांसफॉर्मर, जो शोधकर्ता ज़ीबो लियांग (Xiubo Liang) और उनकी टीम द्वारा प्रस्तावित एक नया फ्रेमवर्क है। उन्होंने केवल पुराने स्पार्क-आधारित सिस्टम को थोड़ा बेहतर बनाने की कोशिश नहीं की; उन्होंने इमेज और टेक्स्ट के मिश्रण के शोर-शराबे को संभालने के लिए इंजन को पूरी तरह से नए सिरे से बनाया है।
सबसे पहले, उन्होंने गहरे, जटिल नेटवर्क की समस्या को हल किया। मानक स्पार्क न्यूरॉन्स बहुत नाजुक होते हैं और यदि उन्हें बहुत अधिक ऊँचाई तक स्टैक (एक के ऊपर एक रखा) किया जाए, तो उन्हें प्रशिक्षित करना कठिन होता है। टीम ने एक नए प्रकार का न्यूरॉन विकसित किया जिसे PLMP कहा जाता है। कल्पना करें कि एक मानक न्यूरॉन एक एकल, कठोर पाइप की तरह है जो पानी (सूचना) को बहने देता है। PLMP अलग-अलग आकार के पाइपों के एक समूह की तरह है जो समानांतर में चलते हैं, जिनमें से प्रत्येक का अपना समायोज्य वाल्व (adjustable valve) है। यह सिस्टम को विभिन्न गति और सूचना के पैटर्न को अधिक स्थिरता के साथ संभालने के लिए सीखने की अनुमति देता है। उन्होंने इस नए न्यूरॉन को यह सिखाने के लिए एक विशेष प्रशिक्षण पद्धति, P-STBP भी बनाई कि वह भ्रमित हुए बिना कैसे सीखे।
इसके बाद, उन्हें "अटेंशन" की समस्या को ठीक करना था। पुराना ध्यान देने का तरीका एक भीड़भाड़ वाले कमरे की तरह है जहाँ हर कोई एक साथ अपना नाम चिल्लाकर सबको बताता है—यह शोर भरा, अस्त-व्यst और बहुत अधिक ऊर्जा का उपयोग करने वाला है। टीम ने इसे SMSA (स्पाइकिंग MLP सेल्फ-अटेंशन) से बदल दिया। एक अराजक शोर-शराबे के बजाय, SMSA एक अंधेरे कमरे में फ्लैशलाइट की एक श्रृंखला की तरह काम करता है। यह जाँचता है कि क्या छवि के एक हिस्से से आने वाली एक "फ्लैश" (एक स्पाइक) टेक्स्ट के एक "फ्लैश" से मेल खाती है। यदि वे एक साथ चमकते हैं, तो वे जुड़ जाते हैं। यदि नहीं, तो वे अंधेरे रहते हैं। यह हर चीज़ की हर चीज़ से तुलना करने की भारी गणितीय गणना को छोड़ देता है। यह सुनिश्चित करने के लिए कि वे बहुत अधिक 'स्पार्स' (विरल) होने के कारण कोई महत्वपूर्ण विवरण न खो दें, उन्होंने एक "सेल्फ-कंपनसेशन" (स्व-क्षतिपूर्ति) शाखा जोड़ी, जो एक सुरक्षा जाल की तरह कार्य करती है जो किसी भी सूचना को पकड़ लेती है जो शायद दरारों से निकल गई हो।
अंत में, चित्रों और शब्दों के मिश्रण को संभालने के लिए, उन्होंने SMoE (स्पाइकिंग मिक्सचर-ऑफ-एक्सपर्ट्स) पेश किया। इसे एक व्यस्त चौराहे पर एक स्मार्ट ट्रैफिक कंट्रोलर के रूप में सोचें। हर कार (डेटा) को एक ही सड़क पर जाने के लिए मजबूर करने के बजाय, कंट्रोलर इमेज-भारी डेटा को "विज़न एक्सपर्ट" लेन में, टेक्स्ट-भारी डेटा को "लैंग्वेज एक्सपर्ट" लेन में, और मिश्रित डेटा को एक विशेष "विज़न-लैंग्वेज" लेन में निर्देशित करता है। यह विभिन्न प्रकार की सूचनाओं को एक-दूसरे से टकराने से रोकता है जबकि उन्हें आपस में बातचीत करने भी देता है।
परिणाम? SMM ट्रांसफॉर्मर एक गंभीर दावेदार है। जब इमेज कैप्शनिंग जैसे कार्यों पर परीक्षण किया गया, तो इसने वह सटीकता प्राप्त की जो भारी, ऊर्जा-खपत करने वाले पारंपरिक मॉडलों की बराबरी करती है। वास्तव में, इमेज कैप्शनिंग कार्य पर, SMM ट्रांसफॉर्मर-लार्ज मॉडल ने BLEU-4 के 45.33 और CIDEr के 128.72 अंक प्राप्त किए, जो बहुत प्रतिस्पर्धी संख्याएँ हैं। लेकिन असली जादू इसकी ऊर्जा बचत में है। शोधकर्ताओं ने अनुमान लगाया कि उनके नए अटेंशन मेथड का उपयोग करके, मॉडल के अटेंशन वाले हिस्से की ऊर्जा लागत मानक तरीके की तुलना में 97% तक कम हो गई। यहाँ तक कि पूरे मॉडल को देखते हुए, ऊर्जा की बचत 21.6% की ठोस बचत थी, और मॉडल लगभग 13.6% तेज़ चला।
यह पेपर यह दावा नहीं करता कि यह हर संभावित भविष्य के उपयोग के लिए एक पूर्ण, तैयार उत्पाद है, लेकिन यह एक स्पष्ट मार्ग सुझाता है। यह साबित करता है कि आप गहरे, जटिल, बहु-संवेदी AI सिस्टम बना सकते हैं जो बिजली के "बाढ़" के बजाय "चिंगारियों" पर चलते हैं। भारी, घने गणित को स्पार्स, इवेंट-ड्रिवन स्पाइक्स से बदलकर, SMM ट्रांसफॉर्मर दिखाता है कि हम उच्च सटीकता भी प्राप्त कर सकते हैं और कम ऊर्जा भी खर्च कर सकते हैं, जो स्मार्ट, हरित AI का मार्ग प्रशस्त करता है जो एक दिन स्मार्टवॉच या चश्मे जैसे छोटे उपकरणों पर भी चल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।