VideoSEMA: a scalable and efficient Mamba-like attention for video understanding
यह शोध पत्र VideoSEMA को प्रस्तुत करता है, जो एक स्केलेबल और कुशल वीडियो वर्गीकरण मॉडल है जो सॉफ्टमैक्स टेम्पोरल अटेंशन के साथ एक मांबा-जैसे (Mamba-like) स्प्लिट स्पेस-टाइम अटेंशन मैकेनिज्म को जोड़ता है, जो K400 और SSv2 बेंचमार्क पर मौजूदा विजन ट्रांसफॉर्मर और मांबा मॉडलों की तुलना में बेहतर सटीकता और रिज़ॉल्यूशन मजबूती प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक फिल्म समझना सिखाने की कोशिश कर रहे हैं। आप उसे केवल एक फोटो नहीं दिखा सकते; आपको उसे समय के साथ बदलती छवियों की एक पूरी धारा दिखानी होगी। यह वीडियो अंडरस्टैंडिंग (video understanding) की दुनिया है, जो कंप्यूटर विज्ञान की एक शाखा है जहाँ मशीनें कार्यों को पहचानना सीखती हैं, जैसे कि किसी का आलू छीलना या किसी कार का मोड़ लेना। लंबे समय तक, इसे करने का सबसे अच्छा तरीका एक विशाल, भूखे मस्तिष्क का उपयोग करना था जिसे ट्रांसफॉर्मर (Transformer) कहा जाता था। एक ट्रांसफॉर्मर को एक सुपर-संगठित लाइब्रेरियन की तरह समझें जो लाइब्रेरी में मौजूद हर किताब के हर एक पन्ने को एक साथ पढ़ता है ताकि कनेक्शन खोज सके। यह अविश्वसनीय रूप से स्मार्ट है, लेकिन जब लाइब्रेरी (वीडियो) बहुत बड़ी हो जाती है या किताबें (फ्रेम्स) बहुत विस्तृत हो जाती हैं, तो यह अभिभूत और धीमा हो जाता है।
इसे ठीक करने के लिए, वैज्ञानिकों ने हाल ही में एक प्रकार का नया मस्तिष्क बनाया जिसे मैम्बा (Mamba) कहा जाता है। यदि ट्रांसफॉर्मर एक ऐसा लाइब्रेरियन है जो सब कुछ एक साथ पढ़ता है, तो मैम्बा एक जासूस है जो गलियारे में चलता है, और चलते हुए सुरागों को याद रखता है, जो कि बहुत तेज़ है। हालाँकि, मैम्बा भी उच्च-परिभाषा (high-definition) या बहुत लंबी वीडियो के मामले में संघर्ष कर सकता है। सबसे बड़ा सवाल जो शोधकर्ताओं के सामने है वह यह है: क्या हम एक ऐसा वीडियो मस्तिष्क बना सकते हैं जो भारी ट्रांसफॉर्मर्स जितना स्मार्ट हो लेकिन नए मैम्बा जासूसों की तरह तेज़ और कुशल भी हो? यह बिल्कुल वही पहेली है जिसे "VideoSEMA" नामक पेपर हल करने की कोशिश करता है।
इस पेपर के लेखकों ने, जो Qualcomm AI Research और University of California, Irvine के शोधकर्ताओं के साथ मिलकर काम कर रहे हैं, VideoSEMA नामक एक नया मॉडल बनाया है। उन्होंने केवल एक नया घटक बर्तन में नहीं डाला; उन्होंने एक चतुर स्प्लिट-सिस्टम (split-system) बनाया है। कल्पना कीजिए कि आप एक फिल्म देख रहे हैं जहाँ आपके पास ध्यान देने के दो अलग-अलग तरीके हैं। पहले, आप एक सिंगल फ्रेम (एक स्थिर चित्र) देखते हैं और एक विशेष "मैम्बा जैसी" आँख का उपयोग करते हैं जिसे SEMA कहा जाता है। यह आँख विवरणों की एक छोटी खिड़की (जैसे आलू की खाल की बना बनावट) को देखने के लिए पर्याप्त स्मार्ट है, जबकि साथ ही यह पूरे दृश्य का एक त्वरित, ग्लोबल औसत भी लेती है, और वह भी बिना थके। फिर, कहानी को समझने के लिए, मॉडल एक मानक "सॉफ्ट" अटेंशन का उपयोग करता है ताकि यह देख सके कि एक फ्रेम से दूसरे फ्रेम में चीजें कैसे बदलती हैं।
पेपर दिखाता है कि यह स्प्लिट दृष्टिकोण केवल एक भाग्यशाली अनुमान नहीं है; उन्होंने वास्तव में गणितीय रूप से सिद्ध किया है कि कुछ शर्तों के तहत, यह स्प्लिट विधि पूरी वीडियो को एक साथ देखने जितनी ही अच्छी है। जब उन्होंने K400 (जिसमें 400 प्रकार के मानवीय कार्य हैं) और SSv2 (जो जटिल, सूक्ष्म गतिविधियों पर केंद्रित है) जैसे प्रसिद्ध वीडियो डेटासेट्स पर VideoSEMA का परीक्षण किया, तो परिणाम प्रभावशाली थे। K400 डेटासेट पर, VideoSEMA ने बहुत बड़े और भारी मॉडलों को मात दी, जिसमें अन्य मैम्बा-आधारित मॉडल और बड़े ट्रांसफॉर्मर शामिल थे, जबकि इसने कम कंप्यूटर संसाधनों का उपयोग किया। उदाहरण के लिए, 16 × 224² के रिज़ॉल्यूशन पर, VideoSEMA ने 82.4% की सटीकता प्राप्त की, जो पिछले मैम्बा मॉडल (VideoMamba) से अधिक थी जिसने 80.8% स्कोर किया था, भले ही VideoSEMA में कम पैरामीटर्स थे।
सबसे रोमांचक निष्कर्षों में से एक यह है कि VideoSEMA हाई-डेफिनिशन वीडियो को कैसे संभालता है। शोधकर्ताओं ने परीक्षण किया कि क्या होता है जब वे मॉडल को बहुत उच्च रिज़ॉल्यूशन वाले वीडियो खिलाते हैं, जो मॉडल को फिर से प्रशिक्षित किए बिना 224² से 1024² (विवरण में एक बहुत बड़ी छलांग) तक स्केल करता है। पुराना मैम्बा मॉडल (VideoMamba) बुरी तरह से क्रैश हो गया, जिसकी सटीकता 80.8% से गिरकर 40.8% हो गई। इसके विपरीत, VideoSEMA ने अपना आधार काफी बेहतर बनाए रखा, इसकी सटीकता केवल 54.6% तक गिरी। यह सुझाव देता है कि जब दृश्य विवरण जटिल हो जाते हैं, तो VideoSEमा बहुत अधिक मजबूत है। उन्होंने यह भी पाया कि SSv2 डेटासेट पर, VideoSEMA केवल 8 फ्रेम के साथ बेहतर परिणाम प्राप्त कर सकता है जो अन्य मॉडलों को प्राप्त करने के लिए 16 फ्रेम की आवश्यकता होती है, जिससे यह साबित होता है कि यह सही जानकारी जल्दी पकड़ने में बहुत कुशल है।
यह पेपर कुछ विचारों को खारिज भी करता है। उन्होंने वीडियो को देखने के एक साधारण तरीके (3D कनवल्शन) और वीडियो के समय-आधारित हिस्से के लिए एक शुद्ध मैम्बा ब्लॉक का उपयोग करके परीक्षण किया, लेकिन पाया कि न तो वे समय के आयाम (time dimension) के लिए मानक अटेंशन मैकेनिज्म जितना अच्छा काम कर पाए। उन्होंने दिखाया कि जबकि मैम्बा स्पेस (स्थान) के लिए महान है, इस विशिष्ट सेटअप में समय के आयाम को संभालने के लिए यह सबसे अच्छा विकल्प नहीं था। लेखक सावधानी से नोट करते हैं कि हालांकि उनका मॉडल बहुत आशाजनक है, लेकिन यह अभी भी एक प्रगति पर काम (work in progress) है। वे सुझाव देते हैं कि और भी लंबे वीडियो के लिए, उन्हें भविष्य में अतिरिक्त समय को बिना धीमा किए संभालने के लिए "स्पार्स" (sparse) या "डाइलेटेड" (dilated) अटेंशन जोड़ने की आवश्यकता हो सकती है। लेकिन फिलहाल के लिए, VideoSEMA हमारे आसपास की चलती दुनिया को समझने के लिए एक मजबूत, कुशल और स्केलेबल नया तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।