💻 computer science

Manta: Enhancing Mamba for Few-Shot Action Recognition of Long Sub-Sequence

यह शोध पत्र मंता (Manta) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो लंबे उप-अनुक्रमों (sub-sequences) की फ्यू-शॉट एक्शन रिकग्निशन के लिए पदानुक्रमित स्थानीय और टेम्पोरल फीचर मॉडलिंग हेतु मैट्रोश्का मंबा (Matryoshka Mamba) आर्किटेक्चर को एक हाइब्रिड कंट्रास्टिव लर्निंग प्रतिमान के साथ एकीकृत करके मंबा (Mamba) को उन्नत बनाता है, जिससे इंट्रा-क्लास वेरिएंस को कम किया जा सके, और कई बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Wenbo Huang, Jinghui Zhang, Guang Li, Lei Zhang, Shuoyuan Wang, Fang Dong, Jiahui Jin, Takahiro Ogawa, Miki Haseyama

प्रकाशित 2026-03-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenbo Huang, Jinghui Zhang, Guang Li, Lei Zhang, Shuoyuan Wang, Fang Dong, Jiahui Jin, Takahiro Ogawa, Miki Haseyama

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ Manta पेपर का स्पष्टीकरण दिया गया है, जिसे सरल, रोज़मर्रा की भाषा और कुछ रचनात्मक उपमाओं (analogies) के साथ अनुवादित किया गया है।

🎬 बड़ी समस्या: जल्दी में फिल्म देखना

कल्पive करें कि आप एक रोबोट को मानवीय क्रियाओं (human actions) को पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि "चट्टान से कूदना (diving off a cliff)"।

पुराना तरीका (Transformers): आज के अधिकांश AI मॉडल उन छात्रों की तरह हैं जो एक बार में किताब का केवल एक पन्ना पढ़ सकते हैं। यदि आप उन्हें एक पूरा मूवी सीन (लंबा वीडियो) दिखाते हैं, तो उनका दिमाग ओवरलोड हो जाता है और वे क्रैश हो जाते हैं। उन्हें मजबूरन छोटे, 8-सेकंड के क्लिप देखने पड़ते हैं।
- दोष: यदि आप रोबोट को केवल वह 2 सेकंड दिखाते हैं जहाँ व्यक्ति गिर रहा है, तो वह सोच सकता है कि क्रिया केवल "गिरना" है। वह दौड़ने या पानी के छपाके (splash) के संदर्भ (context) को मिस कर देता है। साथ भी, यदि रोबोट दो अलग-अलग लोगों को कूदते हुए देखता है, तो वह भ्रमित हो जाता है क्योंकि एक व्यक्ति सेकंड 2 पर कूदता है और दूसरा सेकंड 5 पर। उसे उन्हें एक लाइन में कैसे लाना है, यह नहीं पता होता।
नया हीरो (Mamba): हाल ही में, Mamba नामक एक नया प्रकार का AI आया है। यह एक सुपर-फास्ट पाठक की तरह है जो बिना थके पूरी किताब पढ़ सकता है। यह लंबे वीडियो को संभालने में बहुत अच्छा है।
- दोष: लेकिन Mamba विवरणों (details) के मामले में बहुत "आलसी" है। यह पूरे वीडियो को देखता है और कहता है, "ओह, यह एक डाइविंग वीडियो है," लेकिन यह उन सूक्ष्म, महत्वपूर्ण क्षणों (जैसे हाथ की विशिष्ट स्थिति) को अनदेखा कर देता है जो वास्तव में उस क्रिया को परिभाषित करते हैं। यह यह भी नहीं जानता कि दो अलग-अलग गति वाले वीडियो को कैसे सिंक (sync) किया जाए।

🐙 समाधान: "Manta" से मिलिए

लेखकों ने Manta (Matryoshka MAmba and CoNtrasTive LeArning) नामक एक नया फ्रेमवर्क बनाया है। Manta को एक रूसी नेस्टिंग डॉल (Matryoshka) और एक जासूस (Detective) के संयोजन के रूप में सोचें।

यह कैसे काम करता है, इसे दो मुख्य ट्रिक्स में विभाजित किया गया है:

1. "नेस्टिंग डॉल" वाली ट्रिक (Matryoshka Mamba)

पूरे वीडियो को एक साथ देखने (जो बहुत धुंधला हो सकता है) या केवल एक फ्रेम देखने (जो बहुत छोटा हो सकता है) के बजाय, Manta वीडियो को विवरण की परतों (layers of detail) में देखता है, ठीक वैसे ही जैसे नेस्टिंग डॉल्स होती हैं।

अंदर की गुड़िया (Local Features): कल्पना करें कि आप एक "डाइविंग" वीडियो देख रहे हैं। सबसे महत्वपूर्ण हिस्सा "गिरना" है। Manta के पास छोटे "इनर मॉड्यूल्स" हैं जो वीडियो के छोटे हिस्सों (जैसे केवल गिरना, या केवल कूदना) पर ज़ूम करते हैं। वे सूक्ष्मदर्शी (microscopes) की तरह काम करते हैं, जो उन बारीक, महत्वपूर्ण विवरणों को ढूंढ निकालते हैं जिन्हें बड़ा चित्र मिस कर देता है।
बाहरी गुड़िया (Global Alignment): एक बार जब सूक्ष्मदर्शी महत्वपूर्ण हिस्सों को ढूंढ लेते हैं, तो "आउटर मॉड्यूल" एक कंडक्टर (conductor) की तरह काम करता है। यह उन सभी सूक्ष्म विवरणों को लेता है और उन्हें समय के अनुसार पूरी तरह से एक लाइन में लगा देता है। भले ही व्यक्ति A सेकंड 2 पर कूदे और व्यक्ति B सेकंड 5 पर, कंडक्टर कहता है, "ठीक है, चलिए व्यक्ति B के गिरने को थोड़ा खिसका देते हैं ताकि यह व्यक्ति A के गिरने से मेल खा सके।"
यह क्यों शानदार है: यह केवल पूरे वीडियो को नहीं देखता; यह इसके हिस्सों को देखता है और फिर उन्हें पूरी तरह से जोड़ देता है।

2. "जासूस" वाली ट्रिक (Hybrid Contrastive Learning)

यहाँ दूसरी समस्या है: Intra-class variance।
कल्पना करें कि आपके पास "डाइविंग" करने वाले लोगों के 100 वीडियो हैं।

वीडियो 1: एक प्रो डाइवर पूल में (नीला पानी, धूप वाला दिन)।
वीडियो 2: एक बच्चा डॉक से कूद रहा है (गंदा पानी, बादल वाला मौसम)।
वीडियो 3: एक व्यक्ति रात में स्विमिंग पूल में कूद रहा है।

कंप्यूटर के लिए, ये बहुत अलग दिखते हैं। वे सोच सकते हैं कि ये तीन अलग-अलग क्रियाएं हैं। इसे "शोर" (noise) या "विचलन" (variance) कहा जाता है।

Manta इस समस्या को हल करने के लिए एक जासूस दृष्टिकोण का उपयोग करता है:

सुपरवाइज्ड जासूस (The Supervised Detective): यह लेबल किए गए वीडियो (सेट "Support") को देखता है और कहता है, "ठीक है, ये 5 वीडियो सभी 'डाइविंग' हैं। भले ही वे अलग दिखते हों, वे एक ही समूह के हैं।"
अनसुपरवाइज्ड जासूस (The Unsupervised Detective): यह नए, बिना लेबल वाले वीडियो (सेट "Query") को देखता है और कहता है, "यह नया वीडियो थोड़ा 'डाइविंग' समूह जैसा लग रहा है, भले ही लाइटिंग अजीब हो। चलिए इसे वहीं ग्रुप करते हैं।"
परिणाम: यह AI को "शोर" (खराब लाइटिंग, अलग एंगल) को अनदेखा करने और केवल क्रिया के सार (essence) पर ध्यान केंद्रित करने के लिए मजबूर करता है। यह AI को सिखाता है कि बारिश में की गई डाइव भी एक डाइव ही है।

🏆 यह एक बड़ी बात क्यों है?

पेपर ने प्रसिद्ध वीडियो डेटासेट्स (जैसे Kinetics और UCF101) पर बहुत कम उदाहरणों (सीखने के लिए केवल 1 या 5 वीडियो) के साथ Manta का परीक्षण किया।

यह लंबे वीडियो को संभालता है: जबकि अन्य AI मॉडल 8 सेकंड से अधिक लंबे वीडियो होने पर क्रैश हो जाते हैं या भ्रमित हो जाते हैं, Manta 128-सेकंड के वीडियो के साथ भी शांत और सटीक रहता है।
यह मजबूत (Robust) है: यदि आप वीडियो में "शोर" जोड़ते हैं (जैसे इसे बारिश वाला, अंधेरा या रैंडम फ्रेम वाला बनाना), तो भी Manta सही परिणाम देता है। अन्य मॉडल बुरी तरह विफल हो जाते हैं।
यह तेज़ है: क्योंकि यह कुशल Mamba आर्किटेक्चर का उपयोग करता है, यह पुराने "Transformer" मॉडलों की तुलना में बहुत तेज़ी से चलता है, जो Manta के स्पोर्ट्स कार की तुलना में भारी ट्रकों की तरह हैं।

🧠 मुख्य बात (The Takeaway)

Manta एक स्मार्ट शिक्षक की तरह है जो केवल पूरी किताब को रटता नहीं है। इसके बजाय, वे:

मुख्य वाक्यों पर ज़ूम इन करते हैं (Local Features)।
कहानियों को लाइन में लगाते हैं ताकि कहानी समझ में आए (Temporal Alignment)।
वास्तविक अर्थ को समझने के लिए टाइपिंग की गलतियों और खराब लिखावट को अनदेखा करते हैं (Handling Variance)।

यह AI को बहुत कम उदाहरणों से नई क्रियाओं को सीखने की अनुमति देता है, भले ही वीडियो लंबे, अस्त-व्यस्त हों या अलग-अलग स्थितियों में फिल्माए गए हों। यह AI को केवल परफेक्ट, छोटे क्लिप्स के बजाय वास्तविक दुनिया को समझने के लिए एक बड़ा कदम है।

यहाँ शोध पत्र "Manta: Enhancing Mamba for Few-Shot Action Recognition of Long Sub-Sequences" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह शोध पत्र Few-Shot Action Recognition (FSAR) पर केंद्रित है, जो एक ऐसा कार्य है जहाँ मॉडल को केवल कुछ लेबल किए गए वीडियो नमूनों (सपोर्ट सेट) का उपयोग करके अनदेखी क्रिया श्रेणियों (unseen action categories) को वर्गीकृत करना होता है। जबकि लंबे वीडियो सब-सीक्वेंस (long video sub-sequences) संक्षिप्त क्लिप्स की तुलना में पूरी क्रियाओं (जैसे, "Diving cliff") का वर्णन करने के लिए स्वाभाविक रूप से समृद्ध संदर्भ जानकारी प्रदान करते हैं, वे FSAR में लागू होने पर दो विशिष्ट चुनौतियाँ पेश करते हैं:

ट्रांसफॉर्मर की अक्षमता (Inefficiency of Transformers): मुख्यधारा के ट्रांसफॉर्मर-आधारित तरीके उच्च कम्प्यूटेशनल जटिलता ( $O(N^2)$ ) से ग्रस्त हैं, जो उन्हें बहुत छोटे सब-सीक्वेंस (आमतौर पर ~8 फ्रेम) तक सीमित कर देते हैं। वे व्यापक क्रिया समझ के लिए आवश्यक लंबे अनुक्रमों को प्रभावी ढंग से संभालने में सक्षम नहीं हैं।
प्रत्यक्ष मंबा अनुप्रयोग की सीमाएँ (Limitations of Direct Mamba Application): हालाँकि Mamba (स्टेट स्पेस मॉडल पर आधारित) कुशल लंबे-अनुक्रम मॉडलिंग ( $O(N)$ $O (N)$ ) प्रदान करता है, लेकिन इसे सीधे FSAR में लागू करना विफल रहता है क्योंकि:
- स्थानीय विशेषता मॉडलिंग का अभाव (Lack of Local Feature Modeling): मंबा वैश्विक विशेषताओं (global features) पर ध्यान केंद्रित करने की प्रवृत्ति रखता है, जिससे अक्सर महत्वपूर्ण लेकिन छोटी स्थानीय विशेषताओं (जैसे, गोताखोरी के दौरान "गिरने" का चरण) की अनदेखी हो जाती है जो सटीक पहचान के लिए आवश्यक हैं।
- टेम्पोरल मिसअलाइनमेंट (Temporal Misalignment): एक ही क्लास के विभिन्न नमूनों में महत्वपूर्ण स्थानीय विशेषताएँ अलग-अलग समय चरणों (time steps) पर दिखाई देती हैं। मंबा इन टेम्पोरल डिपेंडेंसीज़ को संरेखित (align) करने के लिए किसी स्पष्ट तंत्र की कमी रखता है।
- इंट्रा-क्लास वेरिएंस संचय (Intra-class Variance Accumulation): जैसे-जैसे अनुक्रम की लंबाई बढ़ती है, एक ही क्लास के भीतर दृश्य विसंगतियाँ (कैमरा एंगल, लाइटिंग आदि के कारण) संचित होती जाती हैं, जिससे नमूनों को प्रभावी ढंग से क्लस्टर करना कठिन हो जाता है और गलत वर्गीकरण की संभावना बढ़ जाती है।

2. कार्यप्रणाली: मंटा फ्रेमवर्क (Methodology: The Manta Framework)

लेखकों ने Manta (Matryoshka MAmba and CoNtrasTive LeArning) का प्रस्ताव दिया है, जो विशेष रूप से लंबे सब-सीक्वेंस FSAR के लिए डिज़ाइन किया गया एक फ्रेमवर्क है। इसमें दो समानांतर शाखाएँ शामिल हैं:

A. मैट्रोशका मंबा शाखा (Matryoshka Mamba Branch - फीचर मॉडलिंग और अलाइनमेंट)

यह शाखा मानक ग्लोबल मॉडलिंग के स्थान पर एक नेस्टेड संरचना का उपयोग करती है ताकि स्थानीय विशेषताओं और टेम्पोरल अलाइनमेंट को एक साथ संभाला जा सके।

इनर मॉड्यूल्स (स्थानीय विशेषता वृद्धि - Inner Modules): लंबे सब-सीक्वेंस को गैर-ओवरलैपिंग खंडों (fragments) में विभाजित किया जाता है। कई Inner Modules (Mamba-2 पर आधारित) इन खंडों को स्वतंत्र रूप से संसाधित करते हैं ताकि स्थानीय विशेषताओं को बढ़ाया जा सके। वे स्थानीय संदर्भ को कैप्चर करने के लिए द्विदिश स्कैनिंग (bidirectional scanning - फॉरवर्ड और बैकवर्ड) का उपयोग करते हैं, जिसमें दोनों दिशाओं के बीच पैरामीटर साझा नहीं किए जाते, जिससे परिवर्तनशील स्थानीय विशेषताओं को मॉडल करने में लचीलापन मिलता है।
आउटर मॉड्यूल (अंतर्निहित टेम्पोरल अलाइनमेंट - Outer Module): इनर मॉड्यूल्स के आउटपुट को एक Outer Module में भेजा जाता है। यह मॉड्यूल पूरे अनुक्रम को स्कैन करने के लिए साझा पैरामीटर्स (shared parameters) के साथ एक द्विदिश मंबा संरचना का उपयोग करता है। बढ़ी हुई स्थानीय विशेषताओं को फ्यूज करके, यह टाइमलाइन डिपेंडेंसीज़ को कैप्चर करता है, जो प्रभावी रूप से अनुक्रम में अंतर्निहित टेम्पोरल अलाइनमेंट (implicit temporal alignment) करता है।
मल्टी-स्केल फ्यूजन (Multi-Scale Fusion): यह फ्रेमवर्क कई स्केल्स (हाइपर-पैरामीटर $O$ द्वारा परिभाषित) पर कार्य करता है। अंतिम प्रतिनिधित्व (representation) उत्पन्न करने के लिए औसत निकालने से पहले, विभिन्न स्केल्स पर विशेषताओं के महत्व को गतिशील रूप से निर्धारित करने के लिए एक Conv2D ब्लॉक के माध्यम से सीखने योग्य वेट्स ( $w_o$ ) उत्पन्न किए जाते हैं।
क्रॉस-डिस्टेंस कैलकुलेशन (Cross-Distance Calculation): अलाइनमेंट को और अधिक परिष्कृत करने के लिए, मॉडल मूल और इनवर्टेड (रिवर्स) फीचर स्पेस दोनों में क्वेरी/सपोर्ट प्रोटोटाइप के बीच की दूरी की गणना करता है, और अंतिम क्लास प्रेडिक्शन निर्धारित करने के लिए इन दूरियों का औसत निकालता है।

B. हाइब्रिड कॉन्ट्रास्टिव लर्निंग शाखा (Hybrid Contrastive Learning Branch - वेरिएंस न्यूनीकरण)

लंबे अनुक्रमों में इंट्रा-क्लास वेरिएंस के संचय से निपटने के लिए, मंटा एक हाइब्रिड कॉन्ट्रास्टिव लर्निंग प्रतिमान का उपयोग करता है:

सुपरवाइज्ड कॉन्ट्रास्टिव लर्निंग ( $L_{con}^S$ ): इसे लेबल किए गए Support Set पर लागू किया जाता है। यह एक ही क्लास के नमूनों को एक साथ लाता है और अलग-अलग क्लासेस को एक-दूसरे से दूर धकेलता है।
अनसुपरवाइज्ड कॉन्ट्रास्टिव लर्निंग ( $L_{con}^Q$ और $L_{con}^{SQ}$ ): इसे Query Set और सपोर्ट + क्वेरी के संयुक्त सेट पर लागू किया जाता है। चूंकि क्वेरी अनलेबल होती हैं, इसलिए पॉजिटिव पेयर्स इस धारणा के आधार पर बनाए जाते हैं कि एक ही टास्क के भीतर के नमूने एक ही अंतर्निहित वितरण (distribution) से संबंधित हैं, जो स्पष्ट लेबल के बिना नमूनों को क्लस्टर करने में मदद करता है।
कुल लॉस (Total Loss): प्रशिक्षण उद्देश्य मंबा शाखा से क्रॉस-एन्ट्रॉपी लॉस ( $L_{ce}$ ) और हाइब्रिड कॉन्ट्रास्टिव लॉस ( $L_{hc}$ ) को जोड़ता है:
$L_{total} = \lambda L_{ce} + \lambda L_{hc}$

3. प्रमुख योगदान (Key Contributions)

मैट्रोशका मंबा आर्किटेक्चर: FSAR के लिए मंबा का उपयोग करके पहली बार एक नेस्टेड "मैट्रोशका" संरचना (स्थानीय विशेषताओं के लिए इनर मॉड्यूल्स + ग्लोबल अलाइनमेंट के लिए आउटर मॉड्यूल) का अनुप्रयोग। यह डिज़ाइन स्थानीय विवरण निष्कर्षण और वैश्विक टेम्पोरल अलाइनमेंट के बीच प्रभावी ढंग से संतुलन बनाता है।
हाइब्रिड कॉन्ट्रास्टिव लर्निंग प्रतिमान: एक नया लॉस फंक्शन जो विशेष रूप से लंबे वीडियो अनुक्रमों में इंट्रा-क्लास वेरिएंस संचय के नकारात्मक प्रभावों को कम करने के लिए सुपरवाइज्ड और अनसुपरवाइज्ड कॉन्ट्रास्टिव लर्निंग को जोड़ता है।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: मंटा चार प्रमुख बेंचमार्क (SSv2, Kinetics, UCF101, HMDB51) पर नए SOTA परिणाम प्राप्त करता है, जो ट्रांसफॉर्मर-आधारित तरीकों और अन्य मंबा वेरिएंट्स को काफी पीछे छोड़ देता है, विशेष रूप से लंबे सब-सीक्वेंस सेटिंग्स (128 फ्रेम तक) में।

4. प्रायोगिक परिणाम (Experimental Results)

बेंचमार्क: मॉडल का परीक्षण SSv2, Kinetics, UCF101, और HMDB51 पर 5-way 1-shot और 5-shot सेटिंग्स के तहत किया गया।
प्रदर्शन:
- SSv2 (1-shot) पर, ResNet-50 के साथ मंटा ने 63.4% प्राप्त किया, जो पिछले SOTA (AMFAR) से 1.7% अधिक है।
- Kinetics (1-shot) पर, इसने 82.4% (ResNet-50) और 84.4% (VMamba-B) प्राप्त किया, जो AMFAR जैसे मल्टीमॉडल तरीकों से बेहतर है।
- लंबे अनुक्रम क्षमता (Long Sequence Capability): ट्रांसफॉर्मर-आधारित तरीकों के विपरीत जो $F=16$ से अधिक होने पर विफल (Out of Memory) हो जाते हैं या प्रदर्शन में गिरावट दिखाते हैं, मंटा $F=128$ तक स्थिर और बेहतर प्रदर्शन बनाए रखता है।
एब्लेशन स्टडीज (Ablation Studies):
- इनर मॉड्यूल, आउटर मॉड्यूल, या कॉन्ट्रास्टिव लॉस में से किसी एक को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो सभी घटकों की आवश्यकता की पुष्टि करता है।
- मल्टी-स्केल डिज़ाइन: स्केल्स $\{1, 2, 4\}$ का उपयोग करने से सर्वोत्तम परिणाम मिले; अधिक स्केल जोड़ने से रेडंडेंसी (redundancy) बढ़ गई।
- मजबूती (Robustness): मंटा ने TRX, HyRSM और MoLo की तुलना में फ्रेम-लेवल शोर, सैंपल-लेवल शोर और बैकग्राउंड शोर (Gaussian, बारिश, लाइटिंग) के खिलाफ बेहतर मजबूती प्रदर्शित की।
दक्षता (Efficiency): मंबा की लीनियर कॉम्प्लेक्सिटी के कारण मंटा, ट्रांसफॉर्मर-आधारित तरीकों (जैसे, 10k टास्क के लिए ~4.25 घंटे बनाम TRX के लिए ~8.67 घंटे) की तुलना में काफी तेज़ है।

5. महत्व (Significance)

यह शोध पत्र कुशल लंबे-अनुक्रम मॉडलिंग (Mamba) और Few-Shot Action Recognition की विशिष्ट आवश्यकताओं के बीच के अंतर को पाटता है। मानक मंबा अनुप्रयोगों में निहित स्थानीय विशेषता उपेक्षा (local feature neglect) और टेम्पोरल मिसअलाइनमेंट जैसी महत्वपूर्ण समस्याओं को हल करके, मंटा कम डेटा वाले परिदृश्यों में लंबे, संदर्भ-समृद्ध वीडियो सब-सीक्वेंस के उपयोग को सक्षम बनाता है। यह वास्तविक दुनिया के परिदृश्यों में मजबूत एक्शन रिकग्निशन के लिए नए रास्ते खोलता है जहाँ लंबे समय तक चलने वाली क्रियाएं आम हैं और डेटा दुर्लभ है।