Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies
यह शोध पत्र एगोसेंट्रिक एक्शन रिकग्निशन (egocentric action recognition) के लिए एक माम्बा-आधारित क्रॉस-मोडल आर्किटेक्चर प्रस्तावित करता है जो RGB वीडियो और हैंड स्केलेटन डेटा को फ्यूज करता है, और यह प्रदर्शित करता है कि एक एवरेज CLS टोकन मिक्सिंग रणनीति H2O डेटासेट पर यूनिमोडल बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को यह सिखाने की कोशिश कर रहे हैं कि केवल एक वीडियो देखकर (जैसे कि उनके अपने सिर पर बंधे गोप्रो से रिकॉर्ड किया गया वीडियो) कोई व्यक्ति क्या कर रहा है, इसे समझना है। इसे एगोसेंट्रिक वीडियो रिकग्निशन (egocentric video recognition) कहा जाता है।
समस्या यह है कि इस तरह का वीडियो बहुत अस्त-व्यस्त होता है। कैमरा बुरी तरह हिलता है, हाथ अक्सर दृश्य को रोक देते हैं, और कभी-कभी व्यक्ति जो काम कर रहा है उससे ध्यान हटा लेता है। यह ऐसा है जैसे आप किसी ऐसे व्यक्ति के सामने पहेली सुलझाने की कोशिश कर रहे हों जो बार-बार मेज को हिला रहा हो और आधे हिस्सों को अपने हाथों से ढक रहा हो।
इसे ठीक करने के लिए, शोधकर्ताओं ने मम्बा (Mamba) नामक तकनीक का उपयोग करके कंप्यूटर के लिए एक नया "दिमाग" बनाया है। मम्बा को एक अत्यंत कुशल लाइब्रेरियन के रूप में सोचें जो पुराने तरीकों (जैसे ट्रांसफॉर्मर्स) की तुलना में बहुत तेज़ी से और बिना थके या कहानी से भटके एक बहुत लंबी किताब (एक लंबा वीडियो) पढ़ सकता है।
दो-धारा वाला दृष्टिकोण: आँखें और हाथ (Two-Stream Approach: Eyes and Hands)
शोधकर्ताओं ने महसूस किया कि क्रिया को समझने के लिए, कंप्यूटर को दो अलग-अलग प्रकार के सुरागों की आवश्यकता होती है, ठीक वैसे ही जैसे एक जासूस को गवाह के बयान और भौतिक साक्ष्यों दोनों की आवश्यकता होती है:
- "आँखें" (RGB वीडियो): यह मानक वीडियो फीड है। यह रंगों और आकृतियों को दिखाता है लेकिन हाथों द्वारा दृश्य को रोकने पर भ्रमित हो जाता है।
- "हाथ" (कंकाल डेटा/Skeleton Data): यह व्यक्ति के हाथों का एक डिजिटल वायरफ्रेम है। भले ही हाथ किसी कप के पीछे छिपे हों, कंप्यूटर जानता है कि उंगलियाँ कहाँ होनी चाहिए। यह हाथों के एक काल्पनिक रेखाचित्र की तरह है जो कभी बाधित नहीं होता।
कंप्यूटर पहले इन दोनों धाराओं को अलग-अलग प्रोसेस करता है, फिर उन्हें एक एकल समझ में मिलाने की कोशिश करता है।
गुप्त नुस्खा: "CLS टोकन" (The Secret Sauce: The "CLS Token")
इस प्रक्रिया के बीच में, एक विशेष डेटा होता है जिसे "CLS टोकन" कहा जाता है। आप इस टोकन को एक "सारांश नोट" (Summary Note) या "कैप्टन के लॉग" (Captain's Log) के रूप में देख सकते हैं।
जैसे-जैसे कंप्यूटर वीडियो देखता है और हाथों को ट्रैक करता है, वह वीडियो स्ट्रीम के लिए एक सारांश नोट लिखता है और हैंड स्ट्रीम के लिए एक अलग सारांश नोट लिखता है। अंत में, उसे इन दोनों नोट्स को एक अंतिम रिपोर्ट में मिलाना होता है ताकि यह तय किया जा सके: "क्या यह व्यक्ति कॉफी डाल रहा है या सैंडविच काट रहा है?"
शोधकर्ताओं की मुख्य खोज यह है कि इन दोनों नोट्स को कैसे मिलाया जाए। उन्होंने इन्हें मिलाने के चार अलग-अलग तरीकों का परीक्षण किया:
- "नाइव" दृष्टिकोण (The "Naive" Approach - खाली स्लेट): दोनों पुराने नोट्स को फेंक दें और शुरुआत से एक नया नोट लिखें।
- परिणाम: यह विफल रहा। यह जासूस के नोट्स को अनदेखा करने और बिना किसी सुराग के अपराध का अनुमान लगाने जैसा था।
- "वेटेड" दृष्टिकोण (The "Weighted" Approach - वार्ताकार): वीडियो नोट को महत्व का एक निश्चित प्रतिशत दें और हैंड नोट को एक अलग प्रतिशत (जैसे, 60% वीडियो, 40% हाथ)। कंप्यूटर प्रशिक्षण के दौरान इन प्रतिशतों को सीखता है।
- परिणाम: यह अच्छा काम कर रहा था, लेकिन कंप्यूटर ने अंततः निर्णय लिया कि 50/50 का विभाजन सबसे अच्छा है।
- "कॉन्टेक्स्ट-आधारित" दृष्टिकोण (The "Context-Based" Approach - गतिशील प्रबंधक): कंप्यूटर वर्तमान दृश्य को देखता है और यह तय करता है कि वीडियो पर कितना भरोसा किया जाए बनाम हाथों पर।
- परिणाम: आश्चर्यजनक रूप से, यह जटिल तरीका सरल तरीकों से बेहतर नहीं था। यह एक ऐसे मैनेजर को काम पर रखने जैसा था जो हर निर्णय पर ज़रूरत से ज़्यादा सोचता है।
- "औसत" दृष्टिकोण (The "Average" Approach - समान भागीदार): बस वीडियो नोट और हैंड नोट को लें और उन्हें समान रूप से (50/50) मिला दें।
- परिणाम: यही विजेता था। यह साबित हुआ कि सबसे सरल तरीका—दोनों सुरागों को समान महत्व देना—सबसे प्रभावी था।
परिणाम
जब उन्होंने H2O नामक डेटासेट पर इसका परीक्षण किया (जिसमें लोगों द्वारा रोज़मर्रा के कार्य जैसे डालना, काटना और जोड़ना करने के वीडियो शामिल हैं), तो "औसत" रणनीति एक बड़ी सफलता रही।
- छोटे कंप्यूटर मॉडल में, सटीकता 10% बढ़ गई।
- बड़े मॉडल में, सटीकता 25% बढ़ गई।
इसका अर्थ यह है कि केवल "आँखों" और "हाथों" को समान रूप से जोड़कर, कंप्यूटर यह समझने में बहुत बेहतर हो गया कि क्या हो रहा है, भले ही कैमरा हिल रहा हो या हाथ दृश्य को रोक रहे हों।
आगे क्या?
शोधकर्ता अब दो मुख्य विचारों पर विचार कर रहे हैं:
- बड़े डेटासेट्स पर परीक्षण करना: यह देखने के लिए कि क्या "कॉन्टेक्स्ट-आधारित" विधि (गतिशील प्रबंधक) अधिक डेटा होने पर बेहतर काम करती है।
- "प्रिविलेज्ड इंफॉर्मेशन" (Privileged Information) का तरीका: वे कंप्यूटर को वीडियो और हैंड स्केलेटन दोनों का उपयोग करके प्रशिक्षित करना चाहते हैं, लेकिन फिर उसे केवल वीडियो का उपयोग करके परीक्षा देने देना चाहते हैं। यह एक किताब और ट्यूटर के साथ पढ़ाई करने जैसा है, लेकिन परीक्षा केवल किताब के साथ देने जैसा है। यह इस सिस्टम को वास्तविक जीवन में उपयोगी बनाएगा जहाँ हमारे पास हमेशा "हैंड स्केलेटन" डेटा उपलब्ध नहीं होगा।
संक्षेप में, यह पेपर दिखाता है कि फर्स्ट-पर्सन वीडियो समझने के लिए, सबसे अच्छी रणनीति अक्सर सबसे सरल होती है: आँखों और हाथों दोनों की समान रूप से बात सुनें, और कंप्यूटर के कुशल "मम्बा" दिमाग को बाकी काम करने दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।