Human Behavior Recognition Based on Graph Neural Network and Cross-modal Collaborative Attention Mechanism
यह शोध पत्र Gnet_CAM का प्रस्ताव करता है, जो एक नवीन मानव व्यवहार पहचान मॉडल है जो दृश्य (विजुअल), कंकाल (स्केलेटल) और ऑडियो डेटा को ग्राफ न्यूरल नेटवर्क और एक पदानुक्रमित क्रॉस-मोडल सहयोगात्मक ध्यान तंत्र (hierarchical cross-modal collaborative attention mechanism) के माध्यम से एकीकृत करता है ताकि अवरोध (ऑक्लूजन) और परिवर्तनशील प्रकाश व्यवस्था जैसे जटिल परिदृश्यों में मजबूत प्रदर्शन प्राप्त किया जा सके, जैसा कि NTU RGB+D120 डेटासेट और एक स्व-निर्मित चुनौतीपूर्ण वातावरण डेटासेट पर इसकी उत्कृष्ट सटीकता द्वारा प्रदर्शित किया गया है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को यह समझने के लिए सिखाने की कोशिश कर रहे हैं कि लोग क्या कर रहे हैं। आप सोच सकते हैं, "आसान है! बस इसे एक कैमरा दे दो।" लेकिन यहाँ एक पेंच है: कैमरों को आसानी से चकमा दिया जा सकता है। यदि कोई व्यक्ति किसी खंभे के पीछे चला जाता है, तो रोबोट उसे खो देता है। यदि लाइटें झपकी लेती हैं या सूरज की रोशनी लेंस को अंधा कर देती है, तो रोबोट की आँखें भ्रमित हो जाती हैं। यह एक भीड़ भरे, अंधेरे कमरे में केवल अपनी आँखों का उपयोग करके अपने दोस्त को पहचानने की कोशिश करने जैसा है; कभी-कभी, आप पर्याप्त देख नहीं पाते हैं।
इसे हल करने के लिए, वैज्ञानिक रोबोट को "सुपर-सेंस" (अति-इंद्रिय) देने की कोशिश कर रहे हैं। केवल देखने के बजाय, वे गति की आवाज़ों को "सुन" भी सकते हैं और शरीर के कंकाल (स्केलेटन) को "महसूस" भी कर सकते हैं, भले ही त्वचा छिपी हुई हो। वे ग्राफ न्यूरल नेटवर्क (Graph Neural Networks) का उपयोग करते हैं, जो एक फैंसी तरीका है यह कहने का कि वे शरीर के अंगों (जैसे कोहनी और घुटने) के एक-दूसरे से जुड़ने का एक नक्शा बनाते हैं, जो एक चलते-फिरते स्टिक-फिगर ड्राइंग की तरह है। वे अटेंशन मैकेनिज्म (Attention Mechanisms) का भी उपयोग करते हैं, जो एक स्पॉटलाइट की तरह है जो रोबोट को बताता है, "हे, अभी हाथों पर ध्यान दो, बैकग्राउंड को अनदेखा करो!" बड़ा सवाल यह है कि हम रोबोट को इन विभिन्न इंद्रियों—दृष्टि, ध्वनि और कंकाल—को एक पूर्ण समझ में कैसे बदलने के लिए प्रेरित करें, खासकर जब चीजें अव्यवस्थित और अराजक हों?
यह पेपर Gnet_CAM नामक एक नया, चतुर सिस्टम पेश करता है जो ठीक इसी सवाल का जवाब देने की कोशिश करता है। इसे तीन जासूसों की एक टीम के रूप में सोचें जो एक रहस्य को सुलझाने के लिए मिलकर काम कर रहे हैं: एक जासूस के पास कैमरा है (विजुअल), एक के पास कंकाल ट्रैकर है (स्केलेटल), और एक के पास एक सुपर-सेंसिटिव माइक्रोफ़ोन है (ऑडियो)। अतीत में, ये जासूस केवल एक-दूसरे को अपने सुराग चिल्लाकर बता सकते थे या अपने नोट्स को आपस में चिपका सकते थे, जिससे अक्सर भ्रम पैदा होता था।
इस पेपर के लेखक कहते हैं, "नहीं, आइए उन्हें सही तरीके से एक-दूसरे से बात करने दें।" उन्होंने एक ऐसा सिस्टम बनाया है जहाँ माइक्रोफ़ोन केवल सुनता ही नहीं है; वह सक्रिय रूप से अन्य जासूसों को निर्देशित करता है। यदि ऑडियो जासूस को "दरवाजे की चरमराहट" सुनाई देती है, तो वह कैमरा और कंकाल जासूसों को तुरंत दरवाजे और उसके पास के हाथों पर ध्यान केंद्रित करने का संकेत भेजता है। वे इसे क्रॉस-मोडल कोलबोरेटिव अटेंशन मै mekanisme (Cross-modal Collaborative Attention Mechanism) कहते हैं। यह एक ऑर्केस्ट्रा के कंडक्टर की तरह है जो वायलिन और ड्रम को ठीक उसी समय बजाने के लिए कहता है जब उन्हें बजना चाहिए ताकि वे एक साथ एकदम सटीक लगें, न कि केवल एक ही समय में ज़ोर-ज़ोर से बजें।
इसे काम करने के लिए, उन्होंने एक "डायनेमिक मैप" बनाया। आमतौर पर, एक कंकाल मानचित्र स्थिर होता है—वह जानता है कि एक हाथ हाथ से जुड़ा है। लेकिन यह नया सिस्टम "वर्चुअल एजेस" (आभासी किनारे) जोड़ता है। कल्पना कीजिए कि अदृश्य धागे जो शरीर के एक हिस्से को ध्वनि स्रोत से जोड़ते हैं। यदि आप एक ताली की आवाज़ सुनते हैं, तो एक वर्चुअल धागा तुरंत आपके कानों को मैप पर आपके हाथों से जोड़ देता है, जिससे रोबट को क्रिया समझने में मदद मिलती है, भले ही हाथ आंशिक रूप से छिपे हुए हों।
शोधकर्ताओं ने इस विचार का परीक्षण दो तरीकों से किया। पहले, उन्होंने एक मानक, स्वच्छ डेटासेट NTU RGB+D 120 का उपयोग किया, जो एक अभ्यास जिम की तरह है जहाँ रोशनी एकदम सही है। यहाँ, उनके नए तरीके ने 93.1% सटीकता दर हासिल की, जो पिछले सर्वश्रेष्ठ तरीकों से बेहतर है। लेकिन असली परीक्षा एक "कठिन" वातावरण में थी जिसे उन्होंने खुद बनाया था, जो भारी बाधाओं (गंभीर अवरोध) के साथ एक धूल भरे, कम रोशनी वाले कारखाने का अनुकरण करता है। इस अस्त-व्यस्त परिदृश्य में, उनके सिस्टम ने 93.9% सटीकता प्राप्त की। यह एक बहुत बड़ी छलांग थी—मौजूदा सर्वश्रेष्ठ मॉडल से 8% से भी अधिक बेहतर, जो उनके विशेष "टीमवर्क" दृष्टिकोण का उपयोग नहीं करता था।
शोधकर्ताओं ने "एब्लेशन प्रयोग" (ablation experiments) भी चलाए, जो एक वैज्ञानिक तरीका है यह देखने का कि कौन सा हिस्सा सबसे अधिक काम कर रहा है। उन्होंने पाया कि यदि वे "वर्चुअल अटेंशन एजेस" (ध्वनि को शरीर से जोड़ने वाले अदृश्य धागे) को हटा देते हैं, तो सटीकता 6.2% गिर जाती है। यदि वे ऑडियो को पूरी तरह से हटा देते हैं, तो यह 7.7% गिर जाती है। यह साबित करता है कि जादू केवल माइक्रोफ़ोन होने में नहीं है; यह इस बात में है कि सिस्टम ध्वनि का उपयोग दृष्टि और कंकाल ट्रैकिंग को सक्रिय रूप से निर्देशित करने के लिए कैसे करता है।
लेखक आश्वस्त हैं कि यह दृष्टिकोण रोबोट को बहुत अधिक 'रोबस्ट' (मजबूत) बनाता है, जिसका अर्थ है कि वे भ्रमित नहीं होंगे जब दुनिया अव्यवस्थित हो जाएगी। हालाँकि, वे स्वीकार करते हैं कि अभी भी कुछ बाधाएं हैं। वर्तमान में सिस्टम को तीनों इंद्रियों (दृष्टि, ध्वनि, कंकाल) को पूरी तरह से सिंक्रोनाइज़ होने की आवश्यकता होती है, जो वास्तविक दुनिया में कठिन है यदि कैमरा माइक्रोफ़ोन से पीछे रह जाता है। वे यह भी नोट करते हैं कि यह सिस्टम कम्प्यूटेशनल रूप से भारी है, जिसका अर्थ है कि यह अभी एक छोटे, बैटरी से चलने वाले उपकरण के लिए बहुत धीमा हो सकता है। लेकिन फिलहाल, यह पेपर सुझाव देता है कि विभिन्न इंद्रियों को केवल "सह-अस्तित्व" में रहने के बजाय "सहयोग" करने की अनुमति देकर, हम ऐसी मशीनें बना सकते हैं जो मानव व्यवहार को बहुत तेज़ आँखों और कानों के साथ समझ सकती हैं, यहाँ तक कि सबसे अंधेरे, सबसे भीड़भाड़ वाले कमरों में भी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।