Discriminative Micro-Action-Aware Joint Amplifier for Skeleton-Based Action Recognition

मानव क्रिया पहचान (Human action recognition) कंप्यूटर विज़न की एक शाखा है जो मशीनों को यह सिखाने के लिए समर्पित है कि वे केवल लोगों की गतिविधियों को देखकर यह समझ सकें कि वे क्या कर रहे हैं। दशकों से, शोधकर्ता इन क्षणों को कैप्चर करने के लिए वीडियो कैमरों पर निर्भर रहे हैं, लेकिन परिणामी डेटा अक्सर बदलते प्रकाश, व्यस्त पृष्ठभूमि और बदलते कोणों के कारण अव्यवस्थित होता है। इसे हल करने के लिए, वैज्ञानिकों ने कंकाल डेटा (skeleton data) की ओर रुख किया, जो एक सुव्यवस्थित प्रतिनिधित्व है जो मानव शरीर को तीन-आयामी स्थान में तैरते हुए जुड़े हुए बिंदुओं, या जोड़ों (joints) की एक श्रृंखला में बदल देता है। यह दृष्टिकोण कपड़ों और दृश्यों के दृश्य शोर को हटा देता है, जिससे गति की शुद्ध ज्यामिति ही शेष रह जाती है। हालांकि यह विधि चलने या कूदने जैसी व्यापक गतिविधियों की पहचान करने के लिए मजबूत और विश्वसनीय हो गई है, लेकिन यह तब संघर्ष करती है जब कार्य उन क्रियाओं के बीच अंतर करने की आवश्यकता होती है जो लगभग एक समान दिखती हैं। दो समान इशारों के बीच का अंतर अक्सर केवल कुछ उंगलियों या जोड़ों की सूक्ष्म, सूक्ष्मदर्शीय गतिविधियों में निहित होता है, ऐसे विवरण जो हाथों और पैरों की बड़ी, अधिक स्पष्ट गतिविधियों द्वारा आसानी से दबा दिए जाते हैं।

चुनौती यह है, तो कंप्यूटर को शोर वाली, प्रमुख गतिविधियों को अनदेखा करने और शांत, महत्वपूर्ण गतिविधियों को ध्यान से सुनने के लिए सिखाना। शेन्ज़ेन विश्वविद्यालय के शोधकर्ताओं का एक नया अध्ययन इस समस्या को संबोधित करने के लिए एक प्रणाली प्रस्तावित करके इस समस्या को हल करता है जो इन सूक्ष्म, विभेदक संकेतों को बढ़ाने के लिए डिज़ाइन की गई है। वेनमिंग काओ, गाई वांग और शिनपेंग यिन के नेतृत्व वाली टीम ने एक विधि विकसित की जिसे वे 'डिस्क्रिमिनेटिव माइक्रो-एक्शन-अवेयर जॉइंट एम्पलीफायर' (Discriminative Micro-Action-Aware Joint Amplifier) कहते हैं। उनका कार्य इस विचार पर केंद्रित है कि जबकि मानक कंप्यूटर विज़न मॉडल जोड़ों के स्थान को ट्रैक करने में अच्छे होते हैं, वे अक्सर इस बात को समझने में कमजोर होते हैं कि वे जोड़ एक-दूसरे के सापेक्ष कितनी विशिष्ट दिशा और सूक्ष्म प्रकृति के साथ चलते हैं। इन सूक्ष्म गतिविधियों को एक अलग संकेत के रूप में मानकर, जिसे बढ़ावा देने की आवश्यकता है, शोधकर्ता जटिल, सूक्ष्म-स्तरीय मानव क्रियाओं को पहचानने के तरीके में सुधार करने का लक्ष्य रखते हैं।

समस्या का मूल कारण यह है कि वर्तमान प्रणालियाँ गति को कैसे संसाधित करती हैं। जब कोई व्यक्ति कोई क्रिया करता है, तो कुछ जोड़ बहुत बल और गति के साथ चलते हैं, जैसे कि एक झूलता हुआ हाथ, जबकि अन्य बहुत मामूली समायोजन करते हैं। एक मानक विश्लेषण में, बड़ी, व्यापक गतियाँ डेटा पर हावी हो जाती हैं, जो प्रभावी रूप से उन छोटी, अधिक सूचनात्मक गतिविधियों को शांत कर देती हैं जो शायद एक क्रिया को दूसरी क्रिया से अलग करने वाली एकमात्र चीज़ हो सकती हैं। शोधकर्ताओं ने पाया कि मौजूदा विधियाँ, जो अक्सर महत्वपूर्ण क्षेत्रों को उजागर करने के लिए अटेंशन मैकेनिज्म (attention mechanisms) पर निर्भर करती हैं, फिर भी संघर्ष करती हैं क्योंकि वे मुख्य रूप से स्थानिक डोमेन (spatial domain) में काम करती हैं। वे चीजों के स्थान और उनकी गति को देखती हैं, लेकिन वे गति को इसके दिशात्मक घटकों में स्पष्ट रूप से विभाजित नहीं करती हैं ताकि सूक्ष्म विविधताओं को देखा जा सके। इसे ठीक करने के लिए, टीम ने एक नई रणनीति पेश की जो गति की ज्यामिति को न केवल अंतरिक्ष में एक पथ के रूप में, बल्कि एक संकेत के रूप में मानती है जिसका आवृत्ति (frequency) और दिशा के लिए विश्लेषण किया जा सकता है।

प्रस्तावित प्रणाली तीन अलग-अलग चरणों में काम करती है, जिनमें से प्रत्येक अंतिम वर्गीकरण से पहले डेटा को परिष्कृत करने के लिए डिज़ाइन किया गया है। सबसे पहले, प्रणाली कंकाल के फ्रेम के अनुक्रम से गति की जानकारी निकालती है। केवल यह मापने के बजाय कि एक जोड़ कितना दूर चला, यह विभिन्न तलों (planes) में उस गति की दिशा की गणना करती है। यह गति की एक समृद्ध तस्वीर बनाता है, जो न केवल तीव्रता को बल्कि प्रत्येक जोड़ के विशिष्ट प्रक्षेपवक्र (trajectory) को भी कैप्चर करता है। इसके बाद, प्रणाली यह पहचानने के लिए एक चयन प्रक्रिया का उपयोग करती है कि कौन से जोड़ वास्तव में उपयोगी जानकारी में योगदान दे रहे हैं। यह केवल उन जोड़ों को नहीं चुनती जो सबसे अधिक हिले, क्योंकि वे अक्सर वे बड़ी, वैश्विक गतियाँ होती हैं जो विवरणों को छिपा देती हैं। इसके बजाय, यह उन जोड़ों को फ़िल्टर करती है जो या तो बहुत कम हिले या बहुत अधिक अनियंत्रित रूप से हिले, और इसके बजाय मध्यम, सूक्ष्म गतिविधियों की एक विशिष्ट सीमा पर ध्यान केंद्रित करती है। यह चरण "माइक्रो-एक्शन्स" को अलग करता है, यानी वे छोटे, सटीक समायोजन जो इशारे का वास्तविक अर्थ वहन करते हैं।

एक बार जब ये महत्वपूर्ण जोड़ पहचान लिए जाते हैं, तो प्रणाली उनके महत्व को बढ़ाने के लिए एक गणितीय रूपांतरण लागू करती है। शोधकर्ता इन चयनित जोड़ों की सापेक्ष स्थिति और गति को एक गोलाकार समन्वय प्रणाली (spherical coordinate system) पर प्रोजेक्ट करते हैं, जो केंद्र बिंदु से कोणों और दूरी का उपयोग करके स्थान का वर्णन करने का एक तरीका है। वहां से, वे 'स्फेरिकल हार्मोनिक डीकंपोजिशन' (spherical harmonic decomposition) नामक तकनीक का उपयोग करते हैं। यह प्रक्रिया जोड़ों के बीच के जटिल ज्यामितीय संबंधों को विभिन्न आवृत्ति स्तरों में विभाजित करती है। निम्न-आवृत्ति परतें समग्र आकार और व्यापक अभिविन्यास का वर्णन करती हैं, जबकि उच्च-आवृत्ति परतें तीक्ष्ण, स्थानीय विवरणों और तीव्र दिशात्मक परिवर्तनों को कैप्चर करती हैं। सिस्टम विशेष रूप से इन उच्च-आवृत्ति घटकों को लक्षित करता है, जो सूक्ष्म, सूक्ष्म-स्तरीय विविधताओं के अनुरूप होते हैं, और उन्हें बढ़ाता है। यह प्रवर्धन सुनिश्चित करता है कि डेटा नेटवर्क के माध्यम से गुजरते समय सूक्ष्म, विभेदक गतिविधियाँ लुप्त न हों।

अंतिम चरण में इन संवर्धित, उच्च-आवृत्ति विशेषताओं को मूल कंकाल डेटा के साथ जोड़ना शामिल है। सिस्टम फिर इस संयुक्त जानकारी को एक मानक ग्राफ कन्वोल्यूशनल नेटवर्क (graph convolutional network) में फीड करता है, जो जोड़ों के बीच के कनेक्शन को समझने के लिए डिज़ाइन किया गया एक प्रकार का न्यूरल नेटवर्क है। क्योंकि इनपुट डेटा में अब सूक्ष्म गतिविधियों के संबंध में एक बहुत मजबूत संकेत मौजूद है, नेटवर्क समान क्रियाओं के बीच अधिक सटीकता के साथ अंतर करना सीख सकता है। शोधकर्ताओं ने हजारों वीडियो नमूनों वाले तीन प्रमुख डेटासेट्स पर इस दृष्टिकोण का परीक्षण किया। परिणामों ने दिखाया कि उनकी विधि ने मौजूदा अत्याधुनिक मॉडलों को लगातार पछाड़ दिया, विशेष रूप से उन कार्यों में जिनमें सूक्ष्म-स्तरीय क्रियाओं के बीच अंतर करना आवश्यक था। एक डेटासेट पर, नई विधि ने 91.1 प्रतिशत की सटीकता प्राप्त की, जो मानक स्थानिक मॉडलिंग पर निर्भर पिछले तकनीकों की तुलना में एक मापने योग्य सुधार है।

अध्ययन में इस बात का विस्तृत विवरण भी शामिल था कि विभिन्न स्थितियों के तहत सिस्टम कैसे व्यवहार करता है। शोधकर्ताओं ने पाया कि बहुत कम जोड़ों का चयन करना या केवल सबसे चरम गतिविधियों पर ध्यान केंद्रित करना सिस्टम की प्रभावशीलता को कम कर देता है। 'स्वीट स्पॉट' (sweet spot) मध्यम, सूक्ष्म गति प्रदर्शित करने वाले जोड़ों की एक विशिष्ट संख्या चुनने में पाया गया, जिसने उपयोगी जानकारी और शोर के बीच सबसे अच्छा संतुलन प्रदान किया। इसके अलावा, सिस्टम ने बिना किसी बड़े कंप्यूटेशनल पावर या मापदंडों (parameters) की वृद्धि के ये परिणाम प्राप्त किए, जो यह सुझाव देता है कि सुधार केवल मॉडल को बड़ा बनाने के बजाय डेटा को संसाधित करने के एक स्मार्ट तरीके से आया है। सिस्टम के आंतरिक कामकाज के विज़ुअलाइज़ेशन ने पुष्टि की कि संवर्धित विशेषताएँ वास्तव में शरीर के विभेदक क्षेत्रों के आसपास अधिक केंद्रित थीं, जिससे सिद्ध हुआ कि प्रवर्धन रणनीति ने उन विवरणों को सफलतापूर्वक उजागर किया जो सबसे अधिक महत्वपूर्ण हैं।

अंततः, यह कार्य यह प्रदर्शित करता है कि जटिल मानव क्रियाओं को पहचानने की कुंजी बड़े मॉडल बनाने में नहीं, बल्कि गति के सबसे शांत हिस्सों को सुनने में है। वैश्विक, प्रमुख गतियों से हटकर सूक्ष्म, स्थानीय विविधताओं पर ध्यान केंद्रित करके और उन्हें बढ़ाने के लिए आवृत्ति-आधारित दृष्टिकोण का उपयोग करके, शोधकर्ताओं ने मशीनों को मानव व्यवहार को अधिक गहराई से समझने के लिए एक नया उपकरण प्रदान किया है। निष्कर्ष बताते हैं कि उन कार्यों के लिए जहाँ दो क्रियाओं के बीच का अंतर घूर्णन (rotation) के कुछ डिग्री या उंगली के मामूली बदलाव का मामला है, वहां इन सूक्ष्म-गतिविधियों को अलग करने और बढ़ाने की क्षमता आवश्यक है। यह दृष्टिकोण इंटेलिजेंट सर्विलांस, मानव-कंप्यूटर इंटरेक्शन और पुनर्वास मूल्यांकन (rehabilitation assessment) जैसे अनुप्रयोगों के लिए एक आशाजनक मार्ग प्रदान करता है, जहाँ गति की सटीक प्रकृति एक सही व्याख्या और एक छूटे हुए संकेत के बीच का अंतर हो सकती है।