कंप्यूटर विज़न के क्षेत्र में, मशीनों को मानव गति को समझना सिखाना एक ऐसी चुनौती है जो केवल एक चेहरे को पहचानने या किसी वस्तु की पहचान करने से कहीं अधिक गहरी है। जबकि कैमरे आसानी से देख सकते हैं कि कोई व्यक्ति कैसा दिखता है, यह समझने के लिए कि वे क्या कर रहे हैं, उनके शरीर की जटिल, बदलती ज्यामिति की व्याख्या करने की आवश्यकता होती है। दशकों तक, शोधकर्ताओं ने उन वीडियो कैमरों पर भरोसा किया है जो रंग और बनावट (टेक्सचर) को कैप्चर करते हैं, लेकिन ये दृश्य विवरण नाजुक होते हैं; वे अंधेरे में गायब हो जाते हैं, भीड़ के पीछे छिप जाते हैं, या कैमरा एंगल बदलने पर विकृत हो जाते हैं। इसे हल करने के लिए, वैज्ञानिकों ने स्केलेटन डेटा (कंकाल डेटा) की ओर रुख किया, जो एक डिजिटल प्रतिनिधित्व है जो मानव शरीर को जुड़े हुए बिंदुओं या जोड़ों (जॉइंट्स) की एक श्रृंखला में बदल देता है, जैसे कि एक स्टिक फिगर। यह दृष्टिकोण विचलित करने वाले बैकग्राउंड को हटा देता है और विशुद्ध रूप से गति के यांत्रिकी (मैकेनिक्स) पर ध्यान केंद्रित करता है, जो एक साधारण हाथ हिलाने से लेकर एक जटिल मार्शल आर्ट रूटीन तक के कार्यों का विश्लेषण करने का एक मजबूत तरीका प्रदान करता है। मुख्य कठिनाई कंप्यूटर को इन बिंदुओं के बीच के संबंधों को देखना सिखाने में निहित है। मानव शरीर एक सपाट छवि नहीं बल्कि एक नेटवर्क है जहाँ कंधे की गति कोहनी को प्रभावित करती है, जो बदले में हाथ को प्रभावित करती है। शुरुआती तरीकों ने इन कनेक्शनों को स्थिर माना, यह मानकर कि जोड़ों के बीच की दूरी कभी नहीं बदलती, लेकिन मानव गति तरल और संदर्भ-निर्भर होती है। हाल के उन्नत विकास ने कंप्यूटर को इन कनेक्शनों को गतिशील रूप से सीखने की अनुमति दी, जिससे प्रत्येक क्रिया के आधार पर प्रत्येक जोड़ के "महत्व" को समायोजित किया जा सका, फिर भी इस बात में एक अंतर बना रहा कि ये सिस्टम एक क्षण से दूसरे क्षण के बीच होने वाले सूक्ष्म और तीव्र परिवर्तनों को कितनी अच्छी तरह कैप्चर कर सकते हैं।

साउथवेस्ट जियाओटोंग यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने एक नए सिस्टम के साथ इस अनसुलझे अंतराल को संबोधित किया है जो गति की कहानी को अधिक स्पष्ट रूप से पढ़ने के लिए डिज़ाइन किया गया है। उन्होंने STME-GCN नामक एक नेटवर्क विकसित किया है, जो यह सुधारता है कि कंप्यूटर स्केलेटन डेटा का विश्लेषण कैसे करता है, जिसका केंद्र दो विशिष्ट कमजोरियों पर है: कि वे शरीर के अंगों के बीच संबंध कैसे तय करते हैं, और वे फ्रेमों के बीच गति की गति और तीव्रता को कैसे ट्रैक करते हैं। शोधकर्ताओं ने पाया कि पुराने तरीके अक्सर गति के विवरण को बहुत जल्दी स्मूथ (समतल) कर देते थे, यानी समय के साथ जोड़ों की स्थिति का औसत निकाल देते थे, जिससे वे तीक्ष्ण और क्षणिक संकेत खो जाते थे जो एक क्रिया को दूसरी क्रिया से अलग करते हैं। उदाहरण के लिए, यदि आप केवल हाथों की औसत स्थिति को देखते हैं, तो एक तेज़ ताली और हाथों को धीरे से रगड़ने की क्रिया समान लग सकती है, लेकिन जब आप उनके बीच की दूरी में तेजी से होने वाले परिवर्तन को देखते हैं, तो वे पूरी तरह से अलग महसूस होती हैं। इसे ठीक करने के लिए, नया सिस्टम समय के समृद्ध संकेतों का उपयोग करके जोड़ों के बीच के संबंधों को परिष्कृत करने की एक विधि पेश करता है, और एक समानांतर मार्ग (पैरेलल पाथवे) जो स्पष्ट रूप से एक क्षण और अगले के बीच के अंतर की गणना करता है, बजाय इसके कि केवल यह मान लिया जाए कि नेटवर्क इसे अपने आप समझ लेगा।

इस कार्य का पहला प्रमुख नवाचार एक मॉड्यूल है जो शरीर के जोड़ों के लिए एक स्मार्ट मानचित्रकार (मैपमेकर) के रूप में कार्य करता है। पिछले सिस्टम में, जब कंप्यूटर यह तय करने की कोशिश करता था कि किन जोड़ों को आपस में संवाद करना चाहिए, तो वह अक्सर पूरी गति के दौरान उन जोड़ों की औसत स्थिति को देखता था। यह वक्ताओं की आवाज़ के औसत वॉल्यूम को पढ़कर बातचीत को समझने की कोशिश करने जैसा है; आप विराम, ज़ोर और लय को खो देते हैं। नया सिस्टम इस साधारण औसत को समय के बहु-स्तरीय विवरण से बदल देता है। यह क्रिया की समग्र स्थिति, अल्पकालिक गतिविधियों की तीव्रता और विभिन्न चरणों के माध्यम से क्रिया के विकास को देखता है। इन विस्तृत टेम्पोरल संकेतों को निर्णय लेने की प्रक्रिया में फीड करके, सिस्टम प्रत्येक विशिष्ट क्रिया के लिए संबंधों का एक अद्वितीय, गतिशील मानचित्र तैयार कर सकता है। जब कंप्यूटर किसी को ताली बजाते हुए देखता है, तो यह हाथों के बीच के संबंध को मजबूत करता है; जब वह किसी को लिखते हुए देखता है, तो यह कलाई और कोहनी के बीच के संबंध पर ध्यान केंद्रित करता है। यह नेटवर्क को उस विशिष्ट गति के अनुकूल अपनी आंतरिक संरचना को ढालने की अनुमति देता है जिसे वह देख रहा है, बजाय इसके कि वह एक ही नियम (वन-साइज़-फिट्स-ऑल) पर निर्भर रहे।

दूसरा नवाचार सीधे गति की समस्या को हल करता है। जबकि पहला मॉड्यूल कनेक्शनों के मानचित्र को बेहतर बनाता है, दूसरा मॉड्यूल यह सुनिश्चित करता है कि कंप्यूटर वास्तव में गति की गति और परिवर्तन पर ध्यान दे। पारंपरिक तरीके अनुक्रमिक स्थिर पोज़ (static poses) को देखकर इन परिवर्तनों को अप्रत्यक्ष रूप से सीखने पर निर्भर करते हैं, जो धीमा और अपरिष्कृत हो सकता है। शोधकर्ताओं ने एक समर्पित मार्ग जोड़ा है जो लगातार आने वाले फ्रेमों के बीच के अंतर की स्पष्ट रूप से गणना करता है। कल्पना कीजिए कि आप एक वीडियो देख रहे हैं जहाँ, व्यक्ति को देखने के साथ-साथ, आपके पास एक दूसरा स्ट्रीम भी है जो दिखा रहा है कि प्रत्येक जोड़ पिछले सेकंड से कितना हिला है। सिस्टम इस स्पष्ट अंतर डेटा का उपयोग करता है, विशेष रूप से शुरुआती परतों में जहाँ गति के विवरण सबसे स्पष्ट होते हैं, ताकि शरीर के सबसे सक्रिय हिस्सों को हाइलाइट किया जा सके। यह "पोज़-मोशन" सहयोग नेटवर्क को उन क्रियाओं के बीच अंतर करने में सक्षम बनाता है जो अपने अंतिम आकार में समान दिखती हैं लेकिन उनके निष्पादन (एग्जीक्यूशन) में भिन्न होती हैं, जैसे कि हाथों को रगड़ने की निरंतर, सूक्ष्म घर्षण बनाम ताली बजाने में हाथों के लयबद्ध करीब आने और दूर जाने की प्रक्रिया।

शोधकर्ताओं ने हजारों अलग-अलग लोगों द्वारा किए गए हजारों रिकॉर्ड किए गए कार्यों वाले तीन प्रमुख डेटासेट्स पर इस नए सिस्टम का परीक्षण किया। परिणामों ने दिखाया कि इन दो सुधारों को जोड़कर, सिस्टम ने क्रियाओं को पहचानने में उच्च स्तर की सटीकता प्राप्त की, और मौजूदा कई तरीकों की तुलना में कम कंप्यूटेशनल संसाधनों का उपयोग किया। सबसे बड़े डेटासेट पर, जिसमें 114,000 से अधिक अनुक्रम शामिल थे, सिस्टम ने एक मानक परीक्षण प्रोटोकॉल का उपयोग करते हुए 90.0 प्रतिशत मामलों में क्रिया की सही पहचान की। एक अन्य डेटासेट पर जिसमें 56,880 अनुक्रम थे, इसने 92.6 प्रतिशत की सटीकता प्राप्त की। ये संख्याएँ महत्वपूर्ण हैं क्योंकि ये बिना किसी अतिरिक्त जटिलता को जोड़े या कंप्यूटर को कई अलग-अलग वीडियो स्ट्रीम प्रोसेस करने की आवश्यकता के बिना हासिल की गई थीं। सिस्टम ने सिद्ध किया कि जोड़ों के बीच के संबंधों को परिष्कृत करके और क्षणों के बीच के अंतर को स्पष्ट रूप से मॉडल करके, यह मानव गति के सार को अधिक प्रभावी ढंग से कैप्चर कर सकता है।

अध्ययन में दृश्य विश्लेषण भी शामिल था जिससे यह पता चला कि सिस्टम वास्तव में क्या सीख रहा है। जब शोधकर्ताओं ने नेटवर्क द्वारा बनाए गए आंतरिक मानचित्रों को देखा, तो उन्होंने पाया कि जोड़ों के बीच के संबंध क्रिया के आधार पर बदलते हैं। ताली बजाने की गति के लिए, सिस्टम ने हाथों को मजबूती से जोड़ा, जबकि फोन कॉल के लिए, इसने हाथ और कान पर ध्यान केंद्रित किया। इसने पुष्टि की कि सिस्टम निश्चित नियमों का पालन नहीं कर रहा था, बल्कि वास्तविक समय में अपनी समझ को अनुकूलित कर रहा था। इसके अलावा, सिस्टम की तुलना नए मोशन-एन्हांसमेंट मॉड्यूल के साथ (उसके होने और न होने के आधार पर) करने पर, शोधकर्ताओं ने देखा कि बेहतर संस्करण ने उन विशिष्ट जोड़ों और क्षणों पर ध्यान केंद्रित किया जहाँ क्रिया सबसे अधिक गतिशील थी। यह हर चीज़ पर समान रूप से प्रतिक्रिया नहीं दे रहा था; इसने स्थिरता को अनदेखा करना और गति पर ध्यान केंद्रित करना सीखा, जिससे ताली बजाने की तीव्र, आवधिक गति और हाथों को रगड़ने की निरंतर, सुचारू गति के बीच अंतर करना संभव हुआ।

यह कार्य सुझाव देता है कि बेहतर एक्शन रिकग्निशन (क्रिया पहचान) की कुंजी केवल शरीर को देखना नहीं है, बल्कि समय के साथ उसकी गति की कहानी को समझना है। सरल औसत से दूर हटकर और क्षणों के बीच के अंतर को स्पष्ट रूप से मॉडल करके, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो कुशल भी है और अत्यधिक सटीक भी। निष्कर्ष बताते हैं कि इस क्षेत्र में भविष्य की प्रगति समान रणनीतियों पर निर्भर हो सकती है: निर्णय लेने के लिए उपयोग किए जाने वाले डेटा को समृद्ध करना और यह सुनिश्चित करना कि विश्लेषण की प्रक्रिया में गति के क्षणिक विवरण लुप्त न हों। यह सिस्टम स्केलेटन डेटा के लिए एक विशिष्ट उपकरण बना हुआ है, और लेखक नोट करते हैं कि यह अभी तक उन वस्तुओं के लिए विचार नहीं करता जिन्हें कोई व्यक्ति पकड़े हुए हो सकता है या हाथ के इशारों के सूक्ष्म विवरणों के लिए जो मानक जॉइंट पॉइंट्स से परे हैं। हालांकि, मॉडल दक्षता और उच्च पहचान प्रदर्शन के बीच सफलतापूर्वक संतुलन बनाकर, यह दृष्टिकोण मशीनों को मानवीय गतिविधियों की बारीकियों के प्रति अधिक संवेदनशील बनाने के लिए एक आशाजनक दिशा प्रदान करता है।