Zero-Shot Skeleton-Based Action Anticipation

कल्पना कीजिए कि आप एक फिल्म देख रहे हैं, लेकिन पहले कुछ सेकंड के बाद ही स्क्रीन अचानक काली हो जाती है। एक पात्र अपने घुटनों को मोड़ता है और अपने गुरुत्वाकर्षण केंद्र (center of gravity) को नीचे करता है। क्या उनके पास बाड़ (fence) के ऊपर से कूदने का समय है, या वे बस एक बेंच पर बैठने वाले हैं? कंप्यूटर विज्ञान की दुनिया में, यह एक्शन एन्टिसिपेशन (Action Anticipation) की चुनौती है। यह एक रोबोट या AI द्वारा यह अनुमान लगाने की कला है कि कोई व्यक्ति वास्तव में काम पूरा करने से पहले ही आगे क्या करने वाला है। यह सुरक्षात्मक रोबोटों, सहायक उपकरणों और स्वायत्त कारों (autonomous cars) के लिए महत्वपूर्ण है जिन्हें तुरंत प्रतिक्रिया देने की आवश्यकता होती है।

आमतौर पर, इन कंप्यूटरों को एक छात्र की तरह प्रशिक्षित किया जाता है जो पाठ्यपुस्तक को रटता है: वे "कूदने" के हजारों उदाहरण और "बैठने" के हजारों उदाहरण देखते हैं, और वे पैटर्न को पहचानना सीखते हैं। लेकिन क्या होता है जब रोबमाट कोई बिल्कुल नया एक्शन देखता है, जैसे कि कोई विशिष्ट डांस मूव या गेंद फेंकने का एक अनोखा तरीका? पारंपरिक कंप्यूटर जम जाते हैं क्योंकि उन्होंने उस विशिष्ट मूव को याद नहीं किया होता है। यहीं पर जीरो-शॉट लर्निंग (Zero-Shot Learning) काम आती है। इसे एक ऐसे जासूस के रूप में सोचें जिसे किसी संदिग्ध का चेहरा देखे बिना भी उसे पहचानने की आवश्यकता नहीं है; इसके बजाय, वह पहचान करने के लिए एक विवरण (जैसे "लाल टोपी पहने हुए और एक छड़ी पकड़े हुए") का उपयोग करता है। यह शोध पत्र इन दोनों विचारों के जटिल संयोजन को संबोधित करता है: केवल एक छोटी सी, शुरुआती झलक से किसी क्रिया का अनुमान लगाना, और उन क्रियाओं के लिए भी ऐसा करना जिन्हें कंप्यूटर ने पहले कभी नहीं सीखा है।

---

आधे देखे गए नृत्य का रहस्य

इस शोध पत्र में, लेखक, होंगसोंग वांग और उनकी टीम, एक नई चुनौती पेश करते हैं जिसे वे जीरो-शॉट स्केलेटन-बेस्ड एक्शन एन्टिसिपेशन (या संक्षेप में ZS-SkAA) कहते हैं। कल्पना कीजिए कि आप केवल दो नोट सुनकर एक गाने का अनुमान लगाने की कोशिश कर रहे हैं, लेकिन वह गाना ऐसा है जिसे आपने पहले कभी नहीं सुना है। आपको गाने का पता लगाने के लिए आपको धुन के "आकार" और गाने के विवरण पर निर्भर रहना होगा।

शोधकर्ताओं ने देखा कि जबकि कंप्यूटर पूर्ण क्रियाओं को पहचानने में कुशल हो रहे हैं, वे तब संघर्ष करते हैं जब वे केवल आंदोलन के शुरुआती हिस्से (early-stage part) को देखते हैं और जब वह आंदोलन कुछ बिल्कुल नया होता है। मौजूदा पद्धतियां मानती हैं कि कंप्यूटर ने पहले ही हर संभावित क्रिया को देख लिया है, जो वास्तविक दुनिया के लिए यथार्थवादी नहीं है। इसे ठीक करने के लिए, उन्होंने एक नया "बेसलाइन" मॉडल बनाया—जो भविष्य के अनुसंधान के लिए एक शुरुआती बिंदु है—जो इस पहेली को सुलझाने की कोशिश करता है।

मॉडल कैसे सोचता है: जासूस का टूलकिट

लेखकों ने एक ऐसी प्रणाली डिजाइन की है जो तीन मुख्य तरकीबों का उपयोग करने वाले एक सुपर-स्मार्ट जासूस की तरह कार्य करती है:

1. स्केलेटन मैप (GCN): किसी व्यक्ति के चेहरे या कपड़ों के वीडियो को देखने के बजाय, मॉडल 3D जोड़ों (जैसे कोहनी, घुटने और कंधे) से बने एक "स्टिक फिगर" को देखता है। वे ग्राफ कन्वोल्यूशनल नेटवर्क (GCN) नामक एक उपकरण का उपयोग करते हैं। आप इसे एक मानचित्र के रूप में समझ सकते हैं जो समझता है कि आपकी कोहनी आपके कंधे से कैसे जुड़ी है और आपका घुटना आपके कूल्हे के साथ कैसे चलता है। यह आपके शरीर के अंगों के "फैमिली ट्री" को जानता है।
2. टाइम मशीन (Transformer): चूंकि मॉडल केवल क्रिया के पहले कुछ सेकंड देखता है, इसलिए इसे यह समझने की आवश्यकता है कि गति समय के साथ कैसे बहती है। वे एक ट्रांसफॉर्मर (वही तकनीक जो चैटबॉट्स को भाषा समझने में मदद करती है) का उपयोग करते हैं ताकि गतिविधियों के क्रम को देखा जा सके। यह एक कहानी पढ़ने जैसा है जहाँ शब्दों का क्रम उतना ही महत्वपूर्ण है जितने कि स्वयं शब्द।
3. विवरण मिलान (Mutual Information): यह वह "जीरो-शॉट" जादू है। मॉडल केवल स्टिक फिगर को नहीं देखता; यह क्रिया के टेक्स्ट विवरण (जैसे "कूदना" या "नाचना") को भी पढ़ता है। मॉडल विजुअल स्टिक फिगर और टेक्स्ट विवरण के बीच "म्युचुअल इंफॉर्मेशन" को अधिकतम करने का प्रयास करता है। कल्पना कीजिए कि आप कुत्ते की एक धुंधली फोटो को "मुलायम, भौंकने वाले जानवर" के लिखित विवरण से मिलाने की कोशिश कर रहे हैं। मॉडल गति के दृश्य आकार को शब्दों के अर्थ के साथ संरेखित करना सीखता है, भले ही उसने पहले कभी उस विशिष्ट कुत्ते को न देखा हो।

इसे और भी बेहतर बनाने के लिए, मॉडल स्केलेटन को एक साथ तीन अलग-अलग तरीकों से देखता है:

• जोइंट्स (Joints): शरीर के अंग कहाँ हैं।
• बोन्स (Bones): अंगों को जोड़ने वाली रेखाएं।
• मोशन (Motion): अंगों की गति कितनी तेज है।
  इन तीनों दृश्यों को मिलाकर, मॉडल एक समृद्ध चित्र प्राप्त करता है, विशेष रूप से तब जब उसके पास काम करने के लिए समय का बहुत छोटा हिस्सा हो।

उन्होंने क्या पाया: शुरुआती अनुमान बेहतर होते हैं

टीम ने अपने मॉडल का परीक्षण एक प्रसिद्ध डेटासेट NTU RGB+D पर किया, जिसमें मानव गतिविधियों के हजारों रिकॉर्ड शामिल हैं। उन्होंने क्रियाओं को दो समूहों में विभाजित किया: वे जिन्हें मॉडल ने प्रशिक्षण के दौरान "देखा" (seen classes) और वे जिन्हें उसने कभी नहीं देखा (unseen classes)।

उन्होंने यह मापा कि मॉडल कितनी अच्छी तरह से क्रिया का अनुमान लगा सकता है जब वह वीडियो का केवल 10% से 90% देखता है। यहाँ क्या हुआ:

• शुरुआती लाभ: जब मॉडल क्रिया के बिल्कुल शुरुआती भाग (वीडियो का 10% से 30%) को देखता है, तो तीनों दृश्यों (जोइंट्स, बोन्स और मोशन) का एक साथ उपयोग करना एक बड़ी मदद साबित हुआ। इसने केवल जोइंट्स को देखने की तुलना में सटीकता को 4% तक बढ़ा दिया। यह एक ही समय में आवर्धक लेंस (magnifying glass), टॉर्च और स्पीडोमीटर होने जैसा है जब आपके पास देखने के लिए केवल एक सेकंड का समय हो।
• बाद का बदलाव: जैसे-जैसे मॉडल वीडियो का अधिक हिस्सा देखता है (40% से 90%), केवल जोइंट्स को देखना जटिल मिश्रण के समान ही अच्छा या थोड़ा बेहतर हो जाता है। यह सुझाव देता है कि पर्याप्त जानकारी मिलने के बाद, अतिरिक्त विवरण केवल शोर (noise) मात्र हो सकते हैं।
• प्रतिस्पर्धा को पछाड़ना: पिछले तरीके जिसे SMIE कहा जाता है, से तुलना करने पर, उनका नया मॉडल लगातार बेहतर अनुमान लगाता है। उदाहरण के लिए, NTU RGB+D 60 डेटासेट पर, जब केवल 10% क्रिया दिखाई दे रही थी, उनके मॉडल ने 39.62% बार सही अनुमान लगाया, जबकि पुराने तरीके ने केवल 36.50% प्राप्त किया। बड़े NTU RGB+D 120 डेटासेट पर, शुरुआत में अंतर और भी अधिक था, जहाँ उनका मॉडल 26.46% सटीकता तक पहुँचा, जबकि दूसरे तरीके की सटीकता 23.38% थी।

"अहा!" क्षण (Aha! Moments)

लेखकों ने यह देखने के लिए भी प्रयोग किए कि उनके जासूसी टूलकिट के कौन से हिस्से वास्तव में सबसे अधिक प्रभावी थे।

• पोजीशन का महत्व: उन्होंने पाया कि यदि वे "पोजीशनल एनकोडिंग" (वह हिस्सा जो मॉडल को बताता है कि कौन सा जोड़ कौन सा है और फ्रेमों का क्रम क्या है) को हटा देते हैं, तो मॉडल भ्रमित हो जाता है। यह एक ऐसी किताब पढ़ने जैसा है जहाँ शब्द आपस में मिले हुए हैं; मॉडल यह नहीं बता सका कि हाथ ऊपर जा रहा है या नीचे।
• की-फ्रेम्स (Key Frames): उन्होंने एक विशेष मॉड्यूल का भी परीक्षण किया जो सबसे महत्वपूर्ण "की-फ्रेम्स" (गति के सबसे नाटकीय क्षण) को खोजने की कोशिश करता है। जब उन्होंने इसे बंद कर दिया, तो मॉडल का प्रदर्शन गिर गया। यह साबित करता है कि मॉडल वास्तव में अपना अनुमान लगाने के लिए क्रिया के सबसे रोमांचक हिस्सों पर ध्यान केंद्रित करना सीखता है।

निष्कर्ष

यह शोध पत्र यह दावा नहीं करता है कि इसने रोबोटिक प्रत्याशा (anticipation) की समस्या को हमेशा के लिए हल कर दिया है। इसके बजाय, यह एक नया खेल का मैदान (बेंचमार्क) और एक मजबूत शुरुआती बिंदु (बेसलाइन मॉडल) तैयार करता है जिस पर अन्य लोग निर्माण कर सकें। यह दिखाता है कि शरीर की संरचना की स्मार्ट समझ, समय की गहरी समझ और चित्रों को शब्दों के साथ मिलाने के चतुर तरीके को जोड़कर, कंप्यूटर यह अनुमान लगाना शुरू कर सकते हैं कि मनुष्य आगे क्या करेंगे—उन क्रियाओं के लिए भी जिन्हें उन्होंने पहले कभी नहीं देखा है।

परिणाम बताते हैं कि यह दृष्टिकोण ऐसे रोबोट बनाने के लिए एक आशाजनक दिशा है जो वास्तविक दुनिया में हमारे साथ सुरक्षित रूप से बातचीत कर सकें, जहाँ आश्चर्य (surprises) अपरिहार्य हैं। जैसा कि लेखक कहते हैं, यह मशीनों को वास्तव में अनुकूलन योग्य बनाने के लिए एक महत्वपूर्ण अनुसंधान पथ की शुरुआत है।