Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining

कंप्यूटर विजन की दुनिया में, मशीनों को मानव गति को समझने के लिए सिखाना एक मौलिक चुनौती है जिसके रोबोटिक्स, सुरक्षा और स्वचालित निगरानी के लिए गहरे निहितार्थ हैं। दशकों से, शोधकर्ता इस पहेली को सुलझाने के लिए दो मुख्य रणनीतियों पर निर्भर रहे हैं। पहली रणनीति पूरे दृश्य को देखती है, जो क्या हो रहा है इसका अनुमान लगाने के लिए रंगों, प्रकाश और पृष्ठभूमि का विश्लेषण करती है। दूसरी रणनीति दृश्य को पूरी तरह से अनदेखा कर देती है, और केवल व्यक्ति के चलते हुए कंकाल (स्केलेटन) पर ध्यान केंद्रित करती है—जो जोड़ों और अंगों की विशिष्ट व्यवस्था है। हालांकि पहला दृष्टिकोण सहज है, लेकिन यह अक्सर पृष्ठभूमि बदलने या खराब रोशनी होने पर विफल हो जाता है। दूसरा दृष्टिकोण, जो कंकाल को ट्रैक करता है, इन पर्यावरणीय बदलावों के प्रति कहीं अधिक मजबूत है, लेकिन ऐतिहासिक रूप से इसे एक अलग समस्या का सामना करना पड़ा है: इसे सिखाने के लिए अत्यधिक मानवीय श्रम की आवश्यकता होती है। किसी विशिष्ट क्रिया को पहचानने के लिए कंप्यूटर को प्रशिक्षित करने के लिए, शोधकर्ताओं को पारंपरिक रूप से हजारों वीडियो के प्रत्येक फ्रेम में हर व्यक्ति के चारों ओर सावधानीपूर्वक बॉक्स बनाने पड़ते थे और बिल्कुल क्या हो रहा है उसे लेबल करना पड़ता था। यह प्रक्रिया इतनी महंगी और समय लेने वाली है कि यह कंप्यूटर को नई क्रियाएं तेजी से सिखाने की क्षमता को सीमित करती है।

शोधकर्ताओं की एक टीम ने अब एक ऐसी नई विधि विकसित की है जो इस भारी मैन्युअल लेबलिंग के बोझ को कम करती है, जिससे कंप्यूटर बिना किसी उदाहरण को देखे ही नई क्रियाओं को पहचानना सीख सकता है। उनका दृष्टिकोण, जो एक हालिया अध्ययन में विस्तृत है, एक ऐसी प्रणाली पेश करता है जो फ्रेम-दर-फ्रेम एनोटेशन के बजाय व्यापक, सामान्य वीडियो विवरणों से सीखती है। इस पर यह बताने के बजाय कि "यह व्यक्ति ठीक इसी सेकंड में पंच मार रहा है," सिस्टम को पूरी वीडियो क्लिप्स पर प्रशिक्षित किया जाता है जिसमें सामान्य गतिविधि का वर्णन करने वाले सरल टेक्स्ट लेबल होते हैं, जैसे कि "गोल्फ खेलना" या "ड्राइविंग करना।" मानव कंकाल के डेटा को क्रियाओं के टेक्स्ट विवरणों के साथ संरेखित करके, यह प्रणाली गति की एक सार्वभौमिक भाषा सीखती है। प्रशिक्षित होने के बाद, यह किसी ऐसे वीडियो को देख सकती है जिसमें लोग ऐसी क्रिया कर रहे हैं जिसे उसने पहले कभी नहीं देखा है और सटीक रूप से पहचान सकती है कि कौन क्या कर रहा है। शोधकर्ताओं ने प्रदर्शित किया कि यह विधि न केवल उन प्रणालियों की सटीकता से मेल खाती है जिन्हें विस्तृत लेबल के विशाल मात्रा के साथ प्रशिक्षित किया गया है, बल्कि यह खराब वीडियो गुणवत्ता या अव्यवस्थित पृष्ठभूमि वाले वीडियो में भी काफी अधिक लचीली साबित होती है।

इस नवाचार का मूल सूचना को संसाधित करने के तरीके में एक चतुर बदलाव में निहित है, जिसे लेखक 'स्केलेटन-लैंग्वेज फीचर पूलिंग स्विचिंग' (Skeleton-Language feature Pooling Switching) कहते हैं। कल्पना कीजिए कि एक प्रणाली पहले बातचीत के सारांश को सुनकर कमरे के सामान्य मूड को समझने के लिए सीखती है, और फिर, किसी विशिष्ट वक्ता की पहचान करने के लिए पूछे जाने पर, अपना ध्यान व्यक्तिगत आवाजों को सुनने पर केंद्रित करती है। प्रशिक्षण चरण में, कंप्यूटर एक वीडियो देखता है और क्लिप में मौजूद सभी लोगों के कंकाल डेटा को एक एकल सारांश में एकत्र करता है। फिर यह इस सारांश की तुलना पूरी वीडियो के लिए दिए गए टेक्स्ट लेबल से करता है। यह सिस्टम को यह सीखने की अनुमति देता है कि किस प्रकार की गति और शब्द के बीच संबंध है, बिना यह जाने कि वास्तव में कौन हिल रहा है या कब। हालांकि, जब सिस्टम परीक्षण चरण में जाता है, तो यह अपना तरीका बदल देता है। यह वीडियो को एक समग्र रूप में देखना बंद कर देता है और इसके बजाय प्रत्येक व्यक्ति के कंकाल को अलग करता है। चूंकि इसने प्रशिक्षण चरण के दौरान गति के पैटर्न और शब्दों के बीच संबंध को पहले ही सीख लिया है, इसलिए यह अब एक अकेले व्यक्ति के कंकाल को देख सकता है और पूछ सकता है, "क्या यह 'पंच मारने' के टेक्स्ट विवरण जैसा दिखता है?" यह स्विच सिस्टम को उन विशिष्ट लोगों के लिए विशिष्ट क्रियाओं को सटीक रूप से पहचानने की अनुमति देता है, जिन्हें कभी भी उन विशिष्ट लोगों के लेबल वाले वीडियो दिखाए गए हों।

जटिल दृश्यों में काम करने के लिए जहाँ एक साथ कई लोग हिल रहे हों, शोधकर्ताओं को एक पेचीदा समस्या को हल करना पड़ा: कंप्यूटर को यह कैसे सिखाया जाए कि वह अलग-अलग लोगों के बीच अंतर कर सके जब उसे केवल एक पूरे वीडियो के लिए एक ही लेबल दिया गया हो। यदि एक वीडियो में एक व्यक्ति दौड़ रहा है और दूसरा चल रहा है, और लेबल केवल "व्यायाम" है, तो कंप्यूटर भ्रमित हो सकता है कि कौन सी गति किस लेबल से संबंधित है। इसे ठीक करने के लिए, टीम ने 'सीन-मिक्सड डिस्क्रिमिनेटिव कॉन्ट्रास्टिव लर्निंग' (Scene-Mixed Discriminative Contrastive Learning) नामक एक तकनीक पेश की। यह विधि प्रशिक्षण के दौरान विभिन्न वीडियो के अंशों (snippets) को लेकर उन्हें कृत्रिम रूप से आपस में मिला देती है। एक अराजक वातावरण बनाकर जहाँ कई क्रियाएं एक साथ होती हैं, सिस्टम को उनके बीच सूक्ष्म अंतर सीखने के लिए मजबूर किया जाता है। यह सीखता है कि एक दौड़ते हुए व्यक्ति की गति, कूदते हुए व्यक्ति की गति से अलग है, भले ही वे एक ही मिश्रित संदर्भ में दिखाई दे रहे हों। यह सुनिश्चित करता है कि जब सिस्टम वास्तविक वीडियो का सामना करता है जिसमें कई लोग होते हैं, तो वह आत्मविश्वास के साथ सही व्यक्ति को सही क्रिया सौंप सकता है।

इस दृष्टिकोण के परिणामों का परीक्षण वीडियो में क्रियाओं को खोजने और लेबल करने की क्षमता का मूल्यांकन करने के लिए उपयोग किए जाने वाले कई मानक डेटासेट्स पर किया गया। चौबीस अलग-अलग क्रियाओं वाले एक डेटासेट पर, इस नई विधि ने 34.1 प्रतिशत की सटीकता प्राप्त की, जो कम परिष्कृत प्रशिक्षण पर निर्भर पिछले कमजोर-पर्यवेक्षित (weakly-supervised) तरीकों से बेहतर प्रदर्शन करती है। इससे भी अधिक प्रभावशाली बात यह है कि गिरते हुए लोगों को ट्रैक करने के लिए विशेष रूप से डिज़ाइन किए गए डेटासेट पर परीक्षण करते समय, इस नए सिस्टम ने 73.3 प्रतिशत की सटीकता प्राप्त की, जो समय के साथ लोगों की स्थिति को ट्रैक करने वाले मौजूदा तरीकों को काफी पीछे छोड़ देती है। शोधकर्ताओं ने यह भी पाया कि उनका सिस्टम खराब वीडियो गुणवत्ता के प्रति बहुत अधिक मजबूत है। जब इनपुट वीडियो धुंधले थे या उनमें फ्रेम गायब थे, तो दृश्य उपस्थिति (visual appearance) पर निर्भर करने वाले सिस्टम का प्रदर्शन तेजी से गिरा, जबकि कंकाल-आधारित सिस्टम ने अपनी उच्च सटीकता बनाए रखी। यह सुझाव देता है कि दृश्य के रूप में शरीर की संरचना पर ध्यान केंद्रित करके, सिस्टम वास्तविक दुनिया की स्थितियों में विश्वसनीय रूप से कार्य कर सकता है जहाँ कैमरे हिल सकते हैं या रोशनी कम हो सकती है।

एक अन्य महत्वपूर्ण निष्कर्ष सिस्टम की दक्षता था। जबकि कई आधुनिक आर्टिफिशियल इंटेलिजेंस मॉडल जो वीडियो और टेक्स्ट को समझ सकते हैं, उन्हें चलाने के लिए अरबों पैरामीटर्स और विशाल कंप्यूटिंग शक्ति की आवश्यकता होती है, यह नया तरीका लगभग 70 मिलियन पैरामीटर्स वाले मॉडल के साथ काम करता है। बहुत छोटा होने के बावजूद, इसने हिंसक क्रियाओं के एक डेटासेट पर 84.0 प्रतिशत की सटीकता प्राप्त की, जो बहुत बड़े और जटिल मॉडलों से भी बेहतर है। इसके अलावा, सिस्टम अविश्वसनीय रूप से तेज़ है, जो लगभग 1900 फ्रेम प्रति सेकंड की दर से वीडियो को प्रोसेस करता है, जो समान कार्यों के लिए उपयोग किए जाने वाले कुछ बड़े लैंग्वेज मॉडल्स की तुलना में लगभग 240 गुना तेज़ है। उच्च सटीकता, कम कंप्यूटिंग लागत और बिना महंगे रिट्रेनिंग के नई क्रियाओं को सीखने की क्षमता का यह संयोजन, बुद्धिमान निगरानी और रोबोटिक सिस्टम को तैनात करने के लिए एक व्यावहारिक मार्ग का सुझाव देता है जो बिना डेटा लेबलिंग में हफ्तों बिताए गए मानव दल की आवश्यकता के, नई स्थितियों के अनुकूल हो सकें।

अध्ययन यह निष्कर्ष निकालता है कि महंगे, फ्रेम-दर-फ्रेम लेबलिंग से हटकर एक अधिक लचीली, टेक्स्ट-गाइडेड लर्निंग प्रक्रिया पर ध्यान केंद्रित करके, यह संभव है कि ऐसे सिस्टम बनाए जाएं जो मानव क्रियाओं को समझने के स्तर की समझ रखें जो पहले केवल भारी पर्यवेक्षित (heavily supervised) मॉडलों तक ही सीमित थी। शोधकर्ताओं ने दिखाया है कि कंप्यूटर को अनदेखी क्रियाओं को पहचानने के लिए प्रशिक्षित करना संभव है, यदि उसे किसी विशिष्ट घटना के हर संभावित बदलाव को याद करने के बजाय, शारीरिक गतिविधियों और भाषा के बीच के संबंध को सिखाया जाए। यह दृष्टिकोण न केवल नए एक्शन रिकग्निशन सिस्टम विकसित करने की लागत और समय को कम करता है, बल्कि ऐसे मॉडल भी बनाता है जो वास्तविक दुनिया की अव्यवस्थित और अप्रत्याशित प्रकृति के प्रति अधिक मजबूत और अनुकूलनीय हैं। जैसे-जैसे यह तकनीक परिपक्व होगी, यह सुरक्षा की निगरानी करने, खेल विश्लेषण में सहायता करने या रोबोट को निर्देशित करने वाले अनुप्रयोगों की एक नई पीढ़ी को सक्षम कर सकती है, और वह भी मैनुअल डेटा एनोटेशन की निषेधात्मक लागत के बिना, जो लंबे समय से इस क्षेत्र में एक बाधा रही है।