Robust Motion Generation using Part-level Reliable Data from Videos
यह शोध पत्र एक सुदृढ़ पार्ट-अवेयर मास्कड ऑटोरेग्रेशन मॉडल का प्रस्ताव करके वीडियो-आधारित मोशन डेटा में ऑक्लूजन (occlusions) और ऑफ-स्क्रीन कैप्चर की चुनौती को संबोधित करता है जो उच्च गुणवत्ता वाले मानव मोशन को उत्पन्न करने के लिए केवल विश्वसनीय पार्ट-लेवल जानकारी का लाभ उठाता है, जिसके साथ K700-M नामक एक नए बड़े पैमाने के बेंचमार्क का परिचय भी दिया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को केवल एक वाक्य पढ़कर एक डिजिटल इंसान को हिलाना सिखाने की कोशिश कर रहे हैं। आप टाइप कर सकते हैं, "व्यक्ति नाच रहा है," और उम्मीद कर सकते हैं कि स्क्रीन पर एक सहज, वास्तविक प्रदर्शन दिखाई देगा। यह क्षेत्र, जिसे टेक्स्ट-टू-मोशन जनरेशन (text-to-motion generation) कहा जाता है, ने उल्लेखनीय प्रगति की है, लेकिन यह एक दीवार से टकरा गया है। अब तक के सबसे अच्छे परिणाम तब आते हैं जब कंप्यूटर को वास्तविक लोगों के हिलने-डुलने की विशेष, उच्च-गुणवत्ता वाली रिकॉर्डिंग पर प्रशिक्षित किया जाता है, जिन्हें नियंत्रित स्टूडियो में महंगे सेंसरों के साथ कैप्चर किया जाता है। हालांकि ये रिकॉर्डिंग उत्तम होती हैं, लेकिन ये दुर्लभ हैं, विविधता में सीमित हैं, और अक्सर उन जटिल तरीकों को छोड़ देती हैं जिनसे लोग वास्तव में वास्तविक दुनिया में चलते-फिरते हैं। इस बाधा को तोड़ने के लिए, शोधकर्ताओं ने इंटरनेट की ओर रुख किया है, इस उम्मीद में कि वे ऑनलाइन उपलब्ध अरबों साधारण वीडियो से सीख सकें। विचार सरल है: यदि एक कंप्यूटर वेब के विशाल पुस्तकालय से सीख सकता है, तो वह क्रियाओं की बहुत व्यापक श्रेणी को समझ सकता है। लेकिन एक पेंच है। जब एक कंप्यूटर यह समझने की कोशिश करता है कि एक सामान्य वीडियो में व्यक्ति कैसे हिल रहा है, तो वह अक्सर पूरे शरीर को नहीं देख पाता है। एक व्यक्ति पेड़ के पीछे आंशिक रूप रूप से छिपा हो सकता है, कैमरे के फ्रेम के किनारे से कट गया हो, या दूसरे व्यक्ति द्वारा अवरुद्ध हो सकता है। इन क्षणों में, कंप्यूटर को यह अनुमान लगाना पड़ता है कि गायब अंग कहाँ हैं।
यह अनुमान सीखने की एक मौलिक समस्या पैदा करता है। यदि कंप्यूटर को एक ऐसा वीडियो दिखाया जाता है जहाँ केवल ऊपरी शरीर दिखाई दे रहा है, और उसे अदृश्य पैरों सहित एक पूर्ण-शरीर के अनुमान से सीखने के लिए मजबूर किया जाता है, तो वह गलत चीजें सीख सकता है। वह यह मानने लग सकता है कि अदृश्य पैर वास्तविक साक्ष्य हैं, न कि केवल एक अनुमान। लंबे समय तक, शोधकर्ताओं को एक कठिन विकल्प का सामना करना पड़ा: या तो हर उस वीडियो क्लिप को फेंक दें जो पूरी तरह से स्पष्ट नहीं थी, जिससे अधिकांश डेटा का नुकसान होता, या उन सभी क्लिप्स को रखें और उम्मीद करें कि कंप्यूटर गलत अनुमानों को अनदेखा कर देगा। दोनों दृष्टिकोणों में गंभीर खामियां थीं। क्लिप्स को फेंकने का मतलब था विशिष्ट गतिविधियों के बारे में मूल्यवान जानकारी खो देना, जैसे कि कोई व्यक्ति बैठते समय अपने हाथों को कैसे हिलाता है। सब कुछ रखने का मतलब था कंप्यूटर को गलत जानकारी के साथ सिखाना। शोधकर्ताओं की एक टीम ने डेटा को देखने का तरीका बदलकर इस समस्या को हल करने का एक तरीका खोज लिया है। पूरे वीडियो क्लिप को या तो अच्छा या बुरा मानने के बजाय, उन्होंने कंप्यूटर को शरीर के हिस्से-दर-हिस्से में देखना सिखाया।
शोधकर्ताओं ने एक नया सिस्टम विकसित किया है जो एक सावधान संपादक की तरह कार्य करता है। जब सिस्टम किसी वीडियो का विश्लेषण करता है, तो वह पहले यह जांचता है कि शरीर के कौन से हिस्से वास्तव में दिखाई दे रहे हैं और कौन से हिस्से छिपे हुए हैं। यदि किसी व्यक्ति के पैर मेज के पीछे छिपे हैं, तो सिस्टम जानता है कि हाथों और धड़ की गति पर भरोसा करना है लेकिन पैरों के बारे में कंप्यूटर के अनुमान को अनदेखा करना है। यह दृश्य भागों को ठोस तथ्यों के रूप में और छिपे हुए भागों को बाद में भरने के लिए खाली स्थानों के रूप में मानता है। यह दृष्टिकोण सिस्टम को उन हजारों वीडियो से सीखने की अनुमति देता है जिन्हें पहले उपयोग करने के लिए बहुत अव्यवस्थित माना जाता था। शरीर के केवल उन हिस्सों पर ध्यान केंद्रित करके जिन्हें कैमरा वास्तव में देखता है, सिस्टम गति की एक विश्वसनीय समझ बनाता है और अपने ही अनुमानों से भ्रमित हुए बिना सीखता है। यह पक्ष को देखकर पक्षी को पहचानने जैसा है जब पूंछ छिपी हुई हो, बजाय इसके कि पूरे पक्षी के चित्र को याद करने की कोशिश की जाए जिसमें एक बनावटी पूंछ शामिल हो।
इस विचार का परीक्षण करने के लिए, टीम ने इंटरनेट से डेटा का एक विशाल नया संग्रह बनाया, जिसमें वीडियो क्लिप्स और टेक्स्ट विवरणों के लगभग दो लाख जोड़े शामिल हैं। उन्होंने इन क्लिप्स का विश्लेषण किया और पाया कि तीन-चौथाई से अधिक फ्रेम में, शरीर का कम से कम एक हिस्सा पूरी तरह से दिखाई नहीं दे रहा था। इसने पुष्टि की कि गायब जानकारी की समस्या दुर्लभ नहीं है; यह वेब वीडियो के लिए सामान्य बात है। इस डेटासेट का उपयोग करके, उन्होंने अपने नए सिस्टम को प्रशिक्षित किया और इसकी तुलना पुराने तरीकों से की, जो या तो अव्यवस्थित क्लिप्स को फेंक देते थे या बिना फ़िल्टर किए उन सभी से सीखने की कोशिश करते थे। परिणाम स्पष्ट थे। नया सिस्टम, जो ध्यान देता है कि कौन से हिस्से दृश्यमान हैं, पुराने तरीकों की तुलना में बहुत अधिक सटीक और यथार्थवादी गति उत्पन्न करता है। यह ऐसी गतियां उत्पन्न करने में सक्षम था जो न केवल टेक्स्ट विवरण के प्रति अधिक वफादार थीं बल्कि अधिक सहज और स्वाभाविक भी थीं।
अध्ययन ने दिखाया कि अव्यवस्थित क्लिप्स को रखना और कंप्यूटर को अदृश्य हिस्सों को अनदेखा करना सिखाना, क्लिप्स को फेंक देने से कहीं बेहतर था। जब शोधकर्ताओं ने अपने सिस्टम का परीक्षण दो लाख क्लिप्स के बड़े समूह पर किया, तो इसने मौजूदा सर्वोत्तम तरीकों को काफी पीछे छोड़ दिया। पुराने तरीके जो सारा डेटा रखते थे, उन्होंने कई गलतियाँ कीं क्योंकि उन्होंने अदृश्य हिस्सों से सीखने की कोशिश की, जबकि जो तरीके खराब डेटा को फेंक देते थे, उन्होंने बहुत अधिक विविधता खो दी। नया सिस्टम बड़े डेटासेट की विविधता को बनाए रखते हुए गलतियों से बच गया। उसने सीखा कि एक व्यक्ति जो बैठकर ड्रम बजा रहा है, उसके पैर छिपे हो सकते हैं, लेकिन उसके हाथ की हरकतें अभी भी वास्तविक और सीखने के लिए उपयोगी हैं। विश्वसनीय हिस्सों पर ध्यान केंद्रित करके, सिस्टम लापता हिस्सों से गुमराह हुए बिना गति की एक पूर्ण तस्वीर बनाने में सक्षम हुआ।
यह कार्य हमें अपूर्ण डेटा का उपयोग करके कंप्यूटर को भौतिक दुनिया के बारे में सिखाने का एक नया तरीका सुझाता है। यह दिखाता है कि हमें मशीन को हिलना सिखाने के लिए स्टूडियो-गुणवत्ता वाले पूर्ण रिकॉर्डिंग की आवश्यकता नहीं है। इसके बजाय, हम इंटरनेट से वीडियो के विशाल, अव्यवस्थित संग्रह का उपयोग कर सकते हैं यदि हम मशीन को यह सिखाएं कि वह किस पर भरोसा करे। सिस्टम को यह समझने के लिए कि व्यक्ति कैसे हिलता है, पूरे शरीर को देखने की आवश्यकता नहीं है; उसे बस क्रिया को समझने के लिए शरीर के पर्याप्त हिस्से को देखने की आवश्यकता है। यह दृष्टिकोण भविष्य में बहुत बड़े और अधिक सक्षम सिस्टम को प्रशिक्षित करने का द्वार खोलता है, जो मानव व्यवहार की एक विस्तृत श्रृंखला को समझने में सक्षम होंगे। शोधकर्ताओं ने पाया कि कैमरा क्या देख सकता है उसकी सीमाओं का सम्मान करके, कंप्यूटर कम नहीं, बल्कि अधिक सीख सकता है। पूर्ण डेटा की मांग करने से लेकर आंशिक साक्ष्य से सीखने की ओर यह बदलाव, मशीनों को मानव गति को समझने के लिए सिखाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।