FlowDance: Music-Driven Dance Video Generation with Parallel Pose and RGB Streams
यह शोध पत्र FlowDance प्रस्तुत करता है, जो एक ऐसा फ्रेमवर्क है जो मोशन और आइडेंटिटी प्रिजर्वेशन के लिए विशेष इंजेक्शन तकनीकों के साथ समानांतर पोज़ और RGB स्ट्रीम को एकीकृत करके संगीत-चालित नृत्य वीडियो उत्पन्न करता है, जिसे एक नए क्यूरेटेड हाई-रिज़ॉल्यूशन डांस डेटासेट द्वारा समर्थित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
संगीत और गति का एक लंबे समय से गहरा, अनकहा संवाद रहा है। जब कोई लय शुरू होती है, तो शरीर अक्सर मन के उस ताल को नाम देने से पहले ही प्रतिक्रिया देने लगता है। दशकों से, वैज्ञानिकों और इंजीनियरों ने कंप्यूटर को इस संबंध को समझने के लिए सिखाने की कोशिश की है, इस उम्मीद में कि वे ऐसी मशीनें बना सकें जो एक गाना देख सकें और उसके अनुरूप एक नृत्य का आविष्कार कर सकें। शुरुआती प्रयासों ने आंदोलन के केवल कंकाल (skeleton) पर ध्यान केंद्रित किया, जिससे डिजिटल स्टिक फिगर्स बनाए गए जो एक धुन के साथ कूद और घूम सकते थे। हालांकि ये प्रणालियाँ गति के बुनियादी आकार उत्पन्न कर सकती थीं, लेकिन वे प्रदर्शन करने वाले व्यक्ति को नहीं पकड़ पाती थीं। उनमें वह विशिष्ट चेहरा, अनूठे कपड़े और सूक्ष्म विवरणों की कमी थी जो एक नर्तक को रेखाओं के संग्रह के बजाय एक वास्तविक मानव जैसा दिखाते हैं। चुनौती नृत्य के अमूर्त विचार और एक विशिष्ट व्यक्ति के संगीत पर नाचने की दृश्य वास्तविकता के बीच के अंतर को पाटने की थी, और यह सब करते हुए वीडियो को शुरुआत से अंत तक सुचारू और विश्वसनीय बनाए रखना था।
शोधकर्ताओं की एक टीम ने अब 'फ्लो डांस' (FlowDance) नामक एक नई प्रणाली विकसित की है जो इस चुनौती का समाधान करने के लिए इस कार्य के बारे में कंप्यूटर के सोचने के तरीके को बदलकर करती है। इस कार्य को एक ही विशाल कदम में करने या प्रक्रिया को अलग-अलग, असंबद्ध चरणों में तोड़ने के बजाय, यह प्रणाली सूचना की दो समानांतर धाराओं (parallel streams) के साथ काम करती है जो एक साथ चलती हैं। एक धारा गति की संरचना पर ध्यान केंद्रित करती है, जो नर्तक की मुद्रा का एक सरलीकृत वीडियो बनाती है, जबकि दूसरी धारा दृश्य उपस्थिति पर ध्यान केंद्रित करती है, जो व्यक्ति का वास्तविक वीडियो तैयार करती है। ये दोनों धाराएं वीडियो बनते समय लगातार एक-दूसरे से बात करती हैं। संरचनात्मक धारा दृश्य धारा का मार्गदर्शन करती है, यह सुनिश्चित करते हुए कि व्यक्ति के अंग सही ढंग से हिलें, जबकि दृश्य धारा यह सुनिश्चित करती है कि नर्तक का चेहरा और कपड़े पूरे क्लिप के दौरान सुसंगत रहें। यह दृष्टिकोण सिस्टम को एक ऐसा वीडियो बनाने की अनुमति देता है जहाँ एक विशिष्ट व्यक्ति स्वाभाविक रूप से एक गाने पर नाचता है, जिससे उनकी पहचान और उनके पहनावे के विवरण को बिना किसी त्रुटि के सुरक्षित रखा जा सके, जो अक्सर पिछली विधियों में देखी जाती थी।
इस समस्या को हल करने के पिछले प्रयासों में अक्सर अलग-अलग उपकरणों की एक श्रृंखला पर भरोसा किया गया था। एक उपकरण शरीर के 3D आकार का अनुमान लगाता था, दूसरा उस आकार को 2D ड्राइंग में बदलने की कोशिश करता था, और तीसरा उस ड्राइंग का उपयोग करके अंतिम वीडियो को पेंट करता था। शोधकर्ताओं ने पाया कि पहले चरणों में होने वाली त्रुटियां जमा होती जाती थीं, जिससे ऐसे वीडियो बनते थे जहाँ नर्तक के अंग अचानक खिंच जाते थे, उनका शरीर आकार बदल लेता था, या उनका चेहरा विकृत हो जाता था। अन्य विधियों ने एक साथ सब कुछ करने की कोशिश की, संगीत और एक फोटो को सीधे वीडियो में मैप किया, लेकिन इससे गति अक्सर कठोर या अविश्वसनीय हो जाती थी क्योंकि कंप्यूटर को एक साथ बहुत सारी जटिल समस्याओं को हल करना पड़ता था। फ्लो डांस इन कमियों से बचने के लिए गति और छवि निर्माण को जुड़ा हुआ लेकिन अलग रखता है। यह एक पूर्व-प्रशिक्षित वीडियो मॉडल को आधार के रूप में उपयोग करता है, फिर संगीत के प्रभाव के लिए एक विशिष्ट पथ जोड़ता है, और एक अन्य पथ जो नर्तक के चेहरे और शरीर को मूल फोटो जैसा बनाए रखता है।
इस प्रणाली को प्रशिक्षित करने के लिए, शोधकर्ताओं ने इंटरनेट से नृत्य वीडियो का एक बड़ा संग्रह बनाया, जिसमें उच्च गुणवत्ता वाले और एक अकेले व्यक्ति के नाचने वाले क्लिप्स को सावधानीपूर्वक चुना गया। उन्होंने 165,000 से अधिक छोटे क्लिप एकत्र किए, जिनमें से प्रत्येक पांच सेकंड का था, और उनमें विस्तृत लेबल जोड़े। प्रत्येक वीडियो के लिए, उन्होंने संगीत, नर्तक की तीन आयामों (3D) में गतिविधियाँ, कैमरा एंगल और जोड़ों (joints) की 2D स्थिति रिकॉर्ड की। इस डेटासेट को, जिसे उन्होंने 'फ्लो डांस सेट' (FlowDanceSet) नाम दिया, कंप्यूटर को संगीत की लय और मानव शरीर के नाचने के विशिष्ट तरीके के बीच के संबंध को सीखने में मदद की, जबकि यह भी देखा कि एक वास्तविक व्यक्ति इसे करते समय कैसा दिखता है। इसके बाद सिस्टम का परीक्षण नए गानों और नए नर्तकों पर किया गया जिन्हें उसने पहले कभी नहीं देखा था। परिणामों ने दिखाया कि फ्लो डांस ने अन्य वर्तमान विधियों की तुलना में अधिक सुचारू और यथार्थवादी वीडियो बनाए। अन्य प्रणालियों द्वारा बनाए गए वीडियो के साथ तुलना करने वाले परीक्षणों में, मानव पर्यवेक्षकों ने लगातार फ्लो डांस द्वारा बनाए गए वीडियो को पसंद किया, यह नोट करते हुए कि नर्तक अधिक स्वाभाविक दिख रहे थे, गतिविधियाँ अधिक तरल थीं, और संगीत तथा गति के बीच का संबंध अधिक मजबूत था।
इस प्रणाली ने लंबे वीडियो को बिना नर्तक की पहचान खोए संभालने का एक तरीका भी पेश किया। जैसे-जैसे वीडियो लंबा होता जाता है, कंप्यूटर अक्सर यह याद रखने में संघर्ष करते हैं कि व्यक्ति पहले फ्रेम में कैसा दिखता था, जिससे एक 'ड्रिफ्ट' (drift) होता है जहाँ चेहरा या कपड़े समय के साथ थोड़े बदल जाते हैं। फ्लो डांस इसे निर्माण प्रक्रिया के दौरान विभिन्न बिंदुओं पर नर्तक की मूल फोटो को बार-बार सिस्टम में फीड करके हल करता है। यह दृश्य विवरणों को स्थिर रखता है, जिससे सिस्टम कई सेकंड तक चलने वाले अनुक्रम (sequences) उत्पन्न करने में सक्षम होता है जबकि एक सुसंगत उपस्थिति बनाए रखता है। शोधकर्ताओं ने पाया कि इस विधि ने, समानांतर धाराओं के साथ मिलकर, उन्हें ऐसे वीडियो बनाने की अनुमति दी जहाँ नर्तक के कपड़े, शरीर का आकार और चेहरे की विशेषताएं जटिल और ऊर्जावान मूव्स करते समय भी स्थिर रहीं। यह कार्य यह प्रदर्शित करता है कि गति की योजना बनाने के कार्य को छवि बनाने के कार्य से अलग रखकर, लेकिन उन्हें निरंतर संचार में रखते हुए, ऐसे नृत्य वीडियो बनाना संभव है जो संरचनात्मक रूप से सटीक और दृश्य रूप से सम्मोहक दोनों हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।