GCDance: Genre-Controlled Music-Driven 3D Full Body Dance Generation
GDance एक डिफ्यूजन-आधारित फ्रेमवर्क है जो एक नवीन नियंत्रण तंत्र और मल्टी-टास्क ऑप्टिमाइज़ेशन रणनीति के माध्यम से संगीत और टेक्स्ट प्रॉम्प्ट्स को एकीकृत करके शैली-नियंत्रित 3D फुल-बॉडी डांस सीक्वेंस उत्पन्न करता है, जिससे कोरियोग्राफी, लय और शैलीगत गुणों के बीच उत्कृष्ट संरेखण प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आप अपने पसंदीदा गाने को 'प्ले' कर सकें, और एक डिजिटल नर्तक तुरंत जीवंत हो उठे, ताल के साथ बिल्कुल सटीक रूप से थिरकता हुआ। यह केवल एक रोबोट को हाथ हिलाने के लिए कहने के बारे में नहीं है; यह नृत्य की आत्मा को पकड़ने के बारे में है। कंप्यूटर ग्राफिक्स और आर्टिफिशियल इंटेलिजेंस के क्षेत्र में, शोधकर्ता कंप्यूटर को कोरियोग्राफी करना सिखाने की कोशिश कर रहे हैं। चुनौती पेचीदा है: एक कंप्यूटर को एक साथ दो बहुत अलग चीजों को समझने की आवश्यकता होती है। पहला, उसे संगीत सुनना होगा, लय और "ग्रूव" को महसूस करना होगा। दूसरा, उसे शैली (स्टाइल) को समझना होगा। एक जैज़ डांस पूरी तरह से हिप-हॉप ब्रेकडांस से अलग महसूस होता है, भले ही संगीत का टेम्पो (गति) समान हो। इस कार्य के पिछले प्रयास एक ऐसे डीजे की तरह थे जो केवल संगीत की एक ही शैली जानता हो; वे नर्तक को हिला तो सकते थे, लेकिन शैली अक्सर साधारण लगती थी या एक ही लूप में फंस जाती थी। बड़ा सवाल यह है: क्या हम एक ऐसा एआई बना सकते हैं जो केवल बीट पर न चले, बल्कि वास्तव में एक विशिष्ट शैली में नाचे, ठीक वैसे ही जैसे एक मानव कोरियोग्राफर करता है?
यहाँ GCDance आता है, जो शोधकर्ताओं की एक टीम द्वारा बनाया गया एक नया आविष्कार है जो एक सुपर-पावर्ड डांस डायरेक्टर की तरह काम करता है। इसे एक जादू के डिब्बे की तरह समझें जहाँ आप एक गाना और एक सरल टेक्स्ट निर्देश डालते हैं, जैसे "जैज़" या "एक सुंदर, घूमता हुआ नृत्य," और बाहर एक पूर्ण-शरीर वाले नर्तक का 3D वीडियो निकलता है जो बिल्कुल उसी शैली में प्रदर्शन कर रहा हो। इससे पहले, अधिकांश एआई डांस जनरेटर एक ऐसे चित्रकार की तरह थे जो केवल तीन रंग मिला सकते थे; वे एक नृत्य तो बना सकते थे, लेकिन वे "ब्रेकिंग" या "कोरियन पॉप" जैसी अलग-अलग शैलियों के बीच बिना भ्रमित हुए आसानी से स्विच नहीं कर सकते थे। GCDance एक "डिफ्यूजन" प्रक्रिया का उपयोग करके खेल बदल देता है। आप इसकी कल्पना एक मूर्तिकार के रूप में कर सकते हैं जो शोर (नॉइज़) से भरे मिट्टी के ब्लॉक से शुरुआत करता है और एक आदर्श मूर्ति उभरने तक धीरे-धीरे शोर को हटाता जाता है। इस मामले में, "शोर" यादृच्छिक (रैंडम) गति है, और "मूर्तिकार" एआई है, जो संगीत और आपके टेक्स्ट प्रॉम्प्ट का उपयोग करके एक सुचारू, वास्तविक नृत्य को तराशता है।
पेपर में पाया गया है कि एक स्मार्ट संगीत श्रोता और एक टेक्स्ट अनुवादक को जोड़कर, GCDance ऐसे नृत्य उत्पन्न कर सकता है जो न केवल शारीरिक रूप रूप से यथार्थवादी हैं (पैर फर्श पर सही ढंग से टिकते हैं, और जोड़ असंभव तरीके से नहीं मुड़ते) बल्कि शैलीगत रूप से भी सटीक हैं। शोधकर्ताओं ने अपने मॉडल का परीक्षण नृत्य डेटा के दो बड़े संग्रहों पर किया, एक जिसमें 16 विभिन्न शैलियाँ थीं और दूसरा जिसमें 10 थीं। उन्होंने पाया कि GCDance ने ऐसे नृत्य बनाए जो पिछले तरीकों की तुलना में बहुत अधिक स्वाभाविक और विविध थे। उदाहरण के लिए, जब उन्होंने एआई को एक ही गाने पर अलग-अलग स्टाइल लेबल के साथ नाचने के लिए कहा, तो इसने "पॉपिंग" के लिए एक तीखा, पॉपिंग रूटीन और "दाई" लोक नृत्य के लिए एक तरल, लहराता हुआ रूटीन सफलतापूर्वक बनाया। सिस्टम एक विशेष "मल्टी-टास्क" प्रशिक्षण पद्धति का भी उपयोग करता है, जो एक साथ पांच अलग-अलग परीक्षाओं के लिए अध्ययन करने वाले छात्र की तरह है; केवल एक चीज़ में परफेक्ट होने के बजाय, यह लयबद्ध होने, शारीरिक रूप से संभव होने और सही शैली दिखने के बीच संतुलन बनाना सीखता है।
इसकी सबसे शानदार विशेषताओं में से एक यह है कि आपको नृत्य की तकनीकी शैली जानने की भी आवश्यकता नहीं है। आप "शांति और सद्भाव का एक नृत्य" जैसा विवरण टाइप कर सकते हैं, और सिस्टम शैली को समझ लेता है और चालें बनाता है। शोधकर्ताओं ने यह भी दिखाया कि एआई लंबे गानों को छोटे डांस क्लिप्स को सहजता से जोड़कर संभाल सकता है, जिससे नर्तक कुछ सेकंड के बाद फ्रीज या ग्लिच नहीं होता है। परीक्षणों में, लोगों ने GCDance द्वारा बनाए गए नृत्यों को अन्य शीर्ष विधियों की तुलना में पसंद किया, अक्सर इसलिए क्योंकि वे अधिक जीवंत और संगीत के साथ बेहतर मेल खाते हुए महसूस हुए। हालांकि पेपर में उल्लेख है कि वर्तमान में सिस्टम व्यापक शैलियों पर केंद्रित है और अभी भी "बाएं हाथ की छोटी उंगली यहाँ घुमाओ" जैसे सूक्ष्म विवरणों को संपादित नहीं कर सकता है, फिर भी यह एक ऐसा नियंत्रण योग्य और जीवंत एआई कोरियोग्राफी बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।