Motion-Aware Multimodal Music Recommendation from Human Dance Dynamics

द दशकों से, कंप्यूटर लोगों को संगीत सुझाने के लिए इस बात पर निर्भर करते आए हैं कि वे लोग क्या कहते हैं कि उन्हें क्या पसंद है। एल्गोरिदम आपके सुनने के इतिहास, आपके द्वारा उच्च रेटिंग दिए गए गीतों, या आपके द्वारा बनाई गई प्लेलिस्ट को देखते हैं, और आपके पिछले विकल्पों के आधार पर आपके अगले पसंदीदा ट्रैक का अनुमान लगाने की कोशिश करते हैं। हालांकि यह तरीका कई लोगों के लिए अच्छा काम करता है, लेकिन यह मानव अनुभव के एक मौलिक हिस्से को छोड़ देता है: शरीर। संगीत और गति मानव संस्कृति में गहराई से जुड़े हुए हैं; हम लय और ताल के जवाब में स्वाभाविक रूप से अपने पैर थपथपाते हैं, झूमते हैं, या अपने पूरे शरीर को हिलाते हैं। फिर भी, मानक अनुशंसा प्रणाली (recommendation systems) शायद ही कभी इस शारीरिक प्रतिक्रिया पर विचार करती है। वे संगीत को केवल सुनने वाली चीज़ के रूप में देखते हैं, न कि गति के माध्यम से महसूस करने और व्यक्त करने वाली चीज़ के रूप में। यह अंतर एक प्रश्न अनुत्तरित छोड़ देता है: क्या एक कंप्यूटर यह सीख सकता है कि यह जानने के बजाय कि कोई व्यक्ति क्या सुनना चाहता है, यह देखकर संगीत की सिफारिश कैसे की जाए कि वह कैसे हिलता-डुलता है?

शोधकर्ताओं की एक टीम ने नृत्य वीडियो देखकर सही संगीत सुझाने वाला एक सिस्टम बनाने की इस संभावना को तलाशने के लिए एक अध्ययन किया। उनका काम इस बात पर केंद्रित है कि जिस तरह से कोई व्यक्ति अपने शरीर को हिलाता है और उस गति के साथ चलने वाले गीत के संगीत गुणों के बीच क्या संबंध है। उपयोगकर्ता की स्पष्ट प्रतिक्रिया या पिछले रेटिंग के डेटाबेस पर निर्भर रहने के बजाय, यह प्रणाली नृत्य प्रदर्शन की भौतिक गतिशीलता का विश्लेषण करती है। यह समय के साथ नर्तक के जोड़ों की स्थिति और संगीत की ऑडियो विशेषताओं को देखती है ताकि उन पैटर्न को खोजा जा सके जो विशिष्ट प्रकार की गति को विशिष्ट प्रकार की ध्वनि से जोड़ते हैं। इसका लक्ष्य यह देखना था कि क्या एक कंप्यूटर किसी नृत्य शैली को उसके आदर्श संगीत साथी से मिलाने के लिए सीख सकता है, जो कि आमतौर पर गाने के लिए नृत्य खोजने की प्रक्रिया को उलट देता है।

इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने पांच अलग-अलग शैलियों का प्रतिनिधित्व करने वाले नृत्य वीडियो का एक संग्रह एकत्र किया: बैले (ballet), हिप-हॉप (hip-hop), साल्सा (salsa), समकालीन (contemporary), और टैप (tap)। उन्होंने स्वयं नए नर्तकों को फिल्माया नहीं; इसके बजाय, उन्होंने इंटरनेट से सार्वजनिक रूप से उपलब्ध वीडियो का उपयोग किया, जिसमें सावधानीपूर्वक ऐसे क्लिप चुने गए जो नर्तकों को सामने से बिना किसी बाधा के स्पष्ट रूप से दिखाते हों। इन वीडियो से, उन्होंने दो प्रकार की जानकारी निकाली। सबसे पहले, उन्होंने नर्तक के शरीर का मानचित्र बनाने के लिए एक कंप्यूटर विजन टूल का उपयोग किया, जिसमें हर फ्रेम में कोहनियों, घुटनों और कंधों जैसे तैंतीस प्रमुख बिंदुओं (key points) की पहचान की गई। इससे एक डिजिटल कंकाल (skeleton) बना जो नर्तक के साथ चलता है। इन चलते हुए बिंदुओं से, सिस्टम ने गणना की कि जोड़ कितनी दूर थे और उन्होंने कितने कोण बनाए, जिससे नृत्य के जटिल दृश्य को गति का वर्णन करने वाले अंकों के सेट में बदल दिया गया।

दूसना, शोधकर्ताओं ने प्रत्येक वीडियो के ऑडियो ट्रैक का विश्लेषण किया। उन्होंने ध्वनि को उसकी आवृत्तियों (frequencies) के दृश्य प्रतिनिधित्व में परिवर्तित किया, जिसमें संगीत की लय, ऊर्जा और स्वर पर ध्यान केंद्रित किया गया। शरीर की गति का वर्णन करने वाले अंकों को संगीत का वर्णन करने वाले अंकों के साथ जोड़कर, उन्होंने प्रत्येक नृत्य क्लिप के लिए एक विस्तृत प्रोफाइल बनाया। इस प्रोफाइल ने प्रदर्शन के दृश्य और श्रव्य दोनों सार को कैद किया। टीम ने इस डेटा को एक प्रकार के आर्टिफिशियल इंटेलिजेंस (AI) में डाला जो घटनाओं के अनुक्रम (sequences) को समझने के लिए डिज़ाइन किया गया है। एक मानक प्रोग्राम के विपरीत जो डेटा को एक ही दिशा में देखता है, यह सिस्टम नृत्य और संगीत के अनुक्रमों को आगे और पीछे दोनों दिशाओं में देखता है। यह इसे गति के संदर्भ को समझने की अनुमति देता है, यह देखते हुए कि एक मुद्रा (pose) का पिछले और बाद के कदमों से क्या संबंध है, ठीक वैसे ही जैसे एक इंसान वाक्य को शुरू से अंत तक पढ़कर और फिर पूरे विचार पर विचार करके समझता है।

शोधकर्ताओं ने इस सिस्टम को गति और ऑडियो डेटा के संयोजन के आधार पर पांच नृत्य शैलियों को पहचानने के लिए प्रशिक्षित किया। जब उन्होंने सिस्टम का परीक्षण किया, तो यह विभिन्न शैलियों के बीच अंतर करने में उल्लेखनीय रूप से प्रभावी साबित हुआ। मॉडल का सबसे सफल संस्करण, जिसने गति और ऑडियो डेटा दोनों का उपयोग किया, ने टेस्ट के मामलों में नब्बे प्रतिशत से अधिक बार नृत्य शैली की सही पहचान की। यह प्रदर्शन उन मॉडलों की तुलना में काफी बेहतर था जो केवल गति या केवल ध्वनि पर निर्भर थे। उदाहरण के लिए, संगीत के बिना केवल नर्तक की शारीरिक गतिविधियों को देखने वाला एक सिस्टम सटीक अंतर करने में संघर्ष कर रहा था, जिसकी सटीकता पचास प्रतिशत से कम थी। इसी तरह, एक सिस्टम जिसने गति को अनदेखा कर दिया और केवल संगीत सुना, उसने अच्छा प्रदर्शन किया, लेकिन संयुक्त दृष्टिकोण जितना अच्छा नहीं। यह सुझाव देता है कि जबकि संगीत स्वयं नृत्य शैली के बारे में मजबूत संकेत देता है, शरीर जिस तरह से हिलता है वह आवश्यक, पूरक जानकारी प्रदान करता है जो कंप्यूटर की समझ को तेज करता है।

अध्ययन ने उनके उन्नत सिस्टम की तुलना सरल, पारंपरिक तरीकों और अन्य प्रकार के आर्टिफिशियल इंटेलिजेंस से भी की। संयुक्त मॉडल ने मानक मशीन लर्निंग टूल और यहाँ तक कि अन्य जटिल न्यूरल नेटवर्क को भी पछाड़ दिया जो डेटा को दोनों दिशाओं (आगे और पीछे) में नहीं देखते थे। शोधकर्ताओं ने पाया कि डेटा को दोनों सिरों से देखने की क्षमता, एक नर्तक के हाव-भाव और संगीत की बीट के बीच सूक्ष्म, दीर्घकालिक संबंधों को पकड़ने के लिए महत्वपूर्ण थी। अपने परीक्षणों में, सिस्टम ने उच्च स्तर की सटीकता (precision) दिखाई, जिसका अर्थ है कि जब इसने सिफारिश की, तो वह लगभग हमेशा सही थी। इसने उच्च स्तर की पूर्णता (completeness) भी दिखाई, जो डेटासेट के लगभग हर नृत्य शैली के लिए सही संगीत मिलान को सफलतापूर्वक पहचानने में सक्षम रही।

हालांकि परिणाम मजबूत थे, शोधकर्ताओं ने नोट किया कि सिस्टम पूर्ण नहीं है। कुछ मामले ऐसे थे जहाँ कंप्यूटर ने एक शैली को दूसरी शैली के साथ भ्रमित कर दिया, विशेष रूप से टैप या समकालीन नृत्य जैसे अधिक सूक्ष्म या जटिल आंदोलनों के साथ। यह इंगित करता है कि हालांकि सिस्टम ने यह सीख लिया है कि नृत्य संगीत से कैसे संबंधित हैं, फिर भी सुधार की गुंजाइश है, शायद और अधिक विविध प्रदर्शनों पर इसे प्रशिक्षित करके। अध्ययन ने यह भी रेखांकित किया कि सिस्टम गति और संगीत के बीच के संबंध को सीखकर काम करता है, न कि केवल नृत्य के चरणों को याद करके। इसका मतलब है कि इस दृष्टिकोण का उपयोग उस नर्तक के लिए संगीत की सिफारिश करने के लिए किया जा सकता है जो एक ऐसी शैली प्रदर्शित कर रहा है जिसे कंप्यूटर ने पहले कभी नहीं देखा है, बशर्ते कि गति के पैटर्न उन चीजों के समान हों जो उसने सीखी हैं।

अंततः, यह कार्य प्रदर्शित करता है कि मानव गति संगीत की पसंद को समझने के लिए एक शक्तिशाली संकेत है। कंप्यूटर को यह सिखाकर कि शरीर एक गीत के साथ समय के तालमेल में कैसे हिलता है, शोधकर्ताओं ने नृत्य और संगीत को जोड़ने का एक नया तरीका बनाया। निष्कर्ष बताते हैं कि भविष्य की संगीत अनुशंसा प्रणालियाँ केवल सुनने के इतिहास से आगे बढ़कर शारीरिक व्यवहार को शामिल कर सकती हैं, जो ऐसे सुझाव प्रदान करती हैं जो उपयोगकर्ता के शारीरिक अनुभव (embodied experience) के अनुरूप हों। यह सिस्टम मानवीय पसंद को प्रतिस्थापित नहीं करता है, बल्कि यह संगीत को देखने का एक नया नजरिया प्रदान करता है जो हमारे द्वारा सुने जाने वाले संगीत और हमारे हिलने-डुलने के तरीके के बीच गहरे, प्राकृतिक संबंध को दर्शाता है।