Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections
वीडियो-टू-म्यूजिक जनरेशन में पुनरुत्पादकता और कॉपीराइट चुनौतियों को संबोधित करने के लिए, यह शोध पत्र सार्वजनिक डोमेन फिल्मों का पुनरुत्पादक ओपन स्क्रीन साउंडट्रैक लाइब्रेरी संस्करण 2 (OSSL-v2) डेटासेट पेश करता है और एक संवाद-जागरूक मॉडल प्रस्तावित करता है जो ऑन-स्क्रीन स्पीच के साथ वीडियो क्रॉस-अटेंशन को मॉड्युलेट करके संगीत निर्माण को बेहतर बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं। आप एक तूफान के बीच भागते हुए एक नायक को देखते हैं, और अचानक, गड़गड़ाहट होती है जबकि एक नाटकीय ऑर्केस्ट्रा गूंज उठता है। वह संगीत केवल पृष्ठभूमि का शोर नहीं है; यह उस दृश्य को जोड़ने वाले भावनात्मक गोंद की तरह है, जो आपको बताता है कि आपको कैसा महसूस करना चाहिए। लंबे समय से, वैज्ञानिक कंप्यूटरों को वीडियो के लिए "संगीतकार" बनना सिखाने की कोशिश कर रहे हैं, जो स्क्रीन पर जो हो रहा है उसके मूड से मेल खाने वाला संगीत स्वचालित रूप से बना सके। इस क्षेत्र को वीडियो-टू-म्यूजिक जनरेशन कहा जाता है। लेकिन एक बहुत बड़ी समस्या है: कंप्यूटर को यह कौशल सिखाने के लिए, आपको फिल्मों और उनके सटीक साउंडट्रैक के हजारों उदाहरणों की आवश्यकता होती है। अधिकांश शोधकर्ता इन उदाहरणों को खोजने के लिए इंटरनेट पर वीडियो के लिंक की सूचियों का उपयोग कर रहे हैं। समस्या यह है कि इंटरनेट लिंक रेत के किलों की तरह होते हैं; ज्वार आता है, और वीडियो हटा दिए जाते हैं या लॉक कर दिए जाते हैं। इसका मतलब है कि वे "पाठ्यपुस्तकें" जिनसे कंप्यूटर सीखते हैं, गायब होती रहती हैं, जिससे यह जांचना असंभव हो जाता है कि क्या एक कंप्यूटर वास्तव में दूसरे से अधिक स्मार्ट है। इसे ठीक करने के लिए, हमें फिल्मों के एक ऐसे पुस्तकालय की आवश्यकता है जो गायब न हो सके, और एक ऐसे तरीके की भी, जिससे कंप्यूटर को न केवल यह सिखाया जा सके कि पात्र कैसे दिखते हैं, बल्कि वे क्या कह रहे हैं।
यहाँ यूसी सैन डिएगो और मिशिगन विश्वविद्यालय के शोधकर्ता आए हैं, जिन्होंने एक बिल्कुल नया, अटूट पुस्तकालय बनाया है जिसे OSSL-v2 कहा जाता है। इसे एक विशाल, स्व-निहित मूवी थिएटर के रूप में सोचें जिसे कोई बंद नहीं कर सकता। इंटरनेट पर मौजूद उन लिंक्स की ओर इशारा करने के बजाय जो सड़ सकते हैं, उन्होंने 1,886 फिल्में डाउनलोड कीं जो सार्वजनिक (मतलब जिसे कोई भी उपयोग कर सकता है) हैं और उन्हें 34,343 छोटे क्लिप्स में काट दिया। यह लगभग 246.4 घंटे का वीडियो और संगीत है, जो सुरक्षित रूप से एक ही स्थान पर संग्रहीत है। क्योंकि यह स्व-होस्टेड है, यह गायब नहीं होगा, और यह प्रत्येक शोधकर्ता को उनके एआई मॉडल को प्रशिक्षित करने के लिए एक समान, निष्पक्ष डेटा सेट प्रदान करता है।
लेकिन टीम ने केवल एक पुस्तकालय ही नहीं बनाया; उन्होंने महसूस किया कि कंप्यूटर एक महत्वपूर्ण सुराग मिस कर रहे थे। फिल्मों में, संगीत अक्सर बदल जाता है जब कोई पात्र बोलना शुरू करता है। यदि कोई चिल्ला रहा है, तो संगीत शांत हो सकता है या आवाज को सुनने देने के लिए रुक सकता है। शोधकर्ताओं ने देखा कि उनके नए पुस्तकालय में, संवाद (डायलॉग) कितना तेज है और संगीत कितना तेज है, इसके बीच एक सूक्ष्म लेकिन वास्तविक संबंध है। इसका उपयोग करने के लिए, उन्होंने एक "डायलॉग-अवेयर" (संवाद-जागरूक) प्रणाली का आविष्कार किया। कल्पना कीजिए कि कंप्यूटर एक कंडक्टर है। पहले, कंडक्टर ऑर्केस्ट्रा की गति बढ़ाने या कम करने का निर्णय लेने के लिए केवल अभिनेताओं के चेहरों और गतिविधियों को देखता था। अब, कंडक्टर के पास एक नया चश्मा है जो उन्हें वास्तविक समय में अभिनेताओं की आवाज़ सुनने की अनुमति देता है। यह प्रणाली संवाद की ध्वनि लेती है और संगीत निर्माण को फ्रेम-दर-फ्रेम धीरे से धकेलने के लिए उपयोग करती है, यह सुनिश्चित करती है कि संगीत ठीक उसी तरह सांस ले और रुके जैसे पात्र करते हैं।
जब उन्होंने अपने इस विशाल पुस्तकालय पर इस नए दृष्टिकोण का परीक्षण किया, तो परिणाम उत्साहजनक थे। उन्होंने अपने "डायलॉग-अवेयर" मॉडल की तुलना मौजूदा सर्वश्रेष्ठ प्रणालियों से की। नया तरीका अनिवार्य रूप से संगीत को "बेहतर" नहीं बनाता (जैसे इसे अधिक जटिल या विविध बनाना), लेकिन इसने संगीत को वीडियो के साथ बहुत अधिक मजबूती से जोड़ दिया। विशेष रूप से, उत्पन्न साउंडट्रैक मूल फिल्म दृश्यों के प्रति अधिक वफादार थे, खासकर जब कंप्यूटर को उन कठिन क्षणों को संभालना पड़ता था जहाँ संवाद और संगीत एक साथ चलते हैं। शोधकर्ताओं ने पाया कि यह सुधार उन व्यावसायिक फिल्मों पर परीक्षण करने पर भी बना रहा जिन्हें उन्होंने पहले कभी नहीं देखा था, जिससे पता चलता है कि संवाद को सुनने से एआई केवल देखने की तुलना में दृश्य की लय को बेहतर ढंगм से समझ पाता है।
शोध पत्र ने कुछ संभावित चालों को भी सावधानीपूर्वक खारिज किया। उन्हें डर था कि शायद कंप्यूटर केवल संवाद ट्रैक में लीक होने वाले संगीत पर "निर्भर" हो रहा है (क्योंकि ऑडियो को अलग करना पूर्ण नहीं होता है)। इसकी जांच करने के लिए, उन्होंने उन क्लिप्स को खोजने के लिए एक विशेष फ़िल्टर चलाया जहाँ संवाद संगीत के शोर से लगभग पूरी तरह मुक्त था। इन "स्वच्छ" क्लिप्स के साथ भी, डायलॉग-अवेयर सिस्टम बेहतर प्रदर्शन करता रहा। यह सुझाव देता है कि सुधार वास्तव में भाषण को समझने से आता है, न कि गलती से संगीत सुनने से। हालांकि यह प्रणाली अभी तक मानव संगीतकारों का पूर्ण विकल्प नहीं है, अध्ययन का सुझाव है कि पात्रों की आवाज़ को जोड़ना कंप्यूटर को ऐसा संगीत लिखने में मदद करने का एक शक्तिशाली तरीका है जो वास्तव में कहानी से जुड़ा हुआ महसूस होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।