A Visually Guided Sound Source Separation and Localization System for Musical Instrument Videos

कल्पना कीजिए कि आप एक ऐसे भीड़भाड़ वाले कमरे में कदम रखते हैं जहाँ एक साथ एक दर्जन अलग-अलग वाद्य यंत्र बज रहे हैं। मानवीय कान के लिए, इसका परिणाम ध्वनि की एक एकल, उलझी हुई दीवार जैसा होता है। यदि आप उस शोर को एक एकल माइक्रोफ़ोन पर रिकॉर्ड करते हैं, तो रिकॉर्डिंग में हर नोट, हर लय और हर वाद्य यंत्र एक अविभाज्य धारा के रूप में मिश्रित होगा। दशकों से, वैज्ञानिक एक विशिष्ट चुनौती से जूझ रहे हैं: उस एकल, अव्यवयवित रिकॉर्डिंग को कैसे लिया जाए और व्यक्तिगत वाद्य यंत्रों को निकाला जाए—जैसे कि बिना कभी उन्हें अकेले सुने, ड्रम से वॉयलिन या बांसुरी से पियानो को अलग करना। यह 'साउंड सोर्स सेपरेशन' (ध्वनि स्रोत पृथक्करण) की समस्या है। हालाँकि कंप्यूटर यह काम काफी अच्छी तरह से कर लेते हैं जब वे प्रदर्शन का वीडियो देख सकते हैं, लेकिन अधिकांश मौजूदा तरीके जटिल, 'ऑल-इन-वन' प्रणालियों पर निर्भर करते हैं जिन्हें नए या दुर्लभ वाद्य यंत्रों के अनुकूल बनाना कठिन होता है।

याज़द विश्वविद्यालय, ईरान के शोधकर्ताओं की एक टीम ने एक अलग दृष्टिकोण प्रस्तावित किया है, जो वास्तविक दुनिया के वीडियो, जिनमें पारंपरिक फारसी वाद्य यंत्र भी शामिल हैं, को बेहतर ढंग से संभालने के लिए समस्या को दो अलग-अलग चरणों में विभाजित करता है। उनका कार्य, जो हाल ही में प्रकाशित एक अध्ययन में प्रस्तुत किया गया है, एक ऐसा सिस्टम बनाने पर केंद्रित है जो पहले वीडियो को "देखकर" यह पहचानता है कि कौन से वाद्य यंत्र मौजूद हैं और वे कहाँ स्थित हैं, और फिर उस दृश्य जानकारी का उपयोग ऑडियो पृथक्करण की प्रक्रिया को निर्देशित करने के लिए करता है। दृश्य और श्रव्य पहेलियों को एक विशाल मस्तिष्क के साथ एक साथ हल करने के बजाय, उनकी विधि एक विशेष विजुअल डिटेक्टर का उपयोग करती है जो एक अलग ऑडियो प्रोसेसर को ठीक से बताता है कि उसे क्या सुनना है। यह मॉड्यूलर डिज़ाइन सिस्टम को अधिक लचीला और प्रभावी बनाता है, विशेष रूप से उन वाद्य यंत्रों के लिए जो मानक प्रशिक्षण डेटा में कम पाए जाते हैं।

शोधकर्ताओं ने एक मॉडल जिसे YOLOv8 कहा जाता है, का उपयोग करके एक विजुअल डिटेक्शन सिस्टम बनाने से शुरुआत की, जो छवियों में वस्तुओं को तेज़ी से और सटीक रूप से पहचानने के लिए डिज़ाइन किया गया उपकरण है। उन्होंने इस मॉडल को बारह विभिन्न प्रकार के वाद्य यंत्रों वाले 358 एनोटेटेड छवियों के संग्रह पर प्रशिक्षित किया, जिसमें गिटार और पियानो जैसे अंतरराष्ट्रीय प्रमुख वाद्य यंत्रों के साथ-साथ दफ़ (Daf), कमान्चेह (Kamancheh) और संतूर (Santur) जैसे पारंपरिक फारसी वाद्य यंत्रों का मिश्रण शामिल था। लक्ष्य कंप्यूटर को वीडियो फ्रेम में इन वाद्य यंत्रों को पहचानना, उनके चारों ओर एक बॉक्स बनाना और उनका नाम बताना सिखाना था। क्योंकि डेटासेट अपेक्षाकृत छोटा था, टीम ने 'ट्रांसफर लर्निंग' नामक तकनीक का उपयोग किया, जो एक विशाल सामान्य वस्तुओं की लाइब्रेरी पर प्रशिक्षित मॉडल को इन विशिष्ट संगीत उपकरणों के लिए सूक्ष्म रूप से अनुकूलित (fine-tune) करने की अनुमति देती है। नए वीडियो फ्रेमों पर परीक्षण किए जाने पर, सिस्टम ने 75.1 प्रतिशत की सटीकता के साथ वाद्य यंत्रों की पहचान सफलतापूर्वक की, जिसका अर्थ है कि जब इसने किसी विशिष्ट वाद्य यंत्र को देखा, तो यह आमतौर पर सही था। इसने वास्तव में दृश्यों में मौजूद सभी वाद्य यंत्रों में से लगभग 59 प्रतिशत को खोजने में भी सफलता प्राप्त की।

एक बार जब विजुअल सिस्टम यह पहचान लेता है कि कौन से वाद्य यंत्र बज रहे हैं, तो प्रक्रिया का दूसरा भाग शुरू होता है। शोधकर्ताओं ने प्रत्येक बारह वाद्य यंत्रों के प्रकार के लिए एक अलग ऑडियो प्रोसेसिंग नेटवर्क विकसित किया। इसका अर्थ यह है कि यदि विजुअल डिटेक्टर एक गिटार और एक ड्रम को पहचानता है, तो सिस्टम उन्हें शून्य से अलग करने का अनुमान लगाने की कोशिश नहीं करता है। इसके बजाय, यह विशिष्ट "गिटार" नेटवर्क और विशिष्ट "ड्रम" नेटवर्क को सक्रिय करता है। इनमें से प्रत्येक नेटवर्क को मिश्रित ऑडियो रिकॉर्डिंग को देखने के लिए डिज़ाइन किया गया है, जिसे समय के साथ ध्वनि आवृत्तियों के एक विजुअल मैप में परिवर्तित किया गया है, जिसे स्पेक्ट्रोग्राम (spectrogram) कहा जाता है। नेटवर्क का काम एक डिजिटल फ़िल्टर, या एक 'मास्क' बनाना है जो उसके विशिष्ट वाद्य यंत्र से संबंधित ध्वनि के हिस्सों को उभारता है और बाकी को शांत कर देता है।

शोधकर्ताओं ने इस दो-चरणीय प्रणाली का परीक्षण 420 वास्तविक दुनिया के वीडियो क्लिप्स पर किया। उन्होंने पाया कि विजुअल डिटेक्शन का उपयोग करके ऑडियो पृथक्करण को निर्देशित करने से, सिस्टम विभिन्न वाद्य यंत्रों की ध्वनियों को प्रभावी ढंग से अलग करने में सक्षम रहा। औसतन, पृथक्करण की गुणवत्ता मजबूत थी, सिस्टम ने एक ऐसा स्कोर प्राप्त किया जो लक्षित ध्वनि और पृष्ठभूमि के शोर के बीच स्पष्ट अंतर को दर्शाता है। क्लैरिनेट और गिटार जैसे कुछ वाद्य यंत्रों के लिए पृथक्करण असाधारण रूप से साफ था, जबकि अधिक जटिल या ओवरलैपिंग आवृत्तियों वाले अन्य यंत्रों ने बड़ी चुनौती पेश की। अध्ययन ने अन्य उन्नत तकनीकों के विरुद्ध भी उनके तरीके की तुलना की और पाया कि उनके दृष्टिकोण ने अन्य वाद्य यंत्रों से हस्तक्षेप को कम करने में बेहतर परिणाम दिए, जिससे औसत पृथक्करण गुणवत्ता स्कोर 8.75 डेसिबल प्राप्त हुआ।

इस शोध का एक प्रमुख निष्कर्ष यह है कि दृश्य जानकारी एक शक्तिशाली मार्गदर्शक के रूप में कार्य करती है, जो ऑडियो सिस्टम के लिए संभावनाओं को सीमित कर देती है। यह जानकर कि दृश्य में बिल्कुल कौन से वाद्य यंत्र मौजूद हैं, सिस्टम को ध्वनियों के सभी संभावित संयोजनों में अनुमान लगाने या खोजने की आवश्यकता नहीं होती है। यह विशेष रूप से फारसी वाद्य यंत्रों के लिए मूल्यवान है, जो अक्सर वैश्विक डेटासेट में कम प्रतिनिधित्व वाले होते हैं और मानक मॉडलों के लिए पहचानना कठिन होता है। यह अध्ययन प्रदर्शित करता है कि एक मॉड्यूलर सिस्टम, जहाँ विजुअल डिटेक्शन और ऑडियो सेपरेशन एक साथ मिलकर लेकिन अलग-अलग काम करते हैं, जटिल संगीत प्रदर्शनों को सुलझाने का एक व्यावहारिक और प्रभावी तरीका है। हालाँकि इस सिस्टम को वर्तमान में प्रत्येक वाद्य यंत्र प्रकार के लिए एक अलग मॉडल की आवश्यकता होती है और यह अभी तक किसी बिल्कुल नए वाद्य यंत्र को सीखने में सक्षम नहीं है जिसे इसने पहले कभी नहीं देखा, फिर भी इसके परिणाम वास्तविक दुनिया में ध्वनि को समझने और अलग करने के लिए मशीनों की क्षमता में सुधार करने का एक स्पष्ट मार्ग दिखाते हैं।