The Spheres Dataset: Multitrack Orchestral Recordings for Music Source Separation and Information Retrieval
यह शोध पत्र 'द स्फीयर्स' (The Spheres) डेटासेट प्रस्तुत करता है, जो कोलिब्रि एनसेम्बल (Colibrì Ensemble) के 23 माइक्रोफ़ोन द्वारा कैप्चर किए गए एक घंटे से अधिक के प्रदर्शनों वाला मल्टीट्रैक ऑर्केस्ट्रल रिकॉर्डिंग का एक व्यापक संग्रह है, जिसे शास्त्रीय संगीत के क्षेत्र में म्यूजिक सोर्स सेपरेशन, लोकलाइजेशन और इमर्सिव रेंडरिंग में मशीन लर्निंग अनुसंधान को आगे बढ़ाने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक भव्य कॉन्सर्ट हॉल में हैं। ऑर्केस्ट्रा बज रहा है, और ध्वनि वायलिन, ट्रम्पेट, ड्रम और बांसुरी का एक सुंदर, घूमता हुआ मिश्रण है जो आपस में मिल रहा है। अब, कल्पना कीजिए कि आप उस एक, मिश्रित रिकॉर्डिंग से जादुई रूप से सिर्फ वायलिनों को, या सिर्फ ट्रम्पेट को बाहर निकालना चाहते हैं, जैसे कि उन्हें उनके अपने अलग ट्रैक्स पर रिकॉर्ड किया गया हो। यही म्यूजिक सोर्स सेपरेशन (Music Source Separation) की चुनौती है।
दशकों से, शोधकर्ता कंप्यूटर को यह सिखा रहे हैं कि यह "संगीत का जादू" कैसे किया जाए, लेकिन उन्होंने ज्यादातर पॉप संगीत (जैसे कि गायक को ड्रम बीट से अलग करना) पर अभ्यास किया है। शास्त्रीय संगीत (क्लासिकल म्यूजिक) बहुत कठिन है क्योंकि इसमें एक साथ कई वाद्य यंत्र बज रहे होते हैं और वे सभी कुछ हद तक समान सुनाई देते हैं (जैसे कि एक वायलिन और एक विओला)।
यह पेपर एक नया टूल पेश करता है जिसे द स्फीयर्स डेटासेट (The Spheres Dataset) कहा जाता है ताकि शोधकर्ता इस समस्या को हल करने में मदद कर सकें। यहाँ एक सरल विवरण दिया गया है कि उन्होंने क्या किया और यह क्यों महत्वपूर्ण है:
1. "परफेक्ट" रिकॉर्डिंग स्टूडियो
आमतौर पर, जब कोई ऑर्केस्ट्रा एक गाना रिकॉर्ड करता है, तो सभी एक ही कमरे में एक साथ बजाते हैं। भले ही आप एक माइक्रोफोन को सीधे एक वायलिन के पास रखें, फिर भी वह ट्रम्पेट और ड्रम को सुनता है। इसे "ब्लीडिंग" (bleeding) कहा जाता है। यह ऐसा है जैसे आप किसी शोर भरी पार्टी में अपने दोस्त की बात सुनने की कोशिश कर रहे हों; आप उन्हें सुनते हैं, लेकिन आप बाकी सभी को भी सुनते हैं।
इसे ठीक करने के लिए, शोधकर्ताओं ने द स्फीयर्स नामक एक विशेष रिकॉर्डिंग स्टूडियो का उपयोग किया। उन्होंने केवल एक बार में पूरा ऑर्केस्ट्रा रिकॉर्ड नहीं किया। इसके बजाय, उन्होंने कुछ बहुत ही असामान्य किया:
- उन्होंने ऑर्केस्ट्रा से एक समय में एक ही वाद्य यंत्र बजवाया।
- जबकि केवल वायलिन बज रहे थे, ट्रम्पेट, ड्रम और बांसुरी अपने स्थानों पर चुपचाप बैठे थे।
- उन्होंने इसे 23 माइक्रोफोन के साथ रिकॉर्ड किया जो पूरे कमरे में रखे गए थे (कुछ दूर, कुछ वाद्य यंत्रों के बिल्कुल पास)।
- फिर, उन्होंने बांसुरी के लिए भी ऐसा ही किया, फिर ड्रम के लिए, और इसी तरह।
परिणाम: उन्होंने एक "डिजिटल लेगो सेट" बनाया। क्योंकि उन्होंने प्रत्येक वाद्य यंत्र को अलग-अलग रिकॉर्ड किया लेकिन सभी माइक्रोफोन सुनने के लिए मौजूद थे, इसलिए वे अब ध्वनियों को गणितीय रूप से मिला और जोड़ सकते हैं। वे एक वास्तविक लगने वाला ऑर्केस्ट्रा मिक्स (सभी प्राकृतिक "ब्लीडिंग" और कमरे की गूँज के साथ) और प्रत्येक वाद्य यंत्र के लिए "साफ" अलग ट्रैक बना सकते हैं।
2. बॉक्स में क्या है?
डेटासेट में शामिल हैं:
- दो प्रसिद्ध उत्कृष्ट कृतियाँ: त्चिकोवस्की का रोमियो एंड जूलियट और मोजार्ट की सिम्फनी नंबर 40।
- सोलो प्रैक्टिस: प्रत्येक संगीतकार ने स्केल (जैसे कि अकेले अपने वाद्य यंत्र का अभ्यास करना) भी बजाया ताकि शोधकर्ता अध्ययन कर सकें कि प्रत्येक विशिष्ट वाद्य यंत्र वास्तव में कैसा सुनाई देता है।
- रूम मैप्स (कमरे के मानचित्र): उन्होंने मापा कि कमरे में ध्वनि कैसे टकराकर वापस आती है (जिसे रूम इमपल्स रिस्पॉन्स कहा जाता है)। इसे एक "ध्वनि मानचित्र" के रूप में सोचें जो कंप्यूटर को ठीक से बताता है कि कमरा ध्वनि को कैसे बदलता है, जिससे रिकॉर्डिंग वास्तविक सुनाई देती है।
3. जादू का परीक्षण (प्रयोग)
शोधकर्ताओं ने केवल डेटा जारी नहीं किया; उन्होंने यह देखने के लिए परीक्षण किया कि कंप्यूटर इन ध्वनियों को अलग करने में कितना सक्षम है। उन्होंने दो मुख्य परीक्षण चलाए:
परीक्षण A: परिवार के आधार पर वर्गीकरण
उन्होंने कंप्यूटर को ऑर्केस्ट्रा को चार बड़े समूहों में अलग करने के लिए कहा: स्ट्रिंग्स (Strings), वुडविंड्स (Woodwinds), ब्रास (Brass), और परकशन (Percussion)।- परिणाम: कंप्यूटर पहले की तुलना में बेहतर हुआ, लेकिन उसे संघर्ष करना पड़ा। यह एक बच्चे को मिश्रित लेगो के ढेर को चार बाल्टियों में छांटने के लिए कहने जैसा था। यह ठीक-ठाक काम करता था, लेकिन कंप्यूटर कभी-कभी गलती से एक ट्रम्पेट को "वुडविंड" की बाल्टी में डाल देता था।
परीक्षण B: "ब्लीडिंग" को साफ करना
उन्होंने कंप्यूटर को वायलिन के पास वाले एक माइक्रोफोन से एक रिकॉर्डिंग लेने के लिए कहा (जो ट्रम्पेट के शोर से भरा था) और ट्रम्पेट के शोर को हटाकर केवल वायलिन को छोड़ने के लिए कहा।- परिणाम: यह बहुत कठिन था। कंप्यूटर ने ध्वनि को काफी हद तक साफ करने में सफलता पाई, लेकिन यह पूर्ण नहीं था। इसने दिखाया कि हालांकि हम शोर को कम कर सकते हैं, लेकिन एक पूर्ण ऑर्केस्ट्रा में एक वाद्य यंत्र को पूरी तरह से अलग करना अभी भी एक बहुत कठिन पहेली है।
4. बड़ा सबक
इस पेपर की सबसे महत्वपूर्ण खोज यह है कि एक कमरे से दूसरे कमरे में सीखने के बारे में क्या।
- शोधकर्ताओं ने अपने कंप्यूटर मॉडल को उनके स्टूडियो में रिकॉर्ड किए गए त्चिकोवस्की के टुकड़े का उपयोग करके प्रशिक्षित किया।
- जब उन्होंने मोजार्ट के टुकड़े पर परीक्षण किया (जो उसी स्टूडियो में रिकॉर्ड किया गया था), तो यह काफी हद तक ठीक काम करता था।
- हालाँकि, जब उन्होंने उसी कंप्यूटर मॉडल को एक अलग स्टूडियो (ऑपरेशन बीथोवेन डेटासेट) से की गई रिकॉर्डिंग पर आज़माया, तो यह बुरी तरह विफल रहा।
निष्कर्ष: यह कंप्यूटर को एक नया गाना पहचानने में सिखाना आसान है यदि वह उसी कमरे में है, लेकिन यह कंप्यूटर को सिखाना बहुत कठिन है कि यदि कमरा, माइक्रोफोन या सेटअप अलग हो तो गाना कैसे पहचाना जाए। पेपर सुझाव देता है कि भविष्य के डेटासेट को केवल एक आदर्श कमरे में लंबे समय तक रिकॉर्ड करने के बजाय, कई अलग-अलग प्रकार के कमरों में रिकॉर्ड करने पर ध्यान केंद्रित करने की आवश्यकता है।
सारांश
द स्फीयर्स डेटासेट शास्त्रीय संगीत की रिकॉर्डिंग का एक विशाल, उच्च-गुणवत्ता वाला पुस्तकालय है जहाँ प्रत्येक वाद्य यंत्र को अलग से रिकॉर्ड किया गया है लेकिन सभी प्राकृतिक कमरे की ध्वनियों के साथ। यह शोधकर्ताओं को यह परीक्षण करने के लिए एक "ग्राउंड ट्रुथ" प्रदान करता है कि उनका AI वाद्य यंत्रों को कितनी अच्छी तरह अलग कर सकता है। पेपर दिखाता है कि हालांकि AI बेहतर हो रहा है, लेकिन "कमरा" और रिकॉर्डिंग सेटअप से कहीं अधिक महत्वपूर्ण है जितना हमने सोचा था, और हमें अभी भी एक लंबा रास्ता तय करना है कि कंप्यूटर एक मानव इंजीनियर की तरह पूर्ण ऑर्केस्ट्रा को पूरी तरह से अलग कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।