MuScriptor: An Open Model for Multi-Instrument Music Transcription
MuScriptor एक ओपन-वेट मॉडल है जो सिंथेटिक प्री-ट्रेनिंग, रियल-डेटा फाइन-ट्यूनिंग, रिइन्फोर्समेंट लर्निंग और इंस्ट्रूमेंट-कंडीशनिंग को जोड़कर वास्तविक रिकॉर्डिंग पर प्रभावी मल्टी-इंस्ट्रूमेंट म्यूजिक ट्रांसक्रिप्शन प्राप्त करता है ताकि मौजूदा विधियों की सामान्यीकरण सीमाओं को दूर किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक अराजक रॉक कॉन्सर्ट सुनने और यह लिखने के लिए सिखाने की कोशिश कर रहे हैं कि किस संगीतकार ने, किस वाद्य यंत्र पर, कौन सा नोट (स्वर) कितनी देर तक बजाया। यही ऑटोमैटिक म्यूजिक ट्रांसक्रिप्शन (AMT) का काम है। वर्षों से, वैज्ञानिकों ने ऐसे रोबोट बनाए हैं जो सोलो पियानो या सिंगल ड्रम किट को ट्रांसक्राइब करने में माहिर हैं, लेकिन जैसे ही आप इसमें एक फुल बैंड, इलेक्ट्रिक गिटार, डिस्टॉर्टेड बास और चिल्लाते हुए गायक को शामिल करते हैं, रोबोट आमतौर पर क्रैश हो जाते हैं। वे शोर, ओवरलैपिंग ध्वनियों और वास्तविक दुनिया के संगीत की अव्यवस्था से भ्रमित हो जाते हैं।
यहाँ आता है MuScriptor, एक नया ओपन-सोर्स मॉडल जो दावा करता है कि वह शास्त्रीय ऑर्केस्ट्रा से लेकर हेवी मेटल तक, लगभग हर शैली में इस "फुल बैंड" वाली अराजकता से निपटने में सफल होने वाला पहला मॉडल है।
सफलता का रहस्य: नकली अभ्यास बनाम असली प्रदर्शन
इस शोध पत्र की मुख्य खोज इन संगीत-पढ़ने वाले रोबोटों को प्रशिक्षित करने का एक विशिष्ट नुस्खा है। लेखकों ने पाया कि आप केवल एक रोबोट को वास्तविक संगीत खिलाकर यह उम्मीद नहीं कर सकते कि वह जल्दी सीख जाएगा, लेकिन आप उसे केवल कंप्यूटर-जनरेटेड (कंप्यूटर द्वारा निर्मित) सटीक संगीत भी नहीं दे सकते और यह उम्मीद नहीं कर सकते कि वह वास्तविक दुनिया में काम करेगा।
इसे एक शेफ (रसोइया) को प्रशिक्षित करने जैसा समझें।
- सिंथेटिक डेटा (सिमुलेशन): टीम ने मॉडल को 1.45 मिलियन कंप्यूटर-जनरेटेड MIDI फाइलों के साथ शुरुआत की। यह एक शेफ के सिम्युलेटेड किचन में अभ्यास करने जैसा है जहाँ हर सामग्री सटीक रूप से मापी गई है और कुछ भी जलता नहीं है। पेपर सुझाव देता है कि यह "प्री-ट्रेनिंग" के लिए उत्कृष्ट है—रोबोट को संगीत सिद्धांत की बुनियादी बातों पर बड़ी बढ़त देने के लिए।
- रियल डेटा (असली रेस्टोरेंट): हालांकि, पेपर स्पष्ट रूप से तर्क देता है कि सिमुलेशन पर रुक जाना एक विफलता है। यदि आप केवल नकली डेटा पर प्रशिक्षण देते हैं, तो रोबोट डिस्टॉर्शन वाले असली गिटार या रिवर्ब वाले गायक को सुनकर बुरी तरह विफल हो जाता है। इसे ठीक करने के लिए, टीम ने इसमें 1,70,000 वास्तविक संगीत रिकॉर्डिंग (कुल 11,000 घंटे से अधिक) मिला दीं। यह वह "असली रेस्टोरेंट" है जहाँ शेफ को अस्त-व्यस्त और अप्रत्याशित सामग्रियों को संभालना सीखना पड़ता है।
- परिणाम: पेपर दिखाता है कि इन दोनों का संयोजन ही जादू है। केवल नकली डेटा पर प्रशिक्षित मॉडल नोट्स पहचानने में ठीक था लेकिन बारीकियों में बहुत खराब था। लेकिन एक बार जब उन्होंने इसे वास्तविक रिकॉर्डिंग पर फाइन-ट्यून किया, तो प्रदर्शन सभी क्षेत्रों में लगभग 20 प्रतिशत अंक बढ़ गया।
"रीइन्फोर्समेंट लर्निंग" की पॉलिश
जब रोबोट ने नकली और वास्तविक डेटा से सीख लिया, तो लेखकों ने इसे एक अंतिम, बहुत सख्त पॉलिश दी। उन्होंने 300 गानों का एक छोटा, सुपर-हाई-क्वालिटी सेट लिया जहाँ नोट्स को इंसानों द्वारा पूरी तरह से एनोटेट (चिह्नित) किया गया था। उन्होंने रीइन्फोर्समेंट लर्निंग (विशेष रूप से GRPO नामक एक विधि) का उपयोग किया ताकि मॉडल इन 300 ट्रैक्स पर अभ्यास कर सके और मानव संस्करण के साथ अपने आउटपुट की तुलना करके "अपनी गलतियों से सीख" सके।
इसे ऐसे समझें जैसे शेफ अपने खुद के पकवान को चखता है और महसूस करता है, "ओह, मैंने बहुत अधिक नमक डाल दिया है," और उसे ठीक करता है। पेपर सुझाव देता है कि इस चरण ने न केवल नंबरों को सुधारा; इसने विशेष रूप से उन नोट्स की संख्या को कम किया जिन्हें मॉडल छोड़ देता था (फॉल्स नेगेटिव्स) और नोट्स की टाइमिंग को अधिक सटीक बनाया।
रोबोट क्या कर सकता है (और क्या नहीं)
पेपर बहुत स्पष्ट है कि MuScriptor क्या कर सकता है। यह ऑडियो का 5 सेकंड का क्लिप सुन सकता है और नोट्स की एक सूची निकाल सकता है। इसे यह भी बताया जा सकता है, "सुनो, मुझे पता है कि इस गाने में एक गिटार और एक ड्रम है, लेकिन बाकी सब को अनदेखा करो।" यह "इंस्ट्रूमेंट कंडीशनिंग" रोबोट को केंद्रित रहने में मदद करती है और उसे यह समझने में भ्रमित नहीं होने देती कि कौन सा वाद्य यंत्र कौन सा नोट बजा रहा है।
हालाँकि, पेपर कुछ चीजों को खारिज भी करता है:
- यह ओवरलैपिंग नोट्स के लिए जादू नहीं है: यदि दो लोग एक ही वाद्य यंत्र पर एक ही समय में बिल्कुल एक ही नोट बजाते हैं (जैसे दो वायलिन एक ही सुर में बज रहे हों), तो वर्तमान सिस्टम को इसे सही ढंग से गिनने के लिए छोटे वाले नोट को छोड़ना पड़ता है। पेपर स्वीकार करता है कि इसे पूरी तरह से संभालने के लिए एक अलग "टोकेनाइजेशन" (नोट्स को लिखने का एक अलग तरीका) की आवश्यकता होगी।
- यह अभी तक हर सिंगल डेटासेट के लिए "वन-साइज़-फिट्स-ऑल" नहीं है: हालांकि यह कई परीक्षणों में पिछले सर्वश्रेष्ठ मॉडलों (जैसे YourMT3+) को पछाड़ देता है, लेकिन पेपर नोट करता है कि कुछ विशिष्ट डेटासेट्स (जैसे कोरल संगीत) पर, नोट कब शुरू होता है और कब समाप्त होता है, इसकी टाइमिंग अभी भी कठिन है। पेपर सुझाव देता है कि संगीत की कुछ शैलियों के लिए सटीक स्टार्ट और एंड टाइम को एनोटेट करना स्वाभाविक रूप से कठिन है, यहाँ तक कि इंसानों के लिए भी।
आंकड़ों का खेल
पेपर केवल यह नहीं कहता कि "यह बेहतर है"; यह इसे मापता है।
- विविध गानों के एक टेस्ट सेट पर, अंतिम मॉडल (सिंथेटिक डेटा, रियल डेटा और 300-गाने की पॉलिश पर प्रशिक्षित) ने 47.8 का मल्टी F1 स्कोर प्राप्त किया (एक विशिष्ट सेटिंग जिसे
αCFG = 2कहा जाता है)। - इसकी तुलना पिछले सर्वश्रेष्ठ मॉडल, YourMT3+, से करें जिसने उसी मीट्रिक पर 21.9 स्कोर किया था। यह एक बहुत बड़ी छलांग है।
- यहाँ तक कि उनके मॉडल का सबसे छोटा संस्करण (60 मिलियन पैरामीटर्स के साथ) भी 65 का फ्रेम F1 स्कोर हासिल करने में सक्षम रहा, जो बताता है कि अच्छे परिणाम पाने के लिए आपको सुपरकंप्यूटर की आवश्यकता नहीं है।
निष्कर्ष
पेपर निष्कर्ष निकालता है कि MuScriptor एक महत्वपूर्ण कदम है क्योंकि यह एक ओपन-वेट मॉडल (जिसका अर्थ है कि कोई भी इसे डाउनलोड और उपयोग कर सकता है) है जो वास्तव में वास्तविक, अस्त-व्यस्त, मल्टी-इंस्ट्रूमेंट संगीत पर काम करता है। यह सुझाव देता है कि जबकि सिंथेटिक डेटा सीखने के शुरुआती चरणों के लिए एक शक्तिशाली उपकरण है, यह अकेले पर्याप्त नहीं है। आपको रोबोट को वास्तविक कॉन्सर्ट की अराजकता को संभालने के लिए वास्तविक, दुनिया के डेटा की आवश्यकता है।
लेखक अपने परिणामों के प्रति आश्वस्त हैं क्योंकि उन्होंने विविध शैलियों के एक विविध सेट पर इसका परीक्षण किया और सीधे स्टेट-ऑफ-द-आर्ट बेसलाइन्स के साथ इसकी तुलना की। वे हर समस्या (जैसे एक ही वाद्य यंत्र पर ओवरलैपिंग नोट्स को पूरी तरह से संभालना) को हल करने का दावा नहीं करते हैं, लेकिन उन्होंने एक ऐसा टूल बनाया है जो पहले के किसी भी टूल की तुलना में संगीतकारों और शोधकर्ताओं के लिए बहुत अधिक उपयोगी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।