A Dataset and Benchmark for Optical Music Recognition of String Quartet Scores

कल्पना कीजिए कि आप एक लाइब्रेरियन हैं जो दुनिया की सबसे सुंदर, हस्तलिखित रेसिपी को बचाने की कोशिश कर रहे हैं। लेकिन यहाँ स्याही और कागज के बजाय, ये रेसिपी संगीत के नोट्स (musical notes) के रूप में शीट म्यूजिक पर लिखी गई हैं। दशकों से, कंप्यूटर सरल, एकल-पंक्ति वाली धुनों (जैसे कि एक सोलो बांसुरी वादक का हिस्सा) को पढ़ने में काफी कुशल हो गए हैं। वे संगीत की एक तस्वीर देख सकते हैं और उसे एक डिजिटल फ़ाइल में बदल सकते हैं जिसे कंप्यूटर बजा सके। इस क्षेत्र को ऑप्टिकल म्यूजिक रिकग्निशन (OMR) कहा जाता है। यह एक रोबोट को गाना सीखने जैसा है ताकि वह आपकी धुन को वापस गा सके या किसी संगीतकार को अभ्यास करने में मदद कर सके।

हालाँकि, जब आप एक साथ पूरे बैंड का संगीत पढ़ने की कोशिश करते हैं, तो चीजें उलझ जाती हैं। एक स्ट्रिंग चौकट (string quartet) की कल्पना करें: चार अलग-अलग वाद्य यंत्र (दो वायलिन, एक विओला और एक सेलो) एक ही समय में चार अलग-अलग संगीत पंक्तियाँ बजा रहे हैं, जो एक ही पन्ने पर पैक की गई हैं। यह एक दृश्य पहेली है जहाँ नोट्स एक-दूसरे के ऊपर से गुजरते हैं, अलग-अलग वाद्य यंत्रों के लिए अलग-अलग प्रतीक होते हैं, और सदियों पुरानी बिखरी हुई लिखावट होती है। अब तक, कंप्यूटर इस "मल्टी-पार्ट" संगीत के साथ संघर्ष कर रहे थे क्योंकि उनके पास सीखने के लिए एक अच्छा अभ्यास सेट नहीं था। यह एक छात्र को जटिल उपन्यास पढ़ने के सिखाने जैसा है, जबकि उसने केवल एकल-वाक्य वाले फ्लैशकार्ड का अभ्यास किया हो।

यहीं पर शोधकर्ताओं की एक नई टीम एक विशाल नए टूल के साथ आती है जिसे OSSQ-OMR कहा जाता है। उन्होंने इन जटिल स्ट्रिंग चौकट स्कोर के लिए विशेष रूप से बनाया गया पहला समर्पित प्रशिक्षण डेटासेट तैयार किया है। इसे एक विशाल, पूरी तरह से व्यवस्थित लाइब्रेरी की तरह समझें जहाँ प्रत्येक स्कैन किए गए पुराने स्कोर का एक परफेक्ट डिजिटल जुड़वां (digital twin) मौजूद है। उन्होंने केवल रैंडम तस्वीरें नहीं लीं; उन्होंने सैकड़ों घंटों तक डिजिटल संस्करणों को मैन्युअल रूप से ठीक करने में बिताया ताकि वे पुराने स्कैन के साथ बिल्कुल मेल खा सकें, हर छोटे बिंदु और रेखा तक।

इस नई लाइब्रेरी के साथ, शोधकर्ताओं ने दो अलग-अलग "रोबोट रीडर्स" (कंप्यूटर मॉडल) का परीक्षण किया ताकि देख सकें कि वे बेहतर तरीके से कैसे सीख सकते हैं। उन्होंने पाया कि रोबोट सबसे अच्छा तब सीखते हैं जब उन्हें एक बार में एक वाद्य यंत्र की पंक्ति पढ़ने के लिए सिखाया जाता है, न कि पूरे पन्ने को एक साथ निगलने के लिए। वे यह भी पता लगा पाए कि संगीत को डिजिटल रूप में लिखने का तरीका उनके 'दिमाग के डिजाइन' से अधिक महत्वपूर्ण है। सबसे अच्छे परिणाम एक विशिष्ट प्रारूप से मिले जिसे LMXE कहा जाता है, जिसने साफ, कंप्यूटर-जनरेटेड छवियों पर केवल 3.6% की बहुत कम त्रुटि दर (error rate) हासिल की और वास्तविक, स्कैन किए गए पन्नों पर 5.9% की दर प्राप्त की। जबकि यह साबित करता है कि कंप्यूटर को जटिल चौकट संगीत पढ़ाना निश्चित रूप से संभव है, इसके परिणाम यह भी दर्शाते हैं कि अभी भी सुधार की बहुत गुंजाइश है, विशेष रूप से पुराने कागज के स्कोर की अव्यवस्थित और अपूर्ण वास्तविकता से निपटने में।

बड़ी तस्वीर: उन्होंने क्या किया और क्या पाया

शोधकर्ताओं ने OSSQ-OMR बनाया, जो विशेष रूप से स्ट्रिंग चौकट के लिए संगीत पहचानने में मदद करने के लिए डिज़ाइन किया गया पहला डेटासेट है। इससे पहले, अधिकांश कंप्यूटर विज़न उपकरण संगीत के सरल, एकल-पंक्ति वाले गीतों या पियानो संगीत के लिए प्रशिक्षित थे। स्ट्रिंग चौकट बहुत कठिन होते हैं क्योंकि इनमें चार स्वतंत्र आवाजें एक साथ बजती हैं, जिनमें अक्सर जटिल लेआउट, विभिन्न क्लेफ (clefs) और प्रकाशकों के अनुसार बदलती लिखावट शामिल होती है।

इस डेटासेट को बनाने के लिए, टीम ने स्ट्रिंग चौकट के 116 मौजूदा डिजिटल स्कोर से शुरुआत की। फिर उन्होंने IMSLP लाइब्रेरी से इन स्कोर के मूल स्कैन किए गए संस्करणों की खोज की। पेचीदा हिस्सा यह है: मूल डिजिटल फ़ाइलें हमेशा स्कैन के साथ पूरी तरह मेल नहीं खाती थीं। कभी कोई माप (measure) गायब होता था, या कोई प्रतीक गलत जगह पर होता था। लेखकों ने डिजिटल फ़ाइलों को विजुअली समान बनाने के लिए 100 से अधिक घंटे मैन्युअल रूप से संपादन में बिताए। उन्होंने डेटा को दो स्तरों में व्यवस्थित किया: सिस्टम-लेवल (चारों वाद्य यंत्रों के साथ पूरी संगीत पंक्ति) और स्टाफ-लेवल (केवल एक वाद्य यंत्र की पंक्ति)। अंत में, उन्होंने संगीत को तीन अलग-अलग डिजिटल टेक्स्ट फॉर्मेट में बदला: LMXE, kern, और ABC।

यह डेटासेट बहुत बड़ा है। इसमें उन 116 स्कोर से प्राप्त 24,544 सिस्टम इमेज और 98,172 स्टाफ इमेज शामिल हैं। इनमें से लगभग आधे सिंथेटिक (साफ, कंप्यूटर-जनरेटेड संस्करण) हैं, और आधे वास्तविक, पुरानी किताबों से स्कैन किए गए हैं।

यह परीक्षण करने के लिए कि क्या यह डेटासेट वास्तव में मदद करता है, शोधकर्ताओं ने एक "बेंचमार्क" स्थापित किया, जो कंप्यूटर मॉडल के लिए एक मानकीकृत परीक्षा की तरह है। उन्होंने दो लोकप्रिय प्रकार के AI मॉडल का परीक्षण किया:

1. Zeus: एक मॉडल जो पुराने, अनुक्रमिक प्रसंस्करण (LSTM) पर आधारित है।
2. SMT: एक नया मॉडल जो ट्रांसफॉर्मर आर्किटेक्चर का उपयोग करता है (आधुनिक चैटबॉट्स के पीछे की तकनीक के समान)।

उन्होंने यह देखने के लिए कि कौन सा संयोजन सबसे अच्छा काम करता है, विभिन्न सेटिंग्स का उपयोग करके इस डेटासेट पर इन मॉडलों को चलाया। उन्हें क्या मिला:

• एक बार में एक लाइन पढ़ना बेहतर है: मॉडल काफी बेहतर प्रदर्शन करते थे जब उन्हें केवल एक वाद्य यंत्र के स्टाफ (स्टाफ-लेवल) को पढ़ने के लिए कहा जाता था, बजाय पूरे पन्ने (सिस्टम-लेवल) को एक साथ पढ़ने के। भले ही पूरा पन्ना पढ़ने से कंप्यूटर को अधिक संदर्भ (context) मिलता है (जैसे कि अन्य वाद्य यंत्र क्या कर रहे हैं), मॉडल इस अतिरिक्त जानकारी का उपयोग गलतियाँ कम करने के लिए नहीं कर पाते थे। वास्तव में, त्रुटि दर तब कम थी जब मॉडलों ने एक एकल रेखा पर ध्यान केंद्रित किया।
• फॉर्मेट दिमाग से अधिक महत्वपूर्ण है: शोधकर्ताओं ने संगीत को टेक्स्ट टोकन (वे "शब्द" जिन्हें कंप्यूटर पढ़ता है) में बदलने के नौ अलग-अलग तरीकों का परीक्षण किया। उन्होंने पाया कि LMXE फॉर्मेट ने लगातार सबसे अच्छे परिणाम दिए, चाहे उन्होंने किसी भी मॉडल का उपयोग किया हो। आश्चर्यजनक रूप से, नया ट्रांसफॉर्मर मॉडल (SMT) kern फॉर्मेट पर LMXE की तुलना में खराब प्रदर्शन करता था, भले ही SMT को kern के लिए ही डिज़ाइन किया गया था।
• कंप्रेशन ने मदद नहीं की: उन्होंने ABC फॉर्मेट पर "बाइट-पेयर एनकोडिंग" (BPE) का उपयोग करके टेक्स्ट को छोटा करने की कोशिश की, जो सामान्य पात्रों को समूहबद्ध करने की एक विधि है। उन्हें उम्मीद थी कि इससे मदद मिलेगी, लेकिन इसने परिणामों को वास्तव में बदतर बना दिया। जैसे-जैसे कंप्रेशन के लिए शब्दावली का आकार बढ़ता गया, त्रुटि दर भी बढ़ गई।
• वास्तविक दुनिया बनाम साफ डेटा: मॉडल साफ, सिंथेटिक छवियों (3.6% तक की त्रुटि दर) पर बहुत बेहतर प्रदर्शन करते थे, बजाय शोर, छाया और असमान स्याही वाले de messy, स्कैन किए गए चित्रों (लगभग 5.9% की त्रुटि दर) के। यह अपेक्षित है। हालांकि, पुराने-शैली का LSTM मॉडल (Zeus) इस अव्यवस्था के प्रति अधिक मजबूत (robust) था, जबकि नया ट्रांसफॉर्मर मॉडल (SMT) कम मजबूत था। जब साफ से स्कैन किए गए डेटा पर स्विच किया गया, तो Zeus का प्रदर्शन लगभग 39% गिर गया, जबकि SMT का प्रदर्शन भारी 100% गिर गया।

पेपर ने Legato नामक एक बाहरी मॉडल का भी परीक्षण किया, जिसे एक अलग डेटासेट पर प्रशिक्षित किया गया था। जब उन्होंने इस नए स्ट्रिंग चौकट डेटा पर बिना पुन: प्रशिक्षण के Legato का उपयोग करने की कोशिश की, तो परिणाम बहुत खराब रहे (सिंथेटिक डेटा पर 36% से अधिक और स्कैन किए गए डेटा पर 66% की त्रुटि दर)। यह सुझाव देता है कि केवल सामान्य संगीत डेटा पर मॉडल को प्री-ट्रेन करना पर्याप्त नहीं है; आपको इसे उस प्रकार के संगीत के लिए विशेष रूप से प्रशिक्षित करने की आवश्यकता है जिसे आप पढ़ना चाहते हैं।

निष्कर्ष में, लेखक दिखाते हैं कि कंप्यूटर को जटिल स्ट्रिंग चौकट स्कोर पढ़ाना संभव (feasible) है, लेकिन इसके लिए सही डेटा और डेटा को फॉर्मेट करने का सही तरीका आवश्यक है। उन्होंने जो सबसे अच्छा सेटअप पाया, उसने सिंथेटिक डेटा पर 3.6% और स्कैन किए गए डेटा पर 5.9% की त्रुटि दर हासिल की। हालांकि यह एक अच्छी शुरुआत है, पेपर सुझाव देता है कि वास्तविक दुनिया के शीट संगीत की अव्यवस्थित, सुंदर अराजकता को पढ़ने में इन प्रणालियों को मनुष्यों जितना सक्षम बनाने के लिए अभी भी बहुत काम किया जाना बाकी है। उन्होंने यह भी संकेत दिया कि भविष्य के शोध को और भी बड़े समूहों, जैसे कि पूर्ण ऑर्केस्ट्रा की ओर देखना चाहिए और ऐसे मॉडल बनाने की कोशिश करनी चाहिए जो उन्हें पहले से विभाजित किए बिना पूरे पन्नों को एक साथ पढ़ सकें।