A Dataset and Benchmark for Optical Music Recognition of String Quartet Scores

تخيل أنك أمين مكتبة تحاول إنقاذ أجمل الوصفات المكتوبة بخط اليد في العالم، ولكن بدلاً من الحبر والورق، كُتبت هذه الوصفات بنوتات موسيقية على مدرج موسيقي. لعقود من الزمن، أصبحت الحواسيب جيدة جداً في قراءة الألحان البسيطة ذات الخط الواحد - مثل جزء عازف فلوت منفرد. يمكنها النظر إلى صورة الموسيقى وتحويلها إلى ملف رقمي يمكن للحاسوب تشغيله. يُسمى هذا المجال "التعرف الضوئي على الموسيقى" (OMR). إنه يشبه تعليم روبوت كيفية قراءة كتاب نوتات موسيقية حتى يتمكن من غناء اللحن لك أو مساعدتك في التدريب.

ومع ذلك، تصبح الأمور فوضوية عندما تحاول قراءة موسيقى فرقة كاملة في وقت واحد. تخيل رباعي وتري: أربع آلات مختلفة (كمانان، وفيولا، وتشيلو) تعزف أربعة خطوط موسيقية مختلفة في آن واحد، وكلها متراصة على نفس الصفحة. إنها لغز بصري يتضمن تداخل النوتات فوق بعضها البعض، ورموزاً مختلفة لكل آلة، وخط يد فوضوي من قرون مضت. وحتى الآن، عانت الحواسيب في قراءة هذه الموسيقى "متعددة الأجزاء" لأنها لم تكن تملك مجموعة تدريبية جيدة للتعلم منها. الأمر يشبه محاولة تعليم طالب قراءة رواية معقدة بينما لم يتدرب في السابق إلا على بطاقات تعليمية تحتوي على جمل بسيطة فقط.

هنا يأتي دور فريق جديد من الباحثين بأداة ضخمة جديدة تسمى OSSQ-OMR. لقد بنوا أول مجموعة بيانات تدريبية مخصصة تحديداً لهذه النوتات المعقدة لرباعي وتري. فكر في الأمر كأنه مكتبة ضخمة ومنظمة بدقة، حيث كل صفحة ممسوحة ضوئياً من النوتة القديمة تقابلها نسخة رقمية مثالية لها. لم يكتفوا بمجرد جلب صور عشوائية؛ بل قضوا مئات الساعات في إصلاح النسخ الرقمية يدوياً لتتطابق تماماً مع المسوحات القديمة، وصولاً إلى كل نقطة وخط صغير.

مع وجود هذه المكتبة الجديدة بين أيديهم، اختبر الباحثون اثنين من "الروبوتات القارئة" (نماذج الحاسوب) لمعرفة أيهما يتعلم بشكل أفضل. وجدوا أن الروبوتات تتعلم بشكل أفضل عندما يتم تعليمها قراءة خط آلة واحدة في كل مرة، بدلاً من محاولة ابتلاع الصفحة بأكملة دفعة واحدة. كما اكتشفوا أن الطريقة التي تُكتب بها الموسيقى رقمياً تهم أكثر من تصميم "دماغ" الروبوت نفسه. حققت النتائج الأفضل باستخدام تنسيق محدد يسمى LMXE، والذي حقق معدل خطأ منخفض جداً بلغ 3.6% على الصور الناتجة عن الحاسوب (النظيفة)، و5.9% على الصفحات الممسوحة ضوئياً (الحقيقية). وبينما يثبت هذا أن تعليم الحواسيب قراءة موسيقى الرباعي المعقدة هو أمر ممكن بالتأكيد، فإن النتائج تظهر أيضاً أنه لا يزال هناك مجال كبير للتحسين، خاصة عند التعامل مع الواقع الفوضوي وغير المثالي لورق النوتات القديم.

الصورة الكبيرة: ما فعلوه وما وجدوه

أنشأ الباحثون OSSQ-OMR، وهي أول مجموعة بيانات مصممة خصيصاً لمساعدة الحواسيب على التعرف على موسيقى الرباعيات الوترية. قبل ذلك، كانت معظم أدوات الرؤية الحاسوبية للموسيقى تتدرب على أغانٍ بسيطة ذات خط واحد أو موسيقى البيانو. الرباعيات الوترية أصعب بكثير لأنها تتضمن أربعة أصوات مستقلة تعزف في نفس الوقت، وغالباً ما تكون ذات تخطيطات معقدة، ومفاتيح موسيقية مختلفة، وخط يد يختلف اختلافاً شاسعاً من ناشر لآخر.

لبناء هذه المجموعة، بدأ الفريق بـ 116 نوتة رقمية موجودة لرباعيات وترية. ثم بحثوا عن النسخ الممسوحة ضوئياً الأصلية لهذه النوتات من مكتبة IMSLP. والجزء الصعب هنا هو أن الملفات الرقمية الأصلية لم تكن تتطابق دائماً مع المسوحات بدقة؛ فأحياناً كان هناك مقطع ناقص، أو رمز في مكان خاطئ. قضى المؤلفون أكثر من 100 ساعة في تعديل الملفات الرقمية يدوياً لجعلها متطابقة بصرياً مع الصور الممسوحة ضوئياً. كما نظموا البيانات إلى مستويين: مستوى النظام (خط الموسيقى الكامل مع الآلات الأربع جميعها) ومستوى المدرج (خط آلة واحدة فقط). وأخيراً، قاموا بتحويل الموسيقى إلى ثلاثة تنسيقات نصية رقمية مختلفة: LMXE و kern و ABC.

المجموعة ضخمة جداً؛ فهي تحتوي على 24,544 صورة نظام و 98,172 صورة مدرج مشتقة من تلك الـ 116 نوتة. حوالي نصف هذه الصور اصطناعية (نسخ نظيفة ناتجة عن الحاسوب)، والنصف الآخر ممسوح ضوئياً من كتب قديمة حقيقية.

ولاختبار ما إذا كانت هذه المجموعة ستساعد بالفعل، وضع الباحثون "معياراً مرجعياً"، وهو يشبه امتحاناً معيارياً لنماذج الحاسوب. اختبروا نوعين من نماذج الذكاء الاصطناعي الشهيرة:

1. Zeus: وهو نموذج يعتمد على المعالجة التسلسلية القديمة (LSTM).
2. SMT: وهو نموذج أحدث يستخدم بنية "Transformer" (مشابه للتقنية المستخدمة في برامج الدردشة الحديثة).

قاموا بتشغيل هذه النماذج على مجموعة البيانات باستخدام إعدادات مختلفة لمعرفة أي تركيبة تعمل بشكل أفضل. وهذا ما وجدوه:

• قراءة خط واحد في كل مرة هي الأفضل: أدت النماذج أداءً أفضل بكثير عندما طُلب منها قراءة مدرج آلة واحدة فقط (مستوى المدرج) بدلاً من قراءة الصفحة بأكملها (مستوى النظام). وعلى الرغم من أن قراءة الصفحة بأكملها تمنح الحاسوب سياقاً أكبر (مثل رؤية ما تفعله الآلات الأخرى)، إلا أن النماذج لم يبدُ أنها تستخدم هذه المعلومات الإضافية لتقليل أخطائها. في الواقع، كانت معدلات الخطأ أقل عندما ركزت النماذج على خط واحد.
• التنسيق أهم من الدماغ: اختبر الباحثون تسعة طرق مختلفة لتحويل الموسيقى إلى رموز نصية (الكلمات التي يقرأها الحاسوب). ووجدوا أن تنسيق LMXE قدم باستمرار أفضل النتائج، بغض النظر عن النموذج المستخدم. ومن المثير للدهشة أن نموذج Transformer الأحدث (SMT) حقق نتائج أسوأ في تنسيق kern مقارنة بتنسيق LMXE، رغم أن SMT صُمم أصلاً لـ kern.
• الضغط لم يساعد: حاولوا استخدام تقنية "ترميز زوج البايت" (BPE) على تنسيق ABC، وهي طريقة لتقصير النص عن طريق تجميع الحروف الشائعة معاً. توقعوا أن هذا قد يساعد، لكنه في الواقع جعل النتائج أسوأ. فكلما زاد حجم المفردات المستخدم في الضغط، ارتفع معدل الخطأ.
• البيانات الحقيقية مقابل البيانات النظيفة: أدت النماذج أداءً أفضل بكثير في الصور الاصطناعية النظيفة (معدلات خطأ تصل إلى 3.6%) مقارنة بالصور الممسوحة ضوئياً الفوضوية (معدلات خطأ حوالي 5.9%). وهذا أمر متوقع، حيث تحتوي الصور الممسوحة ضوئياً على ضجيج وظلال وحبر غير منتظم. ومع ذلك، كان نموذج LSTM القديم (Zeus) أكثر قدرة على تحمل هذا الفوضى من نموذج Transformer الأحدث (SMT). فعند الانتقال من البيانات النظيفة إلى البيانات الممسوحة ضوئياً، انخفض أداء Zeus بنسبة 39%، بينما انخفض أداء SMT بنسبة هائلة بلغت 100%.

كما اختبرت الورقة نموذجاً خارجياً يسمى Legato، تم تدريبه على مجموعة بيانات مختلفة. وعندما حاولوا استخدام Legato على بيانات الرباعي الوتري الجديدة هذه دون إعادة تدريبه، كانت النتائج سيئة للغاية (معدلات خطأ فوق 36% على البيانات الاصطناعية و66% على البيانات الممسوحة ضوئياً). وهذا يشير إلى أن مجرد التدريب المسبق للنموذج على بيانات موسيقية عامة ليس كافياً؛ بل تحتاج إلى تدريبه خصيصاً على نوع الموسيقى الذي تريد قراءته.

في الختام، يوضح المؤلفون أن تعليم الحواسيب قراءة نوتات الرباعي الوتري هو أمر ممكن، ولكنه يتطلب البيانات الصحيحة والطريقة الصحيحة لتنسيق تلك البيانات. أفضل إعداد وجدوه حقق معدل خطأ قدره 3.6% على البيانات الاصطناعية و 5.9% على البيانات الممسوحة ضوئياً. وبينما تعد هذه بداية رائعة، تشير الورقة إلى أنه لا يزال هناك الكثير من العمل للقيام به لجعل هذه الأنظمة بارعة بقدر البشر في قراءة الفوضى الجميلة والمبعثرة لنوتات الموسيقى الحقيقية. كما لمحوا إلى أن الأبحان المستقبلية يجب أن تنظر في مجموعات أكبر، مثل الأوركسترا الكاملة، وتحاول بناء نماذج يمكنها قراءة صفحات كاملة دون الحاجة إلى تقسيمها أولاً.