Music Transcription with (Almost) No Supervision
تُثبت هذه الورقة أن إطار عمل للترجمة المتسقة دورياً، والذي يستفيد من كميات هائلة من البيانات الصوتية والنوتات الموسيقية غير المزدوجة، والمستند إلى مجموعة دنيا من الأمثلة المزدوجة، يمكنه تحسين أداء تدوين الموسيقى بشكل كبير، لا سيما بالنسبة للآلات التي تعاني من ندرة في الإشراف المسمى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد تعليم روبوت الاستماع إلى أغنية وكتابة نوتاتها الموسيقية (الـ "score") بدقة تامة.
في الماضي، كانت الطريقة الوحيدة لتعليم هذا الروبوت هي إظهار أزواج متطابقة تماماً: تسجيل لأغنية ما و النوتة الموسيقية الدقيقة لنفس التسجيل المتزامنة نوتة بنوتة. تخيل الأمر كأن هناك معلماً يقف بجانب الروبوت، ويشير إلى النوتة الموسيقية في كل مرة يتم فيها عزف نوتة معينة.
المشكلة:
إن إنشاء هذه "الأزواج المثالية" أمر صعب للغاية، ومكلف، وبطيء. فأنت بحاجة إلى معدات خاصة لتسجيل الموسيقى والنوتات في وقت واحد، أو تحتاج إلى خبير بشري يقوم بمطابقتها يدوياً بجهد مضنٍ. الأمر يشبه محاولة بناء مكتبة حيث يكون كل كتاب مقترناً بالتسجيل الصوتي الخاص به، ومتزامناً معه بدقة. وبسبب ذلك، لدينا عدد قليل جداً من هذه "الأزواج المثالية".
ومع ذلك، لدينا كميات هائلة من البيانات "غير المزدوجة" المتادة حولنا:
- ملايين الساعات من التسجيلات الموسيقية (ولكن بدون نوتات موسيقية).
- ملايين الصفحات من النوتات الموسيقية (ولكن بدون تسجيلات صوتية).
السؤال الكبير الذي طرحه الباحثون هو: هل يمكننا تعليم الروبوت باستخدام هاتين الكومتين الضخمتين من البيانات غير المتطابقة، بدلاً من انتظار الأزواج المثالية النادرة؟
الحل: "المترجم" و"المرساة"
قام الباحثون ببناء نظام يعمل بمثابة مترجم بين لغتين: "الصوت" (الموجات الصوتية) و"النوتة" (النوتات الموسيقية).
1. خدعة "الاتساق الدوري" (الحلقة):
تخيل أن لديك مترجماً يتقن الإنجليزية والفرنسية، لكنه لم يرَ قاموساً قط. لكي يتعلم، تجعله يقوم بحلقة:
- تعطيه جملة بالإنجليزية. يترجمها إلى الفرنسية.
- ثم يأخذ تلك الترجمة الفرنسية ويترجمها مرة أخرى إلى الإنجليزية.
- إذا كانت الجملة الإنجليزية النهائية منطقية وتتطابق مع الجملة الأصلية، فهو يقوم بعمل جيد.
يُسمى هذا الاتساق الدوري (Cycle Consistency). يحاول الروبوت تحويل الصوت إلى نوتات، ثم تحويل تلك النوتات مرة أخرى إلى صوت. إذا استطاع إعادة بناء الصوت الأصلي، فهو يتعلم الأنماط الصحيحة.
2. فخ "إزاحة حدة الصوت" (Pitch Shift):
كان هناك عقبة. كان بإمكان الروبوت "الغش". يمكنه تعلم ترجمة كل نوتة للأعلى أو للأسفل بنفس المقدار (مثل عزف أغنية بسلم موسيقي مختلف).
- مثال: إذا كانت الأغنية في سلم "دو" (C)، فقد يتعلم الروبوت دائماً ترجمتها كما لو كانت في سلم "ري" (D).
- عندما يترجمها للعودة، يقوم بخفضها مجدداً، فيبدو الصوت مثالياً! يعتقد الروبوت أنه يبلي بلاءً حسناً، لكن النوتات خاطئة. "الحلقة" تعمل، لكن الترجمة معطلة.
3. "المرساة" (الزوج الأدنى):
لمنع الروبوت من الغش، أضاف الباحثون القليل جداً من "الأزواج المثالية" (المعلم مع الكتاب المتزامن).
- وجدوا أن 1.6 ساعة فقط من هذه الأزواج المثالية كانت كافية لتعمل كـ مرساة.
- هذه المرساة تخبر الروبوت: "مهلاً، هذا الصوت المحدد يجب أن يتطابق مع هذه النوتات المحددة".
- بمجرد أن ترسو المرساة بالروبوت في الحقيقة، يمكنه التوقف عن التخمين والبدء في استخدام الكومات الضخمة من البيانات غير المزدوجة ليصبح بارعاً حقاً.
ما اكتشفوه
1. البيانات "غير المزدوجة" هي منجم ذهب
عندما كان لديهم القليل جداً من البيانات "المثالية" (إشراف منخفض)، جعلت إضافة الكومات الضخمة من البيانات غير المزدوجة أداء الروبوت يقفز بشكل هائل.
- تشبيه: الأمر يشبه إعطاء طالب كتاباً مدرسياً واحداً (المرساة)، ثم تركه يقرأ المكتبة الكاملة من الكتب غير المصنفة (البيانات غير المزدوجة). المكتبة تساعده على فهم السياق والتفاصيل الدقيقة بشكل أفضل بكثير من الكتاب المدرسي وحده.
2. الصوت أفضل من الرموز
اختبروا ما إذا كان من الأفضل تغذية الروبوت بالمزيد من التسجيلات غير المزدوجة أم بالمزيد من النوتات الموسيقية غير المزدوجة.
- النتيجة: التسجيلات غير المزدوجة (الصوت) ساعدت أكثر من النوتات الموسيقية غير المزدوجة.
- لماذا؟ التسجيلات تحتوي على كل التفاصيل الواقعية "الفوضوية" (بيانو مختلف، صدى الغرفة، أساليب العزف). أما النوتة الموس never فهي مثالية ونظيفة للغاية. تعلم الروبوت أكثر من خلال الاستماع إلى واقع الصوت "الفوضوي" بدلاً من النظر إلى الرموز "النظيفة".
3. تعليم آلة جديدة بدون معلم
هذا هو الجزء الأروع. قاموا بتدريب الروبوت بشكل أساسي على بيانات البيانو (باستخدام مرساة الـ 1.6 ساعة). ثم أعطوه كومة ضخمة من تسجيلات الجيتار (بدون نوتات موسيقية وبدون "أزواج مثالية" للجيتار).
- النتيجة: أصبح الروبوت أفضل بكثير في نسخ موسيقى الجيتار، رغم أنه لم يرَ ولو زوجاً واحداً من "نوتة الجيتار إلى النوتة الموسيقية".
- تشبيه: الأمر يشبه تعليم شخص قيادة سيارة ذات ناقل حركة يدوي (البيانو)، ثم إعطائه مجموعة من السيارات ذات الناقل الأوتوماتيكي (الجيتار) للتدرب عليها. ولأن قواعد القيادة الأساسية (الدواسات، التوجيه، قواعد الطريق) متشابهة، فقد تعلم قيادة السيارة الجديدة بمجرد التدرب على الأمثلة غير المزدوجة، دون الحاج در الحاجة إلى دليل خاص لتلك السيارة.
الخلاصة
لا تحتاج إلى جبل من البيانات المكلفة والمتطابقة تماماً لتعليم الآلة نسخ الموسيقى.
- تحتاج إلى مرساة صغيرة (حوالي 1.6 ساعة من البيانات المثالية) لمنع الروبوت من الارتباك.
- بمجرد وجود هذه المرساة، يمكنك استخدام الكومات الضخمة والمجانية من الموسيقى والنوتات الموسيقية غير المزدوجة التي كانت موجودة منذ أكثر من قرن.
- هذا النهج فعال للغاية لدرجة أنه يمكنه حتى مساعدة الروبوت على تعلم آلات جديدة لم يسبق له رؤيتها، فقط من خلال الاستماع إلى تسجيلاتها.
تثبت هذه الورقة البحثية أنه يمكننا إطلاق العنان لإمكانات كل تلك البيانات الموسيقية "غير المستغلة" لبناء أدوات نسخ موسيقي أفضل، حتى عندما لا نملك التصنيفات المثالية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.