CultureMERT: Continual Pre-Training for Cross-Cultural Music Representation Learning
تقدم هذه الورقة نموذج CultureMERT-95M، وهو نموذج موسيقي تأسيسي متكيف متعدد الثقافات تم تدريبه عبر استراتيجية تدريب مسبق مستمر مبتكرة من مرحلتين على تقاليد متنوعة غير غربية، مما يحسن بشكل كبير أداء الوسم التلقائي عبر الثقافات مع الحفاظ على الكفاءة في المعايير الغربية وتقديم بديل قابل للتطبيق من خلال الحسابات المهام (task arithmetic).
تُعد الموسيقى لغة عالمية، ومع ذلك، فإن الحواسيب التي نستخدمها لفهمها غالباً ما تتحدث لهجة واحدة فقط. لسنوات طويلة، كانت أقوى نماذج الذكاء الاصطناعي المصممة للاستماع إلى الموسيقى وتصنيفها قد دُرِّبت بشكل حصري تقريباً على الأنماط الغربية، مثل موسيقى البوب والروك والسمفونيات الكلاسيكية. لقد أصبحت هذه الأنظمة بارعة للغاية في التعرف على أنماط تلك التقاليد المحددة، لكنها تعاني عندما تواجه التنوع الهائل والغني للثقافات الموسيقية الأخرى في العالم؛ فهي تغفل عن البنى اللحنية الدقيقة للموسيقى الكلاسيكية الهندية، أو الدورات الإيقاعية الفريدة للتقاليد التركية، أو السلالم المميزة للأغاني الشعبية اليونانية. ويعني هذا القصور أنه بالنسبة لمليارات البشر الذين تقع موروثاتهم الموسيقية خارج النطاق الغربي، تظل هذه الأدوات الرقمية عمياء، وغير قادرة على حفظ أو توصية أو تحليل الفن الذي يحدد هويات مجتمعاتهم.
لطالاً سعى الباحثون لإيجاد طريقة لتعليم هذه النماذج الاستماع بشكل أوسع دون الحاجة إلى إعادة بنائها من الصفر، وهي عملية ستكون مكلفة ومستهلكة للوقت بشكل باهظ. ويكمن التحدي في تكييف نموذج تعلم بالفعل مجموعة من القواعد ليفهم مجموعة مختلفة تماماً من القواعد دون أن ينسى ما عرفه بالفعل. هذه هي المشكلة المركزية التي تعالجها دراسة جديدة قدمت نظاماً يسمى "CultureMERT". هدف الباحثون إلى أخذ نموذج تأسيسي تم تدريبه على ألف ساعة من الموسيقى الغربية في الغالب، وتوجيهه بلطف لفهم اللغات الموسيقية لشرق البحر الأبيض المتوسط وشبه القارة الهندية، مع ضمان عدم فقدانه لقدرته على التعرف على الأنماط الغربية التي بُني عليها في الأصل.
ولتحقيق ذلك، استخدم الفريق استراتيجية تُعرف باسم "التدريب المسبق المستمر". فبدلاً من التخلص من النموذج الحالي والبدء من جديد، قاموا بتغذيته بنظام غذائي جديد ومتوازن بعناية من البيانات الصوتية. تضمنت هذه المجموعة الجديدة من البيانات 650 ساعة من الموسيقى المستمدة من أربعة تقاليد متميزة: المقام التركي، والموسيقى الكلاسيكية الهندوستانية، والموسيقى الكلاسيكية الكارناتيكية، والموسيقى التقليدية اليونانية. ومع ذلك، فإن مجرد تغذية النموذج بهذه البيانات الجديدة تسببت في تعثره، وهي ظاهرة حيث تنهار قدرة الكمبيوتر على أداء مهامه الأصلية أثناء محاولته تعلم مهام جديدة. ولحل هذه المشكلة، ابتكر الباحثون نهجاً يتكون من مرحلتين؛ في المرحلة الأولى، قدموا للنموذج جزءاً أصغر من الموسيقى الجديدة مع إبقاء طبقاته الداخلية الأكثر تعقيداً "مجمدة"، مما سمح فقط لأجزاء معالجة الصوت الأساسية بالتكيف. كما خلطوا معها كمية صغيرة من الموسيقى الغربية خلال هذه المرحلة لتذكير النموذج بتدريبه الأصلي. وفي المرحلة الثانية، قاموا بفتح النموذج بالكامل وتدريبه على مجموعة البيانات الكاملة المكونة من 650 ساعة، مما سمح له بدمج هذه الفروق الثقافية الدقيقة بشكل كامل.
كانت النتائج مذهلة. فعند اختبار النموذج في مهام تتطلب منه تحديد الآلات الموسيقية، أو الأمزجة، أو المقامات الموسيقية المحددة في الموسيقى غير الغربية، أظهر النموذج المُكيَّف تحسناً ملحوظاً، بمتوسط زيادة تقارب الخمسة بالمائة في الدقة مقارنة بالنسخة الأصلية. والأهم من ذلك، أن هذا المكسب لم يأتِ على حساب معرفته السابقة؛ فقد احتفظ النموذج بقدرته على التعرف على الموسيقى الغربية دون أي خسارة تذكر في الأداء. كما استكشفت الدراسة طريقة مختلفة تسمى "حساب المهام" (task arithmetic)، والتي تتضمن الجمع رياضياً لـ "معرفة" عدة نماذج أصغر، كل منها مدرب على ثقافة واحدة، في نظام موحد واحد. وقد كان هذا النهج فعالاً تماماً مثل طريقة التدريب المباشر في المهام غير الغربية، بل وتفوق عليها في المعايير الغربية، مما يشير إلى أن دمج النماذج المتخصصة يعد بديلاً قوياً لإعادة تدريبها جميعاً في وقت واحد.
وجد الباحثون أن قدرة النموذج على نقل المعرفة بين الثقافات لم تكن متساوية. فعلى سبيل المثال، أظهر النموذج المدرب على موسيقى "الكارناتيك" من جنوب الهند قدرة قوية على التعميم على موسيقى "الهندوستاني" من شمال الهند وحتى التقاليد التركية، ويرجع ذلك على الأرجح إلى اشتراك هذه الأنظمة في جذور نظرية عميقة في اللحن والإيقاع. وفي المقابل، واجه النموذج صعوبة أكبر في نقل المعرفة إلى الموسيقى التقليدية اليونانية، والتي رغم تميزها، تشترك في روابط هيكلية أقل مع مجموعات البيانات الهندية والتركية في الطريقة التي يشفر بها الكمبيوتر الصوت. ومن خلال تحليل "الرموز الرقمية" (tokens) التي يستخدمها النموذج لتمثيل الصوت، اكتشف الفريق أن المسافة الرياضية بين هذه التقاليد الموسيقية تنبأت بمدى جودة تعلم النموذج لها، مما يوفر طريقة جديدة للتخطيط لبيانات التدريب المستقبلية.
في الختام، يوضح هذا العمل أن الذكاء الاصطناعي يمكن جعله أكثر شمولاً دون التضحية بقدراته الجوهرية. لقد أطلق الباحثون نموذجهم المُكيَّف، "CultureMERT"، للجمهور، موفرين أداة يمكنها أخيراً الاستماع إلى موسيقى العالم بأذن أكثر اتساعاً. وهم يقرون بأنه رغم كون نموذجهم خطوة مهمة للأمام، إلا أنه ليس حلاً مثالياً؛ إذ إن التكنولوجيا الأساسية المستخدمة لتحويل الصوت إلى رموز رقمية كانت لا تزال مدربة على الموسيقى الغربية، مما قد يحد من مدى قدرتها على استيعاب بعض التفاصيل الثقافية الدقيقة. ومع ذلك، ومن خلال إظهار أن النموذج يمكنه تعلم لغات موسيقية جديدة مع تذكر القديمة منها، تقدم هذه الدراسة مساراً واضحاً نحو مستقبل تكون فيه الأنظمة الموسيقية الرقمية عالمية حقاً، وقادرة على تكريم الطيف الكامل للتعبير الموسيقي البشري.
ملخص تقني: CultureMERT: التدريب المسبق المستمر لتعلم التمثيلات الموسيقية عبر الثقافات
1. بيان المشكلة
بينما حققت نماذج التأسيس الموسيقية الحديثة تقدماً كبيراً في تعلم التمثيلات الصوتية، إلا أن فعاليتها تظل محدودة عند تطبيقها على التقاليد الموسيقية المتنوعة وغير الغربية. فالنماذج الحالية، مثل MERT-v1، مدربة بشكل أساسي على مجموعات بيانات متمحورة حول الغرب (مثل البوب، والروك، والموسيقى الكلاسيكية)، مما يجعلها تفشل في التقاط الهياكل اللحنية الفريدة، والأنظمة المقامية، والأنماط الإيقاعية المتأصلة في تقاليد مثل الموسيقى التركية والهندية واليونانية. هذا القصور يحد من إمكانية تطبيق هذه النماذج في أنظمة التوصية الخاصة بكل منطقة والحفاظ على التراث الثقافي. علاوة على ذلك، فإن تدريب نماذج جديدة من الصفر لكل مجال ثقافي يعد أمراً مكلفاً للغاية من الناحية الحسابية. تعالج الورقة البحثية الحاجة إلى نماذج شاملة وواعية ثقافياً يمكنها التعميم بما يتجاوز التقاليد الغربية دون حدوث "النسيان الكارثي" للمعرفة السابقة.
2. المنهجية
2.1 استراتيجية التدريب المسبق المستمر (CPT)
يقترح المؤلفون نموذج CultureMERT-95M، وهو نموذج تأسيسي تم تكييفه من MERT-v1-95M باستخدام استراتيجية تدريب مسبق مستمر على مرحلتين. تهدف هذه الاستراتيجية إلى استقرار التدريب وتخفيف حدة النسيان الكارثي عند التكيف مع توزيع بيانات مختلف (من الغربي إلى متعدد الثقافات).
هدف التدريب المسبق: يحتفظ النموذج بهدف نمذجة اللغة المقنعة (MLM) ذاتي الإشراف الخاص بـ MERT، باستخدام نموذجين معلميين:
المعلم الصوتي (EnCodec): يقوم بتجزئة الصوت إلى رموز (tokens) من 8 كتب أكواد لتقليل المتجهات المتبقية (RVQ).
المعلم الموسيقي: يعيد بناء مخططات تحويل الـ Q الثابت (CQT) لترميز طبقة الصوت والبنية الهارمونية. إجمالي الخسارة هو مجموع مرجح لخسارة التنبؤ بالرموز الصوتية (LRVQ) وخسارة إعادة بناء الـ CQT (LCQT).
التكيف على مرحلتين:
المرحلة الأولى (الاستقرار): لمعالجة "فجوة الاستقرار" ومنع انخفاض الأداء، يتم تدريب النموذج على مجموعة فرعية أصغر (100 ساعة) من البيانات متعددة الثقافات. ومن الأهمية بمكان أنه يتم تحديث مستخرج الميزات القائم على CNN وطبقات تضمين الرموز فقط، بينما يظل مشفر الـ Transformer مجمداً. وللتخفيف من حدة النسيان، يتم استخدام 20% من هذه البيانات كـ "إعادة تشغيل غربية" (مجموعة بيانات Music4All). كما يتم تطبيق جدول إعادة تسخين لمعدل التعلم.
المرحلة الثانية (التكيف الكامل): يتم فك تجميد مشفر الـ Transformer، ويستمر التدريب على مجموعة البيانات الكاملة المكونة من 650 ساعة (والتي تضم تقاليد يونانية وتركية وهندية). ويُستخدم جدول معدل تعلم أقل حدة للموازنة بين المرونة والاستقرار.
تكوين البيانات: تتضمن خليط التدريب 200 ساعة لكل من موسيقى المقام التركية، والموسيقى الهندوستانية، والموسيقى الكارناتيكية، و50 ساعة من مجموعة "ليرا" (الموسيقى التقليدية اليونانية)، بإجمالي 650 ساعة.
2.2 حساب المهام (Task Arithmetic - TA)
كبديل للتدريب المسبق المستمر متعدد الثقافات، يستقصي المؤلفون حساب المهام، وهي تقنية لدمج مساحة الأوزان.
الآلية: يتم حساب متجهات المهام (τi) كفرق بين معاملات النماذج المتكيفة مع ثقافة واحدة (θi) والنموذج المسبق التدريب الأساسي (θpre).
الدمج: يتم إنشاء نموذج متعدد الثقافات موحد (θmerged) عن طريق الجمع الجبري لمتجهات المهام هذه مع عوامل قياس (λi): θmerged=θpre+i=1∑Nλiτi
يسمح هذا النهج بإنشاء نموذج متعدد الثقافات دون تدريب إضافي، بشرط توفر النماذج المتكيفة مع ثقافة واحدة.
3. المساهمات الرئيسية
أول تطبيق في استرجاع المعلومات الموسيقية (MIR): هذه هي الدراسة الأولى التي تستكشف التدريب المسبق المستمر وحساب المهام خصيصاً للتكيف عبر الثقافات في مجال استرجاع المعلومات الموسيقية.
استراتيجية CPT المستقرة: اقتراح استراتيجية CPT على مرحلتين مع إعادة تسخين معدل التعلم وتحديثات المعلمات المرحلية، المصممة للتعامل مع القيود الحسابية ومنع النسيان الكارثي أثناء انتقال النطاق.
مكاسب الأداء: تطوير CultureMERT-95M، الذي يحقق تحسناً متوسطاً قدره 4.9% في مقاييس ROC-AUC وAverage Precision (AP) عبر مهام التصنيف التلقائي للموسيقى غير الغربية المتنوعة مقارنة بـ MERT-v1 الأصلي.
التحقق من حساب المهام: إثبات أن حساب المهام يعمل بمستوى يضاهي الـ CPT متعدد الثقافات في المهام غير الغربية، ولا يظهر أي تراجع في مجموعات البيانات الغربية، مما يوفر بديلاً لا يتطلب تدريباً.
التحليل عبر الثقافات: استقصاء قابلية النقل، حيث كشفت الدراسة أن النماذج المتكيفة مع ثقافة واحدة تنتقل بفعالية متفاوتة، بينما يحقق النموذج المتكيف متعدد الثقافات أفضل أداء إجمالي.
الإصدار المفتوح: إصدار CultureMERT-95M و CultureMERT-TA-95M للجمهور لتعزيز البحث في تمثيل الموسيقى العالمية.
4. النتائج التجريبية
4.1 إعداد التقييم
تم تقييم النماذج على كل من المهام الغربية (MTAT, FMA-medium) وغير الغربية (المقام التركي، الهندوستاني، الكارناتيكي، وليرا) باستخدام تقييم قائم على الاختبار (backbone مجمد + MLP ضحل) لتقييم جودة التمثيل.
4.2 مقاييس الأداء
التكيف غير الغربي: تفوق CultureMERT-95M على نموذج MERT-v1 الأساسي بمتوسط 4.9% في مقاييس ROC-AUC وAP عبر المهام غير الغربية. كما تجاوز النتائج السابقة (SOTA) في جميع مهام التصنيف التلقائي غير الغربية التي تم تقييمها.
الاحتفاظ بالجانب الغربي: أظهر النموذج متعدد الثقافات حداً أدنى من النسيان في الاختبارات الغربية، مع انخفاض متوسط قدره 0.05% فقط في ROC-AUC وAP.
حساب المهام مقابل CPT: أدى متغير حساب المهام (CultureMERT-TA) أداءً مقارباً لـ CultureMERT في المهام غير الغربية، بل وتفوق على كل من النموذج الأساسي ونموذج CPT متعدد الثقافات في الاختبارات الغربية ومجموعة بيانات "ليرا".
النقل عبر الثقافة الواحدة: حققت النماذج المتكيفة مع ثقافة واحدة (مثل MakamMERT) أفضل أداء في مهامها الخاصة داخل النطاق. ومع ذلك، حتى التكيفات ذات الموارد المنخفضة (مثل LyraMERT المدرب على 50 ساعة) حققت مكاسب ملحوظة في المهام غير الغربية الأخرى، مما يشير إلى نقل إيجابي عبر الثقافات.
4.3 القابلية للنقل عبر الثقافات وتشابه الرموز (Tokens)
عدم تماثل النقل: لاحظت الدراسة انتقالاً قوياً بين الموسيقى التركية (المقام) والموسيقى الكارناتيكية، ويرجع ذلك على الأرجح إلى الأطر المقامية والدرجات الدقيقة (microtonality) المشتركة. أظهر النموذج المتكيف مع الموسيقى الكارناتيكية أعلى قدرة على النقل عبر المجالات الأخرى.
تشابه الرموز: كشف التحليل باستخدام تباعد "جنسن-شانون" والمسافة الجيب تمامية على رموز EnCodec أن التقاليد غير الغربية تتشارك تشابهاً كبيراً على مستوى الرموز، متميزاً عن مجموعات البيانات الغربية. كما كانت الموسيقى اليونانية التقليدية (Lyra) أكثر توافقاً مع التقاليد غير الغربية مقارنة بالتقاليد الغربية. ارتبطت هذه المقاييس بأداء النقل، مما يشير إلى أن تشابه الرموز يمكنه التنبؤ بالقابلية للنقل عبر الثقافات.
5. الأهمية والادعاءات
تدعي الورقة أن CultureMERT-95M نجح في سد الفجوة في نماذج التأسيس الموسيقية من خلال تمكين التكيف الفعال مع الثقافات الموسيقية غير الممثلة كفاية دون التضحة بالأداء في المعايير الغربية. ويؤكد المؤلفون على ما يلي:
الوعي الثقافي أمر ممكن: من الممكن تطوير نماذج يمكنها التعميم بما يتجاوز التقاليد المتمحورة حول الغرب باستخدام استراتيجيات تدريب مسبق مستمر فعالة.
الكفاءة: توازن استراتيجية CPT ذات المرحلتين بفعالية بين معضلة "الاستقرار واللدونة" تحت موارد حسابية محدودة (باستاستخدام وحدة معالجة رسومية واحدة مع أحجام دفعات محدودة).
مسارات بديلة: يوفر حساب المهام بديلاً قابلاً للتطبيق ولا يتطلب تدريباً لإنشاء نماذج متعددة الثقافات، بشرط وجود عمليات تكيف لثقافة واحدة.
توافر الموارد: من خلال إصدار النماذج والبرمجيات، يهدف المؤلفون إلى دعم المزيد من الأبحاث في تعلم تمثيل الموسيقى العالمية وتطوير أنظمة استرجاع معلومات موسيقية (MIR) أكثر شمولاً.
يشير المؤلفون بتواضع إلى بعض القيود، بما في ذلك احتمال عدم مثالية مُرمز EnCodec (المدرب مسبقاً على الموسيقى الغربية) للغات الموسيقية المتنوعة، والحاجة إلى عمل مستقبلي للتوسع في ثقافات إضافية واستكشاف دراسات الاستبعاد (ablation studies) الأكثر دقة.