Learning Music Style for Piano Arrangement Through Cross-Modal Bootstrapping
تقدم هذه الورقة إطار عمل متعدد الوسائط مستوحى من BLIP-2 يستخدم محول استعلام (Querying Transformer) لاستخراج الأنماط الموسيقية الضمنية من الصوت الخام وتكييف نموذج لغة رمزي، مما يتيح توليد ترتيبات بيانو قابلة للتحكم ومخلصة للنمط من أوراق الليد (lead sheets) والصوت المرجعي.
المؤلفون الأصليون:Jingwei Zhao, Gus Xia, Ziyu Wang, Ye Wang
تخيل أنك تحاول تعليم إنسان آلي (روبوت) عزف البيانو. يمكنك إعطاؤه ورقة موسيقية تحتوي على النوتات والآلات الوترية، والتي تخبر الروبوت "بماذا" يعزف. لكن الموسيقى ليست مجرد ضغط على المفاتيح الصحيحة؛ بل تتعلق بـ "كيفية" ضغطها. إنها التمايل، والارتداد، والتلاشي التدريجي اللطيف، والاصطدام المفاجئ الذي يجعل الأغنية تبدو "جاز"، أو "كلاسيكية"، أو "حزينة". هذه المشاعر هي "الأسلوب" في الموسيقى. لفترة طويلة، كانت أجهزة الكمبيوتر بارعة في قراءة النوتات (المحتوى) ولكنها سيئة للغاية في فهم "الجو العام" (الأسلوب). فهي غالبًا ما تعزف الأغنية بشكل مثالي على الورق، لكنها تبدو كإنسان آلي يقرأ قائمة تسوق. تتناول هذه الورقة تلك المشكلة من خلال التساؤل: هل يمكننا تعليم الكمبيوتر الاستماع إلى أداء بشري ونسخ "الإحساس" دون الحاجة إلى أن يكتب إنسان ألف قاعدة عما يعنيه "التمايل" أو "العاطفة" فعليًا؟
قام الباحثون وراء هذه الدراسة، جينغوي تشاو وفريقه، ببناء نظام ذكي يعمل كمترجم موسيقي. لم يحاولوا تعليم الكمبيوتر الأسلوب من الصفر، بل استخدموا "عقلين" ضخمين مُدربين مسبقًا يعرفان الكثير عن الموسيقى: أحدهما يفهم الموجات الصوتية (الصوت)، والآخر يفهم النوتات الموسيقية (الرمزية). لقد ربطا هذين العقلين بوسيط خاص يسمى "Q-Former". فكر في الـ "Q-Former" كالمحقق الفضولي أو المترجم الذي يستمع إلى "عقل الصوت" وهو يصف جو الأغنية، ثم يهمس بتلك التعليمات إلى "العقل الرمزي". كان الهدف هو أخذ ورقة قيادية بسيطة (الميلودي والآلات فقط) وتسجيل لأغنية عُزفت بأسلوب معين، وجعل الكمبيوتر يُنتج توزيعًا بيانيًا جديدًا للبيانو يحافظ على اللحن ولكنه يتبنى أسلوب التسجيل.
وجد الفريق أن نهج "التمهيد عبر الوسائط" (cross-modal bootstrapping) هذا يعمل بشكل جيد بشكل مفاجئ. لقد دربوا نظامهم على مرحلتين: أولاً، علموا المحقق (الـ Q-Former) الاستماع إلى الصوت واكتشاف الأنماط الخفية للأسلوب — مثل إيقاع وسرعة النوتات — دون أن يتشتت بالنقاط الفعلية التي يتم عزفها. استخدموا طريقة تسمى "التعلم التبايني" (contrastive learning)، وهي تشبه إظهار أزواج من الأغاني للمحقق وسؤاله: "هل يتطابق هذان الاثنان؟" لمساعدته على تعلم ما ينتمي معًا. في المرحلة الثانية، تركوا المحقق يوجه عقل عزف البيانو لإنشاء موسيقى جديدة. وعندما اختبروا هذا، لم يكتفِ النظام بنسخ النوتات فحسب، بل نجح في التقاط "النبض" و"الديناميكيات" (مدى قوة أو خفوت النوتات) بشكل أفضل بكثير من الطرق السابقة.
في تجاربهم، تم اختبار النموذج على آلاف الأغاني. وعندما طُلب منه تحويل تسجيل إلى توزيع بيانو، سجل درجات أعلى من النماذج الرائدة الأخرى في التقاط "إحساس" الموسيقى، وتحديدًا في مدى جودة مطابقة الإيقاع والسرعة للأصل. ومن المثير للاهتمام، بينما كان نموذج آخر أفضل قليلاً في الحفاظ على دقة النوتات تمامًا في أغاني البوب البسيطة، كان هذا النموذج الجديد أفضل بكثير في التعامل مع الأنواع الموسيقية المعقدة والمتنوعة مثل رقصات القاعات (ballroom dancing) أو البوسا نوفا. كما أظهر الباحثون أن "المحقق" الخاص بهم يمكن أن يعمل كمحرك بحث، حيث يجد الأسلوب الموسيقي المناسب لمقطوعة صوتية حتى لو كانت النوتات في مقام مختلف، مما يثبت أنه فهم الأسلوب حقًا وليس مجرد طبقة الصوت.
في النهاية، تشير الورقة إلى أنه من خلال استخدام هذه العقول الاصطناعية المُدربة مسبقًا وطبقة ربط ذكية، يمكننا تعليم أجهزة الكمبيوتر فهم القواعد غير المرئية والضمنية للأسلوب الموسيقي. نجح النظام في توليد نسخ بيانو تبدو أكثر بشرية وتعبيرية، مما يثبت أننا نستطيع فصل "ماذا" في الموسيقى عن "كيفية" أدائها، وتعليم الآلات القيام بكليهما. تشير النتائج إلى أن هذه الطريقة تعد خطوة مهمة نحو جعل توليد الموسيقى بالذكاء الاصطناهعي يبدو أقل آلية وأكثر شبهاً بالأداء الحقيقي.
ملخص تقني: تعلم أسلوب الموسيقى لتوزيع البيانو من خلال التمهيد عبر الوسائط المتعددة (Cross-Modal Bootstrapping)
بيان المشكلة تقدم توليد الموسيقى الآلي بشكل كبير في التعامل مع المحتوى الصريح (اللحن، الكوردات، الملصقات النصية)، لكنه لا يزال يعاني في التعامل مع الأسلوب الموسيقي الضمني. وبينما توجد واصفات نصية مثل "متأرجح" (swing) أو "عاطفي"، فإن الأسلوب الموسيقي الحقيقي هو جودة ضمنية متجذرة في أمثلة صوتية ملموسة، تشمل أنماط الإيقاع الدقيقة (grooving patterns)، والديناميكيات، وإحساس الأداء الذي لا تستطيع الملصقات المجردة استيعابه بالكامل. تفشل النماذج الحالية لتحويل الصوت إلى MIDI أو نماذج غلاف البيانو (piano cover) في استخراج النغمات والتوقيت فحسب، بل تفشل أيضاً في فصل وإعادة إنتاج "إحساس" الأداء المصدر. تعتمد النهج الحالية عادةً على إعدادات أحادية الوسيط، أو تفشل في جسر الفجوة بفعالية بين أسلوب الصوت الخام والتمثيل الرمزي دون إعادة تدريب النماذج اللغوية التأسيسية الضخمة.
المنهجية يقترح المؤلفون إطار عمل عبر الوسائط يتعلم أسلوب الموسيقى الضمني من الصوت الخام ويطبقه على توزيع البيانو الرمزي. تستخدم البنية الأساسية محول الاستعلام (Q-Former)، المصمم أصلاً لمهام الرؤية واللغة، لربط نموذج لغة صوتي (Audio LM) مُجمد ومُدرب مسبقاً (MusicGen) بنموذج لغة رمزي (Symbolic LM) مُجمد ومُدرب مسبقاً.
يعمل النظام في مرحلتين متمايزتين:
المرحلة الأولى: تعلم التمثيل عبر الوسائط (التمهيد - Bootstrapping)
البنية: يقوم الـ Q-Former بربط نموذج Audio LM (وهو MusicGen) عبر الانتباه المتقاطع (cross-attention) مع تدفق رمزي عبر الانتباه الذاتي (self-attention). تتفاعل مجموعة من تضمينات الاستعلام القابلة للتعلم مع الحالات الخفية لنموذج Audio LM لاستخراج تمثيلات الأسلوب (Z).
أهداف التدريب: يتم استخدام ثلاثة أهداف متكاملة لمحاذاة الوسائط ومنع تسرب المحتوى:
التعلم التبايني بين الصوت والرموز (Audio-Symbolic Contrastive Learning): يعظم التشابه بين الأزواج المتطابقة من الصوت والرموز ويقلل منه للأزواج غير المتطابقة.
l * المطابقة بين الصوت والرموز (Audio-Symbolic Matching): مهمة تصنيف ثنائية لتحديد ما إذا كان زوج الصوت والرمز متوافقين. * التوليد الرمزي المرتبط صوتياً (Audio-Grounded Symbolic Generation): مهمة تلقائية (autoregressive) حيث يعيد التدفق الرمزي بناء توزيع البيانو مشروطاً بورقة اللحن (lead sheet) وإشارات الأسلوب المستخرجة من الصوت. * استراتيجية البيانات: يتم تدريب النموذج على مقاطع صوتية بطول 10 ثوانٍ ومقاطع MIDI بطول 4 مازورات (bars) متوافقة بشكل فضفاض. ولمنع حفظ الارتباطات الدقيقة نغمة بنغمة، يتم تغيير طبقة الـ MIDI زمنياً ونغمياً بشكل عشوائي بالنسبة للصوت.
المرحلة الثانية: النمذجة التوليدية
البنية: يعمل الـ Q-Former المدرب كمشفر للأسلوب. يتم دمج مخرجات التضمين الخاصة به (Z) مع ورقة اللحن (التي توفر محتوى اللحن والكوردات) وتغذيتها إلى نموذج لغة رمزي مُجمد (MuseCoco).
التكيف: بما أن MuseCoco لا يدعم شرطية ورقة اللحن بشكل أصلي، فقد تم إدراج محولات التكيف منخفضة الرتبة (LoRA) في طبقات الانتباه الذاتي الخاصة به لدمج المدخلات الجديدة دون إعادة تدريب الهيكل الأساسي.
المخرج: يولد النظام توزيع بيانو بصيغة MIDI مشروطاً بكل من المحتوى (ورقة اللحن) والأسلوب (المستخرج من الصوت المرجعي).
المساهمات الرئيسية
محاذاة الأسلوب عبر الوسائط: يوسع البحث دور الـ Q-Former لما وراء محاذاة محتوى الرؤية واللغة، ليمتد إلى محاذاة الوسائط الصوتية والرمزية عبر الأسلوب الموسيقي الضمني.
منهجية الفصل (Disentanglement): يقدم نهجاً قابلاً للتوسع لفصل الأسلوب عن المحتوى باستخدام النماذج اللغوية الضخمة المدربة مسبقاً، مما يتجنب الحاجة إلى تقنيات فصل المتغيرات الكامنة التقليدية أو إعادة تدريب الهياكل الضخمة.
3. التوزيع القابل للتحكم: يحقق النموذج توليد غلاف بيانو (piano cover) من الصوت إلى الرموز بوعي بالأسلوب، متفوقاً على النماذج المرجعية في التقاط التماسك الأسلوبي مع الحفاظ على دقة المحتوى.
النتائج التجريبية تم تقييم النموذج على توليد غلاف البيانو (مدخلات متوافقة) ونقل الأسلوب عبر الوسائط (مدخلات غير متوافقة) باستخدام مجموعات بيانات مثل POP909، وPIAST، وBallroom، وGTZAN.
المقاييس الموضوعية:
تماسك الأسلوب: تفوق النموذج المقترح بشكل كبير على النماذج المرجعية (مثل PiCoGen2 وAudio-to-MIDI) في تماسك نمط الإيقاع (GPC)، وتماسك منحنى السرعة (VCC)، ودقة التوقيت (TA).
الحفاظ على المحتوى: في البيانات التي تتبع نفس التوزيع (in-distribution) مثل POP909، أظهر النموذج دقة أقل قليلاً في دقة اللحن/الكورد (MCA/CA) مقارنة بـ PiCoGen2، ويعزى ذلك إلى الاعتماد على Sheetsage لاستخراج ورقة اللحن. ومع ذلك، في مجموعات البيانات ذات التوزيع المختلف (out-of-distribution) مثل Ballroom/GTZAN، تفوق على PiCoGen2 في الحفاظ على المحتوى، مما أظهر قدرة أفضل على التعميم عبر الأنواع الموسيقية والآلات المختلفة.
التقييم الذاتي: في استطلاع استماع مزدوج التعمية، حصل النموذج على تقييمات أعلى بكثير في "التماسك بين الصوت والرموز" و"الموسيقية العامة" مقارنة بالنماذج المرجعية، بينما كان أداؤه مقارباً في "الطبيعية".
قدرة الاسترجاع: كأداة استرجاع من الصوت إلى الرموز، حقق الـ Q-Former دقة (Top-1) بلغت 71.4% (مقابل 3.4% لـ CLaMP3) في مطابقة المقاطع الصوتية مع المقاطع الرمزية، مما أظهر متانة تجاه تغيير الطبقة الموسيقية.
دراسات الاستئصال (Ablation Studies): أكدت التجارب أن استراتيجية التدريب المكونة من مرحلتين ضرورية؛ حيث أدى إزالة التدريب المسبق للمرحلة الأولى إلى انخفاض كبير في كل من الحفاظ على المحتوى وتماسك الأسلوب. علاوة على ذلك، تبين أن جميع أهداف التدريب الثلاثة (التباين، المطابقة، التوليد) ضرورية للمحاذاة القوية، خاصة في البيانات المعقدة متعددة الآلات.
الأهمية والادعاءات يدعي المؤلفون أن هذا العمل يثبت جدوى "التمهيد" (bootstrapping) لنقل الأسلوب بين النماذج اللغوية الضخمة أحادية الوسيط دون إعادة تدريب هياكلها الأساسية. من خلال معاملة الـ Q-Former كعنق زجاجة لمعلومات الأسلوب، يتيح هذا الإطار توليد موسيقى قابلة للتحكم وواعية بالأسلوب تلتقط "كيفية" الأداء وليس فقط "ماذا" يُعزف. يضع هذا البحث حجر الأساس نحو تحكم أكثر حدسية ودقة في توليد الموسيقى يتجاوز الملصقات النصية الصريحة، مما يسمم داخلياً السمات الأسلوبية الضمنية من الأمثلة الصوتية لدفع التوليد الرمزي.