MPEcho: A Melody and Phoneme-Aware Generative Framework for Controllable Cover Song Generation
تقدم الورقة البحثية MPEcho، وهو إطار عمل توليدي يعزز توليد أغاني التغطية القابلة للتحكم من خلال دمج التكييف الصريح على مستوى الفونيم ومنظم طول لتحسين دقة الكلمات وتقليل معدلات خطأ الفونيم بشكل كبير مقارنة بالنماذج الرائدة السابقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً يمكنك فيه أخذ أغنيتك المفضلة وتحويلها فوراً إلى نسخة "ريمكس" بأسلوب جديد تماماً—ربما تحويل أغنية حزينة هادئة إلى نشيد روك حماسي—مع الحفاظ على اللحن والكلمات الأصلية بدقة تامة. هذا هو حلم "توليد الأغاني الغنائية" (Cover Song Generation)، وهو فرع من فروع الذكاء الاصطناعي يحاول تعليم الحواسيب كيف تكون "حرباء موسيقية". وللقيام بذلك، يحتاج الذكاء الاصطناعي إلى فهم شيئين مختلفين تماماً في آن واحد: "الموسيقى" (اللحن، الإيقاع، النغمات) و"الكلمات" (الأصوات المحددة التي تشكل اللغة، مثل الفرق بين حرف "ب" وحرف "بـ" المرقق). فكر في الأمر كخبز كعكة حيث يتعين عليك اتباع وصفة صارمة للنكهة (الكلمات) بينما ترتجل في الوقت نفسه أسلوب تزيين جديد (الموسيقى). إذا ضبط الذكاء الاصطناعي التزيين بشكل صحيح ولكن أخطأ في النكهة، فقد ينتهي بك الأمر بكعكة شوكولاتة بطعم الليمون. لفترة طويلة، كان الذكاء الاصطناعي بارعاً في التزيين ولكنه سيئ جداً في النكهة، حيث كان غالباً ما يشوه الكلمات لدرجة تصبح معها غير مفهومة.
تقدم هذه الورقة نظاماً جديداً يسمى MPEcho الذي يعالج هذه المشكلة عن طريق تعليم الذكاء الاصطناعي الاستماع إلى "اللبنات البنائية الصغيرة" للكلام، وليس فقط الكلمات الكبيرة. أدرك الباحثون أنه لضبط الكلمات بشكل صحيح، يحتاج الكمبيوتر إلى معرفة متى يبدأ كل صوت صغير ومتى ينتهي بالضبط، تماماً كما يعرف قائد الأوركسترا متى يجب على عازف الكمان أن يعزف نغمة واحدة. وللقيام بذلك، بنوا أداة خاصة تسمى Phonsa، تعمل ككاتب نصوص فائق الدقة، تستمع إلى المغني وتدون التوقيت الدقيق لكل صوت في الأغنية. ومن خلال الجمع بين هذا التوقيت فائق الدقة واللحن، يمكن لـ MPEcho توليد أغاني غنائية جديدة تكون فيها الكلمات واضحة واللحن وفياً للأصل. وتظهر النتائج أن هذا النهج يقلل بشكل كبير من عدد الأخطاء التي يرتكبها الذكاء الاصطناعي أثناء الغناء، حيث انخفض معدل الخطأ من ما يقرب من نصف الكلمات إلى أقل من خُمسها، مما يثبت أن الاهتمام بالتفاصيل الدقيقة للصوت هو السر لجعل الذكاء الاصطناعي يغني بشكل أفضل.
المشكلة: عندما يغني الذكاء الاصطناعي، فإنه يتمتم
توليد الأغاني الغنائية هو عملية توازن دقيقة. فأنت تريد من الذكاء الاصطناعي الحفاظ على اللحن الجوهري والكلمات الدقيقة لأغنية مرجعية، مع تغيير الأسلوب، والآلات، والصوت. المحاولات السابقة، مثل نموذج يسمى SongEcho، حاولت حل هذه المشكلة عبر تغذية الذكاء الاصطناعي بـ "طبقة الصوت" (مدى ارتفاع أو انخفاض النغمات) وعلامة بسيطة تقول فقط "غناء" أو "ليس غناءً".
تخيل أنك تحاول إخبار صديق لك أن يغني أغنية من خلال دندنة اللحن فقط وقول "أنا أغني الآن" أو "أنا لا أغني الآن". هذا ليس مفيداً جداً! يمكن للذكاء الاصطناعي تخمين اللحن، لكنه لن يملك أي فكرة عن أي كلمات يغني أو متى ينتقل من صوت إلى آخر. والنتيجة؟ غالباً ما كان الذكاء الاصطناعي يغني اللحن الصحيح ولكنه يشوه الكلمات، محولاً "Hello" إلى "Helo" أو "Halo". في الواقع، ارتكب الأسلوب القديم أخطاء في حوالي 45.62% من الكلمات. هذا يشبه محاولة قراءة قائمة طعام حيث نصف الأصناف مكتوبة بشكل خاطئ.
الحل: طريقة جديدة للاستماع والغناء
أدرك المؤلفون، بقيادة وي-جاو لي وإي-هسيوان يانغ، أنه لإصلاح الكلمات، كانوا بحاجة إلى استعارة خدعة من مجال مختلف يسمى "توليد صوت الغناء" (Singing Voice Synthesis - SVS). يُستخدم SVS عادةً لجعل الروبوت يغني أغنية محددة من نوتة موسيقية، وهو بارع جداً في ذلك لأنه يعرف التوقيت الدقيق لكل صوت صغير (فونيم).
لقد بنوا MPEcho، وهو إطار عمل جديد يضيف "مشفر الفونيم" (phoneme encoder) و"منظم الطول" (length regulator) إلى النظام.
- مشفر الفونيم: بدلاً من مجرد معرفة أن "هناك غناء يحدث"، يحصل الذكاء الاصطناعي الآن على قائمة بكل صوت منفرد (مثل /h/، /e/، /l/، /o/) ومدى طول كل منها بالضبط.
- منظم الطول: يعمل مثل الميترونوم (ضبط الإيقاع) للكلمات، حيث يقوم بتمطيط أو تقليص الأصوات لتتناسب تماماً مع الجدول الزمني الموسيقي.
لكن كانت هناك عقبة: لتعليم MPEcho هذا، كانوا بحاجة إلى مكتبة ضخمة من الأغاني حيث يكون كل صوت فيها موقوتاً بدقة بالفعل. لم تكن هذه البيانات موجودة. لذا، بنوا Phonsa.
Phonsa يشبه مترجماً سحرياً. فهو يأخذ تسجيلاً للمغني ويكتب تلقائياً أوقات البداية والنهاية لكل صوت في الأغنية. يعتمد على أداة كلام شهيرة تسمى Whisper ولكن تم تعديلها خصيصاً للغناء. يستخدم نظام "انتباه مجزأ" (التفكير في قطع صغيرة متداخلة) وأضاف رموزاً خاصة لـ "الأنفاس" و"الحدود" للتعامل مع الطبيعة الفوضوية والعاطفية للغناء.
النتائج: من الهذيان إلى الكلمات الواضحة
اختبر الفريق نظامهم الجديد على مجموعة بيانات تضم أكثر من 1,427 ساعة من أغاني البوب والتقاليد الصينية. وقارنوا MPEcho بنموذج SongEcho القديم وبعض النسخ الأخرى.
سحر التوقيت: عندما استخدموا Phonsa لتزويد MPEcho بتوقيت الفونيم الدقيق، انخفض معدل أخطاء الكلمات (المسمى بمعدل خطأ الفونيم، أو PER) بشكل كبير.
- النموذج القديم (SongEcho): ارتكب أخطاء في 45.62% من الكلمات.
- النموذج الجديد (MPEcho): ارتكب أخطاء في 18.65% فقط من الكلمات.
- هذا تحسن هائل، حيث حول الهذيان غير المفهوم إلى شيء يمكنك فهمه حقاً.
النقطة المثالية: وجدوا أن استخدام اللحن فقط لم يكن كافياً (كانت الكلمات لا تزال مشوشة)، واستخدام توقيت الفونيم فقط لم يكن جيداً أيضاً (كان اللحن يصبح غريباً). ولكن عندما جمعوا بين الاثنين—إعطاء الذكاء الاصطناعي اللحن و توقيت الصوت الدقيق—كانت النتيجة هي الأفضل من كلا الجانبين. بدت الأغنية موسيقية، وكانت الكلمات واضحة.
أسلوب "الجلسة الموسيقية" مقابل أسلوب "SVS": اختبروا أيضاً طريقة مختلفة لتنظيم الأصوات (تسمى "أسلوب الجلسة" أو Jam-style، والتي تجمع الأصوات حسب الكلمة) مقابل "أسلوب SVS" (الذي يجمع حسب الصوت الفردي). كان أسلوب SVS يعمل بشكل أفضل بك كثيراً. "أسلوب الجلسة" كان يشبه محاولة إعطاء اتجاهات بقول "اذهب إلى الشارع التالي"، بينما كان "أسلوب SVS" يشبه قول "انعطف يساراً عند المنزل الأحمر، ثم يميناً عند صندوق البريد الأزرق". الدقة الإضافية ساعدت الذكاء الاصطناعي على عدم الضياع.
رأي البشر: أخيراً، طلبوا من أشخاص حقيقيين الاستماع إلى الأغاني. صنف المستمعون أغاني MPEcho بدرجات أعلى في اتساق اللحن، وطبيعية الصوت، والجودة العامة. ومن المثير للاهتمام أن المستمعين البشر بدا أنهم يقدرون وضوح الكلمات أكثر حتى مما تشير إليه مقاييس الكمبيوتر، مما يثبت أن الكلمات الواضحة تجعل تجربة الاستماع أفضل بكثير.
ماذا يعني هذا؟
تشير هذه الورقة إلى أنه إذا كنت تريد من الذكاء الاصطناعي توليد أغاني كاملة تبدو بشرية وتغني بوضوح، فلا يمكنك فقط النظر إلى الصورة الكبيرة (اللحن والكلمات). يجب عليك التكبير وفهم التفاصيل الدقيقة للحظات الخاطفة لكيفية إنتاج الأصوات. ومن خلال الجمع بين أفضل ما في توليد الموسيقى ودقة تركيب الكلام، يظهر MPEcho أن الذكاء الاصطناعي يمكنه أخيراً غناء الكلمات بشكل صحيح مع الاستمرار في الظهور كفنان مبدع.
يشير الباحثون بحذر إلى أن هذا النظام يعمل حالياً بشكل أفضل مع المغنين المنفردين وباللغة الصينية المندرينية. وهم يقترحون أن العمل المستقبلي يمكن أن يستكشف جعله يعمل مع مغنين متعددين، ولغات مختلفة، وحتى تعبيرات عاطفية أكثر. ولكن في الوقت الحالي، فقد فكوا الشفرة لجعل الأغاني التي يولدها الذكاء الاصطناعي لا تبدو جيدة فحسب، بل تبدو منطقية أيضاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.