💬 NLP

A novel LSTM music generator based on the fractional time-frequency feature extraction

تقترح هذه الورقة نظاماً مبتكراً لتوليد الموسيقى القائم على الذكاء الاصطناعي يجمع بين تحويل فوريه الكسري (FrFT) لاستخراج ميزات الوقت والتردد مع شبكة الذاكرة الطويلة قصيرة المدى (LSTM) المدربة على مجموعة بيانات GiantMIDI-Piano لإنتاج موسيقى عالية الجودة تضاهي المؤلفات البشرية.

المؤلفون الأصليون: Li Ya, Chen Wei, Li Xiulai, Yu Lei, Deng Xinyi, Chen Chaofan

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Li Ya, Chen Wei, Li Xiulai, Yu Lei, Deng Xinyi, Chen Chaofan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد تعليم روبوت كيفية تأليف موسيقى بيانو جميلة. لا يمكنك ببساطة أن تقول له: "اعزف شيئاً جميلاً". عليك أن تعلمه كيف "يشعر" الموسيقى وكيف "تتحرك" عبر الزمن. تصف هذه الورقة البحثية طريقة جديدة وذكية للقيام بذلك بالضبط باستخدام أداتين رئيسيتين: عدسة رياضية خاصة تسمى FrFT، ونظام ذاكرة ذكي يسمى LSTM.

إليك تفصيل كيفية عمل "طاهي موسيقى الذكاء الاصطناعي" الخاص بهم، باستخدام تشبيهات بسيطة:

1. المشكلة: الموسيقى هدف متحرك

الموسيقى ليست مجرد قائمة من النوتات؛ إنها موجة تتغير باستمرار. إذا نظرت إلى الأغنية فقط كقائمة من النوتات (مثل الوصفة)، فستفقد النكهة. وإذا نظرت إليها فقط كموجة صوتية (مثل صورة للصوت)، فستفقد المكونات.

أدرك المؤلفون أنه لتعليم الكمبيوتر كتابة الموسيقى، كانوا بحاجة لرؤية الأغنية بطريقة تلتقط كلاً من التوقيت (متى تحدث النوتات) والتردد (ما هي النوتات التي تصدر صوتاً) في آن واحد، ولكن بمرونة أكبر مما تسمح به الأدوات القياسية.

2. الأداة رقم 1: "المنشور السحري" (تحويل فوريه الجزئي - FrFT)

تخيل أداة تحليل الموسيقى القياسية (مثل تحويل فوريه العادي) كأنها منشور يحلل الضوء الأبيض إلى قوس قزح. هي تظهر لك كل الألوان (الترددات) الموجودة في الأغنية، لكنها تجعلها مسطحة. هي تخبرك ما هي الألوان الموجودة، ولكن ليس متى تظهر بالضبط في تدفق الوقت.

أما تحويل فوريه الجزئي (FrFT) فهو بمثابة منشور سحري قابل للتدوير.

بدلاً من النظر إلى الأغنية من الأمام فقط (الزمن) أو من الجانب (التردد)، يمكن لهذا المنشور أن يميل إلى أي زاوية بينهما.
من خلال إمالة المنشور إلى زاوية "جزئية" محددة، يمكن للذكاء الاصطناعي رؤية أنماط خفية وهياكل محلية في الموسيقى تكون غير مرئية للأدوات القياسية.
النتيجة: يحصل الذكاء الاصطناعي على "خريطة" أغنى وأكثر تفصيلاً للموسيقى. هو لا يرى النوتات فحسب، بل يرى أيضاً نسيج وتدفق الصوت بطريقة يسهل على الكمبيوتر فهمها.

3. الأداة رقم 2: "الطالب المتفوق" (الذاكرة الطويلة قصيرة المدى - LSTM)

بمجرد أن يقوم "المنشور السحري" بتفكيك الموسيقى إلى هذه الخرائط التفصيلية (تقسيمها إلى أجزاء "حقيقية" و"تخيلية"، وهي مجرد مكونات رياضية للإشارة)، يحتاج الذكاء الاصطناعي إلى شخص يتعلم منها.

هنا يأتي دور الـ LSTM.

تخيل طالباً يحاول تعلم قصة طويلة ومعقدة. الطالب العادي قد يتذكر الجملة الأولى ولكنه ينسى بحلول الوقت الذي يصل فيه إلى الفقرة العاشرة.
الـ LSTM هو طالب ذو ذاكرة خارقة. لديه "بوابات" خاصة (مثل حارس النادي الليلي) تقرر ما يجب تذكره، وما يجب نسيانه، وما يجب الانتباه إليه.
هو يقرأ الخرائط التفصيلية التي صنعها الـ FrFT. يتعلم قواعد الأغنية: "بعد هذه الوتر الحزين، عادة ما تتبعها نغمة سعيدة"، أو "هذا الإيقاع يميل إلى التسارع".
ولأن ذاكرته جيدة جداً، يمكنه التنبؤ بـ النوتة التالية في التسلسل بدقة عالية، حتى لو كانت الأغنية طويلة ومعقدة.

4. عملية الطهي: كيف يجمعون كل ذلك معاً

بنى المؤلفون نظاماً يعمل مثل مطبخ مكون من ثلاث خطوات:

التحضير (المدخلات): يأخذون أغنية بيانو حقيقية (من مجموعة بيانات تسمى GiantMIDI-Piano).
التقطيع والخلط (FrFT): يمررون الأغنية عبر "المنشور السحري". هذا يحول الصوت إلى إشارة رياضية معقدة ذات أجزاء "حقيقية" و"تخيلية". فكر في هذا كتقطيع المكونات إلى أشكال دقيقة ومحددة جداً يسهل طبخها.
الطهي (LSTM): "الطالب المتفوق" (LSTM) يأكل هذه المكونات المقطعة. يتعلم الأنماط. ثم يبدأ في "طبخ" مكونات جديدة (التنبؤ بالنوتات التالية) بناءً على ما تعلمه.
التقديم (المخرجات): يتم تمرير النوتات الجديدة التي طبخها الذكاء الاصطناعي عبر "المنشور السحري" بشكل عكسي (لتحويل الرياضيات مرة أخرى إلى صوت) وحفظها كملف موسيقي جديد.

5. اختبار المذاق: هل نجح الأمر؟

اختبر المؤلفون نظامهم بجعله يتعلم من آلاف مقطوعات البيانو ثم يحاول كتابة مقطوعات جديدة.

النتيجة: الموسيقى التي ولدها الذكاء الاصطناعي كانت قريبة جداً من الموسيقى الأصلية التي صنعها البشر.
الدليل: قاموا بقياس "الخطأ" (مدى اختلاف موسيقى الذكاء الاصطناعي عن الهدف). طريقتهم الجديدة سجلت معدل خطأ منخفض جداً (0.0155)، مما يعني أن تنبؤ الذكاء الاصطناعي كان شبه مثالي مقارنة بالطرق القديمة (التي سجلت خطأ قدره 0.0351).

الصورة الكبيرة

تقول هذه الورقة البحثية باختصار: "إذا كنت تريد لروبوت أن يكتب موسيقى رائعة، فلا تكتفِ بإظهار النوتات له. بل أرِهِ الموسيقى من خلال عدسة خاصة مائلة تكشف عن هيكلها الخفي، ثم اترك كمبيوتراً ذا ذاكرة خارقة يتعلم الأنماط."

النتيجة هي ذكاء اصطناعي يمكنه تأليف موسيقى بيانو عالية الجودة تشبه ما يصنعه البشر، مما قد يساعد الموسيقيين في العثور على الإلهام، أو يساعد الطلاب في تعلم نظرية الموسيقى، أو حتى إنشاء موسيقى تصويرية مخصصة لألعاب الفيديو في الوقت الفعلي.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "مولد موسيقى LSTM مبتكر يعتمد على استخراج ميزات الزمن والتردد الكسري".

1. بيان المشكلة

تتناول الورقة البحثية القيود التي تواجه أنظمة توليد الموسيقى الحالية القائمة على الذكاء الاصطناي، وتحديداً:

الافتقار إلى الإبداع الحقيقي: تميل العديد من نماذج التعلم العميق إلى محاكاة بيانات التدريب دون إنتاج محتوى إبداعي جديد.
التعامل مع الإشارات غير المستقرة: تواجه تحويلات فوريه التقليدية (FFT) صعوبة في التعامل مع الإشارات غير المستقرة (مثل الموسيقى) حيث تتغير المحتويات الترددية بمرور الوقت؛ فهي توفر رؤية ترددية شاملة ولكنها تفتقر إلى التحديد الدقيق للزمن والتردد معاً.
الاعتمادات طويلة المدى: غالباً ما تفشل الشبكات العصبية المتكررة (RNNs) القياسية في التقاط الاعتمادات طويلة المدى في البيانات المتسلسلة بسبب مشكلة تلاشي التدرج، وهو أمر بالغ الأهمية للحفاظ على البنية الموسيقية والتماسك عبر الزمن.
تمثيل الميزات: قد لا تستغل الطرق الحالية بشكل كامل التفاعل المعقد بين نطاقي الزمن والتردد المطلوب لنمذجة الفروق الموسيقية الدقيقة والمعقدة.

2. المنهجية

يقترح المؤلفون إطار عمل هجين يجمع بين تحويل فوريه الكسري (FrFT) لاستخراج الميزات وشبكات الذاكرة الطويلة قصيرة المدى (LSTM) لنمذجة التسلسل والتوليد.

أ. استخراج الميزات: تحويل فوريه الكسري (FrFT)

بدلاً من استخدام الموجات الزمنية القياسية أو تحويل فوريه قصير المدى (STFT) التقليدي، يستخدم النظام تحويل FrFT لتحليل الإشارات الموسيقية.

المفهوم: يعد FrFT تعميماً لتحويل فوريه القياسي الذي يسمح بتحليل الإشارة في "نطاق كسري" (تدوير لمستوى الزمن والتردد بزاوية $\alpha$ ).
العملية:
1. المدخلات: تتم معالجة إشارات MIDI أو WAV.
2. التحويل: يتم تحويل الإشارة الموسيقية $f(t)$ إلى النطاق الكسري باستخدام FrFT.
3. التفكيك: يتم تقسيم الإشارة المعقدة الناتجة إلى جزئيها الحقيقي والتخيلي.
4. التطبيع (Normalization): يتم تطبيع هذه الأجزاء وتغذيتها بشكل منفصل إلى الشبكة العصبية.
الميزة: يوفر FrFT تمثيلاً أكثر مرونة للإشارات غير المستقرة، حيث يلتقط الهياكل المحلية والفروق الدقيقة التي قد تغفل عنها التحويلات القياسية.

ب. نمذجة التسلسل: شبكة LSTM

تتم معالجة الميزات المستخرجة بواسطة شبكة LSTM عميقة مصممة للتعامل مع البيانات المتسلسلة والاعتمادات طويلة المدى.

البنية:
- المدخلات: الأجزاء الحقيقية والتخيلية المطبعة من إشارة تحويل FrFT.
- الهيكل: شبكة LSTM متعددة الطبقات (4 طبقات) بحجم حالة مخفية يبلغ 256.
- الآلية: تستخدم الشبكة بوابات الإدخال، والنسيان، والإخراج لإدارة خلايا الذاكرة، مما يسمح لها بالاحتفاظ بالمعلومات عبر تسلسلات طويلة (وهو أمر ضروري للجمل الموسيقية والبنية).
استراتيجية التدريب:
- مجموعة البيانات: مجموعة بيانات GiantMIDI-Piano (تسجيلات بيانو منفرد عالية الجودة).
- المعالجة المسبقة: يتم أخذ عينات من البيانات بتردد 5000 هرتز، وتحويلها عبر FrFT (بزاوية $\alpha = 0.05$ )، وتقسيمها إلى مجموعات مكونة من 200 نقطة أخذ عينات.
- دالة الخسارة: تُستخدم "متوسط مربع الخطأ" (MSE) لتقليل الفرق بين القيم المتوقعة والقيم الفعلية للإشارة.
- المعلمات الفائقة (Hyperparameters): معدل تعلم قدره 0.0003، وحجم دفعة (batch size) قدره 32، تم التدريب لمدة 30 حقبة (epochs).

ج. التوليد وإعادة البناء

التنبؤ: تتنبأ شبكة LSTM بالخطوات التالية في التسلسل بناءً على ميزات الطبقة المخفية والمدخلات في الوقت الفعلي.
إعادة البناء: يتم دمج الأجزاء الحقيقية والتخيلية المتوقعة، وإلغاء التطبيع، والتحويل مرة أخرى إلى النطاق الزمني باستخدام تحويل فوريه الكسري العكسي (IFrFT) لتوليد الموجة الصوتية النهائية.

3. المساهمات الرئيسية

استخراج ميزات مبتكر: يعد دمج FrFT لاستخراج ميزات الموسيقى ابتكاراً هاماً؛ حيث يتجاوز تحليل الزمن والتردد القياسي لالتقاط خصائص الإشارة في نطاق كسري، مما يوفر تمثيلاً أغنى للإشارات الموسيقية.
بنية هجينة: نجحت الورقة في الجمع بين FrFT للتحليل الطيفي وLSTM للتنبؤ بالتسلسل الزمني، مما يعالج كل من التعقيد الطيفي والاعتمادات الزمنية للموسيقى.
دراسة الاستئصال (Ablation Study): أجرى المؤلفون تحليلاً مقارناً بين طريقة FrFT-LSTM وطريقة أساسية (Baseline) مدربة مباشرة على الإشارات الخام.
- خسارة الطريقة الأساسية: 0.0351
- خسارة الطريقة المقترحة: 0.0155
- يوضح هذا أن استخراج الميزات في النطاق الكسري يقلل بشكل كبير من الخطأ ويحسن دقة التنبؤ.
القدرة على العمل في الوقت الفعلي: تم تصميم النظام لتوليد الموسيقى في الوقت الفعلي، مما يسمح بالإبداع التفاعلي والارتجال.

4. النتائج التجريبية

التقارب (Convergence): تظهر منحنيات التدريب (الشكل 5) تقارباً ناجحاً لكل من شبكات الجزء الحقيقي والتخيلي، مما يشيز إلى تعلم مستقر.
دقة الإشارة: تظهر المقارنات البصرية للموجات المولدة (عبر IFrFT) مقابل الإشارات الأصلية (الشكل 8) درجة عالية من التشابه؛ حيث تتبع المنحنيات الحمراء (المولدة) المنحنيات الزرقاء (الأصلية) بدقة.
الأداء: نجح النظام في التنبؤ بكل من المكونات الحقيقية والتخيلية للإشارات الموسيقية، مما يؤكد قدرة النموذج على إعادة بناء الهياكل الصوتية المعقدة.
مجموعة البيانات: تم التحقق من التجارب باستخدام مجموعة بيانات GiantMIDI-Piano، وتحديداً الاختبار على مقطوعات مثل "Je t'aime Juliette".

5. الأهمية والتطبيقات

تأليف الموسيقى: يمكن للنظام توليد موسيقى عالية الجودة تضاهي ما ينتجه البشر، ليكون أداة إلهام للملحنين أو لإنشاء أعمال أصلية في أنماط مختلفة (بوب، جاز، كلاسيك).
التعليم الموسيقي: يمكن استخدامه لإنشاء تمارين مخصصة، وتوضيح مفاهيم نظرية الموسيقى، ومساعدة الطلاب على فهم الأنماط الهيكلية في الموسيقى.
الترفيه التفاعلي: تفتح قدرة التوليد في الوقت الفعلي آفاقاً للارتجال الثنائي التفاعلي بين البشر والآلات، وكذلك لتوليد الموسيقى الديناميكية لألعاب الفيديو بناءً على تفضيلات اللاعب.
التقدم التقني: تسلط الدراسة الضوء على إمكانات الحساب الكسري في معالجة الإشارات لتطبيقات الذكاء الاصطناي، مما يقترح اتجاهاً جديداً للتعامل مع الإشارات غير المستقرة في التعلم العميق.

في الختام، تقدم الورقة إطار عمل قوياً حيث يعمل FrFT على تعزيز تمثيل مدخلات الإشارات الموسيقية، بينما تقوم شبكة LSTM بنمذجة التطور الزمني لهذه الإشارات بفعالية، مما ينتج مولداً للموسيقى يتفوق على الطرق الأساسية من حيث دقة إعادة بناء الإشارة والتماسك الهيكلي.