Development and pilot validation of an AI-assisted self-practice system for erhu performance assessment and score-aligned feedback
تقدم هذه الورقة تطوير والتحقق التجريبي من صحة نظام ممارسة ذاتية مدعوم بالذكاء الاصطناعي لآلة الإرهو، يدمج التعرف البصري على الموسيقى، وتتبع طبقة الصوت، وتحويل الوقت الديناميكي لتوفير تغذية راجعة متوافقة مع النوتة الموسيقية، مما أظهر ارتباطاً قوياً مع تقييمات الخبراء وسهولة استخدام عالية لدى طلاب المعاهد الموسيقية.
المؤلفون الأصليون:Xingzhi Guan, Hanjun Su, Masanori Fukui, Zhe Ji
لطالما اعتمد تعلم الموسيقى على الأذن البشرية؛ حيث يعزف الطالب نوتة موسيقية، ويستمع المعلم ليقرر ما إذا كان حد الصوت صحيحاً أم أن الإيقاع منضبط. وبالنسبة للآلات ذات الفريتات (الدرجات)، مثل الغيتار، توفر العلامات المادية على عنق الآلة دليلاً بصرياً لحدة الصوت الصحيحة. ولكن بالنسبة لآلة الإرهو (erhu)، وهي آلة صينية تقليدية ذات وترين، يكون العنق أملسًا وخاليًا من العلامات، مما يضطر العازف للاعتماد كلياً على ذاكرة العضلات وحساسية أصابعه لتحديد المكان الصحيح على الوتر. وبدون وجود معلم، لا يملك الطالب الذي يتدرب بمفرده أي وسيلة لمعرفة ما إذا كانت أصابعه تنحرف قليلاً عن النغمة الصحيحة. وهذه الأخطاء الصغيرة يمكن أن تتحول إلى عادات، وتترسخ في ذاكرة العضلات بحيث يصعب التخلص منها لاحقاً. وبينما بدأت الذكاء الاصطناعي في مساعدة الموسيقيين على ممارسة الآلات الغربية، ظلت تقنيات الانزلاق والاهتزاز الفريدة الخاصة بالإرهو نقطة عمياء لأنظمة الكمبيوتر، التي غالباً ما تخلط بين التعبير الفني والأخطاء.
قام الباحثون الآن ببناء نظام مصمم لسد هذه الفجوة، عبر إنشاء مساعد ذكاء اصطناعي يمكنه الاستماع لعازف الإرهو، ومقارنة الأداء بنوتة موسيقية مطبوعة، وتقديم نصائح محددة وقابلة للتنفيذ. طور الفريق مساراً رقمياً يقبل ملف PDF قياسي للموسيقى، ويحوله إلى صيغة يمكن للكمبيوتر فهمها، ثم يحلل تسجيلاً للطالب وهو يعزف معها. لا يكتفي النظام بالاستماع للنوتات الصحيحة فحسب، بل تم تدريبه على التعرف على الطرق المحددة التي تُعزف بها آلة الإرهو. فهو يميز بين الانزلاق المتعمد والجميل من نوتة إلى أخرى وبين الخطأ العرضي في حد الصوت. كما يفصل صوت الآلة المنفردة عن أي مرافقة خلفية، وهو تحدٍ شائع في التسجيلات المنزلية. وبمجرد اكتمال التحليل، يقوم النظام بعرض النتائج مباشرة على صورة النوتة الموسيقية، مسلطاً الضوء بدقة على النوتات التي عُزفت بحدة عالية جداً، أو منخفضة جداً، أو بسرعة زائدة، ويقدم ملخصاً لما يجب التدرب عليه لاحقاً.
لاختبار مدى نجاح هذا النهج، جمع الباحثون تسجيلات من ثمانية عشر طالباً متقدماً في معهد موسيقي في الصين. عزف كل طالب مقاطع من مقطوعة تسمى "تاوهو وو" (Taohuawu)، وتم تقييم أدائهم من قبل معلمين خبيرين استمعا في خفاء، دون معرفة بما قرره الكمبيوتر. وأظهرت النتائج توافقاً قوياً بين الخبراء البشر والآلة؛ فعندما قيم الخبراء دقة الطلاب في حد الصوت (intonation)، تطابقت درجات الكمبيوتر مع أحكامهم بمعامل ارتباط قدره 0.93. أما بالنسبة للإيقاع، فكان التطابق أقل قليلاً ولكنه ظل قوياً عند 0.83. كما تمكن النظام من تحديد نوتات مشكلات معينة بدرجة عالية من الموثوقية، حيث حدد معظم الأخطاء التي سمعها المعلمون بشكل صحيح. وفي اختبار منفصل، نجح النظام في فصل لحن الإرهو عن الموسيقى المصاحبة في معظم التسجيلات، مما أثبت قدرته على عزل صوت الآلة حتى في المزيج الصوتي المزدحم.
كما بحثت الدراسة في كيفية تعامل النظام مع التقنيات المميزة للإرهو، مثل "الفايبراتو" (vibrato) -وهو تذبذب سريع وطفيف في حد الصوت- و"البورتامينتو" (portamento) -وهو انزلاق سلس بين النوتات. فبينما كانت نماذج الكمبيوتر القديمة تصنف هذه الاختيارات الفنية كأخطاء، صُمم هذا النظام الجديد ليتسامح معها. ومن خلال التركيز في تحليله على الجزء المستقر من منتصف كل نوتة وتجاهل اللحظات القصيرة عند بدء القوس أو توقفه، تجنب الذكاء الاصطناعي الإنذارات الكاذبة. لقد تعلم أن الانزلاق في حد الصوت هو أمر متعمد إذا حدث بسرعة كافية، وأن التذبذب هو ميزة وليس خطأً. وعندما اختبر الباحثون النظام بدون هذه التعديلات المحددة، انخفضت دقته بشكل كبير، مما أكد أن هذه القواعد المخصصة كانت ضرورية للآلة.
وبعيداً عن الأرقام التقنية، سأل الباحثون الطلاب عن شعورهم تجاه استخدام هذه الأداة، وكانت الردود إيجابية للغاية. أفاد الطلاب أن النظام جعل من السهل العثور على أخطائهم دون الحاجة إلى الاستماع إلى تسجيلاتهم مراراً وتكراراً. وقد قدروا رؤية الأخطاء محددة مباشرة على النوتة الموسيقية، مما أزال حالة الحيرة في محاولة معرفة أين أخطأوا. ورغم أن الدراسة كانت بمثابة اختبار تجريبي يتضمن قطعة موسيقية واحدة ومجموعة محددة من الطلاب، إلا أن النتائج تشير إلى إمكانية تطويع الذكاء الاصطناعي ليتناسب مع تفاصيل الموسيقى غير الغربية. يقدم النظام مساراً للمتعلمين للممارسة باستقلالية تحت إشراف "أذن رقمية" تفهم اللغة الفريدة لآلة الإرهو، مما يحول جلسة التدريب المنفردة إلى تجربة تعليمية أكثر دقة وفعالية.
ملخص تقني: تطوير والتحقق التجريبي من نظام تدريب ذاتي مدعوم بالذكاء الاصطناعي لتقييم أداء آلة الإرهو
بيان المشكلة تفرض آلة الإرهو (Erhu)، وهي آلة وترية صينية ذات قوس وغير محددة الدرجات (fretless)، تحديات فريدة للتقييم الآلي للأداء تفشل أدوات تعليم الموسيقى الحالية المعتمدة على الذكاء الاصطناعي في معالجتها. فخلافاً للآلات الغربية ذات الدرجات الثابتة، يعتمد ضبط النغمات في الإرهو كلياً على التنسيق بين وضعية أصابع اليد اليسرى والتحكم في قوس اليد اليمنى. وتواجه الأنظمة الحسابية الحالية عقبتين رئيسيتين:
التصنيف الخاطئ للتقنيات: غالباً ما تخطئ مقدرات حدة الصوت (pitch estimators) القائمة على التعلم العميق العام (مثل CREPE) في تفسير التقنيات التعبيرية الخاصة بالآلات الوترية ذات القوس — مثل الـ "فيبراتو" (vibrato) (تذبذب بتردد 4-7 هرتز) والـ "بورتامينتو" (portamento) (الانزلاق المستمر في حدة الصوت) — وتعتبرها أخطاءً في ضبط النغمات.
الافتقار إلى التغذية الراجعة المنسقة مع النوتة الموسيقية: تركز مسارات تحليل الصوت السائدة على النسخ التلقائي أو التقييم العام، لكنها تفتقر إلى آلية لربط النتلة التحليلية بإحداثيات محددة على نوتة موسيقية مطبوعة يقدمها المستخدم. وهذا يمنع المتعلمين من تلقي ملاحظات دقيقة وقابلة للتنفيذ حول نوتات محددة ضمن معزوفاتهم الخاصة.
المنهجية قام المؤلفون بتطوير نظام ذكاء اصطناعي متكامل (end-to-end) مصمم لاستقبال نوتات موسيقية بصيغة PDF، وتحليل تسجيلات الإرهو المصاحبة، وتوليد تغذية راجعة منسقة مع النوتة. تتكون بنية النظام من ثلاث طبقات: تطبيق ويب تقدمي (PWA) باستخدام React 19 للواجهة، وبوابة Node.js/Express، وخلفية برمجية (backend) تعتمد على Python FastAPI للتحليل.
تدمج خط الإنتاج التقني المكونات التالية:
استيراد وهيكلة النوتة الموسيقية: يستخدم النظام محرك Audiveris (وهو محرك مفتوح المصدر للتعرف على الموسيقى البصرية - OMR) لتحويل ملفات PDF إلى صيغة MusicXML، والتي يتم بعد ذلك تحليلها إلى هيكل JSON موحد للنوتات. وتستخدم آلية احتياطية تسلسلات نوتات تم التحقق منها يدوياً في حال انخفاض دقة التعرف البصري (OMR).
القناع الطيفي الهارموني الموجه بالنوتة (SI-HSM): لعزل لحن الإرهو عن الموسيقى المصاحبة دون الاعتماد على بيانات تدريب واسعة النطاق، يستخدم النظام خوارزمية مخصصة مكونة من خمس خطوات. تقوم هذه الخوارومة بدمج تقديرات الحدة على مستوى الإطار (frame-level) من torchcrepe مع الحدة المتوقعة من النوتة لبناء قناع هارموني. يعمل هذا القناع على كبت ترددات الموسيقى المصاحبة مع الحفاظ على البنية الهارمونية للإرهو، حتى في وجود تقنيات الـ "فيبراتو" والـ "بورتامينتو".
التحليل بالتعلم العميق:
تتبع حدة الصوت (Pitch Tracking): يستخدم torchcrepe (CREPE) لتقدير التردد الأساسي. ويتم استبعاد الإطارات ذات الثقة المنخفضة أو معالجتها عبر آلية احتياطية باستخدام librosa.pyin.
كشف الإيقاع: يستخدم madnm (الذي يعتمد على الشبكات العصبية المتكررة للكشف عن البدايات - onset detection، ونموذج ماركوف المخفي لتتبع النبض - DBN-based beat tracking) للتعامل مع هجمات القوس الضعيفة التي تميز مقاطع الإرهو البطيئة.
المحاذاة (Alignment): تستخدم خوارزمية "التحريف الزمني الديناميكي" (DTW) لمحاذاة تسلسل بدايات الأداء مع النوتة، باستخدام دالة تكلفة تُعطى وزناً كبيراً للانحراف في البداية (onset deviation)، متبوعاً بعقوبات على المدة والثقة.
طبقة التكيف مع مجال الإرهو (Erhu Domain Adaptation Layer): هذا هو الابتكار الجوهري للتعامل مع التقنيات غير الغربية.
خوارزمية الجزء المستقر (Stable-Segment Algorithm): يتم حساب ضبط النغمة فقط في الجزء "المستقر" من النوتة (20% إلى 82% من مدتها)، مع استبعاد مراحل الهجوم والتحلل حيث تسبب تسارع أو تباطؤ القوس تشوهات عابرة في حدة الصوت.
التقييم المتسامح مع التقنيات: يقوم مصنف تجريبي بتحديد ست تقنيات (vibrato, portamento, trill, harmonic, pizzicato, col legno). وإذا تم اكتشاف إحدى هذه التقنيات، يقوم النظام بتعديل قواعد التقييم (على سبيل المثال، زيادة التسامح في حدة الصوت عند وجود الـ "فيبراتو" أو استبعاد إطارات الانتقال عند وجود الـ "بورتامينتو") لمنع ظهور تنبيهات خاطئة بوجود أخطاء.
توليد التغذية الراجعة المهيكلة: يتم ربط الأخطاء بإحداثيات النوتة (المقياس وفهرس النوتة). وتُعرض النوتات التي بها مشكلات كطبقات لونية متدرجة (أصفر/برتقالي/أحمر) فوق صورة النوتة. كما يولد النظام ملخصات باللغة الطبيعية ويوصي بمسار تدريبي (البدء بالحدة أولاً، أو الإيقاع أولاً، أو المراجعة أولاً) بناءً على شدة الخطأ.
المساهمات الرئيسية
نظام متكامل يعتمد على ملفات PDF: أول نظام يدعم رفع نوتات PDF لممارسة آلة وترية غير غربية، مما يغلق الحلقة من إدخال النوتة إلى التغذية الراجعة المرتبطة بها.
التقييم الواعي بالتقنيات: تقديم خوارزمية "الجزء المستقر" ومصنف تقنيات تجريبي يميز بين التقنيات التعبيرية المتعمدة وأخطاء ضبط النغمات الحقيقية، مما يعالج فجوة حرجة في نماذج التعلم العميق الحالية.
التغذية الراجعة المنسقة مع إحداثيات النوتة: آلية تعمل على إسقاط الأخطاء التحليلية مباشرة على النوتة الموسيقية المرئية، مما يوفر للمتعلمين تحديداً دقيقاً لمواقع المشكلات دون الحاجة لتفسير البيانات الخام يدوياً.
النتائج التجريبية تم التحقق من صحة النظام تجريبياً باستخدام 36 تسجيلاً من 18 طالباً من المعاهد الموسيقية (conservatory) يؤدون مقطوعة "تاوهاوو" (Taohuawu). قدم خبيران تقييمات عمياء، ليكونوا بمثابة المرجع الحقيقي (ground truth).
الارتباط مع الخبراء: أظهرت درجات النظام ارتباطاً قوياً مع تقييمات الخبراء بالنسبة للحدة (r=0.93، فاصل ثقة 95% [0.82, 0.97]) والإيقاع (r=0.83، فاصل ثقة 95% [0.60, 0.94]).
دقة التحديد الموضعي: حقق النظام درجة F1 بلغت 0.705 لتحديد موقع النوتة المشكلة، و 0.763 لتحديد المقياس الموسيقي الذي يحتوي على المشكلة.
اختبار استئصال المكونات (Ablation Study): أدى حذف المكونات الرئيسية (تقليم الجزء المستقر، أو التسامح مع التقنيات، أو SI-HSM) إلى تقليل الدقة بشكل كبير، مما أكد القيمة المضافة لكل وحدة. على سبيل المثال، أدى حذف تقليم الجزء المستقر إلى انخفاض ارتباط الحدة من 0.929 إلى 0.835.
فصل المصادر: تفوقت خوارزمية SI-HSM المخصصة على الصوت الخام والنماذج مفتوحة المصدر (Demucs v4, HT-Demucs) في دقة استخراج الحدة (متوسط الخطأ المطلق في الحدة Pitch MAE: 3.89 سنت لـ SI-HSM مقابل 5.24 سنت للصوت الخام).
سهولة الاستخدام: أسفر استبيان مكون من 5 عناصر عن معامل "كرونباخ ألفا" قدره 0.923. سجلت جميع العناصر أعلى بك ලෙස من المنتصف المحايد، مع تقييمات عالية للفائدة المدركة وسهولة الاستخدام.
الأهمية والادعاءات يدعي البحث تقديم أول نظام متكامل مدعوم بالذكاء الاصطناون لتدريب ذاتي لآلة وترية غير غربية. تكمن أهميته في سد الفجوة بين أدوات الموسيقى العامة بالذكال الاصطناعي والاحتياجات الصوتية والتربوية الخاصة بآلة الإرهو. ومن خلال النجاح في ربط النتائج التحليلية بإحداثيات النوتة الموسيقية والتسامح مع التقنيات التعبيرية، يقدم النظام مساراً قابلاً للتطبيق للتغذية الراجعة المؤتمتة والمخصصة للتدريب في تعليم الموسيقى التقليدية.
يحافظ المؤلفون على نبرة متواضعة، واصفين الدراسة بأنها تحقق تجريبي أولي. وقد أشاروا صراحة إلى القيود، بما في ذلك استخدام ريبيرتوار واحد ("تاوهاوو")، ومؤسسة واحدة (معهد سيتشوان للموسيقى)، وحجم عينة صغير. كما أقروا بأن النظام لم يُختبر بعد على المبتدئين، أو الطلاب المتقدمين، أو غيرها من المقطوعات، وأن منطق التوصية بمسار التدريب يتطلب إعادة معايرة للسياقات التربوية المختلفة. ويتم وضع هذا العمل كإطار تأسيسي للأبحاث المستقبلية في مجال تعليم الموسيقى غير الغربية بالذكاء الاصطناعي.