A Visually Guided Sound Source Separation and Localization System for Musical Instrument Videos

تخيل أنك تدخل غرفة مزدحمة حيث تعزف عشرات الآلات الموسيقية المختلفة في وقت واحد. بالنسبة للأذن البشرية، النتيجة هي جدار واحد متشابك من الأصوات. إذا قمت بتسجيل ذلك الضجيج باستخدام ميكروفون واحد، فسيحتوي التسجيل على كل نغمة، وكل إيقاع، وكل آلة، ممزوجة معاً في تيار واحد غير متمايز. لعقود من الزمن، كافح العلماء لمواجهة تحدٍ محدد: كيف يمكن أخذ ذلك التسجيل الواحد الفوضوي واستخراج الآلات الفردية منه، وعزل الكمان عن الطبل أو البيانو عن الفلوت، دون أن يكونوا قد سمعوا تلك الآلات بمفردها من قبل؟ هذه هي مشكلة فصل المصادر الصوتية. وبينما أصبحت الحواسيب جيدة جداً في هذا المجال عندما يمكنها رؤية فيديو الأداء، فإن معظم الطرق الموجودة تعتمد على أنظمة معقدة وشاملة يصعب تكييفها مع الآلات الجديدة أو النادرة.

اقترح فريق من الباحثين في جامعة يزد في إيران نهجاً مختلفاً، نهجاً يقسم المشكلة إلى خطوتين متميزتين للتعامل بشكل أفضل مع مقاطع الفيديو الواقعية، بما في ذلك تلك التي تتميز بالآلات الموسيقية الفارسية التقليدية. يركز عملهم، الذي نُشر في دراسة حديثة، على إنشاء نظام "ينظر" أولاً إلى الفيديو لتحديد الآلات الموسيقية الموجودة ومواقعها، ثم يستخدم هذه المعلومات المرئية لتوجيه عملية فصل الصوت. وبدلاً من محاولة حل الألغاز المرئية والصوتية في آن واحد باستخدام عقل واحد ضخم، يستخدم أسلوبهم كاشفاً بصرياً متخصصاً ليخبر معالجاً صوتياً منفصلاً بما يجب عليه الاستماع إليه بالضبط. هذا التصميم التركيبي (Modular) يسمح للنظام بأن يكون أكثر مرونة وفعالية، لا سيالما بالنسبة للآلات التي نادراً ما توجد في بيانات التدريب القياسية.

بدأ الباحثون ببناء نظام كشف بصري باستخدام نموذج يُعرف باسم YOLOv8، وهو أداة مصممة للتعرف على الأشياء في الصور بسرعة ودقة. قاموا بتدريب هذا النموذج على مجموعة تضم 358 صورة مشروحة تحتوي على اثني عشر نوعاً مختلفاً من الآلات الموسيقية، وهي مزيج من الأدوات العالمية الأساسية مثل الغيتار والبيانو، والآلات الفارسية التقليدية مثل "الدف" و"الكمانجة" و"السنطور". كان الهدف هو تعليم الكمبيوتر كيفية رصد هذه الآلات في إطارات الفيديو، ورسم مربع حولها وتسميتها. ولأن مجموعة البيانات كانت صغيرة نسبياً، استخدم الفريق تقنية تُسمى "التعلم بنقل الخبرة" (transfer learning)، والتي تسمح للنموذج المدرب على مكتبة ضخمة من الأشياء العامة بأن يتم ضبطه بدقة لهذه الأدوات الموسيقية المحددة. وعند اختبار النظام على إطارات فيديو جديدة، نجح النظام في تحديد الآلات بدقة بلغت 75.1 بالمائة، مما يعني أنه عندما يقول إنه رأى آلة معينة، فإنه يكون صحيحاً في معظم الأحيان. كما تمكن أيضاً من العثور على حوالي 59 بالمائة من جميع الآلات الموجودة فعلياً في المشاهد.

بمجرد أن يحدد النظام البصري الآلات التي تعزف، تبدأ المرحلة الثانية من العملية. فقد طور الباحثون شبكة معالجة صوتية منفصلة لكل نوع من أنواع الآلات الاثني عشر. وهذا يعني أنه إذا رصد الكاشف البصري غيتاراً وطبلاً، فإن النظام لا يحاول تخمين كيفية فصلهما من الصفر، بل يقوم بتنشيط شبكة "الغيتار" المحددة وشبكة "الطبل" المحددة. وقد صُممت كل من هذه الشبكات لتنظر إلى التسجيل الصوتي المختلط، والذي تم تحويله إلى خريطة بصرية لترددات الصوت عبر الزمن، تُعرف باسم "المخطط الطيفي" (spectrogram). مهمة الشبكة هي إنشاء مرشح رقمي، أو "قناع"، يسلط الضوء على الأجزاء الصوتية التي تنتمي لآلتها المحددة ويُسكت ما سواها.

اختبر الباحثون هذا النظام ثنائي الخطوات على 420 مقطع فيديو من العالم الحقيقي. ووجدوا أنه من خلال استخدام الكشف البصري لتوجيه الفصل الصوتي، استطاع النظام عزل أصوات الآلات المختلفة بفعالية. وفي المتوسط، كانت جودة الفصل قوية، حيث حقق النظام درجة تشير إلى تميز واضح بين الصوت المستهدف وضوضاء الخلفية. وبالنسبة لبعض الآلات، مثل الكلارينيت والغيتار، كان الفصل نظيفاً للغاية، بينما شكلت الآلات الأخرى ذات الترددات الأكثر تعقيداً أو تداخلاً تحدياً أكبر. كما قارنت الدراسة طريقتهم مع تقنيات متقدمة أخرى ووجدت أن نهجهم أنتج نتائج متفوقة في تقليل التداخل من الآلات الأخرى، محققاً متوسط درجة جودة فصل بلغت 8.75 ديسيبل.

إن النتيجة الرئيسية لهذا البحث هي أن المعلومات المرئية تعمل كدليل قوي، مما يضيق نطاق الاحتمالات أمام النظام الصوتي. فمن خلال معرفة الآلات الموجودة في المشهد بدقة، لا يتعين على النظام التخمين أو البحث عبر جميع تركيبات الأصوات الممكنة. وهذا أمر قيم بشكل خاص للآلات الموسيقية الفارسية، التي غالباً ما تكون ممثلة تمثيلاً ناقصاً في مجموعات البيانات العالمية ويصعب على النماذج القياسية التعرف عليها. وتثبت الدراسة أن النظام التركيبي، حيث يعمل الكشف البصري وفصل الصوت جنباً إلى جنب ولكن بشكل منفصل، هو وسيلة عملية وفعالة لفك تشابك العروض الموسيقية المعقدة. وبينما يتطلب النظام حالياً نموذجاً منفصلاً لكل نوع من أنواع الآلات ولا يمكنه بعد تعلم فصل آلة جديدة تماماً لم يسبق له رؤيتها، فإن النتائج تظهر مساراً واضحاً نحو تحسين كيفية فهم الآلات للصوت وعزله في العالم الحقيقي.