Deep Learning Based Relative Transfer Matrix Estimation for Multiple Sources and Multiple Microphones

تخيل أنك في غرفة مزدحمة وذات صدى، حيث يتحدث ثلاثة أشخاص مختلفين في آن واحد، مع طنين عالٍ لجهاز تكييف الهواء في الخلفية. لديك فريق من الميكروفونات يحاول تسجيل صوت واحد محدد فقط. هذه هي المعاناة اليومية لـ "تجربة أداء الروبوت" وسماعات الأذن: كيف تفصل صوتاً واحداً عن مزيج فوضوي من الضجيج والأصوات الأخرى؟ للقيام بذلك، تحتاج الحواسيب إلى فهم "البصمة الصوتية" للغرفة — كيف يرتد الصوت عن الجدران وينتقل من المتحدث إلى الميكروفون. يطلق العلماء على هذا اسم "دالة النقل" (transfer function). ولكن عندما يتحدث عدة أشخاص في نفس الوقت، تصبح الرياضيات معقدة. ومن هنا اختُرعت أداة أحدث وأقوى تسمى "مصفوفة النقل النسبية" (ReTM) للتعامل مع هذه الفوضى. فكر في (ReTM) كخريطة رئيسية تخبر الحاسوب بدقة كيف يتحرك الصوت بين مجموعتين مختلفتين من الميكروفونات، بغض النظر عمن يتحدث. إذا تمكنا من تقدير هذه الخريطة بدقة، يمكننا تنقية التسجيلات الصاخبة، ومساعدة الروبوتات على السمع بشكل أفضل، وجعل المؤتمرات عبر الإنترنت واضحة تماماً.

تتمحور هذه الورقة البحثية حول تعليم الحواسيب رسم تلك الخريطة باستخدام نوع خاص من القدرة الذهنية يسمى "التعلم العميق" (Deep Learning). فبدلاً من استخدام الصيغ الرياضية التقليدية التي تعاني مع الضجيج المعقد، قام المؤلفون بتدريب ثلاثة أنواع مختلفة من الشبكات العصبية الاصطناعية للنظر في تسجيلات الميكروفون وتخمين خريطة (ReTM). وقد اختبروا هذه الأدمغة الرقمية في غرفة محاكية ذات أبعاد محددة (6 × 7 × 3 أمتار) وزمن ارتداد صوتي قدره 500 مللي ثانية، باستخدام سيناريوهات تحتوي على مصدرين أو ثلاثة مصادر للصوت (مثل الضوضاء البيضاء، أو الموسيقى، أو الكلام) وما يصل إلى 12 ميكروفوناً.

وجد الباحثون أن أساليبهم الجديدة أفضل عموماً في تقدير هذه الخريطة مقارنة بالطريقة التقليدية القائمة على التغاير (covariance-based method). وقد قاسوا النجاح باستخدام خمسة مقاييس مختلفة، بما في ذلك نسبة الإشارة إلى التشوه (SDR) ومتوسط مربع الخطأ (MSE). أحد النماذج، المسمى (FuSNet)، والذي يستخدم نوعاً معيناً من المرشحات (filters)، كان الأفضل أداءً عندما كان الضجيج منتظماً (مثل الضوضاء البيضاء)، حيث حقق (SDR) قدره 29.13 ديسيبل في أحد الاختبارات. كما حقق نموذج آخر، وهو (SCoNet)، الذي يستخدم نهجاً قائماً على التردد، أداءً جيداً جداً، متفوقاً في كثير من الأحيان على الطريقة القديمة. ومع ذلك، تشير الورقة إلى مفارقة: بينما كان (FuSNet) هو البطل في تقدير الخريطة، إلا أن ذلك لم يترجم بشكل مثالي إلى الهدف النهائي المتمثل في تنقية الكلام. فعندما حاول الفريق فعلياً استخدام هذه الخرائط لإزالة الضجيج من الكلام، انخفضت نتائج (FuSNet)، مما ترك خلفه صدىً ملحوظاً. في المقابل، حققت النماذج الأخرى، وخاصة الشبكة القائمة على (LSTM) والمسمات (LAeNet)، أعلى مستويات وضوح الكلام، حيث رفعت (SDR) بمتوسط 10.55 ديسيبل في اختباراتهم.

ويوضح المؤلفون بحذر أن هذه النتائج تأتي من عمليات محاكاة، وليس من اختبارات ميدانية في العالم الحقيقي. وهم يجادلون صراحة ضد فكرة أن الطريقة التقليدية هي السبيل الوحيد، مظهرين أن التعلم العميق يمكن أن يقدم دقة فائقة، خاصة في المجال الزمني. ومع ذلك، فإنهم يستبعدون أيضاً فكرة أن أفضل مُقدِّر للخريطة هو تلقائياً أفضل مُنَقِّي للكلام؛ إذ يعتمد النموذج "الأفضل" على المهمة المحددة. وتخلص الورقة إلى أنه بينما تعد أطر العمل هذه القائمة على التعلم العميق أدوات واعدة لمستقبل معالجة الصوت، إلا أنه لا يزال هناك عمل يجب القيام به لجعلها مثالية للتطبيقات الواقعية مثل فصل المتحدثين أو إزالة الصدى تماماً.