DAVE: A Decoupled Audio-Visual Enhancement Framework for Real-World Speech Separation

تخيل أنك في حفلة صاخبة حيث يتحدث الجميع في وقت واحد. عقلك عبارة عن مرشح فائق القدرة يمكنه التركيز على صوت صديقك مع تجاهل قرقعة الكؤវات والترددات المنخفضة (البيس) المنبعثة من الموسيقى. هذا ما يسمى بـ "فصل الكلام" (speech separation). الآن، تخيل أنك تحاول القيام بذلك من أجل روبوت أو برنامج كمبيوتر. إذا كان لدى الكمبيوتر "آذان" فقط، فسيصاب بالارتباك عندما يتحدث شخصان في نفس الوقت. ولكن إذا امتلك الكمبيوتر "عيوناً" أيضاً، فيمكنه مراقبة من يحرك شفتيه ليعرف من المتحدث. هذه هي "تعزيز الكلام الصوتي-البصري" (audio-visual speech enhancement). إن الأمر يشبه محققاً يستخدم الميكروفون والكاميرا معاً لحل لغز ما. ومع ذلك، فإن الحياة الواقعية فوضوية؛ فقد تصبح الكاميرات ضبابية، أو قد يخرج الأشخاص من إطار التصوير، أو قد تكون الإضاءة سيئة للغاية. إذا اعتمد الكمبيوتر بشكل مفرط على كاميرا مهتزة، فقد يحدد الشخص الخطأ. السؤال الكبير الذي يحاول الباحثون الإجابة عليه هو: كيف نبني نظاماً يستخدم الكاميرا للمساعدة، ولكن لا ينهار إذا تعطلت الكاميرا؟

إليك DAVE، وهو إطار عمل جديد ابتكره الباحث "وي زو" (Wei Zhou) وفريقه. فكر في DAVE كوكالة تحقيق ذكية ذات خطوتين، ترفض الذعر عندما تصبح الأدلة غير واضحة.

مشكلة "المحققين الشاملين"

كانت معظم المحاولات السابقة لهذه المشكلة تشبه محققاً يثبت عينيه على شاشة الكاميرا بينما يحاول الاستماع. لقد قاموا بخلط الفيديو والصوت معاً منذ البداية. فإذا كان الفيديو ضبابياً أو كان وجه الشخص مخفياً، يصاب النظام بأكمله بالارتبال ويبدأ في التخمين بشكل خاطئ. كان الأمر يشبه محاولة حل لغز أثناء ارتداء نظارات ضبابية؛ فكلما حاولت استخدام النظارات أكثر، ساءت الصورة أكثر.

يرى المؤلفون أن هذا النهج "الملتصق" ينطوي على مخاطرة. في العالم الحقيقي، غالباً ما تتدهور الإشارات المرئية. وبدلاً من إجبار الكمبيوتر على استخدام فيديو سيء لإصلاح الصوت، يسلك DAVE مساراً مختلفاً: إنه يفصل (decouples) الاثنين عن بعضهما البعض. إنه يفصل مهمة "تنظيف الصوت" عن مهمة "معرفة من يتحدث".

الخطوة 1: بناء صالة ألعاب رياضية أفضل للتدريب (DAVE-Corpus)

قبل أن يتمكن المحقق من حل الجرائم الحقيقية، يحتاج إلى التدريب. المشكلة هي أنه لا توجد تسجيلات كافية للاجتماعات الحقيقية الفوضوية لتدريب هذه الحواسيب. معظم بيانات التدريب نظيفة ومثالية للغاية، مثل تسجيلات الاستوديو، مما لا يهيئ الذكاء الاصطناعي للتعامل مع مقهى صاخب.

ولحل هذه المشكلة، بنى الفريق DAVE-Corpus، وهي صالة ألعاب رياضية ضخمة للتدريب تحتوي على 219,411 مزيجاً صوتياً مختلفاً. لم يكتفوا بتسجيل اجتماعات جديدة، بل أخذوا تسجيلات اجتماعات عامة موجودة واستخدموا طريقة "تجميعية" (combinatorial) ذكية لإعادة مزجها. تخيل أخذ آلاف المقاطع الصوتية المختلفة وخلطها عشوائياً في خلاط رقمي، مع إضافة أصداء واقعية (مثل التحدث في قاعة كبيرة) وضوضاء خلفية. حتى أنهم تأكدوا من أن الأصوات تبدو مختلفة بما يكفي لتكون متحدثين متميزين. هذا الطاقم الضخم من البيانات علم الذكاء الاصطناعي كيفية التعامل مع الواقع الفوضوي للصوت في العالم الحقيقي دون الحاجة إلى بث فيديو مثالي.

الخطوة 2: النظام ذو المسارين

يقسم DAVE العمل إلى فريقين متميزين لا يتداخلان مع بعضهما البعض:

1. منظف الصوت فقط: مهمة هذا الفريق الوحيدة هي أخذ الضوضاء الفوضوية وفصلها إلى مسارين نظيفين من الكلام. هم لا ينظرون إلى الفيديو على الإطلاق. وقد تم تدريبهم ليكونوا أقوياء للغاية، باستخدام استراتيجية "متعددة الأهداف تصاعدية". وهذا يعني أنهم لا يُقيمون فقط بناءً على مدى هدوء الضوضاء، ولكن أيضاً بناء مدى سهولة فهم الكلام، ومدى الحفاظ على نبرة صوت المتحدث الفريدة، ومدى كونها طبيعية للأذن البشرية.
2. المحقق البصري: بمجرد فصل الصوت إلى مسارين مجهولين، يتدخل هذا الفريق. ينظرون إلى الفيديو ليقرروا أي مسار ينتمي لأي شخص. ولكن الجزء الذكي هنا هو أنهم لا يثقون في عرض كاميرا واحد فقط؛ بل يستخدمون "دمجاً موزوناً" لأربعة أدلة مختلفة:
   • بصمة الصوت (Voiceprint): لمن يبدو هذا الصوت؟ (وهذا هو الدليل الأكثر أهمية).
   • تزامن الشفاه (Lip-Sync): هل تتحرك الشفاه بالتزامن مع الصوت؟
   • SyncNet: فحص متخصص للمطابقة بين الصوت والصورة.
   • النقاط الرئيسية (Keypoints): تتبع حركة الفم حتى لو كان الوجه ضبابياً.

إذا كان الفيديو سيئاً (ضبابياً أو محجوباً)، فإن النظام يعتمد بشكل كبير على بصمة الصوت. وإذا كان الفيديو واضحاً، فإنه يستخدم الأدلة الأربعة معاً. بهذه الطريقة، إذا فشلت الكاميرا، لا ينهار النظام؛ بل يعتمد فقط على الصوت الذي قام بتنظيفه بالفعل.

الخطوة 3: شبكة الأمان "المعتمدة"

الخدعة الأخيرة هي ما يسميه المؤلفون "التعزيز الانتقائي المعتمد". تخيل أن لديك قاعدة تقول: "لا يمكننا لمس الصوت إلا إذا كنا متأكدين بنسبة 100% أننا لن نفسد النتيجة الرسمية".

في العالم الحقيقي، أحياناً لا نملك "مرجعاً مثالياً" للمقارنة به (مثل تسجيل لما يجب أن يكون عليه صوت المتحدث). في هذه الحالات، يطبق DAVE خطوات تنظيف إضافية، مثل إزالة ضوضاء الخلفية باستخدام GAN (نوع من الذكاء الاصطناعي يتعلم توليد أصوات واقعية) وضبط مستوى الصوت. ومع ذلك، بالنسبة للأجزاء من الاختبار التي نملك فيها مرجعاً مثالياً، فإنهم لا يطبقون هذه الخطوات الإضافية. هذا يضمن أن النظام لا يفسد "النتائج الرسمية" عن طريق الخطأ. إنه بروتوكول سلامة يضمن أن الذكاء الاصطناعي لا يخاطر إلا في الأماكن المسموح له فيها بذلك.

النتائج

عندما اختبر الفريق DAVE في "تحدي تعزيز الكلام الصوتي-البصري في العالم الحقيقي"، كانت النتائج مبهرة.

• في المسار 1 (سيناريوهات مختلطة من العالم الحقيقي)، تفوق DAVE على الخط المرجعي الرسمي بفارق هائل، حيث حسن نسبة الإشارة إلى الضوضاء بأكثر من 16 ديسيبل وقلل معدل الخطأ في فهم الكلام (CER) من 1.025 إلى 0.171.
• في المسار 2 (حيث تم إضعاف الفيديو عمداً بالضبابية وإطارات مفقودة)، ظل DAVE قوياً. حتى مع الفيديو السيئ، حقق جودة إشارة بلغت 8.93 ديسيبل ومعدل خطأ منخفض قدره 0.220.

الخلاصة الرئيسية هي أنه من خلال فصل "التنظيف" عن "التحديد"، ومن خلال التدريب على مجموعة بيانات واقعية ضخمة، أثبت DAVE أنك لست بحاجة إلى فيديو مثالي للحصول على صوت رائع. إنه نظام يعرف متى يثق في عينيه ومتى يثق في أذنيه، مما يجعله شريكاً أكثر موثوقية للتطبيقات الواقعية مثل الاستماع المساعد أو التفاعل بين الإنسان والحاسوب.