Throat and acoustic paired speech dataset for deep learning-based speech enhancement

إليك ملخص تقني مفصل لورقة البحث بعنوان "مجموعة بيانات الكلام المزدوجة للحلق والصوت للتعلم العميق القائم على تحسين الكلام".

1. بيان المشكلة

يعد التقاط الكلام الواضح في البيئات عالية الضجيج (مثل المصانع، أو مترو الأنفاق) باستخدام الميكروفونات الصوتية القياسية أمراً صعباً بسبب ضوضاء الخلفية. توفر الميكروفونات التي تعمل بالتوصيل عبر الجسم (BCMs)، وتحديداً ميكروفونات الحلق، حلاً من خلال التقاط الاهتزازات مباشرة من الجلد بالقرب من الأحبال الصوتية، مما يقلل بطبيعته من الضوضاء المحمولة جواً. ومع ذلك، تعاني هذه الميكروفونات من قيود كبيرة:

• تأثير المرشح منخفض التردد (Low-Pass Effect): يؤدي انتقال الصوت عبر الجلد والأنسجة إلى إضعاف المكونات عالية التردد، مما يقلل من وضوح الكلام.
• فقدان الفونيمات الحرجة: يتم التقاط الأصوات الانفجارية والاحتجازية غير المجهورة (مثل /s/، /z/، /h/) بشكل ضعيف لأنها تعتمد على اضطراب الهواء بدلاً من اهتزاز الأحبال الصوتية.
• نقص البيانات المعيارية: يعيق غياب مجموعات بيانات واسعة النطاق، ومعيارية، ومتوافقة بدقة، التقدم في تحسين الكلام القائم على التعلم العميق لميكروفونات الجسم. غالباً ما تكون مجموعات البيانات الموجودة صغيرة، أو مملوكة لجهات معينة، أو تفتقر إلى التزامن الدقيق بين إشارات ميكروفون الحلق والإشارات الصوتية.

2. المنهجية

أ. بناء مجموعة البيانات (TAPS)

قدم المؤلفون مجموعة بيانات "الكلام المزدوج للحلق والصوت" (TAPS)، المصممة خصيصاً لتدريب نماذج تحسين كلام ميكروفون الحلق (TMSE).

• المشاركون: 60 متحدثاً من الناطقين باللغة الكورية (متوازنون من حيث الجنس، متوسط العمر ~27 عاماً).
• إعداد الأجهزة:
  • ميكروفون الحلق: مقياس تسارع MEMS مخصص (TDK IIM-42652) مثبت في المنطقة فوق المزمار (فوق الغضروف الدرقي) لالتقاط اهتزازات الجلد. تم أخذ العينات بتردد 8 كيلو هرتز.
  • الميكروفون الصوتي: ميكروفون MEMS (من شركة CUI Devices) موضوع على بعد 30 سم من الشفاه. تم أخذ العينات بتردد 16 كيلو هرتز.
  • البيئة: غرفة معالجة صوتياً ذات عزل عالٍ وارتداد منخفض.
• المحتوى: 6,000 جملة فريدة من مدونة صحيفة كورية، موزعة بواقع 100 جملة لكل متحدث.
• تقسيم البيانات:
  • التدريب: 40 متحدثاً (4,000 عبارة، 10.2 ساعة).
  • التحقق (Dev): 10 متحدثين (1,000 عبارة، 2.5 ساعة).
  • الاختبار: 10 متحدثين (1,000 عبارة، 2.6 ساعة).

ب. معالجة الإشارة والمحاذاة

تتمثل المساهمة الحاسمة في المنهجية في التعامل مع عدم المحاذاة الزمنية بين الوسيطين.

• مصادر عدم التطابق: حدد المؤلفون ثلاثة عوامل تسبب فروقاً زمنية: (1) المسافة بين الشفاه والميكروفون الصوتي، (2) التشريح الفردي للمجرى الصوتي، و(3) مواقع الرنين الخاصة بالفونيمات.
• استراتيجية المحاذاة: بدلاً من مجرد إزاحة عالمية بسيطة، حلل المؤلفون تباينات عدم التطابق عبر المتحدثين والجمل. وقارنوا بين ثلاث استراتيجيات للتصحيح:
  1. التصحيح لكل عبارة (Per-utterance).
  2. تصحيح متوسط لكل متحدث (Per-speaker mean).
  3. تصحيح عدم التطابق المتوسط العام (العالمي) (Overall mean mismatch correction).
  • النتيجة: حققت استراتيجية تصحيح عدم التطاق المتوسط العام (بتطبيق إزاحة عالمية قدرها 13 عينة عند 8 كيلو هرتز، أو ~1.625 مللي ثانية) أفضل تحسنات متسقة في أداء النموذج عبر مختلف المقاييس.
• المعالجة المسبقة: شملت إزالة الإزاحة الجاذبية (ترشيح تمرير عالي)، وتقليل الضوضاء في الأهداف الصوتية باستخدام Demucs، وتقليم البيانات، ورفع تردد إشارة الحلق إلى 16 كيلو هرتز.

ج. النماذج المرجعية (Baseline Models)

تم تدريب ثلاثة بنيات للتعلم العميق على مجموعة بيانات TAPS لتقييم مهمة التحسين:

1. TSTNN (شبكة ترانسفورمر عصبية ثنائية المرحلة): نهج قائم على القناع (Masking-based).
2. Demucs: نهج قائم على الخرائط (Mapping-based) يستخدم مشفر-فك تشفير تلافيفي مع BLSTM.
3. SE-conformer: نهج قائم على الخرائط يجمع بين هياكل المشفر-فك التشفير وكتل Conformer.

3. المساهمات الرئيسية

1. مجموعة بيانات TAPS: أول مجموعة بيانات متاحة للجمهور، واسعة النطاق، ومعيارية لتسجيلات الكلام المزدوجة للحلق والصوت من 60 متحدثاً، والموضعة خصيصاً في المنطقة فوق المزمار لتحقيق أفضل نسبة إشارة إلى الضوضاء.
2. خط معالجة محاذاة مُحسّن: تحليل منهجي لعوامل عدم تطابق الإشارة والتحقق من فعالية استراتيجية "تصحيح عدم التطابق المتوسط العام"، وهو أمر بالغ الأهمية لتدريب نماذج التعلم العميق القوية على بيانات المستشعرات متعددة الوسائط.
3. قياس أداء TMSE: تقييم شامل لأحدث النماذج (TSTNN، Demucs، SE-conformer) في مهمة إعادة بناء المكونات عالية التردد وغير المجهورة من إشارات الحلق.
4. الموارد مفتوحة المصدر: إصدار عام لمجموعة البيانات (Hugging Face، Zenodo)، وملفات تصميم الأجهزة، والبرامج الثابتة (firmware)، وكود التدريب المرجعي.

4. النتائج

قيمت الدراسة النماذج باستخدام مقاييس جودة الكلام الموضوعية (PESQ، STOI، CSIG، CBAK، COVL) ومقاييس استعادة محتوى الكلام (CER، WER عبر Whisper ASR).

• مقارنة الأداء:
  • تفوقت النماذج القائمة على الخرائط (Demucs، SE-conformer) بشكل كبير على النموذج القائم على القناع (TSTNN) في استعادة المحتوى.
  • حقق SE-conformer أفضل أداء إجمالي:
    • PESQ: 1.971 (مقابل 1.22 لميكروفون الحلق الخام).
    • STOI: 0.892.
    • CER: 24.4% (مقابل 84.4% لميكروفون الحلق الخام).
• النتيجة الرئيسية: النماذج القائمة على الخرائط هي الأفضل لمهام TMSE لأنها تستطيع توليد المكونات المفقودة عالية التردد وغير المجهورة، بينما يمكن للنماذج القائمة على الأقنعة فقط تعديل المكونات الطيفية الموجودة وتفشل في استعادة المعلومات المفقودة.
• تأثير المحاذاة: أدى استخدام استراتيجية المحاذاة العالمية المُحسّنة إلى تحسين درجات PESQ وSTOI وتقليل معدلات خطأ الحروف (CER) بشكل كبير مقارنة بالبيانات غير المصححة.

5. الأهمية

• تطوير التقنيات القابلة للارتداء: توفر مجموعة بيانات TAPS ونتائجها أساساً لتطوير أنظمة تحسين الكلام القوية للأجهزة القابلة للارتداء، مما يتيح التواصل الواضح في بيئات الضجيج الشديدة (الصناعية، العسكرية، النقل العام).
• التقييس: من خلال وضع مجموعة بيانات وبروتوكول محاذاة معياري، تسهل الورقة إعادة الإنتاج والمقارنة الكمية المباشرة في الأبحاث المستقبلية المتعلقة بالكلام الموصل عبر الجسم.
• التطبيقات الأوسع: تدعم هذه التكنولوجيا التطورات في التعرف التلقائي على الكلام (ASR) في البيئات الصاخبة، وواجهات الكلام الصامت، وتقنيات التواصل المساعدة.
• التوسع المنهجي: يمكن توسيع إطار بناء مجموعة البيانات والمحاذاة ليشمل لغات أخرى ومجالات متنوعة مثل التفاعل بين الإنسان والحاسوب.