Evaluating Speech Articulation Synthesis with Articulatory Phoneme Recognition

ملخص تقني: تقييم تخليق نطق الكلام باستخدام التعرف على الفونيمات النطقية

بيان المشكلة
يفتقر تقييم تخليق نطق الكلام — وتحديدًا توليد أشكال المجرى الصوتي بناءً على المتواليات الفونيمية — إلى مقياس جودة موضوعي وقوي. إن المقاييس التقليدية، مثل مسافات أقرب نقطة إلى نقطة، محدودة بسبب التباين الكبير بين المتحدثين وداخل المتحدث الواحد، وغالبًا ما تفشل في التقاط تفاصيل إنتاج الفونيمات، مثل مواضع النطق الصحيحة. علاوة على ذلك، تواجه هذه المقاييس صعوبة في التمييز بين النماذج التوليدية المتقدمة (على سبيل المثال، الأنظمة الخالية من النماذج مقابل أنظمة الترميز التلقائي - autoencoder) التي قد تبدو غير متمايزة من حيث المسافة الهندسية، ولكنها تختلف في الاستقرار الزمني والدقة النطقية. كما يصعب التحليل الذاتي نظرًا لضرورة توفر معرفة متخصصة في تشريح الجهاز الصوتي والخصائص الصوتية. وبناءً على ذلك، هناك حاجة إلى مقياس يمكنه التقاط المعلومات الفونيمية والوضوح بشكل أفضل دون الاعتماد كليًا على إعادة بناء الإشارة الصوتية.

المنهجية
يقترح المؤلفون استخدام التعرف على الفونيمات كمقياس بديل لتقييم جودة الميزات النطقية المُخلقة. وتتمثل الفرضية الأساسية في أن نظام التعرف على الفونيمات المدرب على البيانات النطقية يمكنه التقاط تفاصيل الإنتاج (مثل موضع النطق) بشكل أفضل من مقاييس المسافة التقليدية.

1. مجموعة البيانات: تستخدم الدراسة مجموعة بيانات تتكون من 2.5 ساعة من الكلام لمتحدثة فرنسية أصلية واحدة، تضم صور رنين مغناطيسي في الوقت الحقيقي (RT-MRI) بتردد 50 هرتز، وإشارات صوتية منزوعة الضجيج، وتوصيفات فونيمية يدوية. تم تقسيم مجموعة البيانات إلى مجموعات تدريب (1,399 عبارة)، وتحقق (116)، واختبار (114).
2. استخراج الميزات:
   • الميزات النطقية: يتم استخراج مسارات عشرة من أعضاء النطق في المجرى الصوتي (الغضروف الحلقي، لسان المزمار، القاطع السفلي، الشفة السفلية، البلعوم، الحنك الرخو، الغضروف الدرقي، اللسان، الشفة العليا، والحبال الصوتية). يتم دمج هذه المسارات في متجه ذي قناتين و500 بُعد.
   • ترميز الجهر (Voicing Encoding): نظرًا لأن صور الـ RT-MRI في المقطع السهمي الأوسط تفتقر إلى بيانات استثارة الحبال الصوتية، فقد تمت إضافة ترميز فئوي يمثل معلومات الجهر إلى مجموعة الميزات.
   • الميزات المُخلّقة: تقيم الدراسة ثلاثة أنظمة تخليق من الأدبيات الموجودة:
     • متوسط المسار لكل فونيم (Phoneme-wise mean-contour): وهو خط أساس يعتمد على متوسط المسارات لكل فونيم.
     • النظام الخالي من النماذج (Model-free system): يولد أشكالًا مباشرة من المتواليات الفونيمية دون نموذج نطقي صريح.
     • نظام يعتمد على الترميز التلقائي (Autoencoder-based system): يولد معلمات نطقية بناءً على بنية الترميز التلقائي.
3. بنية النموذج: تم استخدام نظام للتعرف على الفونيمات يعتمد على بنية Deep Speech 2. يتكون النظام من كتلة مهايئة (لتحويل المدخلات النطقية من 500 بُعد إلى 80 بُعدًا)، تليها خمس كتل تلافيفية متبقية (residual convolutional blocks) وثلاث كتل متكررة (GRU)، تنتهي بمصنف خطي.
4. التدريب والتقييم:
   • يتم تدريب المعرف على الميزات الصوتية (مخططات ميل - Mel spectrograms) والميزات النطقية الحقيقية (مع ومع بدون ترميز الجهر) لإنشاء خطوط الأساس.
   • بعد ذلك، يتم اختبار المعرف المدرب على الميزات النطقية المُخلّقة التي أنتجتها الأنظمة الثلاثة.
   • المقاييس: مقياس التقييم الأساسي هو معدل خطأ الفونيم (PER) المحسوب عبر مسافة ليفنشتاين (Levenshtein distance). بالإضافة إلى ذلك، تُستخدم تقنية t-SNE لتصور التمثيلات الميزات التي تعلمتها النماذج.

النتائج الرئيسية

• أداء خط الأساس: حقق المعرف المدرب على الميزات النطقية الحقيقية (مع ترميز الجهد) معدل PER قدره 21.66%، وهو ما يقارب الـ 23.30% التي حققها باستخدام الإشارة الصوتية. يشير هذا إلى أن المسارات النطقية وحدها تحتفظ بمعلومات فونيمية كافية لتنافس الإشارات الصوتية، رغم غياب معلومات المصدر.
• مقارنة الأنظمة التخليقية:
  • النظام الخالي من النماذج: من المثير للدهشة أن هذا النظام حقق أدنى معدل PER (20.59%) بين جميع المجموعات المختبرة، بل وتفوق على الميزات النطقية الحقيقية. يشير المؤلفون إلى أن هذا قد يكون بسبب قيام النظام بتصفية الضجيج الموجود في بيانات الـ MRI الخام، مما ينتج عنه نطق أكثر نقاءً.
  • النظام المعتمد على الترميز التلقائي: حقق هذا النظام معدل PER أعلى (31.69%) من النهج الخالي من النماذج، مما يشير إلى أنه يعيد إنتاج معلومات فونيمية أقل، رغم الادعاءات السابقة بقدرته الأفضل على تعلم موضع النطق.
  • خط أساس متوسط المسار: كما كان متوقعًا، كان النهج التبسيطي لمتوسط المسار هو الأسوأ أداءً (PER بلغ 43.18%).
• تحليل الارتباك (Confusion Analysis): كشفت مصفوفات الارتباك عن نقاط ضعف محددة. أظهر النظام الخالي من النماذج معدلات حذف عالية للفونيمات الشفوية، والخلفية، والمصوتات المستديرة، ويرجع ذلك على الأرجًا إلى نقص بيانات استدارة الشفاه أو صعوبة تقريب إغلاق الشفاه. بينما أظهر نظام الترميز التلقائي معدلات حذف عالية عبر جميع الفئات، مما جعل من الصعب عزل حالات الفشل النطقي المحددة.
• تضمينات الميزات: أظهرت مخططات t-SNE أن إضافة ترميز الجهر خلقت مجموعات متميزة وقابلة للفصل في فضاء التضمين، وهي بنية لم تكن واضحة في الميزات الصوتية.

الأهمية والادعاءات
يزعم البحث أن التعرف الآلي على الكلام (ASR) يعمل كمقياس موضوعي فعال وقابل للتطبيق لتقييم تخليق النطق الكلامي. ويجادل المؤلفون بأن:

1. الثراء الفونيمي: الميزات النطقية المستخرجة من RT-MRI غنية فونيميًا، وعند دمجها مع ترميز الجهد، فإنها تحتوي على معلومات تضاهي أو تتجاوز الإشارة الصوتية من حيث التعرف على الفونيمات.
2. القدرة على التمييز: بخلاف مقاييس المسافة الهندسية، يمكن للتعرف على الفونيمات التمييز بشكل معنوي بين النماذج التوليدية المختلفة (مثل التمييز بين الاستقرار الزمني للنظام الخالي من النماذج والنظام المعتمد على الترميز التلقائي).
3. التوافق مع الإدراك: يرتبط خطأ التعرف بالانطباعات النوعية للكلام المُخلّق (مثل الاستقرار والوضوح)، مما يوفر مقياسًا موضوعيًا لما كان يُعتبر سابقًا تقييمًا ذاتيًا.

يتبع المؤلفون نهجًا متواضعًا، مشيرين إلى أن نتائجهم محددة بمتحدث واحد نظرًا للتكاليف العالية والقيود اللوجستية لجمع بيانات RT-MRI. هم لا يدعون أن طريقتهم هي حل عالمي لجميع المتحدثين بعد، لكنهم يقترحون أن التعرف على الفونيمات المستقل عن المتحدث يمثل اتجاهًا واعدًا للتقييم متعدد المتحدثين وتطوير عمليات التطبيع الضمني للمتحدث في مسارات تدريب التخليق.