A Comprehensive Analysis of Tokenization and Self-Supervised Learning in End-to-End Automatic Speech Recognition applied on French Language

ملخص تقني: تحليل شامل للترميز (Tokenization) والتعلم الخاضع للإشراف الذاتي في التعرف الآلي على الكلام من طرف إلى طرف المطبق على اللغة الفرنسية

بيان المشكلة
بينما يتم دمج أنظمة التعرف الآلي على الكلام (ASR) من طرف إلى طرف (end-to-end) بشكل متزايد في تطبيقات مثل النسخ النصي والمساعدات الصوتية، لا يزال تقييم أدائها محدوداً. تعتمد الأبحاث الحالية بشكل أساسي على معدل خطأ الكلمات (WER) ومعدل خطأ الحروف (CER). ومع ذلك، غالباً ما تكون هذه المقاييس غير كافية لوصف جودة النصوص المفرغة للتطبيقات اللاحقة. علاوة على ذلك، فإن التأثيرات المحددة لخوارزميات ترميز الكلمات الفرعية (subword tokenization) واختيارات نماذج التعلم الخاضع للإشراف الذاتي (SSL) على الأداء اللغوي والصوتي والدلالي — لا سيما بالنسبة للغة الفرنسية — لا تزال غير مستكشفة بشكل كافٍ في سياق البنيات من طرف إلى طرف.

المنهجية
أجرى المؤلفون دراسة نوعية على نظام التعرف الآلي على الكلام باللغة الفرنسية باستخدام مجموعة شاملة من مقاييس التقييم التي تتجاوز معدلات الخطأ القياسية.

• بنية النظام: استخدمت الدراسة 28 نظاماً للتعرف الآلي على الكلام من طرف إلى طرف مبنية على مجموعة أدوات Speechbrain. يتكون كل نظام من مشفر نموذج SSL متبوعاً بشبكة عصبية عميقة (DNN) ذات ثلاث طبقات خطية وطبقة "الربط الزمني التصنيفي" (CTC) لفك التشفير.
• استراتيجيات الترميز: قارن المؤلفون بين طرق ترميز مختلفة، بما في ذلك الترميز بالحروف (Character)، وترميز زوج البايت (BPE)، وSentencePiece، وUnigram. كما قاموا بتغيير أحجام المفردات (تتراوح من 150 إلى 1000 رمز) واستقصوا استخدام التهيئة القائمة على الرسم الكتابي (144 حرفاً) لاحترام الخصائص اللغوية والصوتية.
• نماذج التعلم الخاضع للإشراف الذاتي (SSL): وظفت الدراسة نماło متعددة تعتمد على wav2vec 2.0:
  • نماذج فرنسية أحادية اللغة مدربة على 1,000 و3,000 و7,000 ساعة من البيانات.
  • نموذج متعدد اللغات (XLSR) مدرب على 53 لغة بما في ذلك الفرنسية.
  • نموذج إنجليزي فقط مدرب على 53,000 ساعة لاختبار النقل عبر اللغات.
• المجموعات النصية (Corpora): تم تدريب الأنظمة على حوالي 356 ساعة من بيانات البث الفرنسية (ESTER 1 & 2, EPAC, ETAPE, REPERE) وتم تقييمها على مجموعة اختبار REPERE المكونة من 10 ساعات.
• مقاييس التقييم: بالإضافة إلى WER وCER، قدمت الدراسة أو استخدمت:
  • معدل خطأ الكلمات غير المرئية (UWER): يقيس الدقة في الكلمات الغائبة عن مجموعة بيانات التدريب.
  • المسافة الدلالية (SemDist): المسافة الدلالية بناءً على تضمينات الجمل (SentenceBERT/CamemBERT) لتقييم التشابه الدلالي.
  • معدل خطأ الفونيم (PhonER): مقياس صوتي يقيس مسافة ليفنشتاين (Levenshtein distance) بين تسلسلات الفونيمات المرجعية والفرضية.

النتائج الرئيسية

• تأثير نماذج SSL:
  • خصوصية اللغة: تفوقت نماذج SSL المدربة مسبقاً على البيانات الفرنسية بشكل كبير على تلك المدربة على البيانات الإنجليزية أو متعددة اللغات. حقق النموذج الفرنسي المدرب على 7,000 ساعة معدل WER بنسبة 16.56%، بينما سجل النموذج الإنجليزي (53 ألف ساعة) معدل WER بنسبة 36.41%.
  • حجم البيانات: لوحظ وجود ارتباط مباشر بين حجم بيانات التدريب الفرنسية والتحسن في الأداء عبر جميع المقاييس.
  • النقل متعدد اللغات: بينما تفوق نموذج XLSR متعدد اللغات (WER 21.48%) على النموذج الإنجليزي فقط، إلا أنه كان أقل أداءً من النموذج الفرنسي أحادي اللغة، مما يشير إلى أن المعلومات الخاصة باللغة قد تضعف في التدريب متعدد اللغات.
• تأثير الترميز:
  • الكلمات الفرعية مقابل الحروف: تفوقت المرمّزات التي تعتمد على الكلمات الفرعية (BPE, SentencePiece, Unigram) باستمرار على ترميز الحروف، حيث نجحت في التقاط معلومات لغوية وسياقية أكثر دقة.
  • التكوين الأمثل: حقق ترميز Unigram مع مفردات مختزلة مكونة من 150 رمزاً أفضل النتائج باستمرار عبر مقاييس WER وCER وSemDist وUWER وPhonER.
  • التهيئة القائمة على الرسم الكتابي: خلافاً للفرضية القائلة بأن الترميز القائم على الرسم الكتابي سيحسن المحاذاة الصوتية، أعطت الأنظمة التي استخدمت BPE مهيأً بالرسم الكتابي نتائج أدنى مقارنة بمرمّزات الكلمات الفرعية القياسية. وكان النظام الأفضل أداءً هو الذي يحتوي في الواقع على أقل نسبة من الحروف (graphemes) في مفرداته.
• التفاوت بين المقاييس:
  • وجدت الدراسة أن المقاييس المختلفة غالباً ما تعطي ترتيباً متضارباً للنظام "الأفضل". فعلى سبيل المثال، النظام الأمثل وفقاً لـ WER قد لا يكون هو الأمثل وفقاً لـ CER أو SemDist.
  • كشف تحليل ارتباط سبيرمان عن ارتباطات منخفضة إلى متوسطة بين المقاييس (على سبيل المثال، ارتباط WER مع SemDist بلغ 0.87، لكن الارتباطات مع UWER كانت أقل)، مما يشير إلى أنه لا يوجد مقياس واحد يستوعب أداء النظام بشكل كامل.

الأهمية والمساهمات
تقدم الورقة أربع مساهمات رئيسية في مجال التعرف الآلي على الكلام باللغة الفرنسية:

1. التعميم عبر تقليص المفردات: أثبتت أن أحجام المفردات المختزلة تعزز قدرات التعميم لأنظمة التعرف الآلي على الكلام، لا سيما بالنسبة للكلمات غير المرئية (UWER).
2. فعالية Unigram: تقدم دليلاً على أن ترميز Unigram مع مفردات مختزلة فعال للغاية للتعرف الآلي على الكلام بالفرنسية، حيث يتفوق على الاستراتيجيات الأخرى بما في ذلك النهج القائم على الرسم الكتابي.
3. محدودية المقاييس: توضح أن معايير التقييم تؤثر بشكل كبير على التقييمات على مستوى النظام. فالنظام الذي يعتبر أمثلاً بمعيار WER ليس بالضرورة هو الأفضل من منظور بشري، أو دلالي، أو صوتي.
4. عدم فعالية الرسم الكتابي: تشير إلى أن الرموز المتكيفة صوتياً (الرسم الكتابي) لا تحقق تحسينات في الأداء مقارنة بطرق الترميز التقليدية في هذا السياق من طرف إلى طرف.

يخلص المؤلفون إلى أن عدم الاتساق بين مقاييس التقييم يستوجب استكشاف نهج بديلة لكل من التقييمات الجوهرية واللاحقة، بحيث تكون مصممة لمهام محددة، بدلاً من الاعتماد فقط على معدلات الخطأ التقليدية.