Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs

ملخص تقني: انتبه للوقفة (Mind the Pause)

بيان المشكلة
غالبًا ما تحتفظ أنظمة التعرف التلقائي على الكلام (ASR) بالاضطرابات اللفظية الناتجة عن الكلام العفوي، مثل الكلمات الحشوية (مثل "آه"، "أمم")، والتكرارات، والبدايات الخاطئة، وتصحيحات الذات. ورغم أن هذه الشوائب طبيعية في المحادثة البشرية، إلا أن وجودها في نصوص الـ ASR يضعف قابلية القراءة ويعيق بشكل كبير تطبيقات معالجة اللغات الطبيعية (NLP) اللاحقة، بما في ذلك روبوتات الدردشة، والمساعدات الصوتية، والترجمة الآلية.

تتعامل النهج الحالية بشكل أساسي مع معالجة الاضطراب اللفظي كمسألة "كشف ثم حذف". وبينما تعد هذه الطرق فعالة في تحديد الرموز (tokens) المضطربة، إلا أنها غالبًا ما تؤدي إلى تعطيل البنية النحوية والتماسك الدلالي، مما ينتج جملًا غير نحوية أو مكسورة. علاوة على ذلك، رغم استكشاف نماذج اللغات الكبيرة (LLMs) في كشف الاضطرابات اللفظية أو تعزيز البيانات، إلا أنه لم يتم دمجها بالكامل في خط معالجة شامل للتصحيح يحافظ على المعنى مع إزالة الشوائب. ويكشف التحليل التجريبي في الورقة أن حتى أنظمة ASR المتطورة (مثل Whisper v3 Large وAI4Bharat Indic Conformer) تفشل في تطبيع هذه الاضطرابات اللفظية باستمرار، مما يترك حوالي 30% من الجمل المنسوخة تحتوي على اضطراب لفظي واحد على الأقل. ويسبب هذا الاستمرار تدهورًا ملموسًا في المهام اللاحقة، حيث يقلل دقة الإجابة على الأسئلة بمقدار 0.5 إلى 1.6 نقطة، وجودة الترجمة الآلية بمقدار 2 إلى 4.7 نقطة BLEU.

المنهجية
يقترح المؤلفون خط معالجة لتصحيح الاضطرابات اللفظية متعدد اللغات يوحد بين الكشف على مستوى الرمز (token-level detection) وتوليد النماذج اللغوية الكبيرة المضبطة بالتعليمات (instruction-tuned LLM)، معززًا بهدف تعلم تبايني مبتكر. يعمل الإطار في ثلاث مراحل رئيسية:

1. كشف الاضطراب اللفظي (MuRIL): يتم ضبط مُصنف تسلسل يعتمد على مشفر متعدد اللغات، وتحديدًا نموذج MuRIL (التمثيلات متعددة اللغات للغات الهندية)، لتصنيف الرموز إما كجملة سليمة (0) أو مضطربة (1). يوفر هذا النموذج إشارات على مستوى الرمز تشير إلى الأجزاء التي تحتوي على ضجيج في نص الـ ASR.
2. الضبط الدقيق بالتعليمات (Instruction Fine-Tuning): يتم ضبط نموذج لغة كبير (تم اختبار Llama-3.2-3B-Instruct وQwen2.5-3B-Instruct) باستخدام نموذج اتباع التعليمات. تتكون المدخلات للنموذج من:
   • تعليمات باللغة الطبيعية تحدد المهمة.
   • نص الـ ASR الأصلي المضطرب.
   • تسميات مستوى الرمز التي توقعها نموذج MuRIL.
   • قائمة بالرموز المضطربة المحددة.
     المخرج المستهدف هو الجملة المرجعية السليمة المقابلة. يوجه هذا الإعداد النموذج لإعادة كتابة النص مع التكييف صراحةً مع إشارات الاضطراب المكتشفة.
3. هدف التعلم التبايني (Contrastive Learning Objective): لمعالجة القصور حيث تقوم النماذج المدربة فقط باستخدام خسارة الإنتروبيا المتقاطعة (cross-entropy loss) أحيانًا بإعادة توليد رموز مضطربة رغم تلقيها التسميات، قدم المؤلفون مكون خسارة تبايني. هذا الهدف يعاقب النموذج صراحةً إذا ولد رموزًا تم تحديدها كاضطرابات لفظية. تجمع دالة الخسارة الإجمالية بين الإنتروبيا المتقاطعة القياسية ($L_{CE}$) وعقوبة تباينية ($L_{contrastive}$):
   $$L_{total} = L_{CE} + \lambda \cdot L_{contrastive}$$
   تحسب القيمة التباينية احتمالية توليد رموز مضطربة معروفة وتطبق عقوبة، مما يدفع عملية توليد النموذج بعيدًا عن الأنماط المضطربة بينما يسحبها نحو الأهداف السليمة.

المساهمات الرئيسية

• خسارة تباينية للضبط الواعي بالاضطراب اللفظي: تقدم الورقة هدفًا متعدد الخسائر يجمع بين الإنتروبيا المتقاطعة والعقوبة التباينية. هذا يمنع صراحةً إعادة توليد الرموز المضطربة المعروفة، وهي قدرة تفتقر إليها الضبط الدقيق بالتعليمات القياسي.
• أول خط معالجة يعتمد على LLM: على عكس الأعمال السابقة التي ركزت على الكشف فقط أو بنى الترميز وفك الترميز (مثل mBART)، يقدم هذا العمل أول خط معالجة كامل يدمج إشارات الكشف على مستوى الرمز مع نماذج LLM المضبطة بالتعليمات للتصحيح متعدد اللغات.
• الكشف والتصحيح المشترك في البيئات متعددة اللغات: يقوم الإطار بتدريب MuRIL لوسم التسلسل وتغذية كل من نص الـ ASR المضطرب والتسميات المتوقعة إلى نموذج LLM. يتجنب هذا عيوب الحذف اليدوي للرموز، مما يضمن توليد جمل جيدة الصياغة تحافظ على السلامة الدلالية.

النتائج
تم تقييم النظام على ثلاث لغات هندية: الهندية، والبنغالية، والماراثية، باستخدام بيانات اصطناعية محررة يدويًا ونصوص ASR حقيقية.

• مكاسب الأداء: تفوق النهج التبايني المقترح باستمرار على النماذج المرجعية القوية، بما في ذلك الضبط الدقيق للتعليمات متعدد اللغات ونموذج mBART.
  • مقارنة بالتدريب غير التبايني، حققت الطريقة تحسنًا قدره +1.97 BLEU (متوسط عبر النماذج واللغات).
  • مقارنة بالضبط الدقيق للتعليمات متعدد اللغات، حققت تحسنًا قدره +6.16 BLEU.
  • مقارنة بـ mBART، حققت تحسنًا قدره +8.54 BLEU.
• مقارنة النماذج: استفاد هيكل Qwen2.5-3B-Instruct بشكل أكبر من الهدف التبايني مقارنة بـ Llama-3.2-3B-Instruct، حيث أظهر مكاسب أكبر في درجات BLEU وchrF2.
• الأثر اللاحق: استعاد المخرجات المصححة معظم فجوة الأداء بين المدخلات المضطبة والسليمة في المهام اللاحقة (الإجابة على الأسئلة، الترجمة الآلية، وتحويل النص إلى كلام)، مما يؤكد الفائدة العملية.
• المقارنة مع النماذج المملوكة: طابق النموذج التبايني ذو 3 مليارات معلمة (3B) أو تفوق على GPT-4o (في ظروف التوجيه صفرية و few-shot) في 4 من أصل 6 ظروف تقييم، وتفوق بشكل كبير على Gemini 2.5 Pro عبر اللغات الثلاث.

الأهمية والادعاءات
تدعي الورقة أن استراتيجيات الكشف فقط غير كافية لتصحيح الاضطرابات اللفظية بجودة عالية. ومن خلال الجمع بين الإشارات على مستوى الرمز والضبط الدقيق بالتعليمات والتعلم التبايني، يقدم المؤلفون حلاً قابلاً للتوسع ومستقلاً عن اللغة لأنظمة معالجة اللغات الطبيعية المعتمدة على الكلام متعددة اللغات. يوضح العمل أن التدريب التبايني المخصص للمهمة ضروري للتعامل مع الثراء الصرفي والتعقيد النحوي للاضطرابات اللفظية في اللغات الهندية، وهو تحدٍ لا يمكن حله بمجرد زيادة حجم النموذج أو التقنيات المتقدمة للتوجيه (prompting). ويؤكد المؤلفون أن نهجهم يجسّر الفجوة بفعالية بين الكشف والتوليد، مما ينتج نصًا سليمًا يحافظ على المعنى ويعزز موثوقية التطبيقات اللاحقة.