Text-only adaptation in LLM-based ASR through text denoising

إليك ملخص تقني مفصل لورقة البحث بعنوان "التكيف القائم على النص فقط في أنظمة التعرف التلقائي على الكلام (ASR) المعتمدة على النماذج اللغوية الكبيرة (LLM) من خلال إزالة الضجيج النصي."

1. بيان المشكلة

السياق: تتكون أنظمة التعرف التلقائي على الكلام (ASR) المعتمدة على النماذج اللغوية الكبيرة (LLM) عادةً من مشفر صوتي، وجهاز عرض قابل للتعلم (يقوم بربط الصوت بتمثيلات النص)، ومفكك رموز (Decoder) لنماذج LLM مدرب مسبقاً. تعتمد هذه الأنظمة على بيانات مقترنة (صوت-نص) للتدريب.
التحدي: يعد تكييف هذه الأنظمة مع مجالات جديدة باستخدام البيانات النصية فقط تحدياً كبيراً ولكنه لم يُستكشف بشكل كافٍ.

• النسيان الكارثي (Catastrophic Forgetting): يؤدي الضبط الدقيق (Fine-tuning) القياسي لنموذج LLM على نصوص المجال المستهدف إلى تعطيل المحاذاة الحرجة التي تعلمها جهاز العرض (Projector) بين الوسيط الصوتي والوسيط النصي. وهذا يؤدي إلى تدهور قدرة النظام على معالجة الصوت الفعلي.
• محدودية الطرق الحالية: المحاولات السابقة لاستخدام البيانات النصية فقط (مثل استخدام مقاييس المراقبة أو الرموز الناعمة القابلة للتدريب) إما أنها تخفف جزئياً فقط من تدهور الأداء أو تتطلب ضبط معلمات فائقة معقدة (مثل عدد وأماكن الرموز الناعمة).
• ندرة البيانات: يعد جمع بيانات مقترنة (صوت-نص) جديدة لكل مجال جديد أمراً مكلفاً وغير عملي في كثير من الأحيان، بينما تتوفر البيانات النصية بكثرة.

2. المنهجية

يقترح المؤلفون إطار عمل مبتكر يعيد صياغة التكيف القائم على النص فقط كـ مهمة لإزالة الضجيج النصي (Text Denoising).

الرؤية الجوهرية

في أنظمة ASR المعتدة على LLM، يقوم جهاز العرض بتحويل الصوت إلى تسلسل من "الرموز الناعمة" (Soft Tokens) التي تشبه نصاً مشوهاً أو مليئاً بالضجيج بدلاً من كونها ميزات خام. دور الـ LLM هو إعادة بناء النص النظيف من هذا المدخل المشوش. يفترض المؤلفون أنه إذا تم تدريب الـ LLM على إزالة الضجيج من نص اصطناعي يحاكي مخرجات جهاز العرض، فإنه يمكنه التكيف مع مفردات وتراكيب المجال الجديد دون الحاجة إلى صوت، مع الحفاظ على المحاذاة الأصلية بين الصوت والنص.

النهج المقترح: التجميع متعدد الرؤى المدفوع بالضجيج (Multi-View Noise-Driven Batching)

لمنع النسيان الكارثي، يتم ضبط النموذج بدقة باستخدام استراتيجية تكوين دفعات (Batch Composition) تمزج بين أربعة أنواع من أزواج البيانات (مدخل، هدف):

1. $\sigma_a$ (صوت-نص المصدر): أزواج $(a, t)$ القياسية من مجال المصدر. هذا يحافظ على المحاذاة الأصلية بين الصوت والنص.
2. $\sigma_{ta}$ (الضجيج الناتج عن جهاز العرض): أزواج $(noise_a(t), t)$ حيث يتم توليد المدخل عبر تمرير صوت المصدر عبر جهاز العرض ورسم خرائط لتمثيلات الـ embeddings الناتجة إلى أقرب رموز LLM. هذا يحاكي "الضجيج الحقيقي" الذي يراه الـ LLM أثناء الاستدلال.
3. $\sigma_t$ (ضجيج المصدر الاصطناعي): أزواج $(noise(t), t)$حيث يكون المدخل هو نص المصدر$t$ الذي تعرض للتشويه عبر استبدال الحروف وتكرارها عشوائياً. يعمل هذا كتقريب بدائي لضجيج جهاز العرض، مما يسمح للنموذج بتعلم إزالة الضجيج دون الحاجة للصوت.
4. $\tau_t$ (ضجيج مجال الهدف): أزواج $(noise(t), t)$حيث ينتمي$t$إلى **مجال الهدف** (نص فقط). المدخل مشوه بطريقة مشابهة لـ$\sigma_t$. هذا يدفع النموذج نحو التكيف مع المجال الجديد.

ديناميكيات التدريب:

• تتكون الدفعة من خليط من هذه المكونات حيث $\sigma_a + \sigma_{ta} + \sigma_t + \tau = 1$.
• يتم ضبط النسبة $\tau$ لتكون متناسبة مع الحجم النسبي لبيانات مجال الهدف لموازنة الاحتفاظ بالمصدر والتخصص في الهدف.
• يتم تدريب الـ LLM على إعادة بناء النص الأصلي $t$ من المدخلات المشوشة، مما يعلمه فعلياً كيفية "إزالة الضجيج" من أنماط النص في المجال الجديد.

3. المساهمات الرئيسية

1. إعادة صياغة المهمة: أول عمل يعيد صياغة التكيف النصي فقط لأنظمة ASR المعتمدة على LLM كمهمة إزالة ضجيج، مستفيداً من قدرة الـ LLM المتأصلة على إعادة بناء النصوص النظيفة من المدخلات المشوهة.
2. بنية خفيفة الوزن: لا تتطلب الطريقة أي تغييرات في البنية ولا تتطلب أي معلمات إضافية قابلة للتعلم (على عكس طرق الرموز الناعمة). فهي تعتمد كلياً على استراتيجية التجميع متعدد الرؤى المدفوع بالضجيج.
3. المتانة: نجحت الطريقة في تكييف النموذج مع مجالات جديدة مع الحفاظ على المحاذاة عبر الوسائط (Cross-modal alignment) بين المشفر الصوتي والـ LLM، متجنبة النسيان الكارثي الذي يحدث في الضبط الدقيق القياسي.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات: DefinedAI (مكالمات العملاء والوكلاء) و SlideSpeech (فيديوهات المؤتمرات)، عبر ثلاث سيناريوهات:

• التكيف داخل المجال (In-Domain Adaptation - DefinedAI):

  • مجالات الهدف: الخدمات المصرفية والتأمين (نفس مجال المصدر).
  • النتيجة: حقق النموذج المتكيف نصياً فقط معدل خطأ في الكلمات (WER) بنسبة 10.11% (للخدمات المصرفية) و 8.71% (للتأمين)، وهو ما يقارب أداء النموذج المثالي "المتكيف صوتياً" (9.92% و 7.92%).
  • التحسن: تحسن نسبي يصل إلى 22.1% مقارنة بالنموذج الأساسي، متفوقاً على أفضل النتائج الحالية (Fang et al. و Ma et al.).

• التكيف خارج المجال (Out-of-Domain Adaptation - SlideSpeech):

  • مجالات الهدف: الزراعة، الرسوم المتحركة، الآلات الموسيقية (مختلفة عن المصدر: الحياة، المواهب، الإنجليزية).
  • النتيجة: لوحظ تحسن مستمر في معدل الخطأ في الكلمات (مثلاً، تحسن نسبي بنسبة 6.3% في الرسوم المتحركة)، مما يثبت قدرة النموذج على تعلم المفردات الخاصة بالمجال من النص وحده.

• التكيف عبر المجالات (Cross-Domain Adaptation - DefinedAI $\to$ SlideSpeech):

  • الربط بين مجالات مختلفة ذات خصائص صوتية مختلفة.
  • النتيجة: قللت الطريقة بشكل كبير من الفجوة اللغوية، متفوقة على غيرها من النماذج النصية الأخرى، وحققت أداءً مقارباً لنموذج Ma et al. [18]، وإن كان بطبيعة الحال أقل من النماذج التي تملك وصولاً إلى صوت المجال المستهدف.

دراسات الاستئصال (Ablation Studies):

• أدى حذف المكون الصوتي ($\sigma_a$) إلى نسيان كارثي (ارتفاع حاد في WER).
• كانت استراتيجية استخدام النص غير المشوه (استراتيجية Echo) أقل فعالية من استخدام النص المشوش، مما يؤكد أن صياغة إزالة الضجيج أمر بالغ الأهمية لتعلم أنماط المجال.

5. الأهمية

• القابلية للتوسع: تمكن هذه الطة من نشر أنظمة ASR عالية الأداء في مجالات جديدة لا يتوفر فيها سوى البيانات النصية، مما يزيل عقبة التدوين الصوتي المكلف.
• الكفاءة: تقدم حلاً فعالاً من حيث المعلمات لا يتطلب إعادة تدريب جهاز العرض أو إضافة معلمات جديدة، مما يجعل من السهل دمجها في خطوط إنتاج ASR المعتمدة على LLM الحالية.
• الأداء: تضع معياراً جديداً للتكيف النصي فقط، مما يثبت أن النماذج اللغوية الكبيرة يمكنها التكيف بفعالية مع مجالات لغوية جديدة من خلال معاملة عملية التكيف كمشكلة إعادة بناء/إزالة ضجيج بدلاً من مجرد التنبؤ بالرمز التالي.

باختاً، توضح الورقة أنه من خلال صياغة التكيف كمهمة إزالة ضجيج وخلط مصدر الصوت، وضجيج جهاز العرض، والضجيج النصي الاصطنافي بعناية، يمكن لأنظمة ASR المعتمدة على LLM التكيف بفعالية مع مجالات جديدة باستخدام البيانات النصية فقط دون التضحية بقدراتها الأساسية في التعرف على الكلام.