ملخص تقني: تقليل فجوة النمط من جانب المدخلات باستخدام TextPro-SLM

1. بيان المشكلة

يتم بناء نماذج اللغة الكبيرة الصوتية (SLMs) بشكل أساسي من خلال التدريب المستمر من نقاط تفتيش نماذج اللغة الكبيرة النصية (TLMs) لتوسيع قدرات الاستدلال والفهم اللغوي لتشمل التفاعل الصوتي. وعلى الرغم من مشاركتها لعمود فقري مع نماذج TLM قوية، إلا أن نماذج SLM تعاني من فجوة نمط (modality gap) كبيرة، حيث يتأخر أداء الإجابة على الأسئلة (QA) القائم على الكلام بشكل ملحوظ عن أداء الإجابة على الأسئلة القائم على النص (على سبيل المثال، انخفاض يصل إلى 20% في اختبارات مثل GLM-4-Voice).

حاولت الأبحاث السابقة بشكل أساسي سد هذه الفجوة من جانب المخرجات، حيث تطورت من توليد رموز الكلام (speech tokens) من طرف إلى طرف إلى بنيات "المفكر والمتحدث" (thinker-talker) حيث يقوم نموذج LLM بتوليد رموز نصية وتقوم وحدة منفصلة بتخليق الكلام. وبينما تحسن هذه النهج من الأداء عبر مواءمة عملية التوليد مع نماذج TLM، إلا أن فجوة النمط لا تزال قائمة. ويرى المؤلفون أن العائق المتبقي يكمن في جانب المدخلات: فخلافاً لنماذج TLM، يجب على نماذج SLM استنتاج كل من المحتوى اللغوي والإشارات شبه اللغوية (النبرة، العاطفة، هوية المتحدث) مباشرة من التمثيلات الصوتية، والتي غالباً لا تُقدم إلى نموذج LLM بتنسيق يمكنه استغلاله بالكامل.

2. المنهجية

يقترح البحث إطار عمل TextPro-SLM، المصمم لتقليل فجوة النمط من خلال تحويل المدخلات الصوتية إلى تمثيل يشبه إلى حد كبير تمثيل نموذج نصي (text LLM) مدرك للنبرة. الفلسفة الجوهرية هي فصل "ما يقال" (المحتوى الدلالي) عن "كيف يقال" (المعلومات شبه اللغوية) في مرحلة المدخلات، بدلاً من ضغط الكلام في تدفق كامن واحد.

2.1 WhisperPro: مشفر صوت موحد

المكون الأول هو WhisperPro، وهو مشفر صوت يعتمد على Whisper-large-v3. وخلافاً لنماذج التعرف التلقائي على الكلام (ASR) القياسية التي تعطي الأولوية للمحتوى المعجمي، تم تدريب WhisperPro لإنتاج مخرجين متزامنين:

1. الرموز النصية (Text Tokens): نسخ دقيقة لمحتوى العبارة.
2. تضمينات النبرة (Prosody Embeddings): تضمينات محاذية للرموز تشفر المعلومات شبه اللغوية (أسلوب التحدث، العاطفة، طابع الصوت).

البنية والتدريب:

• المشفر: يستخدم مشفر ومفكك تشفير Transformer المكون من 32 طبقة من Whisper-large-v3.
• الاستخراج: يتم استخراج تضمينات النبرة من الحالات الخفية لـ الطبقة رقم 16 من مفكك التشفير (decoder layer)، وتكون محاذية للرموز النصية المولدة.
• هدف إعادة البناء: لضمان احتفاظ المشفر بالتفاصيل شبه اللغوية، تم إلحاق مُعيد بناء ميل (Mel-reconstructor) (مفكك تشفير) به. يحاول هذا المكون إعادة بناء مخطط "لوغاريتم ميل" (log-Mel spectrogram) الأصلي باستخدام رموز النص وتضمينات النبرة المقترنة.
• دالة الخسارة: يتم تحسين النموذج باستخدام هدف متعدد المهام:
  $$L = L_{ASR} + \lambda L_{mel}$$
  حيث $L_{ASR}$ هي خسارة الإنتروبيا المتقاطعة للنسخ النصي و $L_{mel}$ هي خسارة متوسط مربع الخطأ (MSE) لإعادة بناء المخطط الطيفي. وقد تم ضبط $\lambda$ عند 1.0.
• البيانات: تم التدريب على 1,000 ساعة من الصوت (LibriSpeech و CommonsenseQA)، باستخدام نسخ نصية مُرقّمة وبيانات أسئلة وأجوبة مُخلّقة عبر تقنية تحويل النص إلى كلام (TTS) لتحسين المتانة.

2.2 العمود الفقري لنموذج LLM المدرك للنبرة

المكون الثاني هو عمود فقري لنموذج LLM (من طراز Qwen2.5-3B أو 7B-Instruct) مدرب على الحفاظ على القدرات الدلالية مع تعلم الفهم شبه اللغوي.

تنسيق المدخلات:
يتلقى نموذج LLM النسخة النصية كمدخل أساسي، مع حقن معلومات النبرة عبر استراتيجيتين:

1. الإضافة المسبقة العالمية (Global Prepending - الافتراضي): يتم حساب متوسط تضمينات النبرة لتصبح متجهاً واحداً على مستوى العبارة، ويتم إسقاطه عبر MLP، ثم يُضاف مسبقاً إلى التسلسل النصي.
2. التداخل (Interleaving): يتم إدراج تضمينات النبرة المضغوطة في فترات ثابتة بين الرموز النصية لالتقاط الاختلافات النبرية الأكثر دقة.

خط تدريب (Pipeline):
يتم تدريب نموذج LLM باستخدام خط تدريب ذي مرحلتين وهدفين مترابطين:

1. الحفاظ على الذكاء الدلالي (تقطير المعرفة - Knowledge Distillation): يتم تقطير النموذج من نماذج TLM "المعلمة" باستخدام مجموعات بيانات نصية فقط (UltraChat، CommonsenseQA) تم تحويلها إلى كلام عبر TTS. يتلقى النموذج "الطالب" مدخلات WhisperPro (النص + النبرة) لكنه يتعلم محاكاة استجابات المعلم التي تعتمد على النص فقط.
2. الفهم شبه اللغوي: يتم تدريب النموذج على مهام تتضمن اكتشاف عاطفة المتحدث (SER)، والجنس، والعمر، واللهجة باستخدام مجموعات بيانات مثل IEMOCAP و CREMA-D و Common Voice.

3. المساهمات الرئيسية

1. تقليل فجوة النمط من جانب المدخلات: ينقل البحث التركيز من استراتيجيات توليد المخرات إلى تمثيل المدخلات، بحجة أن جعل مدخلات الكلام تشبه "نموذج نصي مدرك للنبرة" هو المفتاح لتقليل الفجوة.
2. مشفر WhisperPro: يقدم مشفراً موحداً ينتج في آن واحد نصوصاً دقيقة وتضمينات نبرة غنية ومحاذية للرموز، مدرباً عبر هدف إعادة بناء للحفاظ على التفاصيل الصوتية دون التضحية بدقة التعرف على الكلام (ASR).
3. كفاءة البيانات: يثبت أنه يمكن تحقيق مكاسب كبيرة باستخدام ~1,000 ساعة فقط من بيانات التدريب الصوتية، على عكس مجموعات البيانات الضخمة التي تتطلبها غالباً نماذج الكلام من طرف إلى طرف.
4. التمثيل ثنائي المسار: يقترح تصميماً حيث يتم فصل المعلومات الدلالية وشبه اللغية بشكل صريح ومزامن، مما يسمح لنموذج LLM بالاحتفاظ بقوته الأصلية في معالجة النصوص مع اكتساب الوعي بالنبرة.

4. النتائج التجريبية

أُجريت التجارب على مقاييس 3B و 7B من المعلمات، مع مقارنة TextPro-SLM بنماذج SLM الرائدة (مثل GLM-4-Voice، و Qwen2.5-Omni، و Kimi-Audio) والنماذج المتتالية (cascaded baselines).

• فجوة النمط: حقق TextPro-SLM أدنى متوسط لفجوة النمط بين جميع النماذج المقارنة.
  • حقق TextPro-SLM-7B متوسط فجوة قدره 0.7%، متفوقاً بشكل كبير على SALAD-7B (7.1%) و Qwen2.5-Omni-7B (3.1%).
  • في الاختبارات التي تعتمد على الاستدلال (MMSU، OBQA)، قلل TextPro-SLM الفجوة إلى ما يقرب من الصفر (مثلاً، 0.7% في OBQA)، بينما عانت النماذج الأخرى من فجوات تتجاوز 10-30%.
• الفهم شبه اللغوي: حقق TextPro-SLM أداءً رائداً (SOTA) في المهام شبه اللغوية (العاطفة، الجنس، العمر، اللهجة) بين النماذج المرجعية، حيث وصل نموذج 7B إلى متوسط دقة بلغ 64.8%.
• دراسات الاستبعاد (Ablation Studies):
  • أدى حذف تقطير المعرفة (KD) إلى انخفاض كبير في الأداء، مما يؤكد ضرورة الحفاظ على القدرات الدلالية لـ TLM.
    ğu أدى حذف هدف إعادة البناء في WhisperPro إلى تدهور الأداء شبه اللغوي، مما يثبت أهمية خسارة إعادة البناء لترميز النبرة.
  • أظهر استخدام المدخلات المتداخلة (نسبة 5:1) نتائج مماثلة للإضافة المسبقة العالمية، مما يشير إلى أن متجه النبرة العالمي المدمج غالباً ما يكون كافياً.

5. الأهمية والادعاءات

يزعم البحث أن TextPro-SLM يثبت الفرضية القائلة بأن الطريق الأكثر فعالية نحو نماذج LLM صوتية أقوى هو تحويلها إلى نماذج نصية مدركة للنبرة. ومن خلال مواءمة المدخلات الصوتية مع التمثيلات الشبيهة بالنص مع الحفاظ الصريح على الإشارات شبه اللغوية، يحقق النموذج:

• أدنى فجوة نمط: يقترب أداء المهام القائم على الكلام من الأداء القائم على النص، لا سيما في مهام الاستدلال.
• كفاءة عالية في البيانات: يتطلب النهج بيانات صوتية أقل بكثير (~1,000 ساعة) مقارنة بالطرق السابقة، مما يشير إلى أن العائق هو المواءمة الهيكلية وليس حجم البيانات.
• قابلية الاستخدام العملي: يحافظ النهج على قدرات الاستدلال القوية لنموذج TLM الأساسي، مما يجعل نماذج SLM أكثر موثوقية للمهام العامة دون "النسيان الكارثي" الذي يُلاحظ غالباً عند التدريب المستمر على بيانات الكلام.

يشير المؤلفون إلى وجود قيود، بما في ذلك الافتقار الحالي لوحدة تخليق الكلام (التقييمات تعتمد على مخرجات نصية)، واستخدام ASR غير تدفقي (مما يسبب تأخراً في الاستجابة)، والتركيز على مجموعة فرعية محددة من السمات شبه اللغوية بدلاً من الطيف الكامل للإشارات المنطوقة. ومع ذلك، يرى المؤلفون أن استراتيجية المواءمة من جانب المدخلات هذه تقدم اتجاهاً واعداً وفعالاً لتطوير نماذج SLM في المستقبل.