💬 NLP

Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling

تقترح الورقة البحثية "رفع دقة العمق متعدد الوسائط" (Multimodal Depth Upscaling)، وهي طريقة تقوم بإدراج وتدريب طبقات محولة جديدة (مثل E-Branchformer) داخل نموذج لغوي كبير (LLM) نصي مجمد لتكييفه مع مهام الكلام، مما يحقق أداءً تنافسياً في التعرف التلقائي على الكلام (ASR) مع الحفاظ بشكل كبير على القدرات النصية الأصلية وتقليل المعلمات القابلة للتدريب مقارنة بالضبط الدقيق الكامل و(LoRA).

المؤلفون الأصليون: Kazuki Yano, Jun Suzuki, Shinji Watanabe

نُشر 2026-04-03

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kazuki Yano, Jun Suzuki, Shinji Watanabe

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك شيف (طباخ) عبقري وعالمي (نموذج لغوي كبير نصي) أمضى سنوات في إتقان فن الطبخ باستخدام الخضروات الطازجة، والتوابل، واللحوم (البيانات النصية). هذا الشيف يمكنه كتابة الوصفات، وشرح النكهات، وحتى إلقاء النكات حول الطعام.

الآن، تريد أن يتعلم هذا الشيف أيضاً كيفية الطبخ باستخدام الصوت (بيانات الكلام). تريد منه أن يستمع إلى صوت ويكتب ما قيل (التعرف التلقائي على الكلام - ASR).

المشكلة: كارثة "الحشو"

عادةً، عندما تحاول تعليم شيف محترف مهارة جديدة، قد تجبره على التوقف عن طبخ أطباقه القديمة وقضاء كل وقته في ممارسة المهارة الجديدة فقط.

الضبط الدقيق الكامل (Full Fine-Tuning): هذا يشبه جعل الشيف ينسى كل شيء عن الخضروات ليركز تماماً على الصوت. سيصبح بارعاً في الاستماع، لكنه سينسى كيف يكتب الوصفات أو يلقي النكات. لقد فقد سحره الأصلي.
تقنية LoRA (التكيف منخفض الرتبة): هذه تشبه إعطاء الشيف دفتراً صغيراً ورخيصاً لتدوين ملاحظاته الجديدة بينما يحتفظ بكتبه القديمة. هذا يساعد قليلاً، لكن الدفتر صغير جداً بحيث لا يمكنه احتواء كل القواعد المعقدة للطبخ باستخدام الصوت. سيظل الشيف يعاني في تعلم المهارة الجديدة بشكل صحيح دون إفساد مهاراته القديمة.

الحل: "رفع القدرة متعدد الوسائط" (Multimodal Depth Up-Scaling)

يقترح مؤلفو هذه الورقة استراتيجية ذكية تسمى "رفع القدرة متعدد الوسائط". فكر في الأمر كبناء ملحق متخصص بجانب مطبخ الشيف دون المساس بالغرفة الأصلية.

إليك كيف يعمل الأمر، خطوة بخوات:

1. النواة المجمدة (المطبخ الأصلي)

الشيف الأصلي ومطبخه الرئيسي (طبقات النص المدربة مسبقاً) مجمدون. إنهم مثبتون في مكانهم. لا يُسمح لأحد بتغيير طريقة تفكيرهم أو طبخهم. هذا يضمن أن الشيف لن ينسى أبداً مهاراته الأصلية.

2. الملحق الجديد (الطبقات المضافة)

بدلاً من تغيير الشيف، تقوم ببناء جناح جديد ومتخصص للمطبخ.

أنت تقوم بإدراج "غرف" جديدة (طبقات Transformer) داخل المطبخ.
يتم تدريب هذه الغرف الجديدة فقط على بيانات الصوت.
يسير الشيف عبر مطبخه القديم (دون تغيير)، ثم يخطو إلى الجناح الجديد لمعالجة الصوت، ثم يعود للخارج.

3. الخدعة السحرية: ميزة "الطي" (Pop-Up Feature)

هذا هو الجزء الأكثر روعة.

عندما يحتاج الشيف للاستماع: يستخدم المبنى بأكمبله، بما في ذلك الجناح الجديد. سيكون بارعاً في فهم الكلام.
عندما يحتاج الشيف لكتابة وصفة: يمكنك حرفياً طي وإزالة الجناح الجديد. سيعود الشيف إلى مطبخه الأصلي الذي لم يُمس. ولأن المطبخ الأصلي لم يتغير أبداً، فسيعود الشيف إلى ذاته المثالية الأصلية بنسبة org 100%. لم ينسَ كلمة واحدة من تدريبه الأصلي.

"الخلطة السرية": الـ "E-Branchformer"

جرب الباحثون أيضاً تصميمات مختلفة لهذه "الغرف" الجديدة.

الغرف القياسية: هي تماماً مثل غرف المطبخ القديم. تعمل بشكل جيد نوعاً ما.
غرف E-Branchformer: هي مصممة خصيصاً للصوت. تخيل غرفة بها طاولتين متوازيتين: واحدة للأنماط طويلة المدى (مثل إيقاع الجملة) وأخرى للتفاصيل المحلية (مثل خشخشة صوت معينة).
النتيجة: استخدام غرف "E-Branchformer" المخصصة هذه جعل الشيف أفضل في الاستماع، مع الحفاظ على سلامة المطبخ الأصلي تماماً.

لماذا هذا مهم؟

في الماضي، كان محاولة تعليم الذكاء الاصطناعي التحدث غالباً ما تجعله "ينسى" كيف يقرأ ويكتب.

الطريقة القديمة: علمه التحدث، وسيصبح سيئاً في الكتابة.
طريقة هذه الورقة: علمه التحدث عن طريق إضافة وحدة متخصصة. سيصبح رائعاً في التحدث، وإذا كنت بحاجة إليه للكتابة، فما عليك سوى إيقاف تشغيل الوحدة. الأمر يشبه امتلاك سكين سويسري حيث يمكنك طي المفك لاستخدام السكين، ثم إعادة تركيب المفك لاحقاً دون إتلاف النصل.

باختصار: تُظهر لنا هذه الورقة كيف يمكن منح ذكاء اصطناعي نصي القدرة على سماع وفهم الكلام دون إجباره على نسيان هويته. إنها طريقة لترقية "آذان" النموذج دون كسر "عقله".

إليك ملخص تقني مفصل لورقة البحث بعنوان "تكييف النماذج اللغوية الكبيرة النصية مع الكلام عبر زيادة العمق متعدد الوسائط".

1. بيان المشكلة

تعالج الورقة تحدياً حرجاً في تكييف النماذج اللغوية الكبيرة (LLMs) سابقة التدريب مع مجال الكلام: النسيان الكارثي (Catastrophic Forgetting).

السياق: بينما يسمح التدريب المسبق المستمر (CPT) على بيانات الكلام للنماذج اللغوية النصية بتعلم مهام الكلام (مثل التعرف التلقائي على الكلام، ASR)، فإنه غالباً ما يؤدي إلى تدهور شديد في قدرات النموذج النصية الأصلية (مثل الاستنتاج، واتباع التعليمات).
قصور الحلول الحالية:
- إعادة تشغيل البيانات النصية (Text Data Replay): إعادة تشغيل البيانات النصية أثناء تدريب الكلام تحافظ على المهارات النصية ولكنها تتطلب الوصول إلى بيانات التدريب المسبق المملوكة (والتي غالباً ما تكون غير متاحة) وتزيد من تكاليف التدريب بشكل كبير.
- الضبط الدقيق عالي الكفاءة للمعلمات (PEFT) / LoRA: بينما يُستخدم LoRA على نطاق واسع لتقليل النسيان، يرى المؤلفون أنه يفتقر إلى السعة الكافية لتعلم وسيط جديد (الكلام) بفعالية، خاصة في النماذج الصغيرة.

2. المنهجية: زيادة العمق متعدد الوسائط (Multimodal Depth Up-Scaling)

يقترح المؤلفون استراتيجية زيادة العمق متعدد الوسائط، وهي استراتيجية توسع سعة النموذج عبر إدراج طبقات جديدة بدلاً من تعديل الطبقات الموجودة.

البنية الأساسية

القاعدة المجمدة (Frozen Base): يتم الإبقاء على طبقات النموذج اللغوي النصي الأصلي المُدرب مسبقاً مجمدة طوال عملية التدريب.
إدراج الطبقات: يتم إدراج عدد ( $m$ ) من طبقات الـ Transformer الجديدة داخل الشبكة الأصلية المكونة من ( $n$ ) طبقة.
نطاق التدريب: يتم تدريب الطبقات المضافة فقط ورموز تمثيل الكلام (speech token embeddings) على بيانات الكلام.
توسيع المفردات: يتم توسيع مفردات أداة الترميز (tokenizer) لتشمل رموز الكلام المنفصلة (الدلالية والصوتية)، ويتم تغيير حجم طبقة التضمين (embedding layer) وفقاً لذلك.

الابتكارات الرئيسية

التهيئة الحافظة للوظيفة (Function-Preserving Initialization): لضمان تصرف النموذج بشكل متطابق مع النسخة سابقة التدريب عند بدء التشغيل (تجنب الاضطراب الفوري)، يتم تهيئة الطبقات المضافة كدوال محايدة (identity functions).
- بالنسبة لـ Transformers القياسية: يتم تهيئة مصفوفات إسقاط المخرجات لآلية الانتباه متعدد الرؤوس (MHSA) والشبكات الأمامية (FFN) بالصفر.
- بالنسبة لـ E-Branchformer: تُستخدم استراتيجية تهيئة محددة ( $W_{Merge} = [I; 0]$ ) لضمان أن وحدة الدمج تُخرج صفراً في البداية، مما يحافظ على الدالة المحايدة $Y=X$ .
إسقاط الطبقات عند الاستنتاج (Layer Dropping at Inference): تتميز هذه الطريقة بميزة فريدة وهي إمكانية إزالة الطبقات المضافة تماماً أثناء الاستنتاج للمهام النصية فقط. وهذا يضمن عدم تدهور القدرات النصية الأصلية بالتصميم، حيث يعود النموذج تماماً إلى حالته السابقة للتدريب.
متغيرات البنية: يختبر المؤلفون بنيتين للطبقات المدرجة:
1. كتل Transformer القياسية: مطابقة لطبقات القاعدة المجمدة.
2. E-Branchformer: بنية خاصة بالكلام تتميز بفروع متوازية (MHSA عالمي للاعتمادات طويلة المدى، ووحدات بوابة مكانية تلافيفية محلية للأنماط الصوتية المحلية).

استراتيجيات التوزيع (Placement Strategies)

تبحث الورقة في خمس استراتيجيات لإدراج الطبقات الجديدة:

المتداخلة (INTERLEAVED): موزعة بالتساوي عبر جميع الطبقات الأصلية.
القاعدة (BOTTOM)، المنتصف (MIDDLE)، القمة (TOP): مركزة في مناطق محددة من الشبكة.
الساندوتش (SANDWICH): موضوعة في كل من الربع السفلي والعلوي.

3. الإعداد التجريبي

النماذج الأساسية: SmolLM2-360M (32 طبقة) و SmolLM2-1.7B (24 طبقة).
مجموعة البيانات: 48,000 ساعة من بيانات التعرف التلقائي على الكلام (ASR) باللغة الإنجليزية من مجموعة OWSM v3.2.
النماذج المرجعية (Baselines): الضبط الدقيق الكامل (Full Fine-Tuning) و LoRA (التكيف منخفض الرتبة).
مقاييس التقييم:
- ASR: معدل خطأ الكلمات (WER) على LibriSpeech (test-clean, test-other).
- القدرة النصية: متوسط الدقة عبر 8 اختبارات مرجعية (ARC-e/c, BoolQ, HellaSwag, إلخ).
- اتباع التعليمات: مهام الترجمة، والتبسيط، والتلخيص بصفر محاولة (Zero-shot) بشرط المدخلات الصوتية.

4. النتائج الرئيسية

أداء التعرف التلقائي على الكلام (ASR)

زيادة العمق مقابل الضبط الدقيق الكامل: تحقق زيادة العمق أداءً في ASR مماثلاً للضبط الدقيق الكامل. وفي النموذج الأكبر 1.7B، تضاهي أو حتى تتفوق على الضبط الدقيق الكامل.
زيادة العمق مقابل LoRA: تتفوق زيادة العمق بشكل كبير على LoRA، خاصة في النموذج الأصغر 360M، مما يشير إلى أن LoRA تفتقر إلى السعة لتعلم وسيط الكلام بفعالية.
تأثير التوزيع: حققت استراتيجية المتداخلة (INTERLEAVED) أفضل نتائج في معدل خطأ الكلمات (WER).

الحفاظ على القدرة النصية

التدهور: تسبب الضبط الدقيق الكامل و LoRA تدهوراً نصياً شديداً (على سبيل المثال، -22.2% و -22.0% على نموذج 360M على التوالي).
زيادة العمق: حتى مع تفعيل الطبقات المضافة، كان التدهور النصي ضئيلاً (على سبيل المثال، -1.9% للاستراتيجية المتداخلة على نموذج 360M).
ضمان عدم التدهور: عند إسقاط الطبقات المضافة أثناء الاست الاستنتاج، تعود القدرة النصية تماماً إلى خط الأساس السابق للتدريب ( $\Delta = 0.0$ ).
اتباع التعليمات: فقد الضبط الدقيق الكامل القدرة تماماً على اتباع التعليمات النصية عندما يكون مشروطاً بالكلام (مما ينتج مخرجات رديئة). في المقابل، نجح نموذج زيادة العمق في تنفيذ الترجمة، والتبسيط، والتلخيص بصفر محاولة مباشرة من مدخلات الكلام.

البنية والتهيئة

E-Branchformer: استخدام E-Branchformer كطبقات مدرجة أدى إلى تحسين معدل خطأ الكلمات (WER) مقارنة بـ Transformers القياسية، خاصة في نموذج 1.7B، مع الحفاظ على القدرة النصية.
التهيئة: تفوقت التهيئة المقترحة للحفاظ على الوظيفة ( $[I; 0]$ ) لـ E-Branchformer على التهيئة العشوائية، مما يؤكد ضرورتها لاستقرار التدريب.

5. المساهمات الرئيسية

استراتيجية تكييف مبتكرة: تقديم زيادة العمق متعدد الوسائط، وهي طريقة لتكييف النماذج اللغوية النصية مع الكلام عبر إدراج طبقات قابلة للتدريب في هيكل مجمد، مما يتجنب النسيان الكارثي دون الحاجة لإعادة تشغيل البيانات النصية.
مرونة الاستنتاج: إثبات آلية إسقاط الطبقات المضافة عند الاستنتاج، مما يسمح لنموذج واحد بالتبديل بين معالجة الكلام عالية الأداء وتوليد النصوص الأصيلة.
تكامل البنية: دمج ناجح لـ E-Branchformer (بنية مخصصة للكلام) كطبقات مدرجة، مما يوضح أن البنى المخصصة للمجال يمكن "توصيلها" بفعالية في النماذج اللغوية لتعزيز الأداء الخاص بالوسيط.
التحقق التجريبي: إثبات أن هذا النهج يحقق نتائج رائدة في ASR مع الحفاظ على القدرات النصية بشكل أفضل بكثير من الضبط الدقيق الكامل أو LoRA، حتى في النماذج الصغيرة (360M).

6. الأهمية

يوفر هذا العمل حلاً قوياً لبناء نماذج لغوية صوتية لا تضحي بالذكاء اللغوي لنماذجها النصية السابقة. من خلال فصل تعلم الوسيط الجديد (الكلام) عن الحفاظ على الوسيط القديم (النص) عبر التوسع الهيكلي بدلاً من تعديل الأوزان، يقدم المؤلفون مساراً قابلاً للتوسع لتطوير النماذج متعددة الوسائط. إن القدرة على "إسقاط" طبقات الكلام تجعل هذا النهج عملياً للغاية لسيناريوهات النشر حيث يحتاج النموذج للتعامل مع مهام الكلام والنص بكفاءة دون الحاجة لصيانة نسخ منفصلة من النموذج.