💬 NLP

Hearing to Translate: The Effectiveness of Speech Modality Integration into LLMs

تقدم هذه الورقة البحثية "Hearing to Translate"، وهو معيار شامل لتقييم 6 نماذج لغوية كبيرة للكلام (SpeechLLMs) مقابل 16 نظاماً متتالياً عبر ظروف متنوعة، كاشفةً أنه في حين تظل البنى المتتالية هي الأكثر موثوقية بشكل عام، فإن دمج النماذج اللغوية الكبيرة أمر ضروري للترجمة الكلامية عالية الجودة، وأن النماذج اللغوية الكبيرة للكلام الحديثة يمكنها مضاهاة أو تجاوز الأنظمة المتتالية في إعدادات محددة.

المؤلفون الأصليون: Sara Papi, Javier Garcia Gilabert, Zachary Hopton, Vilém Zouhar, Carlos Escolano, Gerard I. Gállego, Jorge Iranzo-Sánchez, Ahrii Kim, Dominik Macháček, Patricia Schmidtova, Maike Züfle

نُشر 2026-03-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sara Papi, Javier Garcia Gilabert, Zachary Hopton, Vilém Zouhar, Carlos Escolano, Gerard I. Gállego, Jorge Iranzo-Sánchez, Ahrii Kim, Dominik Macháček, Patricia Schmidtova, Maike Züfle

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول ترجمة محادثة تدور في غرفة صاخبة ومزدحمة، حيث يتلعثم الناس، وينتقلون بين اللغات، ويروون قصصاً طويلة ومتشعبة.

لفترة طويلة، تعاملت الحواسيب مع هذه المهمة باستخدام سباق تتابع مكون من خطوتين:

المُفرغ (الكاتب): أولاً، يستمع روبوت إلى الصوت ويكتبه كنص (مثل كاتب المحاضر).
المترجم: يأخذ روبوت ثانٍ هذا النص ويترجمه إلى لغة أخرى.

يُسمى هذا النظام المتتالي (Cascaded System). وهو نظام موثوق، لكن به عيب: إذا ارتكب الروبوت الأول خطأً (سمع كلمة "قطة" بدلاً من "خفاش")، فإن الروبوت الثاني سيترجم الكلمة الخاطئة، وينتقل الخطأ ويتفاقم. كما أن الروبوت الأول غالباً ما ينسى نبرة الصوت، أو العاطفة، أو الوقفات، فيتعامل مع الكلام كمجرد قائمة من الكلمات.

مؤخراً، ظهر نوع جديد من الروبوتات: الـ SpeechLLM. فكر في هذا كـ "مترجم خارق" يمكنه سماع الصوت والترجمة في حركة واحدة سلسة، دون الحاجة لكتابة النص أولاً. إنه يشبه بشراً يستمع ويتحدث لغة أجنبية في آن واحد، ويلتقط النكات والمشاعر في الطريق.

السؤال الكبير كان: هل هذا "المترجم الخارق" الجديد أفضل حقاً من "سباق التتابع" القديم؟

ورقة البحث "الاستماع للترجمة" (Hearing to Translate) هي أول اختبار ضخم وعادل لمعرفة ذلك. فقد صمم الباحثون "مضمار عقبات" لهذه النماذج من الذكاء الاصطناعي، عبر إلقاء 16 تحدياً مختلفاً عليها، بما في ذلك:

اختبار "الحانة الصاخبة": هل يمكنه الترجمة عندما تكون هناك موسيقى خلفية ودردشة؟
اختبار "التلعثم": هل يمكنه التعامل مع الأشخاص الذين يقولون "اممم"، "آه"، ويكررون أنفسهم؟
اختبار "تبديل اللغات": هل يمكنه الترجمة عندما ينتقل شخص ما فجأة من الإنجليزية إلى الإسبانية في منتة الجملة؟
اختبار "القصة الطويلة": هل يمكنه تذكر بداية خطاب مدته 10 دقائق بحلول وصوله إلى نهايته؟
اختبار "اللكنة": هل يمكنه فهم متحدث ألماني بلكنة نمساوية ثقيلة، أو متحدث صيني بلهجة إقليمية محددة؟

النتائج: من فاز بالسباق؟

إليك تفصيل لما وجدوه، باستخدام تشبيهات بسيطة:

1. الحرس القديم (الأنظمة المتتالية) لا يزال هو "الرهان الآمن"
سباق التتابع المكون من خطوتين (المُفرغ + المترجم) لا يزال الأكثر موثوقية بشكل عام. إنه مثل آلة تعمل بسلاسة ونادراً ما تتعطل. إذا كنت بحاجة إلى ترجمة لوثيقة قانونية أو تقرير طبي حرج، فإن الطريقة القديمة لا تزال هي الأكثر اتساقاً.

2. الوافدون الجدد (الـ SpeechLLMs) هم "النجوم الصاعدة"
الـ "مترجمون الخارقون" الجدد مثيرون للإعجاب للغاية. في مواقف محددة كثيرة، يتفوقون على الطريقة القديمة:

في الضجيج: عندما تكون الغرفة صاخبة، يؤدي المترجم الخارق وظيفة أفضل لأنه يسمع صوت الشخص، وليس فقط الكلمات.
مع التلعثم: يتعاملون مع الكلام الطبيعي الفوضوي بشكل أفضل لأنهم لا يرتبكون بسبب الـ "اممم" والـ "آه".
مع العواطف: هم أفضل في الحفاظ على النبرة (سعادة، حزن، غضب) سليمة.

3. الروبوتات "المستقلة" (نماذج التأسيس الكلامي) "خارج نطاق قدراتها"
بعض النماذج جيدة جداً في السمع (مثل أذن خارقة) لكنها سيئة في فهم اللغة. وجدت الورقة أن هذه النماذج، عند استخدامها بمفردها، غالباً ما تفشل. اتضح أنك تحتاج إلى "عقل" نموذج لغوي كبير (جزء المترجم) للحصول على نتيجة جيدة، سواء كان ذلك في سباق التتابع أو في المترجم الخارق.

العقبة: مشكلة "الجهد الشاق"

هناك مقايضة. أفضل المترجمين الخارقين (مثل Voxtral و Qwen3-Omni) يشبهون سيارات الفورمولا 1: إنهم سريعون ويتعاملون مع المضمار ببراعة، لكنهم مكلفون في التشغيل ويتطلبون كمية هائلة من الوقود (قدرة حوسبية).

أما سباق التتابع القديم فهو مثل سيارة سيدان موثوقة: قد تكون أبطأ قليلاً أو أقل مرونة في العاصفة، لكنها أرخص في التشغيل وتوصلك إلى وجهتك بنسبة 95% من المرات دون الحاجة إلى حاسوب خارق.

الحكم النهائي

تخلص الورقة إلى أننا في فترة انتقالية.

إذا كنت تريد أفضل جودة ممكنة في المواقف الواقعية الفوضوية (الحانات الصاخبة، الخطابات العاطفية، التلعثم)، فإن الـ SpeechLLMs هي المستقبل وهي بالفعل تضاهي أو تتفوق على الأنظمة القديمة.
إذا كنت بحاجة إلى حل مستقر ومنخفض التكلفة للمهام القياسية، فإن الأنظمة المتتالية القديمة لا تزال هي ملكة الموثوقية.

الخلاصة: دمج الكلام مباشرة في "عقل" الذكاء الاصطناعي هو المفتاح لترجمة عالية الجودة. المستقبل لا يتعلق باختيار أحدهما، بل بإدراك أن أفضل الأنظمة ستكون على الأرجح تلك التي تجمع بين أفضل "الآذان" وأذكى "العقول" للتعامل مع الواقع الفوضوي والجميل للكلام البشري.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الاستماع من أجل الترجمة: مدى فعالية دمج الوسائط الكلامية في النماذج اللغوية الكبيرة (LLMs)."

1. بيان المشكلة

أدى التطور السريع للنماذج اللغوية الكبيرة (LLMs) إلى ظهور نماذج الكلام واللغة الكبيرة (SpeechLLMs)، التي تدمج الكلام كوسيط أصلي لمعالجة اللغة المنطوقة مباشرة. تهدف هذه النماذج إلى تجاوز البنى المتتالية (Cascaded Architectures) التقليدية (التعرف التلقائي على الكلام $\leftarrow$ الترجمة الآلية) والنماذج المباشرة من طرف إلى طرف (End-to-End).

ومع ذلك، لا يزال هناك سؤال مفتوح حول ما إذا كان دمج الكلام مباشرة في النماذج اللغوية الكبيرة يحسن بالفعل جودة ترجمة الكلام إلى نص (ST) مقارنة بالأنظمة المتتالية الراسخة (التي تجمع بين نماذج أساسية قوية للكلام مثل Whisper مع نماذج لغوية كبيرة عالية الأداء) أو النماذج المباشرة التقليدية. تفتقر الأدبيات الحالية إلى مقارنة منهجية لهذه النماذج عبر ظروف متنوعة وواقعية مثل الضجيج، والاضطرابات الكلامية، واللكنات، والكلام طويل المدة.

2. المنهجية: مجموعة "الاستماع من أجل الترجمة" (Hearing-to-Translate Suite)

قدم المؤلفون "الاستماع من أجل الترجمة"، وهي أول مجموعة اختبار شاملة مصم تقييم دمج وسائط الكلام بدقة.

النماذج التي تم تقييمها: تقارن الدراسة 22 نظاماً عبر ثلاثة نماذج:
1. نماذج الكلام الأساسية (SFMs): نماذج مستقلة (مثل Whisper، وSeamlessM4T، وCanary، وOWSM).
2. الأنظمة المتتالية (Cascaded Systems): نماذج أساسية للكلام مقترنة بنماذج لغوية كبيرة (مثل Whisper + Aya، وSeamless + Tower+).
3. نماذج الكلام واللغة الكبيرة (SpeechLLMs): نماذج ذات دمج أصلي للكلام (مثل Qwen3-Omni، وVoxtral، وPhi-4-Multimodal، وDeSTA2).
الاختبارات والظواهر: يمتد التقييم ليشمل 16 اختباراً مرجعياً تغطي 13 زوجاً لغوياً و9 ظروف تحدي:
- عام: كلام نظيف ومعياري.
- التحيز الجنساني: تقييم استخدام الضمائر والارتباطات النمطية.
- اللكنات/اللهجات: المتانة تجاه التنوعات الإقليمية (مثل CommonAccent، وManDi).
- تبديل الرموز (Code-Switching): التعامل مع المدخلات المختلطة اللغات.
1. الاضطرابات الكلامية (Disfluencies): التعامل مع التردد، والتكرار، والتصحيح الذاتي.
- الكيانات المسماة والمصطلحات: الدقة في الحفاظ على الأسماء العلم والمصطلحات المتخصصة.
- الضجيج: المتانة تجاه ضجيج الخلفية وضجيج الكلام (Babble Noise).
- العاطفة: التعامل مع الإشارات النبرية والوجدانية.
- طويل المدة: الاتساق السياقي عبر مقاطع تمتد لعدة دقائق.
المقاييس:
- تقدير الجودة (QE): نظراً لندرة الترجمات المرجعية في اختبارات الكلام، تعتمد الدراسة بشكل أساسي على xCOMETQE وMETRICXQE (النسخ الصارمة التي تعاقب المخرجات غير المستهدفة).
- تحليل الفجوة: يقيس صياغة الفجوة الموحدة ( $\Delta$ ) تدهور الأداء عبر ظروف محددة (مثل $\Delta_{noise}$ ، و $\Delta_{disfluency}$ ).
- التقييم البشري: دراسة صغيرة النطاق على CoVoST2 باستخدام متحدثين أصليين للتحقق من المقاييس الآلية وتحليل أنواع الأخطاء (خطأ في الترجمة، حذف، أو ترجمة مفرطة).

3. النتائج الرئيسية

الأداء العام

الأنظمة المتتالية تظل هي المهيمنة: تظل الأنظمة المتتالية (SFM + LLM) هي الأكثر موثوقية بشكل عام، حيث تقدم جودة ترجمة أقوى وأكثر اتساقاً عبر اللغات والظروف.
إمكانات نماذج SpeechLLM: يمكن لأفضل نماذج SpeechLLMs (تحديداً Voxtral وQwen3-Omni) أن تضاهي أو حتى تتفوق على أفضل الأنظمة المتتالية في إعدادات معينة، خاصة عندما يكون دمج مكونات الكلام واللغة وثيقاً.
تراجع نماذج SFM المستقلة: تؤدي نماذج SFM المستقلة أداءً أسوأ عموماً من كل من الأنظمة المتتالية ونماذج SpeechLLMs، مما يسلط الض الضوء على أن القدرات اللغوية للنماذج اللغوية الكبيرة أمر حاسم لترجمة عالية الجودة.

النتائج الخاصة بالظواهر

الضجيج: نماذج SpeechLLMs هي الأكثر متانة تجاه الضجيج. في الأنظمة المتتالية، غالباً ما يهذي مكون التعرف على الكلام (ASR) تحت تأثير الضجيج، ويقوم النموذج اللغوي الكبير (الذي يفتقر إلى الوصول إلى الصوت الأصلي) بنشر هذه الأخطاء. تمتلك نماذج SpeechLLMs وصولاً مباشراً إلى الصوت، مما يجعلها تتعامل مع هذا الأمر بشكل أفضل.
طويل المدة: تظهر الأنظمة المتتالية (خاصة تلك التي تستخدم OWSM أو Canary أو Voxtral) تدهوراً يقترب من الصفر في المدخلات طويلة المدى. تعاني العديد من نماذج SpeechLLMs ونماذج SFM من تدهور شديد في الطول ( $\Delta_{length} \approx 90\%$ )، وإن كان Voxtral استثناءً بسبب تصميمه المعماري الذي يعيد دمج تمثيلات المقاطع قبل معالجتها بواسطة النموذج اللغوي.
الاضطرابات الكلامية: تعد نماذج Voxtral وDeSTA2 وتتالية Whisper هي الأكثر متانة. ومن المثير للاهتمام أن المتانة لا تعتمد فقط على المشفر (Encoder)؛ بل إن كيفية دمج المشفر في النموذج اللغوي هي التي تهم (على سبيل المثال، يتفوق DeSTA2 وVoxtral على Qwen2-Audio رغم اشتراكهما في مشفر Whisper).
تبديل الرموز (Code-Switching): تحقق نماذج Whisper المتتالية وVoxtral أعلى أداء. تتخلف نماذج SFM المستقلة عن الركب، مما يشير إلى أن كلاً من المشفر وفك التشفير (النموذج اللغوي) ضروريان للتعامل مع اللغات المختلطة.
التحيز الجنساني: ينبع التحيز بشكل أساسي من المُفكك (Decoder) الخاص بالنموذج اللغوي، وليس من وحدة الكلام. إن اقتران الـ ASR بنماذج ترجمة متخصصة (مثل +Tower) يقلل بشكل كبير من التحيز مقارنة بالنماذج اللغوية العامة (مثل Gemma3).
اللكنات: ترتبط المتانة تجاه اللكنات بشكل أساسي بـ مشفر الكلام. وبينما تتفوق بعض نماذج SFM (مثل Seamless)، تعاني العديد من نماذج SpeechLLMs في التعميم عبر اللهجات، مما يظهر تبايناً عالياً في الأداء.

التقييم البشري وتحليل الأخطاء

تحاكي الدرجات البشرية مقاييس تقدير الجودة الآلية (QE) بشكل وثيق على مستوى النظام.
أنماط الخطأ:
- الحذف (Omissions) أكثر تكراراً بمرتين في نماذج SpeechLLMs مقارنة بالأنظمة المتتالية.
- الترجمة المفرطة (Over-translation) أكثر انتشاراً بشكل ملحوظ في الأنظمة القائمة على النماذج اللغوية الكبيرة.
- أخطاء المصطلحات تظل نمط فشل مهيمن في جميع النماذج.

4. المساهمات الرئيسية

أول اختبار شامل: تقديم مجموعة "الاستماع من أجل الترجمة"، التي توفر إطار تقييم معياري متعدد الأبعاد لنماذج SpeechLLMs مقابل 16 خط أساس قوياً.
مقارنة النماذج: تحليل حاسم يظهر أنه بينما تتطور نماذج SpeechLLMs بسرعة ويمكنها التفوق على الأنظمة المتتلة في سيناريوهات متانة معينة (الضجيج، تبديل الرموز)، فإن البنى المتتالية تظل هي الحالة الأفضل (SOTA) للموثوقية العامة، خاصة للترجمة طويلة المدى والمتينة تجاه اللكنات.
رؤى معمارية:
- أثبتت الدراسة أن دمج النموذج اللغوي (سواء في خط معالجة أو بشكل أصلي) ضروري لترجمة عالية الجودة؛ فنماذج SFM المستقلة غير كافية.
- حددت أن التحيز ينبع من وحدة توليد النصوص، بينما المتانة تجاه اللكنات تنبع من مشفر الكلام.
- أظهرت أن المتانة تجاه الضجيج هي نقطة قوة فريدة لنماذج SpeechLLMs الأصلية بسبب الوصول المباشر للصوت.
إطلاق الموارد: أصدر المؤلفون البيانات، ومخرجات النماذج، والشيفرة البرمجية لتعزيز قابلية إعادة الإنتاج.

5. الأهمية

تقدم هذه الورقة "وقفة واقعية" ضرورية لزخم الحديث حول "نماذج SpeechLLM". فهي تثبت أنه بينما يوفر الدمج الأصلي مزايا متميزة في المتانة (الضجيج، تبديل الرموز) والإمكانات الكامنة في الكفاءة، فإن النهج المتتالي المعياري (SFM + نموذج لغوي متخصص) يوفر حالياً الحل الأكثر متانة وموثوقية للترجمة العامة.

توجه النتائج مسارات البحث المستقبلية:

لنماذج SpeechLLMs: التركيز على تحسين التعامل مع السياق الطويل، وتقليل أخطاء الحذف، وتعزيز التعميم عبر اللكنات واللهجات.
للأنظمة المتتالية: الاستفيد من النماذج اللغوية المتخصصة (مثل +Tower) للتخفيف من التحيز الجنساني وتحسين التعامل مع المصطلحات.
للتقييم: التحقق من استخدام مقاييس تقدير الجودة الصارمة كبدائل موثوقة للحكم البشري في ترجمة الكلام، مما يسمح بتقييم قابل للتوسع في ظل ندرة المراجع.

في النهاية، تجادل الورقة بأن مستقبل ترجمة الكلام عالية الجودة يكمن على الأرجين في النهج الهجين الذي يستفيد من المتانة الصوتية للمشفرات المتقدمة والمرونة اللغوية للنماذج اللغوية القوية، سواء تم دمجها أصلياً أو عبر الأنظمة المتتالية.