Hearing to Translate: The Effectiveness of Speech Modality Integration into LLMs
تقدم هذه الورقة البحثية "Hearing to Translate"، وهو معيار شامل لتقييم 6 نماذج لغوية كبيرة للكلام (SpeechLLMs) مقابل 16 نظاماً متتالياً عبر ظروف متنوعة، كاشفةً أنه في حين تظل البنى المتتالية هي الأكثر موثوقية بشكل عام، فإن دمج النماذج اللغوية الكبيرة أمر ضروري للترجمة الكلامية عالية الجودة، وأن النماذج اللغوية الكبيرة للكلام الحديثة يمكنها مضاهاة أو تجاوز الأنظمة المتتالية في إعدادات محددة.