💬 NLP

Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German

تقدم هذه الورقة مجموعة بيانات مرجعية وإطار تقييم جديد لخمسة أنظمة تجارية للتعرف التلقائي على الكلام (ASR) عبر الكلام المتداخل لغوياً في أزواج اللغات العربية والفارسية والألمانية، مما يثبت أن نظام ElevenLabs Scribe v2 يحقق أفضل أداء مع تسليط الضوء على تفوق مقياس BERTScore على معدل الخطأ في الكلمات (WER) التقليدي في التعامل مع تباين الكتابة الصوتية (transliteration) والكشف عن فجوات الأداء من خلال تحليل مُصنف حسب درجة الصعوبة.

المؤلفون الأصليون: Sajjad Abdoli (MAD), Ghassan Al-Sumaidaee (MAD), Clayton W. Taylor (MAD), Ahmad (MAD), ElShiekh, Ahmed Rashad

نُشر 2026-05-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Sajjad Abdoli (MAD), Ghassan Al-Sumaidaee (MAD), Clayton W. Taylor (MAD), Ahmad (MAD), ElShiekh, Ahmed Rashad

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم مجموعة من المترجمين كيفية التعامل مع موقف محدد وصعب للغاية: الأشخاص الذين يتحدثون لغتين في نفس الجملة. في العالم الحقيقي، يحدث هذا طوال الوقت. قد يقول مهندس برمجيات في القاهرة: "The deadline هو بكرة، لازم نعمل ship للـ update"، حيث يمزج بين كلمات تقنية إنجليزية وقواعد لغوية عربية. أو قد يقول مطور في طهران: "این new feature کلی bug داره"، حيث يمزج بين الفارسية والإنجليزية.

هذه الورقة البحثية تشبه "شهادة تقييم" لخمسة أنظمة تجارية مختلفة لـ "تحويل الكلام إلى نص" (الأنواع التي قد تستخدمها على هاتفك أو في تطبيقات الاجتماعات) لمعرفة مدى جودتها في التعامل مع تحدي "تبديل الرموز" (code-switching) هذا تحديداً.

إليك تفصيل لما قاموا به وما وجدوه، باستخدام تشبيهات بسيطة:

١. المشكلة: "الغرفة النظيفة" مقابل "السوق المزدحم"

معظم الشركات تختبر أنظمة الكلام الخاصة بها في "غرفة نظيفة". يقومون بتشغيل مقاطع صوتية واضحة بلغة واحدة (مثل مذيع أخبار يقرأ نصاً) ويعطونها درجة بناءً على عدد الكلمات التي أصابوا فيها.

حجة الورقة: هذا يشبه اختبار سيارة فقط على مضمار سباق ناعم وخالٍ. هذا لا يخبرك شيئاً عن كيفية تعامل السيارة مع شارع سوق مزدحم وعر.
الواقع: المحادثات في العالم الحقيقي فوضوية. الناس يغيرون لغاتهم في منتصف الجملة، غالباً دون تفكير. وتجادل الورقة بأن اختبارات "الغرفة النظيفة" القديمة مضللة لهذه السيناريوهات الواقعية.

٢. بناء الاختبار: نظام "كشاف المواهب"

لإنشاء اختبار عادل، لم يكتف الباحثون بجلب عينات صوتية عشوائية، بل بنوا نظام "كشاف مواهب" من مرحلتين لإيجاد أصعب وأكثر الأمثلة إثارة للاهتمام من بين آلاف المرشحين:

المرحلة ١ (الفلتر السريع): استخدموا قاعدة حاسوبية بسيطة لرصد الجمل التي تبدو وكأنها تمزج بين نصين مختلفين (مثل حروف عربية وحروف إنجليزية). الأمر يشبه حارس أمن يفحص الهويات عند الباب.
المرحلة ٢ (لجنة الخبراء): أُرسلت الجمل المتبقية إلى اثنين من "القضاة" الأذكياء جداً من الذكاء الاصطناعي (GPT-4o و Gemini 1.5 Pro). قرأ هؤلاء القضاة الجمل وقيموها بناءً على ستة عوامل "صعوبة" مختلفة، مثل مدى تكرار تبديل اللغات، وتعقيد المصطلحات العامية، ومدى إرباك الأصوات.
النتيجة: انتهى بهم المطاف بـ ١٢٠٠ جملة صعبة (٣٠٠ لكل زوج لغوي: العربية-الإنجليزية، الفارسية-الإنجليزية، والألمانية-الإنجليزية). هذه العملية وفرت عليهم مبلغاً هائلاً من المال (حوالي ٩١٪) مقارساً بطلب من القضاة الآليين قراءة كل جملة.

٣. التقييم: "المسطرة" مقابل "المترجم"

هذا هو الاكتشاف الأهم في الورقة. استخدموا طريقتين مختلفتين لتقييم الأنظمة:

المسطرة (معدل خطأ الكلمات - WER): هي الطريقة التقليدية. تحسب كل حرف وكلمة غير متطابقة. إذا قال المتحدث "feature" وكتب الكمبيوتر الكلمة الفارسية لـ "feature" (والتي تعني الشيء نفسه ولكن تبدو مختلفة)، فإن "المسطرة" تقول: "خطأ! هذا خطأ".
المترجم (BERTScore): هي طريقة أذكى. إنها تفهم "المعنى". إذا قال المتحدث "feature" وكتب الكمبيوتر الكلمة الفارسية لـ "feature"، فإن "المترجم" يقول: "عمل رائع! لقد أصبت المعنى، حتى لو اختلف الإملاء".
النتيجة: بالنسبة للغات مثل العربية والفارسية، حيث يمكن كتابة الكلمات بطرق مختلفة ولكنها تعني الشيء نفسه، تكون "المسطرة" (WER) قاسية جداً. فهي تعاقب الأنظمة على كونها مبتكرة في الإملاء. أما "المترجم" (BERTScore) فيعطي درجة أكثر عدلاً بكثير.

٤. نتائج السباق

اختبروا خمسة أنظمة تجارية كبرى. وإليكم كيف كانت النتائج:

الفائز: كان ElevenLabs Scribe v2 هو البطل الواضح. حقق أدنى معدل خطأ وأعلى درجة معنى عبر جميع الأزواج اللغوية الأربعة. كان بارعاً بشكل خاص في التعامل مع الخلطات الصعبة بين العربية والفارسية.
الوسط: أبلت OpenAI و Google بلاءً جيداً، لكنهما ارتكبا أخطاءً أكبر بكثير من الفائز، خاصة في الجمل الأكثر صعوبة.
المتعثر: سجلت Azure (مايكروسوفت) أعلى معدلات الخطأ. ومع ذلك، تشير الورقة إلى أنه إذا طلبت من Azure "الاستمرار في التحقق" من اللغة باستمرار (بدلاً من التحقق مرة واحدة فقط في البداية)، فإن أداءها يتحسن قليلاً، لكنها تظل متأخرة.
الحالة الخاصة: تم اختبار Deepgram فقط على الثنائية الألمانية-الإنجليزية لأنها لا تدعم العربية أو الفارسية رسمياً. وفي الألمانية، كان أداؤها ممتازاً، لكن لا يمكن مقارنتها بالآخرين لأن الاختبار كان أسهل (كلتا اللغتين تستخدمان نفس الأبجدية).

٥. اكتشاف "الوضع الصعب"

قسم الباحثون الاختبار حسب الصعوبة (سهل، متوسط، صعب، خبير).

المفاجأة: في الجمل "السهلة"، بدت جميع الأنظمة متشابهة تقريباً. ولكن في الجمل "الخبير" (الأصعب)، انفجرت الفجوة.
التشبيه: تخيل سباقاً حيث يركض الجميع بنفس السرعة على مضمار مستوٍ. ولكن عندما يتحول المضمار إلى جبل صخري وعر، يستمر أحد العدائين (ElevenLabs) في التسلق بثبات، بينما يبدأ الآخرون في الانزلاق والسقوط. الدرجة المتوسطة تخفي هذا الفرق الهائل؛ لن ترى الفجوة الحقيقية إلا عندما تنظر إلى التحديات الأصعب.

٦. الدليل البصري

لإثبات أن "المعنى" أهم من "الإملاء" لهذه اللغات، استخدموا خريطة بصرية (تشبه نظام GPS للكلمات).

قاموا برسم الجمل "الصحيحة" والجمل التي "خمنها الكمبيوتر" على خريطة.
النتيجة: حتى عندما استخدم الكمبيوتر نصاً مختلفاً (مثل كتابة كلمة إنجليزية بحروف فارسية)، كانت النقاط على الخريطة تقع بجانب بعضها البعض مباشرة. هذا يثبت أن الكمبيوتر فهم المعنى، حتى لو قالت "المسطرة" (WER) إن ذلك خطأ.

الخلاصة

إذا كنت تبني منتجاً لأشخاص يتحدثون لغات متعددة في نفس النفس، فلا تنظر فقط إلى معيار "معدل خطأ الكلمات" (WER) القياسي. إنه يشبه الحكم على طاهٍ فقط بناءً على مدى مثالية تقطيعه للبصل، مع تجاهل ما إذا كان الحساء مذاقه جيداً أم لا.

استخدم "درجة المعنى" (BERTScore) للغات العربية والفارسية.
اختبر على الجمل "الأصعب"، وليس السهلة فقط.
ElevenLabs Scribe v2 هو حالياً الأفضل في هذه المهمة المحددة، لكن الورقة تحذر من أن العوامل الواقعية مثل السرعة (Latency) والتكلفة تهم أيضاً عند اختيار نظام للأعمال.

ملخص تقني: تقييم أداء أنظمة التعرف التلقائي على الكلام (ASR) التجارية في حالات تبديل الرموز اللغوية (Code-Switching)

بيان المشكلة
تواجه أنظمة التعرف التلقائي على الكلام (ASR) تحديات كبيرة في سيناريوهات تبديل الرموز اللغوية (CS)، حيث يقوم المتحدثون بالتبديل بسلاسة بين لغتين ضمن جملة واحدة. ورغم انتشار هذه الظاهرة في بيئات العمل متعددة اللغات في الشرق الأوسط وجنوب آسيا وأوروبا، إلا أن "تبديل الرموز" لا يزال غير مدروس بشكل كافٍ في الاختبارات المعيارية التجارية. تعتمد التقييمات الحالية بشكل أساسي على تسجيلات صوتية نقية وأحادية اللغة، وتكتفي بتقرير رقم واحد لمعدل خطأ الكلمات (WER). هذا النهج يفشل في رصد الأداء الواقعي، لا سيما في أزواج اللغات العربية والفارسية حيث يتسبب التباين في نظام الكتابة (Transliteration) في معاقبة النسخ النصي الصحي دلالياً إذا استخدم اصطلاحات كتابية مختلفة (مثل اللاتينية مقابل الفارسية-العربية). علاوة على ذلك، فإن المتوسطات الإجمالية غالباً ما تحجب التفاوتات في الأداء عند التعامل مع العينات الصعبة وعالية التعقيد.

المنهجية
يقدم المؤلفون اختباراً معيارياً منسقاً يضم 1,200 جملة من جمل تبديل الرموز (300 لكل زوج لغوي) تغطي أربعة أزواج: العامية المصرية-الإنجليزية، العربية السعودية (نجدي/حجازي)-الإنجليزية، الفارسية (فارسي)-الإنجليزية، والألمانية-الإنجليزية.

بناء البيانات: تم تسجيل الصوت بواسطة متحدثين أصليين يتمتعون بطلاقة احترافية في كلتا اللغتين، لمحاكاة الظروف الصوتية للعمل عن بُعد بدلاً من جودة الاستوديو. تم استخدام مسار اختيار مكون من مرحلتين لتحديد العينات الأكثر صعوبة:
1. المرحلة الأولى (الفلتر الاستدلالي): طُبقت على أزواج العربية والفارسية، حيث يتم تقييم النصوص بناءً على خمس إشارات هيكلية: نسبة خلط الخطوط (Script mix ratio)، معدل تناوب الرموز (Token alternation rate)، المزج المورفولوجي (مثل إضافة أدوات التعريف العربية إلى جذور إنجليزية)، الطول، وتنوع المفردات. أدت هذه المرحلة إلى تقليص مجموعة المرشحين بنسبة 100% تقريباً لـ 87% في العامية المصرية و69% في الفارسية. أما بالنسبة للألمانية-الإنجليزية، حيث لا يكون خلط الخطوط متميزاً بصرياً، فقد تم تمرير جميع الصفوف.
2. المرحلة الثانية (تجميع نماذج لغوية كبيرة - LLM Ensemble): تم تقييم المرشحين المتبقين بواسطة تجميع من نماذج GPT-4o وGemini 1.5 Pro عبر ستة أبعاد لغوية (المزج المورفولوجي، كثافة التبديل، مزيج العامية/السجل اللغوي، الغموض الفونولوجي، كثافة الأسماء العلم، والتعقيد الإملائي). قلل هذا المسار من تكاليف واجهة برمجة تطبيقات (API) النماذج اللغوية الكبيرة بنسبة 91% تقريباً مقارنة بالتقييم الشامل.
الأنظمة التي تم تقييمها: تم اختبار خمسة مزودين تجاريين لأنظمة ASR عبر واجهات برمجة تطبيقات إنتاجية في مايو 2026: ElevenLabs Scribe v2، وOpenAI gpt-4o-transcribe، وGoogle Chirp 3، وAzure AI Speech (مع خاصة تحديد اللغة المستمرة)، وDeepgram Nova-3. ومن الجدير بالذكر أنه تم استبعاد Deepgram Nova-3 من تصنيفات العربية والفارسية لأن هاتين اللغتين خارج نطاق دعمه الموثق.
مقاييس التقييم: تستخدم الدراسة كلاً من معدل خطأ الكلمات (WER) ودرجة BERTScore (باستخدام bert-base-multilingual-cased). يجادل المؤلفون بأن BERTScore يتفوق في حالتي العربية والفارسية لأنه يقيس التقارب الدلالي في فضاء كامن مشترك، مما يكافئ المعنى الصحيح حتى عند اختلاف اصطلاحات الكتابة، بينما يعامل WER الاختلافات في نظام الكتابة كأخطاء استبدال.

النتائج الرئيسية

الأداء العام: حقق ElevenLabs Scribe v2 أدنى معدل خطأ كلمات (13.2% إجمالاً) وأعلى درجة BERTScore (0.936) عبر جميع الأزواج اللغوية الأربعة. وقد أظهر ميزة كبيرة في أزواج اللغة العربية، حيث سجل 13.1% في معدل خطأ الكلمات للعامية المصرية مقارنة بـ 45.9% للمنافس التالي.
التباين في المقاييس: لوحظ تباين قوي بين WER وBERTScore، خاصة في حالة الفارسية-الإنجليزية (معامل ارتباط كيندال $\tau$ = 0.40). فالأنظمة التي استخدمت باستمرار الخط الفارسي للكلمات المستعارة من الإنجليزية عوقبت بشدة بواسطة WER، لكنها حصلت على درجة BERTScore عالية لسلامتها الدلالية. وأظهرت الحالة الألمانية-الإنجليزية أعلى توافق في المقاييس ( $\tau$ = 0.80) بسبب الاشتراك في الخط.
تصنيف الصعوبة: كشف التحليل حسب ربع الصعوبة (بناءً على درجة الهيورستيك $H\_Score$ ) أن متوسط WER الإجمالي يحجب فجوات كبيرة. على سبيل المثال، اتسعت الفجوة في الأداء بين ElevenLabs وGoogle Chirp 3 من 2.4 نقطة مئوية في العينات الأسهل إلى 41.5 نقطة في العينات الأصعب.
تحليل التضمين (Embedding Analysis): أكدت إسقاطات UMAP للتضمينات متعددة اللغات أن أزواج المرجع والفرضية متقاربة هندسياً في الفضاء الدلالي رغم اختلاف الخطوط، مما يؤكد صلاحية استخدام BERTScore كمقياس موثوق.

الأهمية والادعاءات
يدعي البحث أنه يقدم أول مقارنة منهجية لأنظمة ASR التجارية على صوت تبديل الرموز اللغوية عبر هذه الأزواج اللغوية المحددة وغير الممثلة كفاية. وتتمثل مساهماته الرئيسية في:

مرجع معياري قابل لإعادة الإنتاج: مجموعة بيانات متاحة للجمهور تضم 1,200 جملة من جمل تبديل الرموز الصعبة التي تم اختيارها عبر مسار ذي مرحلتين وفعال من حيث التكلفة.
التحقق من المقياس: دليل تجريبي على أن WER هو مقياس أولي غير موثوق لتبديل الرموز في العربية والفارسية بسبب تباين نظام الكتابة، مما يدعو لاستخدام BERTScore كمؤشر أكثر قوة للجودة الدلالية.
رؤى معمارية: تظهر النتائج أن أجهزة فك التشفير المستقلة عن اللغة والمدمجة مع النماذج اللغوية الكبيرة (مثل ElevenLabs وOpenAI) تتفوق على أنظمة تحديد اللغة على مستوى القطعة (مثل Azure) في التعامل مع التبديل داخل الجملة الواحدة، حيث أن الأخيرة محدودة هيكلياً بترميز واحد لكل قطعة.
تصميم الاختبار المعياري: توضح الدراسة أن التحليل المصنف حسب الصعوبة ضروري للكشف عن أوضاع الفشل التي تحجبها المتوسطات الإجمالية، وأن الاختبارات المعيارية المستقبلية يجب أن تأخذ في الاعتبار التباين اللهجي (مثل النجدي مقابل الحجازي) لتجنب حجب أوضاع فشل محددة.

يخلص المؤلفون إلى أنه بينما يتصدر ElevenLabs Scribe v2 حالياً، يجب على الممارسين مراعاة عوامل النشر المحددة مثل زمن الاستجابة (Latency)، والتكلفة، وتغطية اللهجات، وعدم الاعتماد فقط على أرقام WER الإجمالية عند اختيار مزودي خدمات ASR في البيئات متعددة اللغات.