💬 NLP

Preferences of a Voice-First Nation: Large-Scale Pairwise Evaluation and Preference Analysis for TTS in Indian Languages

تقدم هذه الورقة إطاراً مضبوطاً ومتعدد الأبعاد للتقييم الزوجي لأنظمة تحويل النص إلى كلام (TTS) متعددة اللغات في 10 لغات هندية، وذلك باستخدام أكثر من 120,000 مقارنة بشرية لإنشاء لوحة صدارة موثوقة، وتحليل المقايضات الإدراكية، وتفسير تفضيلات النماذج من خلال نمذجة "برادلي-تيري" وتحليل "SHAP".

المؤلفون الأصليون: Srija Anand, Ashwin Sankar, Ishvinder Sethi, Aaditya Pareek, Kartik Rajput, Gaurav Yadav, Nikhil Narasimhan, Adish Pandya, Deepon Halder, Mohammed Safi Ur Rahman Khan, Praveen S V, Shobhit Banga, Mite

نُشر 2026-04-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Srija Anand, Ashwin Sankar, Ishvinder Sethi, Aaditya Pareek, Kartik Rajput, Gaurav Yadav, Nikhil Narasimhan, Adish Pandya, Deepon Halder, Mohammed Safi Ur Rahman Khan, Praveen S V, Shobhit Banga, Mitesh M Khapra

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل الهند كأنها سوق ضخم وصاخب حيث يفضل ملايين الأشخاص الصراخ بطلباتهم، وطرح الأسئلة، ورواية القصص بصوت عالٍ بدلاً من الكتابة على لوحة المفاتيح. هذا ما يسميه المؤلفون "أمة تعتمد على الصوت أولاً".

ولكن هنا تكمن المشكلة: الهند تشبه قدرًا ضخمًا من التوابل. فهي تحتوي على مئات اللغات، وغالبًا ما يمزج الناس بينها في الجملة الواحدة (مثل قول: "أحتاج إلى chai وتذكرة bus ticket"). إن جعل الكمبيوتر يتحدث كل هذه اللغات بوضوح وطبيعية ودون أن يبدو كآلة روبوت هو أمر صعب للغاية.

هذه الورقة البحثية هي في الأساس "اختبار تذوق" ضخم لأصوات الكمبيوتر.

إليك تفاصيل ما قاموا به، باستخدام تشبيهات بسيطة:

1. الإعداد: "أولمبياد الصوت" 🏅

بدلاً من مجرد سؤال الناس: "على مقياس من 1 إلى 10، ما مدى جودة هذا الصوت؟" (وهو أمر يشبه طلب تقييم من قاضٍ لجمباز بـ 10 درجات)، وضع الباحثون بطولة مواجهة مباشرة.

المتسابقة: اختاروا أفضل 7 أنظمة "تحويل النص إلى كلام" (TTS) المتاحة حاليًا. بعضها أنظمة تجارية شهيرة (مثل Gemini من Google أو ElevenLabs)، وبعضها مشاريع مفتوحة المصدر صُممت خصيصًا للغات الهندية.
الحكام: استعانوا بأكثر من 1,900 متحدث أصلي من جميع أنحاء الهند. لم يكونوا أشخاصًا عاديين؛ بل تم تدريبهم للاستماع بنقد وتحليل.
الساحة: أنشأوا "صالة رياضية" تضم 5,357 جملة مختلفة. تم تصميم هذه الجمل لتكون صعبة:
- تحديات النطق: كلمات صعبة النطق.
- الخلط اللغوي (Code-Mix): جمل تمزج بين الإنجليزية واللغات الهندية (مثل: "Please book a ticket for Mumbai").
- اختبار الضغط: جمل تحتوي على أرقام، ومعادلات رياضية، واختصارات.

2. اللعبة: "اختبار التذوق الأعمى" 🎧

استمع الحكام إلى مقطعين صوتيين في نفس الوقت (النموذج A مقابل النموذج B) دون معرفة الشركة التي صنعت كل منهما.

لم يكتفوا باختيار فائز واحد، بل تصرفوا مثل نقاد الطعام الذين يقيمون طبقًا بناءً على ستة مكونات مختلفة:

الوضوح (Intelligibility): هل يمكنني فهم الكلمات؟
التعبير (Expressiveness): هل يبدو الصوت سعيدًا، حزينًا، أم مملًا؟
جودة الصوت (Voice Quality): هل يبدو بشريًا أم روبوتيًا؟
الحيوية (Liveliness): هل هو مفعم بالطاقة أم رتيب؟
الهلوسة (Hallucinations): هل اخترع الذكاء الاصطناعي كلمات لم تكن موجودة في النص؟
الضجيج (Noise): هل هناك تشويش أو أزيز في الخلفية؟

3. النتائج: من الفائز؟ 🏆

بعد جمع أكثر من 120,000 مقارنة، استخدموا صيغة رياضية (مثل نظام تصنيف رياضي) لإنشاء لوحة صدارة.

البطل: فاز Gemini 2.5 Pro TTS بالميدالية الذهبية. كان الفائز الأكثر اتساقًا عبر معظم اللغات وأنواع الجمل الصعبة.
الوصيفان: جاء ElevenLabs V3 و Sonic 3 خلفه بفارق ضئيل جدًا، وكانا يتبادلان المراكز اعتمادًا على اللغة المحددة.
الحصان الأسود (Underdog): جاء النموذج مفتوح المصدر "Indic F5" في المركز الأخير. ورغم محاولته تغطية جميع اللغات العشر، إلا أنه عانى لمواكبة دقة الأنظمة التجارية الكبرى.

المفاجأة الكبرى: وجد الباحثون أنه بينما يعد "الضجيج" و"الهلوسة" (الأخطاء التقنية) أمرين مهمين، إلا أنهما ليسا السبب الرئيسي في اختيار الناس للفائز. بمجرد أن يكون الصوت واضحًا ولا يرتكب أخطاء، يختار الناس الصوت الذي يبدو أكثر "حياةً وتعبيرًا". الأمر يشبه اختيار مغنٍ: إذا كان يغني النوتات الصحيحة، فستختار ذاك الذي يمتلك "روحًا" في صوته.

4. دليل "كيفية القيام بالعمل" للاختبارات المستقبلية 📝

تجيب الورقة أيضًا على سؤال عملي: "كم عدد الحكام وكم عدد الجمل التي نحتاجها للحصول على نتيجة عادلة؟"

الحكام: لا تحتاج إلى آلاف الأشخاص للحصول على تصنيف مستقر. حوالي 200 حكم جيد كافية لتحديد من هو الأفضل بوضوح من الآخر.
الجمل: تحتاج إلى مزيج متنوع. حوالي 1,000 جملة مختلفة تغطي لغات وموضوعات متنوعة ضرورية لضمان عدالة التصنيف.

الخلاصة

هذه الورقة تشبه تقرير المستهلك لأصوات الذكاء الاصطناعي. وهي تخبرنا بما يلي:

لدينا طريقة لاختبار أصوات الذكاء الاصطناعي بشكل عادل في البيئات المعقدة والمتعددة اللغات.
حاليًا، تتصدر نماذج الذكاء الاصطناعي التجارية الكبرى السباق فيما يتعلق باللغات الهندية.
بالنسبة للمستقبل، لا ينبغي للمطورين التركيز فقط على جعل الأصوات "خالية من الأخطاء"؛ بل يجب عليهم التركيز على جعلها تبدو بشرية، وعاطفية، وحيوية، لأن هذا هو ما يهتم به الناس حقًا.

يقوم المؤلفون بنشر جميع بياناتهم وجمل الاختبار الخاصة بهم للجمهور، آملين في مساعدة الباحثين الآخرين على بناء أصوات أفضل وأكثر شبهاً بالبشر للأمم التي تعتمد على الصوت أولاً في العالم.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تفضيلات أمة تعتمد على الصوت أولاً: التقييم الزوجي واسع النطاق وتحليل التفضيلات لتقنية تحويل النص إلى كلام (TTS) في اللغات الهندية."

1. بيان المشكلة

تعد الهند أمة "تعتمد على الصوت أولاً" نظراً لتنوعها اللغوي الهائل، بما في ذلك مئات اللغات والخلط اللغوي الواسع (خلط اللغات داخل الجملة الواحدة). وبينما تقدمت أنظمة تحويل النص إلى كلام (TTS) العصبية، لا يزال تقييمها في هذا السياق يمثل تحدياً بسبب:

التنوع اللغوي: الحاجة إلى التقييم عبر أكثر من 10 لغات هندية وظواهر معقدة مثل الخلط اللغوي (code-mixing)، والأرقام، والمفردات الخاصة بمجالات معينة.
قصور المقاييس التقليدية: تعتمد مقاييس التقييم الذاتي القياسية مثل "متوسط درجة الرأي" (MOS) على التقييمات المطلقة، والتي تعاني من تباين في معايرة المقيمين وتفتقر إلى العمق التشخيصي.
الموازنة بين النطاق والعمق: غالباً ما تركز التقييمات الزوجية الحالية فقط على التفضيل العام، وتفشل في شرح سبب تفضيل نظام ما أو كيفية أدائه عبر أبعاد إدراكية محددة (مثل التعبير مقابل الضجيج).
نقص المعايير المرجعية: هناك ندرة في المعايات المرجعية (benchmarks) واسعة النطلة ومنضبطة لتقنية TTS متعددة اللغات في اللغات الهندية، والتي تتضمن مدخلات مختلطة لغوياً وتحليلاً إدراكياً دقيقاً.

2. المنهجية

يقترح المؤلفون إطار عمل للتقييم الزوجي متعدد الأبعاد ومنضبط مصمم للتغلب على قيود الـ MOS التقليدي والقدرة على التوسع مع مجموعات البيانات الكبيرة.

أ. بناء المعيار المرجعي (Benchmark)

النطاق: 5,357 جملة عبر 10 لغات هندية (البنغالية، الغوجاراتية، الهندية، الكانادية، الماليالامية، الماراثية، الأوديا، التاميلية، التيلوغو، الأردية).
التنوع: يغطي 16 مجالاً ذا صلة بالاستخدام الفعلي (مثل الطب، القانون، العلوم والتكنولوجيا، سرد القصص).
أنواع المدخلات:
- المُطبعة (Normalized): نص مع نطق الأرقام والاختصارات لفظياً.
- الرمزية (Symbolic): نص خام يحتوي على صيغ أو معاملات.
- المختلطة لغوياً (Code-mixed): إدراج كلمات إنجليزية داخل الجملة وترجمة صوتية.
- الحالات الحدية (Edge Cases): جمل صعبة النطق (tongue twisters)، تكرارات مفرطة، وتعبيرات تعبيرية.
ضبط الجودة: تم تنسيق الجمل من مصادر عامة أو توليدها عبر نماذج لغوية كبيرة (LLMs)، ثم تم التحقق منها بصرامة من قبل خبراء لغويين أصليين لضمان الدقة والطلاقة.

ب. جمع البيانات

المشاركون: أكثر من 1,900 مقيم لغوي أصلي تم استقطابهم من جميع أنحاء الهند.
الحجم: تم جمع أكثر من 120,000 مقارنة زوجية.
البروتوكول: سير عمل صارم من خطوتين لمنع الإجهاد المعرفي:
1. التفضيل الشامل: يستمع المقيمون إلى نموذجين مجهولين (أ مقابل ب) ويختارون الفائز (أو "كلاهما جيد/سيء").
2. التشخيص الدقيق: يقوم المقيمون بعد ذلك بتقييم نفس الزوج عبر 6 محاور إدراكية: الوضوح (Intelligibility)، التعبيرية (Expressiveness)، جودة الصوت (Voice Quality)، الحيوية (Liveliness)، الضجيج (Noise)، والهلوسة (Hallucinations).

ج. النمذجة الإحصائية

الترتيب: تم استخدام نموذج برادلي-تيري (BT modeling) لتحويل التفضيلات الزوجية إلى لوحة صدارة ذات درجات كامنة.
عدم اليقين: تم تطبيق إعادة أخذ العينات بطريقة Bootstrap (500 تكرار) لإنشاء فترات ثقة بنسبة 95%. يُعتبر النظام أفضل بشكل صارم فقط إذا كان فاصل الثقة الخاص به يقع بالكامل فوق نظام آخر.
التحليل: تم استخدام تحليل SHAP (تفسيرات شابلِي المضافة) على مصنف XGBoost لتحديد المحاور الإدراكية التي تقود التفضيل العام.

3. المساهمات الرئيسية

معيار مرجعي واسع النطاق: إنشاء معيار مرجعي متنوع صوتياً ومتعدد اللغات يغطي 10 لغات ومدخلات واقعية معقدة (الخلط اللغوي، الأرقام).
إطار عمل متعدد الأبعاد: الانتقال من "التفضيل العام" إلى إطار تشخيصي مكون من 6 محاور يعزل أوضاع الفشل المحددة (مثل الهلوسة مقابل نقص التعبيرية).
الصرامة الإحصائية: منهجية تقيس موثوقية لوحة الصدارة، وتحدد الحد الأدنى من عدد المقيمين والجمل المطلوبة للحصول على ترتيب مستقر.
فهم التفضيل البشري: إثبات أن المتانة (انخفاض الضجيج/الهلوسة) هي متطلب أساسي، ولكن التعبيرية والوضوح هما المحركان الأساسيان لتفضيل البشر في الأنظمة عالية الجودة.

4. النتائج الرئيسية

أ. أداء الأنظمة (لوحة الصدارة)

تم تقييم 7 أنظمة متطورة (بما في ذلك واجهات برمجة التطبيقات التجارية مثل GEMINI 2.5 PRO، وELEVEN LABS، والنماذج مفتوحة المصدر مثل INDIC F5).

الأفضل أداءً: تصدر GEMINI 2.5 PRO TTS المركز الأول بدرجة BT بلغت 1128.53، حيث تصدر باستمرار عبر 9/10 لغات وجميع المجالات الـ 16.
الوصيفون: جاء كل من ELEVEN LABS V3 وSONIC 3 في مراكز قريبة، مع وجود تساوٍ إحصائي في بعض اللغات.
فجوة المصدر المفتوح: حلّ نموذج INDIC F5 (وهو نموذج متخصص في اللغات الهندية) في المركز الأخير (805.75)، مما يشير إلى فجوة أداء كبيرة مقارنة بالعمالقة التجاريين رغم تغطيته لجميع اللغات العشر.
المتانة: حافظ GEMINI 2.5 PRO على مراكزه الأولى عبر جميع أنواع المدخلات (المطبعة، الرمزية، المختلطة لغوياً)، مما أظهر قدرة فائقة على التعامل مع الحالات الحدية.

ب. المحركات الإدراكية (تحليل SHAP)

المحركات الأساسية: كانت التعبيرية والوضوح أقوى المتنبئات بالتفضيل العام.
المحركات الثانوية: الحيوية وجودة الصوت.
عوامل الخط الأساسي: ساهم الضجيج والهلوسة بشكل أقل في التمييز لأن معظم الأنظمة التي تم تقييمها حققت بالفعل مستوى عالٍ من المتانة، وبالتالي كانت بمثابة "متطلبات أساسية" وليست عوامل تمييز.

ج. الموثوقية وكفاءة العينة

عدد المقيمين: تستقر التصنيفات (مع معامل سبيرمان $\rho \ge 0.95$ ) مع حوالي 100-200 مقيم، اعتماداً على عدد الأنظمة التي تتم مقارنتها.
عدد الجمل: مطلوب حوالي 1,000 جملة للحصول على تصنيفات مستقرة في مقارنات تضم 5-7 أنظمة. زيادة الجمل عن هذا الحد تقلل من عدم اليقين في الدرجات ولكنها تعطي عوائد متناقصة فيما يتعلق باستقرار الترتيب.

5. الأهمية

التقنين: يوفر إطار عمل قابلاً لإعادة الإنتاج ومبنياً على أسس إحصائية لتقييم تقنية TTS متعددة اللغات، مما يعالج الطبيعة "الصندوق الأسود" لاختبارات الاستماع الذاتية.
القيمة التشخيصية: يسمح التقسيم المكون من 6 محاور للمطورين بتحديد نقاط الضعف بدقة (على سبيل المثال، قد يكون النموذج واضحاً ولكنه يفتقر إلى الحيوية)، مما يوجه التحسينات المستهدفة.
إمكانية الوصول القائم على الصوت: من خلال التركيز على اللغات الهندية والخلط اللغوي، تدعم الدراسة مباشرة تطوير الخدمات الرقمية الميسرة لشريحة سكانية ضخمة ومتنوعة لغوياً.
إطلاق الموارد: يلتزم المؤلفون بإصدار المعيار المرجعي وبيانات التفضيل، مما يعزز الأبحاء المستقبلية في مجال تركيب الكلام متعدد اللغات.

في الختام، تثبت هذه الورقة أنه بالنسبة لتقنية TTS متعددة اللغات في الهند، فإن الجودة متعددة الأبعاد. وبينما تعد المتانة أمراً ضرورياً، فإن الأنظمة التي تفوز بتفضيل المستخدم هي تلك التي تتقن تفاصيل التعبيرية والوضوح عبر المدخلات المعقدة والمختلطة لغوياً. كما توفر الدراسة إرشادات عملية للباحثين حول كيفية تصميم دراسات تقييم بشري فعالة وموثوقة.