💬 NLP

Towards Orthographically-Informed Evaluation of Speech Recognition Systems for Indian Languages

تقترح هذه الورقة إطار تقييم مستنداً إلى المعلومات الإملائية (OIWER) يستفيد من النماذج اللغوية الكبيرة لمعالجة تحديات الاختلافات الإملائية في اللغات الهندية، مما يثبت أنه يوفر تقييماً أكثر دقة وتوافقاً مع التقييم البشري لأداء التعرف على الكلام مقارنة بالمقاييس التقليدية مثل معدل خطأ الكلمات.

المؤلفون الأصليون: Kaushal Santosh Bhogale, Tahir Javed, Greeshma Susan John, Dhruv Rathi, Akshayasree Padmanaban, Niharika Parasa, Mitesh M. Khapra

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kaushal Santosh Bhogale, Tahir Javed, Greeshma Susan John, Dhruv Rathi, Akshayasree Padmanaban, Niharika Parasa, Mitesh M. Khapra

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم تصحح اختبار إملاء لطالب. كتب الطالب جملة بشكل مثالي، لكنك وضعت عليها علامة خاطئة لأن الطالب استخدم طريقة مختلفة قليلاً لإملاء كلمة ما، وهي طريقة مقبولة في الواقع في لهجته. قد تقول: "لقد نسيت حرف الـ 'u' في كلمة 'colour'!" بينما كتب الطالب "color"، أو ربما قام بتقسيم كلمة مركبة بشكل مختلف.

في عالم التعرف التلقائي على الكلام (ASR) للغات الهندية، هذا هو بالضبط ما يحدث. تحاول الحواسيب "الاستماع" إلى الكلام البشري وتحويله إلى نص. ولكن نظرًا لأن اللغات الهندية غنية ومرنة ومتنوعة للغاية، فإن الحواسيب تمنح درجات قاسية بشكل غير عادل.

إليك شرح بسيط لقصة الورقة البحثية، باستخدام بعض التشبيهات من الحياة اليومية:

1. المشكلة: "المصحح المتزمت"

لسنوات، استخدم الباحثون مقياسًا يسمى WER (معدل خطأ الكلمات) لتقييم مدى جودة أنظمة تحويل الكلام إلى نص هذه. فكر في WER كـ مصحح صارم يلتزم بالنص حرفيًا.

المشكلة: اللغات الهندية تشبه أحجية ضخمة ومرنة. غالبًا ما يمكنك كتابة الكلمة بخمس طرق مختلفة، أو تقسيم كلمة طويلة إلى كلمتين أصغر، أو دمج كلمتين في كلمة واحدة، وكل هذه الطرق صحيحة.
النتيجة: يقول الكمبيوتر: "لقد سمعت 'passbook'". بينما كتب المصحح البشري "pass book". المصحح المتزمت يعتبرها خطأً.
العاقبة: تبدو هذه الأنظمة سيئة للغاية على الورق (معدلات خطأ عالية)، رغم أن المصحح البشري الذي يستمع إلى التسجيل الصوتي سيقول: "مهلاً! هذا يبدو مثاليًا!". إنه يشبه الحصول على درجة 'F' في اختبار لأنك استخدمت مرادفًا بدلاً من الكلمة التي أرادها المعلم بالضبط.

2. الحل: "القاموس المرن"

أدرك المؤلفون (فريق من معهد IIT Madras وSarvam AI) أنهم بحاجة إلى طريقة جديدة للتقييم. لقد ابتكروا إطار عمل يسمى OIWER (معدل خطأ الكلمات المستنير إملائيًا).

فكر في هذا كمنح المصحح قاموسًا خارق القدرات ومرنًا قبل أن يبدأ في التصحيح.

بدلاً من مجرد التحقق مما إذا كان الطالب قد كتب "Passbook"، يخبر القاموس المصحح: "انتظر! 'Pass book'، و'pass-book'، و'passbook' كلها صالحة. إذا كتب الطالب أيًا منها، فامنحه الدرجة كاملة."
كما أنهم وضعوا في الاعتبار أمورًا معقدة مثل:
- الكلمات المستعارة: الكلمات المستعارة من الإنجليزية التي تُكتب بشكل مختلف في الهندية أو التاميلية.
  
  الكلمات المستعارة: الكلمات المستعارة من الإنجليزية التي تُكتب بشكل مختلف في الهندية أو التاميلية.
- الـ Sandhi (الوصل): الطريقة السحرية التي تلصق بها اللغات الهندية الكلمات معًا (مثل كيف تصبح "at" + "home" لتصبح "athome" في النطق).
- علامات التشكيل (Diacritics): النقاط أو الخطوط الصغيرة فوق أو تحت الحروف التي تغير الصوت.

3. الأداة السحرية: "المساعد الذكي"

قد تتساءل، "كيف يمكنك صنع قاموس يعرف كل الطرق الممكنة لإملاء كلمة في 22 لغة مختلفة؟ يبدو هذا وكأنه ملايين الساعات من العمل!"

استخدم المؤلفون نماذج اللغات الكبيرة (LLMs) — وهي نفس نوع الذكاء الاصطناي الذي يشغل روبوتات الدردشة — للقيام بالعمل الشاق.

التشبيه: تخيل أنك بحاجة إلى إدراج كل اسم دلع ممكن لصديق اسمه "روبرت". يمكنك قضاء سنوات في سؤال الناس، أو يمكنك سؤال ذكاء اصطناعي فائق الذكاء: "هيا، اذكر كل طريقة يمكن بها كتابة أو نطق 'روبرت'". سيعطيك الذكاء الاصطناعي فورًا "روب، بوب، بوبي، روبي"، وحتى الاختلافات الإقليمية.
استخدم الفريق هذا الذكاء الاصطناي لتوليد قوائم بالإملاءات الصالحة لكل كلمة في بيانات الاختبار الخاصة بهم. بعد ذلك، قام خبراء بشريون فقط بإجراء "فحص سريع" للتأكد من أن الذكاء الاصطناي لم يخرج عن المنطق.

4. النتائج: لعبة أكثر عدلاً

عندما أعادوا تقييم أنظمة الكلام باستخدام هذا "القاموس المرن" (OIWER)، كانت النتائج مذهلة:

اختفت "التشاؤمية": انخفضت معدلات الخطأ بشكل ملحو-ظر (بمتوسط 6.3 نقطة). لم تكن الأنظمة أسوأ في الواقع؛ بل كانت تُقيم بقسوة شديدة فحسب.
تقلصت الفجوة: في السابق، بدا أحد النماذج (Gemini) أسوأ بكثير من نموذج آخر (Canary). ولكن عند تقييمهما بشكل عادل، تقلصت الفجوة بينهما. اتضح أن أدائهما كان في الواقع متقاربًا جدًا مما كنا نعتقد.
الشعور البشري: تطابقت الدرجات الجديدة مع ما شعر به البشر الفعليون عند الاستماع إلى التسجيلات. "الدرجة الحاسوبية" تطابقت أخيرًا مع "التجربة البشرية".

5. الخلاصة

هذه الورقة البحثية تقول في جوهرها: "توقفوا عن تقييم اللغات الهندية كما لو كانت لغة إنجليزية جامدة ومعيارية."

من خلال الاعتراف بأن اللغات الهندية سلسة ومرنة، ومن خلال استخدام الذكاء الاصطناي لمساعدتنا في فهم تلك القواعد، يمكننا أخيرًا رؤية الإمكانات الحقيقية لأنظمة الكلام هذه. إنه بمثابة الإدراك أخيرًا بأن الطالب لم يفشل في اختبار الإملاء؛ بل إن الاختبار نفسه كان جامدًا للغاية بالنسبة للغة التي يتم التحدث بها.

باخت-صار: لقد بنوا طريقة أذكى لتقييم تحويل الكلام إلى نص تحترم الفوضى الجميلة للغات الهندية، مما يجعل التكنولوجيا تبدو بجودة ما تشعر به آذاننا بالفعل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "نحو تقييم مستنير إملائياً لأنظمة التعرف على الكلام للغات الهندية."

1. بيان المشكلة

يواجه تقييم التعرف التلقائي على الكلام (ASR) للغات الهندية تحدياً حرجاً: تضخم معدلات خطأ الكلمات (WER) التي لا تعكس الأداء الفعلي للنظام أو الإدراك البشري.

الأسباب الجذرية: تتميز اللغات الهندية بغنى لغوي عالٍ يتسم بـ:
- تباينات إملائية مرنة للزيادات (suffixes) والمورفيمات الشائعة.
- السماحية في تقسيم أو دمج الكلمات المركبة (التجميع/Agglutination).
- التهجئات غير القياسية في سياقات اللغات المختلطة (مثل الكلمات الإنجليزية المكتوبة بنصوص هندية).
- غياب الإرشادات الإملائية المعيارية مقارنة باللغات عالية الموارد مثل الإنجليزية.
النتيجة: تقوم مقاييس WER التقليدية بمعاقبة التباينات الإملائية الصالحة باعتبارها أخطاءً. وهذا يخلق رؤية "متشائمة" لأداء أنظمة ASR، ويضخم الفجوات في الأداء بين النماذج، ولا يتوافق مع كيفية إدراك المستخدمين البشريين لجودة النسخ.
قصور الحلول الحالية:
- معدل WER متعدد المراجع (Multi-reference WER): يتطلب نسخاً بشرية متعددة، وهو أمر مكلف ويستهلك الكثير من الموارد.
- التطبيع القائم على القواعد (مثل WER-SN): يعتمد على التقييم اليدوي أو القواعد التجريبية، وغالباً ما يفشل في استيعاب كامل طيف التباينات، خاصة بالنسبة للكلمات المستعارة أو العامية في اللغات منخفضة الموارد.

2. المنهجية

يقترح المؤلفون إطار عمل لإنشاء معايير مرجعية مستنيرة إملائياً (OI) ومقياساً جديداً يسمى OIWER.

أ. إطار توليد التباينات

بدلاً من الاعتماد فقط على التقييم اليدوي، يستخدم المؤلفون نهج "الإنسان في الحلقة" (HITL) المدعوم بالنماذج اللغوية الكبيرة (LLMs):

التصنيف اللغوي: حددوا سبع فئات محددة من التباينات الإملائية الشائعة في اللغات الهندية:
- تباينات الماترا/العلامات التشكيلية (Matra/Diacritic): علامات الحركات البديلة (مثل الـ nuktas في الهندية، أو الـ pulli في التاميلية).
- التباينات الإملائية للكلمات المستعارة: كتابات صوتية ونسخ محلية من الكلمات الإنجليزية/السنسكريتية/الفارسية.
- التقسيم/الدمج: تفكيك أو دمج الكلمات المركبة.
- التباينات الصوتية: الاختلافات القائمة على اللهجات واللكنات.
- تباينات الروابط (Ligature): تجمعات الحروف الساكنة سواء كانت متصلة أو منفصلة.
- الـ Sandhi: القواعد التي تحكم دمج الأصوات عند حدود الكلمات.
- التطبيع العكسي للنص (ITN): التباينات في الأرقام، التواريخ، والعملات.
التوليد بمساعدة النماذج اللغبية الكبيرة (LLM):
- يتم توجيه نموذج (Gemini-2.5-Pro) بـ نص صوتي كامل وفئات التباين المحددة مسبقاً لتوليد متغيرات مرشحة تراعي السياق لكل كلمة.
- يتم إخراج النتائج في شكل تسلسل من المجموعات، حيث تحتوي كل مجموعة على متغيرات صالحة لكلمة معينة أو تسلسل فرعي (مما يسمح بدمج الكلمات).
التنقيح البشري:
- يقوم خبراء لغتهم الأم بمراجعة المتغيرات المولدة بواسطة LLM باستخدام واجهة LabelStudio مخصصة.
- يقومون بتنقيح القوائم عبر إضافة المتغيرات المفقودة أو حذف المتغيرات غير الصحيحة.
- الكفاءة: تستغرق هذه العملية حوالي 1.2 دقيقة لكل جملة، وهي أسرع بكثير من النسخ اليدوي الكامل (~2.4 دقيقة).

B. مقياس OIWER

يقدم المؤلفون معدل خطأ الكلمات المستنير إملائياً (OIWER):

الخوارزمية: تعدل نهج البرمجة الديناميكية (DP) القياسي المستخدم في WER (مشابه لأداة SCLITE).
الآلية: بدلاً من مقارنة النص المتوقع ( $P$ ) مقابل مرجع واحد ( $T$ )، تقوم بمقارنة $P$ مقابل مجموعة من المتغيرات المرجعية ( $V$ ).
الحساب: تحسب الخوارزمية الحد الأدنى من مسافة التحرير (edit distance) بين التوقع وأي متغير صالح في مجموعة المراجع، مما يجد مسار المحاذاة الأمثل.

3. الإعداد التجريبي

مجموعة البيانات: تم تطبيق الإطار على معيار IndicVoices، الذي يغطي 22 لغة هندية عبر أربع عائلات لغوية.
النماذج التي تم تقييمها:
- Canary-C: نموذج Canary-1B-flash تم ضبطه بدقة على بيانات MahaDhwani.
- IndicConformer-IC: نموذج Conformer متعدد اللغات مفتوح المصدر من AI4Bharat.
- Saarika:v2: واجهة برمجة التطبيقات العامة لـ SarvamAI.
- Meta MMS-1B-all: نموذج ميتا متعدد اللغات.
- Azure: واجهة Microsoft لنسخ النصوص بنظام الدفع حسب الاستخدام.
- Gemini-2.5-Pro: نموذج جوجل المستخدم عبر التوجيه (prompting).
النطاق: تم توليد متغيرات لحوالي 40.2 ألف كلمة عبر 22 لغة، مما نتج عنه متوسط يتراوح بين 1.3 إلى 3.2 متغير لكل كلمة.

4. النتائج الرئيسية

الحد من معدلات الخطأ المتشائمة:
- يحقق OIWER باستمرار معدلات خطأ أقل من الـ WER القياسي.
- التحسن المتوسط: انخفاض قدره 6.3 نقطة في معدلات الخطأ عبر جميع اللغات لنموذج Canary المتطور.
- تضييق الفجوات بين النماذج:
  - اقترح WER القياسي فجوة أداء قدرها 18.1 نقطة بين Gemini و Canary.
  - قلص OIWER هذه الفجوة إلى 11.5 نقطة، مما يشير إلى أن WER كان يضخم الفرق.
  - مثال: في اللغة التاميلية، انخفضت الفجوة من 17.4 إلى 4.3 نقطة.
- التوافق مع الإدراك البشري:
  - يتوافق OIWER مع "الـ WER المدرك" (النسخ المنقح بشرياً) بفارق 4.9 نقطة أقرب مقارنة بأفضل طريقة سابقة وهي WER-SN.
  - فشل WER-SN في التقاط العديد من متغيرات الكلمات المستعارة أو الصيغ العامية، بينما استوعب OIWER التنوع الإملائي الكامل.
- تحليل نوع الخطأ:
  - أدى إدخال المتغيرات بشكل أساسي إلى تقليل أخطاء الاستبدال (substitution errors) بمقدار 28,500 حالة عبر جميع اللغات، بينما ظلت معدلات الإدراج والحذف متشابهة. وهذا يؤكد أن العديد من "الأخطاء" كانت في الواقع تباينات إملائية صالحة.
- النموذج اللغوي الكبير كوكيل (Proxy):
  - وُجد ارتباط قوي ( $R^2 = 0.89$ ) بين درجات OIWER المحسوبة باستخدام المتغيرات المولدة بواسطة LLM فقط وتلك التي تم التحقق منها بشرياً. وهذا يشير إلى أن LLMs يمكن أن تعمل كوكيل موثوق ومنخفض التكلفة للتدوين البشري.

5. الأهمية والمساهمات

معيار تقييم جديد: ترسي هذه الورقة OIWER كمعيار متفوق للغات الهندية، منتقلة من المطابقة الصارمة للنصوص إلى نهج مستنير إملائياً يحترم الواقع اللغوي.
إنشاء معايير قابلة للتوسع: توضح الورقة مسار عمل قابلاً للتوسع ومنخفض التكلفة باستخدام LLMs لتوليد المتغيرات الإملائية، مما يحل مشكلة نقص الموارد في الـ WER متعدد المراجع.
تتبع واقعي للتقدم: من خلال تصحيح معدلات الخطأ المتضخمة، يوفر OIWER "إحساساً حقيقياً بالتقدم"، مما يمنع السرد الخاطئ بأن نماذج ASR للغات الهندية أسوأ بكثير مما هي عليه في الواقع.
مورد للمجتمع: أصدر المؤلفون معيار IndicVoices المستنير إملائياً والكود المرتبط به، مما يتيح للأبحاث المستقبلية تقييم أنظمة ASR بشكل أكثر عدلاً ودقة.

في الختام، تجادل هذه الورقة بأنه بالنسبة للغات الغنية صرفياً ومنخفضة الموارد، يجب أن تتطور مقاييس التقييم من المطابقة الإملائية الصارمة إلى نهج مستنير إملائياً يحترم سيولة استخدام اللغة البشرية.