💬 NLP

IndicIFEval: A Benchmark for Verifiable Instruction-Following Evaluation in 14 Indic Languages

تقدم هذه الورقة IndicIFEval، وهو معيار مرجعي يتكون من 800 مثال تم التحقق منها بشرياً عبر 14 لغة هندية لتقييم قدرات النماذج اللغوية الكبيرة في اتباع التعليمات، مما يكشف أنه بينما تلتزم النماذج جيداً بقيود التنسيق، إلا أنها تتخلف بشكل كبير عن الأداء باللغة الإنجليزية في المهام المعجمية وعبر اللغوية.

المؤلفون الأصليون: Thanmay Jayakumar, Mohammed Safi Ur Rahman Khan, Raj Dabre, Ratish Puduppully, Anoop Kunchukuttan

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Thanmay Jayakumar, Mohammed Safi Ur Rahman Khan, Raj Dabre, Ratish Puduppully, Anoop Kunchukuttan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً للغاية ومتعدد اللغات. يمكنك أن تطلب منه كتابة قصة، أو تلخيص مقال إخباري، أو حل مسألة رياضية. ولكن هناك عقبة: أنت تريد أيضاً إعطاءه قواعد محددة للغاية، مثل "اكتب ثلاث جمل بالضبط"، أو "لا تستخدم كلمة 'قطة'"، أو "ابدأ إجابتك بكلمة 'مرحباً'".

هذه الورقة البحثية، IndicIFEval، تشبه "اختبار رخصة قيادة" ضخم وصارم لهؤلاء المساعدين الآليين، ولكنها مخصصة لـ 14 لغة هندية مختلفة (مثل الهندية والبنغالية والتاميلية والسنسكريتية).

إليك تفاصيل ما قاموا به، باستخدام بعض التشبيهات البسيطة:

1. المشكلة: "التحيز للغة الإنجليزية فقط"

تخيل مدرسة تعليم قيادة تختبرك فقط على طرق إنجليزية. قد تكون سائقاً ممتازاً باللغة الإنجليزية، ولكن إذا انتقلت إلى بلد يقودون فيه على الجانب الأيسر، ويتحدثون لغة مختلفة، ولديهم علامات مرور مختلفة، فقد تصطدم.

حالياً، معظم اختبارات الذكاء الاصطناعي مبنية باللغة الإنجليزية. وجد الباحثون أنه بينما تجيد هذه النماذج اتباع القواعد باللغة الإنجليزية، فإنها غالباً ما ترتبك، أو تنسى التعليمات، أو تضع قواعدها الخاصة عندما يُطلب منها القيام بنفس الشيء بلغات هندية. لم تكن هناك طريقة جيدة لقياس مدى سوء ذلك، لذا قاموا ببناء اختبار جديد.

2. الحل: نوعان من الاختبارات

لجعل الاختبار عادلاً وشاملاً، أنشأوا "غرفتي اختبار" (مجموعات بيانات):

الغرفة (أ): اختبار "الترجمة" (INDICIFEVAL-TRANS)
- التشبيه: تخيل أنك تأخذ امتحاناً إنجليزياً مشهوراً وتترجمه كلمة بكلمة إلى الهندية أو التاميلية.
- الهدف: هذا يتحقق مما إذا كان بإمكان الذكاء الاصطناعي التعامل مع بنية التعليمات. ومع ذلك، كان الباحثون حذرين؛ فلم يستخدموا "ترجمة جوجل" فحسب، بل جعل الخبراء البشريون يعدلون الأسئلة لتناسب الثقافة. على سبيل المثال، تغيير "رئيس الولايات المتحدة الأمريكية" إلى "رئيس وزراء الهند" حتى لا يرتبك الذكاء الاصطناعي بسبب السياق.
- العقبة: أحياناً، تبدو الترجمة المباشرة "متصلبة" أو غير طبيعية، مثل ارتداء بدلة تم تفصيلها لشخص آخر.
الغرفة (ب): الاختبار "الأصلي" (INDICIFEVAL-GROUND)
- التشبيه: بدلاً من ترجمة امتحان إنجليزي، تخيل كتابة أسئلة جديدة تماماً من الصفر، بناءً على الثقافة المحلية، والأخبار، والقصص التي تحدث طبيعياً في الهند.
- الهدف: هذا يختبر ما إذا كان بإمكان الذكاء الاصطناعي اتباع القواعد عندما تبدو التعليمات وكأنها كُتبت من قبل شخص محلي، وليس مترجماً. الأمر يشبه طلب كتابة قصيدة عن مهرجان محلي بقواعد قافية محددة، بدلاً من ترجمة قصيدة عن عيد الميلاد.

3. الخاضعون للاختبار: نماذج الذكاء الاصطناي

وضعوا أكثر من 20 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي في هذه الاختبارات. بعضها كانت "مفتوحة الأوزان" (مثل البرامج مفتوحة المصدر التي يمكن لأي شخص تنزيلها وتعديلها) وبعضها كان "مملوكاً" (مثل النماذج عالية المستوى والسرية من شركات التقنية الكبرى).

اختبروا نماذج من جميع الأحجام، من الصغيرة جداً (مثل الآلة الحاسبة الجيبية) إلى الضخمة (مثل الحواسيب الفائقة).

4. النتائج: ماذا حدث؟

كانت النتائج مزيجاً من الأخبار الجيدة والسيئة:

"القوة الخارقة في التنسيق": كانت نماذج الذكاء الاصطناعي جيدة بشكل مفاجئ في اتباع قواعد "الشكل". إذا طلبت منها "الكتابة بتنسيق JSON" أو "استخدام النقاط"، فغالباً ما كانت تنجح في ذلك. إنهم مثل الطلاب الذين يجيدون اتباع شكل النموذج ولكنهم يعانون مع المحتوى.
"صراع الكلمات": عانت النماذج بشدة مع قواعد "الكلمات". إذا طلبت منها "تضمين كلمة 'فيل' ثلاث مرات بالضبط"، فغالباً ما كانت تنسى، أو تستخدمها مرتين، أو تستخدم مرادفاً لها. الأمر يشبه طالباً يعرف موضوع المقال ولكنه يستمر في نسيان كتابة اسمه على الورقة.
"الفجوة الإنجليزية": أدت أفضل النماذج أداءً بشكل أقل بكثير في اللغات الهندية مقارنة باللغة الإنجليزية. إنه مثل موسيقي يعزف مقطوعة مثالية بمقام رئيسي (الإنجليزية) ولكنه يتعثر في النوتات عندما يُطلب منه العزف بمقام محلي معقد (اللغات الهندية).
"دفعة التفكير": وجدوا أنه عندما يخبرون الذكاء الاصطناعي أن "يفكر خطوة بخطوة" قبل الإجابة (وهو وضع يسمى "الاستنتاج")، فإنه يصبح أفضل بكثير في اتباع القواعد. الأمر يشبه إعطاء الطالب بضع دقائق إضافية لقراءة التعليمات مرتين قبل بدء الاختبار.
الفائزون: بدا أن عائلة نماذج Gemma (من Google) تمتلك أفضل "ذاكرة عضلية متعددة اللغات"، حيث كان أداؤها هو الأقرب لمستويات اللغة الإنجليزية. النماذج المملوكة (المكلفة والمغلقة) كانت بشكل عام أفضل من النماذج المفتوحة، لكن المفتوحة بدأت تلحق بها بسرعة.

5. لماذا يهم هذا؟

هذه الورقة البحثية هي بمثابة "جرس إنذار". فهي تظهر أنه بينما يزداد الذكاء الاصطناعي ذكاءً، فإنه لا يزال يعاني من "نقطة عمياء ثقافية". إذا أردنا للذكاء الاصطناعي أن يكون مفيداً حقاً لمليارات الأشخاص الذين يتحدثون اللغات الهندية، فلا يمكننا مجرد ترجمة الاختبارات الإنجليزية. نحن بحاجة إلى بناء اختبارات تفهم إيقاع وقواعد وثقافة تلك اللغات.

باختصار: قام الباحثون ببناء صالة ألعاب رياضية متخصصة للذكاء الاصطناعي للتدرب على اتباع قواعد صارمة في اللغات الهندية. ووجدوا أنه بينما يزداد الذكاء الاصطناعي قوة، إلا أنه لا يزال يتعثر في خطواته عندما تصبح اللغة معقدة أو تصبح التعليمات محددة. ولكن، مع التدريب الصحيح ووقت "التفكير" الإضافي، يمكنه تعلم السير على حبل مشدود.

إليك ملخص تقني مفصل لورقة البحث بعنوان "IndicIFEval: معيار للتقييم القابل للتحقق لاتباع التعليمات في 14 لغة هندية (Indic)."

1. بيان المشكلة

لا تزال معايير اتباع التعليمات (Instruction-following benchmarks) للنماذج اللغوية الكبيرة (LLMs) متمحورة بشكل أساسي حول اللغة الإنجليزية. وهذا يخلق فجوة تقييم حرجة لمئات الملايين من المتحدثين بـ اللغات الهندية (Indic languages) (وهي عائلة متنوعة لغوياً تتميز بندرة البيانات، والثراء الصرفي، والخطوط المتميزة). وبينما توجد معايير متعددة اللغات حالياً، إلا أنها غالباً ما تعتمد فقط على الترجمة الآلية، مما يفشل في استيعاب الفروق الثقافية الدقيقة، والقيود الطبيعية، والتحديات الخاصة باللغات ذات الموارد المنخفضة. كما أن هناك نقصاً في أدوات التقييم القائمة على القواعد والقابلة للتحقق لتحديد ما إذا كانت النماذج اللغوية الكبيرة يمكنها الالتزام بالقيود البسيطة (مثل عدد الكلمات، أو كلمات مفتاحية محددة، أو التنسيق) في السياقات الهندية غير الإنجليزية.

2. المنهجية: بناء مجموعة البيانات

قدم المؤلفون INDICIFEVAL، وهو معيار يتكون من حوالي 800 مثال تم التحقق منها بشرياً لكل لغة عبر 14 لغة هندية (الأسامية، البنغالية، الغوجاراتية، الهندية، الكانادية، المالايالامية، الماراثية، النيبالية، الأودية، البنجابية، السنسكريتية، التاميلية، التيلجو، والأردية). تنقسم مجموعة البيانات إلى مجموعتين فرعيتين متكاملتين:

أ. INDICIFEVAL-TRANS (المترجمة والمُعربة محلياً)

المصدر: مشتق من معيار IFEval الإنجليزي (Zhou et al., 2023).
العملية:
1. المعالجة المسبقة: فحص يدوي لتوطين الكيانات (على سبيل المثال، تغيير "رئيس الولايات المتحدة" إلى "رئيس وزراء الهند") والتعامل مع القيود التي تتطلب استجابات باللغة الإنجليزية (مثل إضافة "أجب باللغة الإنجليزية" في البداية).
2. التعامل مع الكلمات المفتاحية: يقوم مسار عمل متخصص باستخراج الكلمات المفتاحية، وترجمتها بشكل فردي، ثم إعادة إدراجها في المطالبة (prompt) الإنجليزية قبل الترجمة الكاملة لمنع "انهيار الترجمة" (حيث تندمج الكلمات المصدرية المتميزة في كلمة واحدة في اللغة المستهدفة).
3. الترجمة الكاملة: تمت ترجمة المطالبات باستخدام Sarvam-Translate.
4. التحقق: تتحقق فحوصات التعبيرات النمطية (regex) الآلية من أوصاف القيود، يتبع ذلك تحقق بشري من قبل متحدثين أصليين لضمان الملاءمة الثقافية والصلاحية الدلالية.
الهدف: تمكين المقارنة العابرة للغات مباشرة مع الخطوط المرجعية الإنجليزية.

ب. INDICIFEVAL-GROUND (الاصطناعية والأصلية)

الدوافع: غالباً ما تؤدي المطالبات المترجمة إلى قيود غير طبيعية (مثل كلمات مفتاحية تعسفية أو هياكل جمل غير قابلة للتطبيق قواعدياً في اللغات الهندية).
العملية:
1. تنقيب السياق: يستخدم متن Sangraha وخوارزمية TF-IDF لاستخراج كلمات مفتاحية ومقاطع نصية ذات قيمة عالية وذات صلة ثقافية.
2. تعريف القيود: يركز على ستة أنواع من القيود التي تم تحديدها كإشكاليات في الترجمة، وهي: تضمين الكلمات المفتاحية/حظر الكلمات المفتاحية/تكرار الكلمات المفتاحية، عدد الفقرات، عدد الجمل، والكلمة الأولى.
3. توليد المطالبات: يستخدم Gemini-2.5 لتوليد مطالبات مستخدم طبيعية بناءً على السياقات المستخرجة والقيود المحددة.
4. التحقق: يقوم متحدثون أصليون بالتحقق من طبيعية وصحة المطالبات المولدة.
الهدف: تقييم اتباع التعليمات في سيناريوهات طبيعية وراسخة ثقافياً لا يمكن للترجمة وحدها التقاطها.

3. إطار التقييم

النماذج التي تم تقييمها: مجموعة شاملة من النماذج مفتوحة الأوزان (Llama 3/4, Gemma 3, Aya, Qwen 3) والنماذج المملوكة (GPT-5, Gemini 3)، والتي تتراوح من 0.5 مليار إلى أكثر من 70 مليار معلمة.
المقاييس:
- دقة مستوى المطالبة (Prompt-level Accuracy): النسبة المئوية للمطالبات التي استوفت جميع القيود.
- دقة مستوى التعليمات (Instruction-level Accuracy): النسبة المئوية للتعليمات الفردية التي تم استيفاؤها.
- التفاوت (Disparity - $\Delta$ ): الفرق بين أداء النموذج في اللغات الهندية مقابل الإنجليزية (تشير القيمة المطلقة الأقل إلى توازن أفضل).
مسار التحقق: تم تعديل سكربتات IFEval الأصلية لدمج مكتبة Indic NLP لضمان تقسيم الجمل والتقطيع (tokenization) القوي الخاص بالخطوط الهندية.

4. النتائج الرئيسية والتحليل

أ. فجوة الأداء العامة

الإنجليزية مقابل الهندية: هناك فجوة أداء مستمرة. تؤدي النماذج بشكل ثابت بشكل أفضل في المطالبات الإنجليزية مقارنة بالمطالبات الهندية، حتى في المهام البسيطة القائمة على القواعد.
الموارد العالية مقابل الموارد المنخفضة: تُظهر الهندية (عالية الموارد) أصغر فجوة، حيث تقترب من التكافؤ مع الإنجليزية في القيود الهيكلية. بينما تُظهر السنسكريتية والأودية (منخفضة الموارد) أكبر تدهور.

ب. مقارنات عائلات النماذج

عائلة Gemma: تُظهر أعلى قدرة على الصمود عبر اللغات، حيث تحافظ على أصغر فجوة أداء ( $\Delta < 0.15$ ) عبر اللغات، حتى مع عدد معلمات أقل (27B).
عائلتا Qwen وLlama: تحتلان طبقة متوسطة تنافسية. غالباً ما تتفوق Qwen على Llama في لغات معينة مثل البنغالية والغوجاراتية.
عائلة Aya: تُظهر أعلى معدل تدهور ( $\Delta > 0.40$ للعديد من اللغات)، حيث تعاني في نقل دقة اتباع التعليمات رغم تركيزها متعدد اللغات.
المملوكة مقابل مفتوحة الأوزان: تحافظ النماذج المملوكة (GPT-5, Gemini 3) على ميزة كبيرة في الدقة المطلقة (أكثر من 10 نقاط) على النماذج مفتوحة الأوزان، رغم أن النماذج مفتوحة الأوزان (خاصة Gemma-27B) تضيق الفجوة في السيناريوهات عالية الموارد مثل الهندية.

ج. رؤى متعلقة بالقيود

التنسيق: تتفوق النماذج في القيود الهيكلية (JSON، النقاط، الحروف الكبيرة).
المهام المعجمية: تعاني النماذج بشكل كبير مع تضمين الكلمات المفتاحية (القيود الإيجابية) مقارنة بـ استبعاد الكلمات المفتاحية (القيود السلبية). يمكنها كبح المفاهيم بشكل أفضل مما يمكنها توليد أشكال معجمية دقيقة.
المهام العابرة للغات: عند الطلب بلغة هندية ولكن مع طلب الاستجابة بالإنجليزية، ينخفض الأداء بشكل كبير، خاصة لعائلات Llama وAya.

د. تأثير التفكير (Reasoning/Thinking)

باستخدام نماذج Qwen3، وجدت الدراسة أن تفعيل وضع "التفكير" (Thinking modes) يقلل باستمرار من فجوة الأداء بين الإنجليزية واللغات الهندية عبر جميع أحجام المعلمات.
يشير هذا إلى أن خطوات التفكير الإضافية تساعد النماذج على سد الفجوة العابرة للغات بشكل أفضل، رغم أن النماذج التي تقل عن مليار معلمة تفتقر إلى القدرة على الاستفيد من ذلك بفعالية.

5. الأهمية والمساهمات

أول معيار شامل للغات الهندية: يوفر أول معيار واسع النطاق وقابل للتحقق لاتباع التعليمات لـ 14 لغة هندية، مما يعالج فجوة رئيسية في تقييم النماذج اللغوية الكبيرة متعددة اللغات.
نهج المجموعات المزدوجة: من خلال الجمع بين TRANS (المتوازية، القابلة للمقارنة مع الإنجليزية) وGROUND (الأصلية، الطبيعية)، يقدم المعيار رؤية شاملة لقدرات النماذج، ويميز بين آثار الترجمة والفهم الحقيقي للغة.
إطار منهجي: يقدم مسار عمل قوي لإنشاء معايير قابلة للتحقق في اللغات ذات الموارد المنخفضة، بما في ذلك استراتيجيات التعامل مع انهيار الترجمة والتوطين الثقافي.
رؤى تجريبية: يكشف أن النماذج، رغم إتقانها للتنسيق، لا تزال تواجه صعوبات في الدقة المعجمية والتجذر العابر للغات. ويبرز أن حجم النموذج وحده لا يحل الفجوة؛ بل إن أهداف التدريب المحددة (مثل Gemma) وآليات التفكير هي عوامل حاسمة.
الإصدار المفتوح: يتم إصدار مجموعة البيانات وسكربتات التقييم لتسريع البحث في التوليد المقيد متعدد اللغات.

الخاتمة

تخلص الورقة إلى أنه بينما تحقق النماذج اللغوية الكبيرة تقدماً، فإن اتباع التعليمات في عائلة اللغات الهندية الأوسع لا يزال يتخلف بشكل كبير عن الإنجليزية. تقترب اللغات عالية الموارد مثل الهندية من التكافؤ، لكن اللغات منخفضة الموارد والقيود المعجمية المعقدة تظل تحديات قائمة. وتؤكد الدراسة أن التحسينات المستقبلية لا تتطلب فقط نماذج أكبر، بل تتطلب أيضاً استراتيجيات توطين أفضل وقدرات تفكير مصممة خصيصاً للتعقيدات الصرفية والنحوية للغات الهندية.