DialectalArabicMMLU: Benchmarking Dialectal Capabilities in Arabic and Multilingual Language Models
تقدم هذه الورقة البحثية DialectalArabicMMLU، وهو معيار مرجعي شامل يتكون من 15,000 سؤال من نوع الاختيار من متعدد تم إعدادها يدويًا عبر خمس لهجات عربية رئيسية و32 مجالًا، صُمم لتقييم وكشف الفجوات الكبيرة في أداء قدرات الاستدلال اللهجي لدى النماذج اللغوية الكبيرة الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً نابغاً قضى سنوات في دراسة نسخة رسمية، أكاديمية من لغة ما — لنسمّها "اللغة العربية الفصحى". هذا الطالب يمكنه التفوق في أي امتحان مكتوب بهذا الأسلوب الرسمي المنمق. يمكنه حل مسائل رياضية معقدة، وشرح التاريخ، ومناقشة الفلسفة، ولكن فقط إذا كانت الأسئلة مكتوبة بتلك اللغة المثالية المصقولة.
الآن، تخيل أنك سألت هذا الطالب سؤالاً بسيطاً: "إيه الأخبار؟" (بلهجة عامية مصرية)، لكنك قلتها بلهجة شارع ذكية وعفوية يستخدمها الناس في القاهرة، أو ربما لهجة مختلفة مستخدمة في دبي. فجأة، يتجمد الطالب. قد يفهم الكلمات، لكنه يفتقد "الروح"، واللمحة، والسياق الثقافي المحدد. قد يعطي إجابة آلية أو يفهم السؤال بشكل خاطئ تماماً.
هذا هو بالضبط ما يحاول بحث "DIALECTALARABICMMLU" حله.
المشكلة الكبرى: "الكتاب المدرسي" مقابل "الشارع"
تتميز اللغة العربية بظاهرة تسمى "الازدواجية اللغوية" (Diglossia). وهذا مصطلح تقني لوصف حالة تعيش فيها شكلان مختلفان جداً من اللغة جنباً إلى جنب:
- اللغة العربية الفصحى الحديثة (MSA): وهي اللغة الرسمية المكتوبة المستخدمة في الأخبار، والمدارس، والوثائق الرسمية.
- اللهجات: وهي اللغات المحكية التي يستخدمها الناس فعلياً في منازلهم، وفي الشوارع، وعلى وسائل التواصل الاجتماعي (مثل المصرية، السورية، السعودية، المغربية، إلخ).
معظم نماذج الذكاء الاصطناعي (النماذج اللغوية الكبيرة أو LLMs) تم تدريبها في الغالب على النسخة "الأكاديمية" (الفصحى). هي بارعة في المهام الرسمية، لكنها غالباً ما تتعثر عندما يتحدث الناس بشكل طبيعي. الأمر يشبه تعليم شخص القيادة فقط على مضمار سباق، ثم توقع أن يقود في سوق مدينة مزدحم وفوضوي دون أن يصطدم بأي شيء.
الحل: "اختبار قيادة" جديد
ابتكر المؤلفون اختباراً جديداً (معياراً) يسمى DIALECTALARABICMMLU. اعتبر هذا الاختبار بمثابة اختبار قيادة ضخم متعدد المدن، صُمم خصيصاً لمعرفة مدى قدرة الذكاء الاصطناعي على التعامل مع الواقع العربي.
إليك كيف بنوا هذا الاختبار:
- المصدر: أخذوا اختباراً إنجليزياً شهيراً يسمى MMLU، والذي يحتوي على آلاف الأسئلة في موضوعات مثل التاريخ، والعلوم، والقانون، والرياضيات.
- الترجمة: بدلاً من مجرد استخدام الكمبيوتر لترجمة هذه الأسئلة (وهو ما ينتج ترجمة تبدو آلية في الغالب)، قاموا بتوظيف متحدثين أصليين من خمس مناطق رئيسية (سوريا، مصر، الإمارات، السعودية، والمغرب) لترجمة الأسئلة إلى لهجاتهم المحلية.
- النتيجة: أنشأوا مجموعة بيانات ضخمة تضم أكثر من 15,000 سؤال (بالإضافة إلى النسخ الأصلية بالإنجليزية وباللغة العربية الفصحى). الأمر يشبه امتلاك 15,000 نسخة مختلفة من نفس الامتحان، كل منها مكتوب بلكنة محلية مختلفة.
ما اكتشفوه: "اختبار الواقع"
اختبر الباحثون 19 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (تتراوح أحجامها بين الصغيرة والمتوسطة) على هذا الاختبار الجديد. وكانت النتائج مذهلة:
- فجوة "الكتاب المدرسي": أظهرت جميع النماذج تقريباً أداءً أسوأ بكثير في اللهجات مقارنة بالفصحى أو الإنجليزية. حتى النماذج الأكثر ذكاءً عانت لفهم النسخة "العامية" من اللغة.
- "أزمة الهوية": سألوا الذكاء الاصطناعي: "هل تعرف ما هي اللهجة التي تقرأها؟" ومن المثير للدهشة أن معظم النماذج كانت سيئة جداً في تحديد اللهجة. غالباً لم يستطيعوا التمييز بين اللهجة المصرية والسعودية، رغم أنهم كانوا يفشلون في الإجابة على الأسئلة بتلك اللهجات.
- "التلميح" لم يساعد: حاولوا استخدام حيلة: أخبروا الذكاء الاصطناعي: "هذا السؤال باللهجة المصرية، لذا يرجى الإجابة بأسلوب مصري". كانوا يأملون أن يساعد هذا النموذج على التركيز. وبدلاً من ذلك، أدى ذلك غالباً إلى جعل أداء الذكاء الاصطناعي أسوأ. الأمر يشبه إخبار سائق متوتر: "تذكر، أنت في مدينة!"، مما يجعله أكثر ارتباكاً.
- الترجمة ليست عصا سحرية: جربوا ترجمة أسئلة اللهجات إلى الإنجليزية أولاً، ثم تركوا الذكاء الاصطناعي يجيب. ساعد هذا بعض النماذج، لكن ترجمة اللهجة إلى العربية الفصحى أولاً لم تساعد كثيراً. يبدو أن الذكاء الاصطناعي يفقد "روح" اللهجة عندما يحاول تحويلها إلى النسخة الرسمية.
لماذا يهم هذا الأمر؟
هذا البحث هو بمثابة "جرس إنذار" لعالم الذكاء الاصطناعي.
- الشمولية: إذا اختبرنا الذكاء الاصطناعي على العربية الفصحى فقط، فنحن نتجاهل واقع كيفية تحدث ملايين البشر بالفعل. نحن نبني أدوات تعمل مع "الكتاب المدرسي" لكنها تفشل مع "الإنسان".
- تدريب المستقبل: يرى المؤلفون أننا بحاجة للتوقف عن معاملة اللهجات كأمر ثانوي أو هامشي. لبناء ذكاء اصطناعي مفيد حقاً للعالم العربي، نحتاج لتدريب هذه النماذج على الواقع الفوضوي والجميل والمتنوع لكيفية حديث الناس فعلياً.
الخلاصة
اعتبر هذا البحث بمثابة "شهادة درجات" للذكاء الاصطناعي. تقول: "أنت طالب ممتاز (A+) في الفصل الدراسي (الفصحى)، لكنك ترسب في العالم الحقيقي (اللهجات)".
لقد قدم المؤلفون لمجتمع الذكاء الاصطناعي اختباراً جديداً وأكثر عدلاً يغطي كامل طيف الحياة العربية. هدفهم هو دفع المطورين لبناء نماذج لا تتحدث فقط لغة الحكومات، بل تتحدث لغة الناس.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.