Cultural Benchmarking of LLMs in Standard and Dialectal Arabic Dialogues
تقدم هذه الورقة البحثية ArabCulture-Dialogue، وهي مجموعة بيانات جديدة تغطي 13 دولة ناطقة باللغة العربية بكل من اللغة العربية الفصحى واللهجات المحلية عبر 12 موضوعاً من مواضيع الحياة اليومية، وذلك لتقييم نماذج اللغات الكبيرة في مجالات الاستدلال الثقافي، والترجمة الآلية، وتوليد النصوص الموجهة للهجات، مما يكشف عن ضعف أداء النماذج باستمرار في المهام اللهجوية مقارنة بنظيراتها في اللغة العربية الفصحى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يفهم الثقافة البشرية. لفترة طويلة، كنت تعلمه باستخدام نسخة رسمية للغاية، تشبه الكتب المدرسية، من لغة تُسمى اللغة العربية الفصحى المعاصرة (MSA). الأمر يشبه تعليم شخص ما القيادة على طريق سريع مثالي، خالٍ من العوائق، ومزود بلوحات إرشادية واضحة. يصبح الروبوت بارعاً في اتباع القواعد على هذا الطريق السريع.
لكن في الحياة الواقعية، لا يقود الناس على طرق سريعة؛ بل يقودون على طرق محلية متعرجة ومملوءة بالمنحدرات، ولها قواعد مرور مختلفة، ولغتها العامية الخاصة، وطرق مختصرة. في العالم العربي، هذا هو الفرق بين اللغة الرسمية المستخدمة في الأخبار والمدارس (الفصحى) وبين مئات اللهجات المحلية التي يتحدث بها الناس فعلياً في بيوتهم، وفي الأسواق، وفي حفلات الزفاف.
تقدم هذه الورقة البحثية أداة جديدة تسمى ArabCulture-Dialogue لاختبار ما إذا كان بإمكان الروبوتات التعامل فعلياً مع تلك "الطرق المحلية".
المشكلة: "الكتاب المدرسي" مقابل "العالم الحقيقي"
وجد الباحثون أنه بينما بدأت الروبوتات تتحسن في فهم اللغة العربية الفصحى، إلا أنها لا تزال تعاني مع المحادثات الواقعية "الفوضوية" حيث تسكن الثقافة. معظم الاختبارات السابقة كانت تطلب من الروبوتات أسئلة قصيرة وأحادية باللغة الفصحى فقط. الأمر يشبه اختبار قدرة السائق على ركن السيارة عبر سؤاله عن ركن سيارته في ساحة فارغة، بدلاً من رؤية ما إذا كان بإمكانه ركن السيارة في شارع ضيق ومزدحم.
أدرك المؤلفون أن الثقافة لا تتعلق فقط بمعرفة الحقائق؛ بل تتعلق بمعرفة كيفية التصرف في المحادثة. على سبيل المثال، إذا طرح شخص ما موضوع حفل زفاف في الإمارات، فإن الشخص الواعي ثقافياً يعرف أنه قد تقدم البخور (العود) للضيوف كعلامة ترحيب، وليس كمطهر أو كعرض أدائي.
الحل: "اختبار قيادة" جديد
لإصلاح ذلك، بنى الفريق مجموعة بيانات ضخمة وجديدة تسمى ArabCulture-Dialogue:
- الخريطة: غطت 13 دولة عربية مختلفة.
- المسارات: أنشأوا أكثر من 3,000 محادثة (حوارات) حول 12 موضوعاً من مواضيع الحياة اليومية، مثل حفلات الزفاف، والطعام، والأعياد.
- المركبات: لكل محادثة، أنشأوا نسختين: واحدة بلغة "الطريق السريع" الرسمية (الفصحى)، والأخرى باللهجة المحلية المحددة لتلك الدولة (مثل اللهجة الإماراتية، أو المغربية، أو السورية).
بعد ذلك، طلبوا من الروبوتات أداء ثلاث مهام محددة:
- الاختبار الثقافي: الاستماع إلى محادثة واختيار الرد الأكثر ملاءمة ثقافياً من بين ثلاثة خيارات. (مثلاً: "ماذا يجب أن أقول تالياً لأكون مهذباً؟")
- المترجم: ترجمة محادثة من اللغة الفصحى إلى لهجة محلية محددة، والعكس صحيح.
- المتلون (الحرباء): أخذ محادثة والاستمرار فيها، مع إجبار الروبوت على التحدث فقط بلهجة محلية معينة.
النتائج: الروبوتات تضل طريقها
كانت النتائج بمثابة جرس إنذار.
- سائقو "الطريق السريع": عندما تم اختبار الروبوتات على اللغة الفصحى (MSA)، أدت بشكل جيد نوعاً ما. استطاعت الإجابة على الأسئلة الثقافية والترجمة بدقة مقبولة.
- سائقو "الطرق المحلية": عندما طُلب من نفس الروبوتات الانتقال إلى اللهجات المحلية، انخفض أداؤها بشكل كبير.
- الفجوة: هناك فجوة هائلة بين مدى براعتهم في فهم العربية الفصحى ومدى براعتهم في فهم اللهجات.
- المعاناة: عانت النماذج الصغيرة مفتوحة المصدر (التي تشبه "السيارات الاقتصادية" في عالم الذكاء الاصطناعي) أكثر من غيرها. في بعض الحالات، لم تكن تؤدي أفضل من التخمين العشوائي عندما يتعلق الأمر باللهجات.
- اللاعبون الكبار: حتى النماذج الأكثر تقدماً والأغلى ثمناً (مثل GPT-5 وGemini) أظهرت فجوة. لقد كانوا أفضل بكثير في العربية الفصحى من فهم الفروق الدقيقة للهجات المحلية.
تشبيه "خلل الترجمة"
تخيل أنك تطلب من روبوت ترجمة نكتة من الإنجليزية إلى لهجة محلية محددة.
- في العربية الفصحى: يترجم النكتة بشكل مثالي.
- في اللهجة: قد يترجم الكلمات بشكل صحيح، لكن النبرة خاطئة. قد يبدو وكأنه روبوت يحاول التظاهر بأنه محلي، أو قد يخلط بين اللهجات بالخطأ (يتحدث بلهجة مغربية بينما المطلوب منه اللهجة الإماراتية).
وجدت الورقة أنه بينما يمكن للروبوتات غالباً ضبط "المعنى" بشكل صحيح، إلا أنها تفشل كثيراً في ضبط "النكهة". قد يستخدمون المصطلحات العامية الخاطئة، أو مستوى اللياقة الخاطئ، أو المرجع الثقافي الخاطئ.
الخلاصة
تخلص الورقة إلى أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، إلا أنه لا يزال يعاني من "نقطة عمياء ثقافية" فيما يتعلق بالطريقة التي يتحدث بها الناس فعلياً. إذا كنت تريد لروبوت أن يفهم ويتفاعل حقاً مع الناس في العالم العربي، فعليه أن يتعلم أكثر من مجرد قواعد الكتب المدرسية؛ عليه أن يتعلم الواقع الفوضوي والجميل والمتنوع للهجات المحلية. حالياً، لا تزال معظم الروبوتات عالقة في القيادة على الطريق السريع، غير قادرة على التنقل في الشوارع المحلية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.