Alexandria: A Multi-Domain Dialectal Arabic Machine Translation Dataset for Culturally Inclusive and Linguistically Diverse LLMs
تقدم الورقة البحثية "الإسكندرية" (Alexandria)، وهي مجموعة بيانات ضخمة مدفوعة من المجتمع تضم 107 ألف دورة محادثة متوازية بين الإنجليزية واللهجات العربية عبر 13 دولة و11 مجالاً، مع بيانات وصفية دقيقة على مستوى المدن وتصنيفات جندرية، صُممت لتحسين أداء الترجمة الآلية والنماذج اللغوية الكبيرة للهجات العربية المتنوعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل اللغة العربية كمدينة ضخمة وصاخبة، تتكون من 13 حياً (دولة)، لكل منها لغتها العامية الخاصة، ونكاتها الداخلية، وعاداتها المحلية. لعقود من الزمن، كانت اللغة "الرسمية" لهذه المدينة —اللغة العربية الفصحى الحديثة— تشبه البث الحكومي الرسمي للمدينة؛ فهي واضحة، ومهذبة، وتُستخدم في الأخبار والمدارس.
ولكن تكمن المشكلة هنا: لا أحد يتحدث بهذه الطريقة في حياته اليومية.
إذا تجولت في شوارع القاهرة، أو الدار البيضاء، أو الرياض، ستجد الناس يتحدثون لهجاتهم المحلية. يستخدمون المصطلحات العامية، ويمزجون كلمات فرنسية أو إنجليزية، ويتحدثون بشكل مختلف بناءً على الشخص الذي يحاورونه (صديق، أو مدير، أو جار).
المشكلة: المترجم الذي "لا يناسب أحداً"
المترجمون الآليون الحاليون يشبهون السياح الذين درسوا فقط البث الحكومي الرسمي. عندما تطلب منهم ترجمة محادثة عفوية من سوق محلي، غالباً ما يخطئون. قد يبدون كإنسان آلي يقرأ من قاموس، أو قد يفتقدون تماماً للبراعة الثقافية. الأمر يشبه محاولة طلب قهوة في مقهى محلي باستخدام كتاب عبارات من عام 1950؛ قد يفهمونك، لكنك لن تبدو منسجماً مع المكان، وقد تتسبب حتى في إزعاج أحدهم.
الحل: مشروع "الإسكندرية"
تقدم الورقة البحثية مشروع "الإسكندرية" (Alexandria)، وهو مشروع ضخم جديد صُمم لتعليم الذكاء الاصطناعي كيف يتحدث العربية الحقيقية. فكر في "الإسكندرية" ليس كقاموس، بل كـ "معسكر لغوي للانغماس الثقافي" تديره المجتمعات المحلية.
إليك كيف بنوا هذا المشروع، باستخدام تشبيهات بسيطة:
1. طاقم الشخصيات (المجتمع)
بدلاً من استئجار عدد قليل من الخبراء في مختبر، استعان الباحثون بـ 55 شخصاً حقيقياً من 13 دولة عربية مختلفة.
- التشبيه: تخيل أنك تريد تعلم أفضل الوصفات المحلية؛ أنت لا تسأل ناقداً للطعام، بل تسأل الجدات وطهاة الشوارع في كل حي. فعل "الإسكندرية" الشيء نفسه بالضبط؛ فقد جمعوا محليين من مدن محددة (وليس مجرد دول) لضمان التقاط "نكهة" اللهجة بدقة، وصولاً إلى مستوى المدينة.
2. النص (البيانات)
لم يكتفوا بكتابة جمل عشوائية، بل أنشأوا أكثر من 34,000 محادثة تغطي 11 مجالاً حيوياً من مجالات الحياة، مثل الزراعة، والرعاية الصحية، والأعمال، والدردشات الاجتماعية اليومية.
- التشبيه: بدلاً من إعطاء الذكاء الاصطناعي قائمة بكلمات المفردات ("تفاحة"، "سيارة"، "يركض")، أعطوه سيناريوهات لمسلسل تلفزيوني. هذه السيناريوهات تغطي مواقف واقعية: مزارع يتفاوض على سعر المياه، أو طبيب يشرح تشخيصاً طبياً، أو أصدقاء يخططون لرحلة.
- اللمسة المميزة: تتضمن كل محادثة "قائمة طاقم العمل" التي تحدد جنس المتحدث والمستمع. ففي اللغة العربية، تتغير الكلمات التي تستخدمها بناءً على ما إذا كنت تتحدث إلى رجل أو امرأة. لقد علم "الإسكندرية" الذكاء الاصطناعي هذه الرقصة الاجتماعية.
3. ضبط الجودة (مراجعة الأقران)
بعد أن قام المحليون بترجمة السيناريوهات، قامت مجموعة أخرى من المحليين من نفس البلد بمراجعتها.
- التشبيه: فكر في الأمر كأنه مهرجان سينمائي محلي. إذا كتب مترجم من قرية معينة في المغرب جملة ما، فإن شخصاً آخر من نفس تلك القرية يقوم بفحصها. كانوا يسألون: "هل يبدو هذا وكأننا نقوله حقاً؟ أم يبدو وكأنه نص من كتاب مدرسي؟" وإذا بدا الكلام غير طبيعي، يقومون بتعديله.
4. اختبار الضغط (التقييم)
بمجرد تجهيز مجموعة البيانات، طرحوها أمام أذكى نماذج الذكاء الاصطناعي في العالم (مثل Gemini و Qwen وغيرها) لمعرفة كيفية أدائها.
- النتيجة: كانت نماذج الذكاء الاصطناعي مثل الطلاب الذين درسوا الكتاب المدرسي فقط.
- الأخبار الجيدة: كانوا جيدين في ترجمة الأشياء الرسمية.
- الأخبار السيئة: عندما طُلب منهم التحدث بلهجة محلية، غالباً ما بدا صوتهم متصلباً، أو استخدموا صيغ جنس خاطئة، أو عادوا إلى العربية الفصحى.
- التحدي الأصعب: واجهت النماذج أكبر صعوبة مع اللهجات المغاربية (المغرب، الجزائر، تونس، موريتانيا)، وهي تختلف كثيراً عن اللغة الرسمية، لدرجة أنها تبدو كأنها لغة مختلفة تماماً مقارنة بـ "البث الرسمي".
لماذا يهم هذا الأمر؟
"الإسكندرية" هو جسر.
في الوقت الحالي، إذا كنت مزارعاً في ريف اليمن أو طبيباً في عيادة صغيرة في السودان، فإن التكنولوجيا المتاحة لك مبنية للغة "الرسمية"، وليس لواقعك. يوفر هذا المشروع بيانات التدريب اللازمة لبناء ذكاء اصطناعي يفهمك أنت.
الأمر يتعلق بـ الاحتواء الثقافي. إنه يضمن أنه عندما تتحدث إلى الذكاء الاصطناعي، فإنه لا يفهم كلماتك فحسب، بل يفهم أيضاً سياقك، وثقافتك، وصوتك.
باخت-القول:
"الإسكندرية" هو مكتبة ضخمة، بنيت مجتمعياً، مليئة بالمحادثات الواقعية التي تُعلم الذكاء الاصطناعي كيف يتوقف عن الظهور كإنسان آلي يقرأ دليلاً إرشادياً، ويبدأ في الظهور كشخص حقيقي يدردش مع جاره. إنها خطوة حاسمة نحو بناء تكنولوجيا تعمل حقاً للجميع في العالم العربي، وليس فقط للنخبة أو المتحدثين باللغة الرسمية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.