💬 NLP

ADAB: Arabic Dataset for Automated Politeness Benchmarking -- A Large-Scale Resource for Computational Sociopragmatics

تقدم هذه الورقة البحثية ADAB، وهي مجموعة بيانات عربية موسومة واسعة النطاق تضم 10,000 عينة من منصات ولهجات متنوعة عبر الإنترنت، صُممت لتعزيز التداولية الاجتماعية الحاسوبية من خلال توفير معيار مرجعي للكشف عن اللباقة عبر فئات اللباقة، وعدم اللباقة، والحياد.

المؤلفون الأصليون: Hend Al-Khalifa, Nadia Ghezaiel, Maria Bounnit, Hend Hamed Alhazmi, Noof Abdullah Alfear, Reem Fahad Alqifari, Ameera Masoud Almasoud, Sharefah Al-Ghamdi

نُشر 2026-02-24

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Hend Al-Khalifa, Nadia Ghezaiel, Maria Bounnit, Hend Hamed Alhazmi, Noof Abdullah Alfear, Reem Fahad Alqifari, Ameera Masoud Almasoud, Sharefah Al-Ghamdi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تسير في سوق صاخب ومزدحم في الشرق الأوسط. في هذا السوق، يتحدث الناس بلهجات وكنات مختلفة، ويستخدمون استعارات معقدة، ويعتمدون بشكل كبير على قواعد اجتماعية غير ملفوظة لإظهار الاحترام أو عدم الاحترام. أحياناً، قد تكون العبارة التي تبدو كأنها دعاء هي في الواقع شتيمة، اعتماداً على النبرة ومن المتحدث.

الآن، تخيل أنك تحاول بناء روبوت (ذكاء اصطناعي) ليدخل هذا السوق ويفهم من هو المهذب ومن هو الوقح. هذا هو بالضبط التحدي الذي تعالجه هذه الورقة البحثية.

إليك قصة ADAB، الأداة الجديدة التي ابتُكرت لتعليم الحواسيب كيفية فهم الأدب في اللغة العربية.

١. المشكلة: الروبوت "الضائع في الترجمة"

لفترة طويلة، كانت الحواسيب بارعة في فهم الأدب في اللغة الإنجليزية. إذا قال شخص ما "من فضلك" أو "شكراً لك"، يعرف الكمبيوتر أنه مهذب. لكن اللغة العربية مختلفة. الأمر يشبه محاولة تعليم روبوت فهم رقصة تتغير خطواتها بناءً على ما إذا كنت في مصر، أو السعودية، أو المغرب.

لغز الازدواجية اللغوية: للغة العربية "وجهان": نسخة رسمية (مثل ارتداء بدلة وربطة عنق) والعديد من النسخ اللهجوية (مثل الملابس الكاجوال في الشارع). الروبوت الذي يتم تدريبه فقط على النسخة الرسمية يصاب بالارتباك عندما يتحدث الناس بعفوية.
المعنى الخفي: في العربية، يمكنك أن تكون مهذباً للغاية باستخدام عبارة دينية، أو وقحاً للغاية باستخدام نفس العبارة بنبرة ساخرة. الكمبيوتر القياسي يرى الكلمات ولكنه يفتقد إلى "الروح" أو "الجو العام".

حتى الآن، لم تكن هناك مكتبة ضخمة من الأمثلة لتعليم الروبوت هذه الفروق الدقيقة. كان الأمر يشبه محاولة تعليم شخص ما السباحة دون إعطائه مسبحاً أبداً للتدريب فيه.

٢. الحل: بناء مسبح "أدب" (ADAB)

قام الباحثون ببناء مجموعة بيانات ضخمة جديدة تسمى ADAD (والتي تعني "الأدب" بالعربية). فكر في هذا كأنه مكتبة ضخمة ومنظمة تحتوي على ١٠,٠٠٠ محادثة من الحياة الواقعية تم جمعها من الإنترنت.

من أين حصلوا على النصوص؟ لم يكتفوا بكتابة جمل وهمية، بل جمعوا تعليقات حقيقية من:
- يوتيوب: ردود فعل الناس على الفيديوهات (لغة الشارع).
- التسوق عبر الإنترنت: تقييمات الناس للملابس (لغة خدمة العملاء).
- تويتر: نقاشات الناس حول الأخبار أو مشاجراتهم (الساحة العامة).
- تطبيقات البنوك: شكاوى الناس بشأن الأموال (الشكوى الرسمية).
اللمسة البشرية: لتصنيف هذه النصوص، لم يستخدموا مجرد كمبيوتر، بل استعانوا بخبيرين يحملان درجة الدكتوراه في اللغة العربية. عمل هؤلاء الخبراء مثل المحققين، حيث قرأوا كل جملة ليقرروا:
1. مهذب: "أنت نعمة"، "بارك الله فيك".
2. غير مهذب: "أنت أحمق"، "اذهب بعيداً".
3. محايد: "المنتج جيد"، "اشتريت هذا".

كما قاموا بتحديد سبب كون الشيء مهذباً أو وقحاً (على سبيل المثال: "هذا دعاء"، "هذه إهانة"، "هذه سخرية").

٣. الاختبار الكبير: من هو أفضل محقق؟

بمجرد بناء المكتبة، وضعوا ٤٠ نوعاً مختلفاً من "الروبوتات" (نماذج الذكاء الاصطناعي) تحت الاختبار لمعرفة أي منها يمكنه قراءة الموقف بشكل أفضل. اختبروا ثلاثة أجيال من الروبوتات:

١. روبوتات المدرسة القديمة (التعلم الآلي التقليدي): هذه تشبه الآلات الحاسبة؛ فهي تبحث عن كلمات مفتاحية محددة (مثل "شكراً") لكنها لا تفهم الجملة كاملة.
* النتيجة: كانت جيدة، لكنها غالباً ما تفوت النكات المبطنة أو السخرية.
٢. القارئون الخارقون (المحولات/النماذج اللغوية الكبيرة - Transformers/LLMs): هؤلاء هم عمالقة الذكاء الاصطناعي الحديثين (مثل تلك الموجودة خلف ChatGPT). إنهم يقرؤون الجملة بأكملها ويفهمون السياق.
* النتيجة: حققوا نتائج أفضل بكثير.
٣. الروبوتات "المحلية" مقابل "العالمية": اختبروا روبوتات مدربة على جميع اللغات مقابل روبوتات مدربة خصيصاً على العربية.
* الفائز: روبوت MARBERT (المتخصص في العربية) هو من فاز بالسباق. لقد سجل دقة بلغت ٩١٪.
* الدرس المستفاد: تماماً كما قد يعاني السائح مع العامية المحلية، عانى الذكاء الاصطناعي "العالمي" مع الفروق الدقيقة في العربية. أما الذكاء الاصطناعي "المحلي"، الذي درس اللهجات العربية ولغة وسائل التواصل الاجتماعي، فقد فهم الثقافة بشكل أفضل بكثير.

٤. أين لا تزال الروبوتات تتعثر (الأخطاء البرمجية)

حتى أفضل روبوت ارتكب أخطاءً. وجد الباحثون أربعة أسباب رئيسية لذلك:

تحيز "المنطقة الآمنة": كانت الروبوتات خائفة جداً من وصف أي شيء بأنه "وقح" أو "مهذب للغاية". لقد اعتمدت بشكل افتراضي على القول بأن كل شيء "محايد" (أي عادي فقط). إنه يشبه الروبوت الذي يفكر: "أنا لست متأكداً بنسبة ١٠٠٪، لذا سأقول إنه بخير".
الفخ الديني: تستخدم بعض العبارات كلمات دينية يمكن أن تكون دعاءً أو لعنة اعتماداً على السياق. غالباً ما ارتبكت الروبوتات هنا.
حائط العامية: واجهت الروبوتات صعوبة في التعامل مع لهجات محددة (مثل المصرية أو المغاربية) لأنها لم ترَ أمثلة كافية عليها.
"الإهانة الناعمة": أحياناً يكون الناس وقحين دون استخدام كلمات بذيئة (العدوانية السلبية). وقد فات الروبوتات هذه الإهانات "الناعمة".

٥. لماذا يهم هذا؟

لماذا نهتم إذا كان الروبوت يعرف الفرق بين "بارك الله فيك" و"أعانك الله"؟

خدمة العملاء: تخيل "بوت" دردشة يعرف متى يبدأ العميل في الغضب، فينتقل إلى نبرة شديدة التهذيب لتهدئته.
وسائل التواصل الاجتماعي: تخيل أداة يمكنها رصد التنمر أو المضايقات في التعليقات العربية قبل أن تؤذي أحداً، حتى لو كان المتنمر يستخدم إهانات ذكية ومبطنة.
الاحترام: يساعد هذا التكنولوجيا على احترام الثقافة التي تخدمها، بدلاً من معاملة جميع اللغات وكأنها لغة إنجليزية.

الخلاصة

هذه الورقة البحثية تشبه بناء أول قاموس للمشاعر مخصص للعالم الناطق بالعربية. إنها توضح لنا أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، فإنه لا يزال بحاجة إلى تعلم الثقافة المحلية، واللهجات، والمعاني الخفية للأدب ليفهمنا حقاً. مجموعة بيانات ADAB هي الكتاب المدرسي الذي سيساعد روبوتات المستقبل على تعلم هذه الدروس.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ADAB: مجموعة بيانات عربية لتقييم اللباقة آلياً".

1. بيان المشكلة

على الرغم من الدور الحاسم للّباقة في التواصل البشري، إلا أن الموارد الحوسبية لـ كشف اللباقة في اللغة العربية لا تزال غير مستغلة بشكل كافٍ مقارنة باللغة الإنجليزية. تواجه الأبحاث الحالية عدة تحديات محددة:

التعقيد اللغوي: تتميز العربية بظاهرة الازدواجية اللغوية (التعايش بين الفصحى واللهجات المتعددة)، والبنية الصرفية الغنية حيث تُدمج علامات اللباقة في تصريفات الأفعال والضمائر، بالإضافة إلى تعقيدات الكتابة من اليمين إلى اليسار.
الفوارق الثقافية: تتجذر اللباقة في العربية بعمق في القيم الإسلامية، والتسلسلات الهرمية الاجتماعية، والاختلافات الإقليمية (الخليجية، المصرية، الشامية، والمغاربية)، مما يجعل أساليب الترجمة البسيطة غير فعالة.
فجوة الموارد: هناك نقص في مجموعات البيانات الضخمة والموسومة التي تلتقط هذه الظواهر التداولية والاجتماعية عبر مجالات متنوعة (وسائل التواصل الاجتماعي، التجارة الإلكترونية، خدمة العملاء).

2. المنهجية: بناء مجموعة بيانات ADAB

قدم المؤلفون ADAB (أدب)، وهي مجموعة بيانات عربية موسومة واسعة النطاق مصممة لسد هذه الفجوة.

جمع البيانات:
- الحجم: 10,000 نص عربي.
- المصادر: أربعة مجالات متنوعة: تعليقات يوتيوب (70 ألف نص خام)، مراجعات المنتجات (شي إن، ~6 آلاف)، منشورات تويتر/إكس (ArSAS، ~20 ألف)، ومراجعات تطبيقات الخدمات المصرفية عبر الهاتف المحمول (67 ألف).
- التنوع: تشمل اللغة العربية الفصحى وأربعة لهجات رئيسية (الخليجية، المصرية، الشامية، والمغاربية).
- المعالجة المسبقة: إزالة المحتوى السياسي، والألفاظ النابية، والتطرف الديني، والعبارات غير المفهومة للتركيز على ظواهر اللباقة الحقيقية.
إطار التوسيم (Annotation):
- الأساس النظري: يدمح بين البلاغة العربية الكلاسيكية (مثل "القول اللين") والنظريات التداولية المعاصرة (لايكوف، ليتش).
- مخطط التصنيف: تصنيف ثلاثي الاتجاهات: لبق (Polite)، غير لبق (Impolite)، ومحايد (Neutral).
- الميزات الدقيقة: يتم توسيم كل نص بواحدة من 16 فئة محددة (مثل: الامتنان، الضيافة، الإهانة، السخرية، الدعاء). ومن الجدير بالذكر أن فئة "الدعاء" تلتقط التمييز العربي الفريد بين "الدعاء لك" و"الدعاء عليك" اللذين يتشاركان في الصيغ اللغوية.
- الموسمون: اثنان من علماء اللغة العربية بمستوى دكتوراه، لديهم خبرة في لهجات متعددة.
- ضبط الجودة: حقق معامل كوهنز كابا ( $\kappa$ ) قيمة 0.703، مما يشير إلى اتفاق جوهري بين الموسمين.
إحصائيات مجموعة البيانات:
- توزيع الفئات: محايد (70.72%)، لبق (19.12%)، غير لبق (10.16%).
- متوسط الطول: 13.90 كلمة.

3. الإعداد التجريبي والتقييم

أجرى المؤلفون دراسة مرجعية شاملة باستخدام 40 تكويناً للنماذج عبر ثلاثة نماذج معرفية:

التعلم الآلي التقليدي (12 نموذجاً): الانحدار اللوجستي، SVM، وXGBoost باستخدام الميزات المتفرقة (TF-IDF) والتمثيلات الكثيفة (FastText, GloVe, Word2Vec).
بنيات المحولات (Transformers) (10 نماذج):
- نماذج مخصصة للعربية: AraBERTv02، MARBERT، وCAMeLBERT-mix.
- نماذج متعددة اللغات: XLM-RoBERTa، mDeBERTa، RemBERT، InfoXLM، وmBERT.
النماذج اللغوية الكبيرة (18 تكويناً):
- نماذج مملوكة: GPT-4 mini، وClaude-sonnet-4.5.
- نماذج مفتوحة الأوزان: Fanar-1-9B، وALLaM-7B.
- نماذج متعددة اللغات: DeepSeek V3، وGPT OSS 20B.
- الإعدادات: تم التقييم تحت سيناريوهات "التعلم بدون أمثلة" (Zero-shot) و"التعلم مع أمثلة قليلة" (Few-shot: 1-shot, 3-shot).

المقاييس: الدقة (Accuracy)، وMicro-F1، وMacro-F1 (لمعالجة عدم توازن الفئات).

4. النتائج الرئيسية

التسلسل الهرمي للأداء: تفوقت نماذج المحولات (Transformer-based) بشكل كبير على كل من التعلم الآلي التقليدي والنماذج اللغوية الكبيرة (LLMs).
- أفضل أداء: حقق نموذج MARBERT أعلى الدرجات: الدقة = 91.19% و Macro-F1 = 85.82%.
- التعلم الآلي التقليدي: أفضل نتيجة كانت لنموذج SVM مع TF-IDF (الدقة = 84%، Macro-F1 = 71%).
- النماذج اللغية الكبيرة (LLMs): أظهرت نتائج مختلطة. وبينما حسنت بعض إعدادات الأمثلة القليلة الأداء (مثل Claude-sonnet-4.5)، إلا أن النماذج العربية مفتوحة المصدر (Fanar, ALLaM) واجهت صعوبة كبيرة في سيناريوهات Zero-shot.
رؤى خاصة بالفئات:
- أدت جميع النماذج أداءً جيداً في فئتي المحايد واللبق.
- ظلت فئة غير اللبق هي الأكثر تحدياً. وقد تفوق MARBERT هنا (F1 = 0.81)، ويرجع ذلك على الأرج\ح إلى تدريبه المسبق على بيانات وسائل التواصل الاجتماعي التي تحتوي على لغة لهجوية ومشحونة عاطفياً.
تحليل الأخطاء:
- الخطأ المهيمن: التحيز للمحايد (Neutral Bias). غالباً ما صنفت النماذج النصوص اللبقة وغير اللبقة خطأً على أنها محايدة. كان هذا الأمر أكثر حدة في النماذج اللغية الكبيرة (وصل إلى 48% من الأخطاء) وأقل حدة في المحولات (24%).
- أنماط الفشل المحددة:
  - العلامات المعجمية: الفشل في اكتشاف الإشارات الصريحة.
  - الغموض: الارتباك حول التعبيرات الدينية (مثل استخدام "سبحان الله" بشكل ساخر).
  - السياق: التفسير الحرفي للاصطلاحات الثقافية أو النقد الضمني.
  - اللهجة: ضعف التعامل مع اللهجات المصرية والمغربية بسبب محدودية تغطية التدريب المسبق.

5. المساهمات الرئيسية

مجموعة بيانات ADAB: أول مجموعة بيانات عربية واسعة النطاق (10 آلاف عينة)، متعددة المجالات ومتعددة اللهجات لكشف اللباقة، مع تصنيف ثلاثي و16 ميزة لغوية دقيقة.
مرجع شامل: وضع أداءً أساسياً لـ 40 نموذجاً، مما يثبت أن نماذج المحولات (Transformers) المخصصة للعربية والمعدلة بدقة تتفوق على النماذج اللغية الكبيرة العامة والتعلم الآلي التقليدي في هذه المهمة.
التحليل اللغوي والتداولي: يقدم تحليلاً مفصلاً للأخطاء يسلط الضوء على التحديات المحددة للّباقة العربية، بما في ذلك "التحيز للمحايد"، وصعوبة اكتشاف السخرية الضمنية، والحاجة الماسة لتنوع اللهجات في بيانات التدريب.

6. الأهمية والعمل المستقبلي

الأثر: تُمكّن ADAB من تطوير أنظمة معالجة لغات طبيعية (NLP) واعية ثقافياً للغة العربية، وهو أمر ضروري لتطبيقات مثل روبوتات خدمة العملاء، والإشراف على وسائل التواصل الاجتماعي، والأدوات التعليمية.
القصور: تعاني مجموعة البيانات من عدم توازن الفئات (هيمنة النص المحايد) وعدم توازن التغطية اللهجوية (ضعف تمثيل اللهجتين المصرية والمغربية).
الاتجاهات المستقبلية: يخطط المؤلفون لإطلاق مجموعة البيانات والإرشادات للمجتمع. سيركز العمل المستقبلي على موازنة التمثيل اللهجي، ودمج سياق المحادثة (بيانات وصف المتحدث)، والتوسع في السجلات اللغوية الرسمية.

في الختام، توضح الورقة أنه بينما تستطيع نماذج معالجة اللغات الطبيعية الحالية اكتشاف اللباقة العربية، فإن التدريب المسبق والضبط الدقيق المتخصص في المجال ضروريان للتغلب على التعقيدات المورفولوجية والثقافية الفريدة للغة، ويضع MARBERT حالياً معيار الحالة الراهنة (state-of-the-art).