💬 NLP

BANGLASOCIALBENCH: A Benchmark for Evaluating Sociopragmatic and Cultural Alignment of LLMs in Bangladeshi Social Interaction

تقدم هذه الورقة BANGLASOCIALBENCH، وهو أول معيار يتألف من 1,719 حالة قائمة على أسس ثقافية لتقييم الكفاءة الاجتماعية البراغماتية في اللغة البنغالية، مما يكشف أن النماذج اللغوية الكبيرة الحالية تفشل بشكل منهجي في التعامل مع التسلسلات الهرمية الاجتماعية المعقدة، والاستدلال القائم على القرابة، والمعايير التفاعلية للغة رغم طلاقتها متعددة اللغات.

المؤلفون الأصليون: Tanvir Ahmed Sijan, S. M Golam Rifat, Pankaj Chowdhury Partha, Md. Tanjeed Islam, Md. Musfique Anwar

نُشر 2026-03-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tanvir Ahmed Sijan, S. M Golam Rifat, Pankaj Chowdhury Partha, Md. Tanjeed Islam, Md. Musfique Anwar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان BANGLASOCIALBENCH، مقسمة إلى مفاهيم بسيطة مع تشبيهات إبداعية.

الفكرة الكبرى: الطلاقة مقابل "الذكاء الاجتماعي"

تخيل أنك وظفت خادماً آلياً (روبوت) يتحدث الإنجليزية بطلاقة مثالية. لديه حصيلة لغوية ضخمة ويمكنه إلقاء الشعر. ومع ذلك، إذا طلبت منه إلقاء نكتة في جنازة، أو إذا نادى مديرك الصارم باسمه الأول، فسيكون الروبوت كارثة. هو يعرف الكلمات، لكنه لا يفهم قواعد المكان.

تجادل هذه الورقة بأن نماذج اللغات الكبيرة (LLMs)، مثل تلك التي تشغل برامج الدردشة الآلية، تشبه حالياً ذلك الخادم الآلي. فهي طليقة في لغات عديدة، بما في ذلك البنغالية (المتحدث بها في بنغلاديش)، لكنها غالباً ما تفشل في الاجتماعيات التداولية (sociopragmatics) — وهي فن معرفة كيف تتحدث مع مَن، وفي أي موقف، لتبدو مهذباً وصحيحاً من الناحية الثقافية.

المشكلة: فخ "الكلمات الثلاث"

في اللغة الإنجليزية، لدينا كلمة واحدة غالباً لكلمة "أنت". أما في البنغالية، فهناك ثلاث كلمات مختلفة لـ "أنت"، واختيار الكلمة الخاطئة يشبه ارتداء بدلة رسمية (تكسيدو) في حفلة على الشاطئ، أو ارتداء ملابس سباحة في حفل زفاف.

Apni: الـ "أنت" المحترمة. تُستخدم لكبار السن، أو المديرين، أو الغرباء. (مثل قول "سيدي/سيدتي").
Tumi: الـ "أنت" الودودة. تُستخدم للأقران، أو الأصدقاء، أو الأصغر سناً بقليل. (مثل قول "يا صديقي").
Tui: الـ "أنت" الحميمة/الطفولية. تُستخدم للأصدقاء المقربين جداً، أو الأشقاء، أو الأطفال. (مثل قول "يا صغيري" أو "يا بطل" بطريقة غير رسمية للغاية).

الخطأ: إذا تحدث الذكاء الاصطناعي إلى شخص غريب مسن باستخدام Tui، سيبدو وقحاً للغاية. وإذا تحدث إلى طفل عمره 5 سنوات باستخدام Apni، سيبدو متصلباً وبعيداً بشكل غريب. وجدت الورقة أن نماذج الذكاء الاصطناعي الحالية سيئة جداً في تخمين أي "أنت" يجب استخدامها بناءً على السياق.

الحل: BANGLASOCIALBENCH

قام الباحثون ببناء اختبار قيادة (معيار قياس) مخصص للمهارات الاجتماعية في اللغة البنغالية. فكر في الأمر كأنه اختبار قيادة لأخلاقيات التعامل الثقافي.

بدلاً من سؤال الذكاء الاصطناعي: "ما هي عاصمة بنغلاديش؟" (وهي حقيقة)، يسألونه:

"أنت رجل مسن في محطة مترو. هناك مراهق يتخطى الدور في الطابور. كيف تطلب منه بأدب أن ينتظر دوره؟"

يجب على الذكاء الاصطناعي اختيار الكلمة والنبرة الصحيحة.

إجابة خاطئة: "يا ولد، قف في الطابور!" (وقحة جداً).
إجابة صحيحة: "يا بني، يرجى الوقوف في الطابور." (مهذبة، باستخدام مصطلح القرابة المناسب).

يغطي الاختبار ثلاثة مجالات رئيسية:

مصطلحات المخاطبة: اختيار "أنت" المناسبة (Apni/Tumi/Tui) أو اللقب (خال، أخت، سيدي).
الاستنتاج القائم على القرابة: فهم شجرات العائلة. في البنغالية، كلمة "عم/خال" ليست مجرد "عم". هناك كلمة محددة للأخ الأصغر لوالدك مقابل أخ والدتك. الذكاء الاصطناعي غالباً ما يرتبك هنا، ويخلط بين المصطلحات الهندوسية والإسلامية.
العادات الاجتماعية: معرفة كيفية التصرف. على سبيل المثال، إذا قال الضيف "لقد شبعت"، فإن المضيف البنغلاديشي سيصرّ على أن يأكل المزيد (كرم الضيافة). قد يقول الذكاء الاصطناعي فقط: "حسناً، لا مشكلة"، وهو ما يفتقر إلى السيناريو الثقافي.

ما وجدوه: الروبوت "المفرط في الأدب"

اختبر الباحثون 12 نموذجاً مختلفاً من الذكاء الاصطناعي (بما في ذلك أسماء كبيرة مثل GPT-4 وGemini وLlama). إليكم ما اكتشفوه:

استراتيجية "الأمان": النماذج تخشى أن تكون وقحة. لذا، فهي تختار دائماً الخيار الأكثر رسمية وتصلباً (Apni). إنهم يفضلون أن يبدوا كآلة في جنازة على أن يبدوا كصديق في حفلة.
فشل "التوجه للأسفل": الذكوا الاصطناعي جيد عندما يتحدث شخص أصغر سناً إلى شخص أكبر (لأن ذلك يكون دائماً رسمياً). ولكن عندما يتحدث شخص أكبر إلى شخص أصغر، يرتبك الذكاء الاصطناعي. فهو لا يعرف متى يخفف من حدته ويستخدم نبرة ودودة.
الخلط الديني: غالباً ما تخلط النماذج بين مصطلحات العائلة الهندوسية والإسلامية. إذا كانت القصة توحي بعائلة هندوسية، فقد يستخدم الذكاء الاصطناعي بالخطأ مصطلحاً إسلامياً، مما يظهر أنه لا يفهم حقاً الفروق الثقافية الدقيقة، بل يفهم الكلمات فقط.
عقل "مقاس واحد للجميع": حتى عندما يتفق البشر على أن كلمتين مختلفتين يمكن أن تكونا صحيحتين في موقف ما، يختار الذكاء الاصطناعي واحدة منها ويتمسك بها بثقة 100%. إنه يفتقر إلى القدرة البشرية على القول: "حسناً، يمكنك قول هذا أو ذاك".

الخلاصة

هذه الورقة هي بمثابة جرس إنذار. لا يمكننا فقط تعليم الذكاء الاصطناعي المزيد من الحقائق عن ثقافة ما. يجب علينا تعليمه الحدس الاجتماعي.

حالياً، الذكاء الاصطناعي يشبه سائحاً حفظ كتاب جمل سياحية ولكنه لا يفهم العادات المحلية. يمكنه قول "مرحباً"، لكنه لا يعرف كيف يلقي التحية على جدة مقابل شريك عمل. وحتى نصلح هذا، سيظل الذكاء الاصطناعي يبدو "غريباً" قليلاً عند التفاعل مع الناس في الثقافات ذات السياق العالي مثل بنغلاديش.

باخت-القول: الذكاء الاصطناعي يعرف القاموس، لكنه لم يتعلم الرقصة بعد.

إليك ملخص تقني مفصل لورقة البحث بعنوان "BANGLASOCIALBENCH: معيار لتقييم المواءمة السوسيو-براغماتية والثقافية للنماذج اللغوية الكبيرة في التفاعل الاجتماعي البنغالي."

1. بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة (LLMs) طلاقة عالية في التوليد متعدد اللغات، فإن الطلاقة لا تعني بالضرورة الكفاءة السوسيو-براغماتية (الاجتماعية التداولية). ففي اللغات ذات السياق العالي مثل البنغالية، يعتمد المعنى بشكل كبير على التسلسل الهرمي الاجتماعي، والأدوار العلاقاتية، والأعراف الثقافية المرمزة مباشرة في القواعد والمفردات.

الفجوة: تعتمد المعايير الحالية غالبًا على الاسترجاع الحقائقي، أو المطالبات المترجمة، أو التقييمات "الضعيفة ثقافيًا" (مثل المعلومات العامة). وهي تفشل في اختبار ما إذا كانت النماذج قادرة على استنتاج الأدوار الاجتماعية ديناميكيًا وتكييف الخيارات اللغوية (مثل اختيار الضمائر، ومصطلحات القرابة) بناءً على سياقات تفاعلية محددة.
التحدي: تتميز اللغة البنغالية بنظام ضمائر للمخاطب ثلاثي المستويات (apni - رسمي، tumi - محايد/مألوف، tui - حميمي) بالإضافة إلى توسع واسع في مصطلحات النداء القائمة على القرابة التي تختلف حسب النسب (الأبوي/الأموي) والهوية الدينية (مسلم/هندوسي). وقد يكون الاستخدام الخاطئ مهينًا اجتماعيًا رغم كونه صحيحًا من الناحية القواعدية.

2. المنهجية

أ. بناء المعيار: BANGLASOCIALBENCH

قدم المؤلفون BANGLASOCIALBENCH، وهو أول معيار مصمم لتقييم الكفاءة السوسيو-براغماتية في اللغة البنغالية من خلال السلوك الاجتماعي الموقفي.

النطاق: 1,719 حالة مكتوبة ومحققة بشريًا.
المجالات:
1. مصطلحات النداء البنغالية: تقييم اختيار الضمائر (apni/tumi/tui) والنداءات الاسمية (مصطلحات القرابة، ألقاب التشريف) بناءً على السياق.
2. الاستدلال في القرابة: ألغاز استدلال متعددة الخطوات تتطلب من النماذج استنتاج العلاقات بناءً على نظام القرابة الدقيق في البنغالية (مثل التمييز بين chacha و mama).
3. العادات الاجتماعية: سيناريوهات تختبر الالتزام بالنصوص الثقافية (مثل الضيافة، الرفض غير المباشر، التناغم) باستخدام الميتا-لغة الدلالية الطبيعية (NSM).
إطار التصميم: تعتمد المطالبات على نموذج Hymes' SPEAKING، حيث يتم تغيير المتغيرات السوسيو-براغماتية صراحةً:
- الإعداد (Setting): (عائلة، مكتب، مستشفى، أكاديميا، تفاعل اجتماعي).
- المشاركون (Participants): التسلسل الهرمي العمري (كبير ← صغير، نظير ← نظير)، الجنس، والهوية الدينية.
- المفتاح والنهاية (Key & End): النبرة التفاعلية (مهذب، غاضب، غير رسمي) والهدف التواصلي (طلب، أمر، استفسار).
جودة البيانات:
- تم إنشاؤها بواسطة 6 مدققين من السكان الأصليين للغة البنغالية (مقيمون مدى الحياة في بنغلاديش).
- كُتبت الحالات من الصفر لمنع تسرب بيانات التدريب.
- الاتفاق بين المدققين: بلغ معامل كوهين ( $\kappa$ ) 0.82 (اتفاق قوي). بالنسبة لمهام الضمائر التي تسمح بإجابات مزدوجة صحيحة، أسفرت طريقة التفكيك الثنائي عن $\kappa$ قدره 0.77.

ب. بروتوكول التقييم

النماذج التي تم تقييمها: 12 نموذجًا لغويًا كبيرًا معاصرًا (6 مغلقة المصدر: GPT-4o، Gemini، Claude؛ و6 مفتوحة الأوزان: LLaMA، Gemma، Qwen، DeepSeek).
الإعداد: تقييم الصف الصفر (Zero-shot) باستخدام مطالبات باللغة البنغالية بالكامل.
المقاييس:
- مصطلحات النداء: دقة مراعاة الضمائر الأساسية والثانوية المقبولة (خط الأساس العشوائي المرجح: 42.2%).
- القرابة والعادات: دقة المطابقة التامة في أسئلة الاختيار من متعدد المكونة من 4 خيارات (خط الأساس العشوائي: 25%).
التحليل: اختبارات إحصائية (Pearson's $\chi^2$ ) لتحديد الارتباطات بين الأخطاء والمتغيرات السوسيو-براغماتية. تحليل الاحتمالية اللوغاريتمية لتقييم ثقة النموذج في السياقات الغامضة.

3. المساهمات الرئيسية

أول معيار سوسيو-براغماتي للغة البنغالية: ينقل التقييم من المعرفة الساكنة إلى التفاعل الاجتماعي الديناميكي المعتمد على السياق.
التوصيف المنهجي للأخطاء: يثبت أن الإخفاقات السوسيو-براغماتية في النماذج اللغوية الكبيرة ليست عشوائية بل مهيكلة، وتتأثر بشدة بمتغيرات مثل التسلسل الهرمي العمري والإعداد.
اكتشاف أنماط عدم المواءمة الثقافية:
- الإفراط في التهذيب: تتبنى النماذج بشكل منهجي الضمير الأكثر رسمية (apni) حتى في السياقات التي تتطلب الألفة (tumi/tui).
- الخلط الديني: تستبدل النماذج بشكل متكرر مصطلحات القرابة عبر الخطوط الدينية (مثل استخدام مصطلحات هندوسية في سياقات إسلامية)، مما يظهر انحيازًا اتجاهيًا.
- الجمود الاحتمالي: تخصص النماذج كتلة احتمالية شبه كاملة لإجابة واحدة حتى في المواقف الغامضة سوسيو-براغماتيًا حيث يدرك البشر خيارات متعددة وصحيحة.

4. النتائج الرئيسية

نظرة عامة على الأداء

الدقة الإجمالية: يختلف الأداء بشكل كبير حسب حجم النموذج وعائلته.
- أفضل أداء: Gemini 2.5 Flash (الأعلى في مصطلحات النداء والاستدلال في القرابة).
- أدنى أداء: LLaMA 3 8B (31.88% في الاستدلال في القرابة).
صعوبة المجال: كان الاستدلال في القرابة هو المجال الأكثر صعوبة (نطاق الدقة: 31.88% – 92.46%)، يليه مصطلحات النداء والعادات الاجتماعية.
تأثير الحجم: أدت النماذج الأكبر حجمًا إلى أداء أفضل عمومًا، لكن حتى النماذج رفيعة المستوى فشلت في الوصول إلى مستوى الاتساق البشري في الاستدلال الاجتماعي المعقد.

نتائج محددة حول عدم المواءمة

عدم التماثل في الإفراط في التهذيب:
- تظهر النماذج انحيازًا إحصائيًا ملحوظًا نحو الإفراط في التهذيب (استخدام apni حيثما يجب استخدام tumi أو tui).
- أخطاء نقص التهذيب نادرة. يشير هذا إلى أن النماذج تتبنى نهجًا "آمنًا" لتجنب الإهانة، مما يفشل في التقاط دقة الحميمية أو الهرمية الهابطة.
الحساسية السياقية:
- تتركز الأخطاء في التفاعلات ذات الهرمية الهابطة (كبير $\leftarrow$ صغير) وفي الإعدادات غير الرسمية.
- تؤدي النماذج أداءً أفضل نسبيًا في الهرمية الصاعدة (صغير $\leftarrow$ كبير) وفي الإعدادات المؤسسية الرسمية (المكتب/الأكاديميا).
انحياز القرابة الديني:
- أظهرت 11 من أصل 12 نموذجًا عدم تماثل اتجاهي ذو دلالة إحصائية في استبدال مصطلحات القرابة.
- النمط: النماذج أكثر عرضة لاستبدال المصطلحات المرتبطة بالإسلام في السياقات ذات العلامات الهندوسية أكثر من العكس.
معايرة الاحتمالية:
- في السيناريوهات الغامضة (حيث يكون ضميران مقبولين اجتماعيًا)، خصصت نماذج مثل GPT-4o و LLaMA 3.3 70B كتلة احتمالية قدرها 1.00 لخيار واحد، مما فشل في عكس التباين الذي وثقه البشر. يشير هذا إلى نقص في المعايرة عند التعامل مع الغموض السوسيو-براغماتي.

5. الأهمية والآثار المترتبة

ما وراء الطلاقة: تثبت الورقة أن الطلاقة متعددة اللغات العالية لا تضمن المواءمة الثقافية. يمكن للنماذج اللغوية الكبيرة توليد نصوص سليمة قواعديًا ولكنها مهينة اجتماعيًا في الثقافات ذات السياق العالي.
القيود على التدريب الحالي: تشير الطبيعة المنهجية للأخطاء (مثل الإفراط في التهذيب، والخلط الديني) إلى أن بيانات التدريب الحالية منحازة نحو السجلات الرسمية أو تفتقر إلى التمثيل الكافي للديناميكيات الاجتماعية اليومية الدقيقة في بنغلاديش.
الاتجاهات المستقبلية: تسلط النتائج الضوء على الحاجة إلى ضبط دقيق قائم على الثقافة وتنسيق بيانات مستهدف يعالج صراحةً المتغيرات السوسيو-براغماتية (العمر، الهرمية، الدين) بدلاً من مجرد المعرفة المعجمية.
الأثر الأوسع: يوفر BANGLASOCIALBENCH نموذجًا لتقييم اللغات الأخرى ذات السياق العالي والموارد المنخفضة حيث تكون الأعراف الاجتماعية متجذرة بعمق في البنى اللغوية.

في الختام، يكشف BANBLASOCIALBENCH أن النماذج اللغوية الكبيرة الحالية تعاني في "الذكاء الاجتماعي" المطلوب للتفاعل البشري الطبيعي في بنغلاديش، وغالبًا ما تلجأ إلى سلوكيات جامدة، أو مفرطة الرسمية، أو غير متوافقة ثقافيًا تفشل في التقاط سيولة الديناميكيات الاجتماعية في العالم الحقيقي.