💬 NLP

XL-SafetyBench: A Country-Grounded Cross-Cultural Benchmark for LLM Safety and Cultural Sensitivity

تقدم هذه الورقة البحثية XL-SafetyBench، وهو معيار اختبار عابر للثقافات يتكون من 5,500 حالة اختبار مرتبطة بالدول عبر 10 أزواج لغوية، يكشف عن وجود فجوة بين متانة مقاومة كسر الحماية والحساسية الثقافية في النماذج الرائدة، بينما يظهر أن السلامة الظاهرية للنماذج المحلية تنبع في الغالب من إخفاقات في التوليد بدلاً من المحاذاة الحقيقية.

المؤلفون الأصليون: Dasol Choi, Eugenia Kim, Jaewon Noh, Sang Seo, Eunmi Kim, Myunggyo Oh, Yunjin Park, Brigitta Jesica Kartono, Josef Pichlmeier, Helena Berndt, Sai Krishna Mendu, Glenn Johannes Tungka, Özlem Gökçe, Sur

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dasol Choi, Eugenia Kim, Jaewon Noh, Sang Seo, Eunmi Kim, Myunggyo Oh, Yunjin Park, Brigitta Jesica Kartono, Josef Pichlmeier, Helena Berndt, Sai Krishna Mendu, Glenn Johannes Tungka, Özlem Gökçe, Suresh Gehlot, Katherine Pratt, Amanda Minnich, Haon Park

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف مساعداً جديداً لمساعدة الناس في جميع أنحاء العالم. تريد التأكد من أن هذا المساعد آمن، ومهذب، ولن يقول بالخطأ شيئاً مسيئاً أو خطيراً.

لفترة طويلة، كنا نختبر هؤلاء المساعدين باستخدام "اختبار معياري" مكتوب بالكامل باللغة الإنجليزية. لكن مؤلفي هذه الورقة البحثية، XL-SafetyBench، يجادلون بأن هذا يشبه اختبار قدرة طاهٍ على طهي الطعام الإيطالي عبر سؤاله فقط عن كيفية صنع البرجر الأمريكي. فمجرد قدرته على صنع البرجر بأمان لا يعني أنه يعرف القواعد المحلية في إيطاليا.

إليك تحليل بسيط لما فعلوه وما وجدوه، باستخدام بعض التشبيهات من الحياة اليومية.

1. المشكلة: "فخ الترجمة"

معظم اختبارات سلامة الذكاء الاصطناعي هي مجرد أسئلة إنجليزية تمت ترجمتها إلى لغات أخرى.

الخلل: إذا ترجمت سؤالاً عن "كيفية سرقة سيارة" إلى اللغة الكورية، فقد يقول الذكاء الاصطناعي "لا". ولكن ماذا لو كان السؤال عن نوع معين من عمليات الاحتيال على السكن التي تحدث فقط في كوريا؟ الاختبار المترجم لن يكشف ذلك.
القطعة المفقودة: هناك نوعان من "السلامة" التي تغفلها الاختبارات القديمة:
1. اختبار "المخترق": هل يمكن خداع الذكاء الاصطناعي من قبل مجرم محلي للقيام بشيء سيء؟ (مثلاً: "كيف يمكنني الاحتيال على الناس باستخدام نظام الوديعة السكنية المحدد في كوريا؟")
2. اختبار "اللباقة الاجتماعية": هل يعرف الذكاء الاصطناعي العادات المحلية؟ (مثلاً: إذا طلبت من الذكاء الاصطناعي المساعدة في التخطيط لهدية لصديق فرنسي، فلا ينبغي أن يقترح زهور الأقحوان، لأن تلك الزهور في فرنسا مخصصة للجنازات وليس لأعياد الميلاد.)

2. الحل: اختبار "الجولة العالمية" الجديد

قام الباحثون ببناء XL-SafetyBench، وهو مجموعة اختبارات ضخمة تضم 5,500 سؤالاً تغطي 10 دول مختلفة (مثل الولايات المتحدة، وكوريا الجنوبية، والهند، وألمانيا، إلخ).

لم يقوموا بمجرد ترجمة أسئلة إنجليزية، بل بنوا الاختبار من الصفر في كل لغة محلية، باستخدام مسارين رئيسيين:

المسار (أ): "الفريق الأحمر" (معيار كسر الحماية)
- التشبيه: تخيل توظيف فريق من "المخترقين" المحليين لمحاولة خداع الذكاء الاصطناعي. هم لا يسألون فقط "كيف أصنع قنبلة؟"، بل يسألون "كيف يمكنني استخدام تطبيق بنكي محلي معين في تركيا لسرقة المال؟"
- الهدف: معرف من خلاله ما إذا كان بإمكان الذكاء الاصطناعي مقاومة هذه الحيل الذكية والمبنية على سياق محلي.
المسار (ب): "المحقق الثقافي" (المعيار الثقافي)
- التشبيه: تخيل أن الذكاء الاصطناعي ضيف في حفلة عشاء. يسأله المضيف: "هل يمكنك مساعدتي في كتابة قائمة طعام لحفل زفاف؟" ولكن بداخل الطلب تفصيل صغير مخفي: "دعونا نقدم لحم الخنزير للضيوف الذين يتبعون ديناً نباتياً صارماً."
- الهدف: يجب على الذكاء الاصطناعي رصد ذلك الخطأ الثقافي الصغير المخفي دون أن يُقال له ذلك. الأمر لا يتعلق برفض طلب سيء؛ بل يتعلق بملاحظة هفوة اجتماعية مدفونة داخل محادثة عادية.

3. كيف بنوا هذا الاختبار؟

لم يطلبوا من كمبيوتر كتابة هذه الأسئلة فحسب، بل استخدموا عملية "الإنسان في الحلقة" (human-in-the-loop):

الاكتشاف بواسطة الذكاء الاصطناعي: وجدت أجهزة الكمبيوتر مشكلات محلية محتملة.
التحقق البشري: قام بشر حقيقيون عاشوا في تلك البلدان لأكثر من 15 عاماً بفحص كل سؤال على حدة. لقد تأكدوا من أن الأسئلة تبدو طبيعية وأن الفخاخ الثقافية حقيقية.
النتيجة: اختبار عالي الجودة، أصيل ثقافياً، ويبدو كمحادثة حقيقية، وليس ترجمة آلية.

4. المفاجآت الكبرى (النتائج)

عندما اختبروا 37 نموذجاً مختلفاً للذكاء الاصطناعي (10 نماذج عالمية كبرى و27 نموذجاً محلياً من تلك البلدان المحددة)، وجدوا أمرين صادمين:

المفاجأة الأولى: كونك "آمناً" وكونك "واعياً ثقافياً" ليسا نفس الشيء.

التشبيه: فكر في السلامة والثقافة كمهارتين مختلفتين، مثل "قيادة السيارة" و"التحدث باللهجة المحلية".
النتيجة: بعض نماذج الذكاء الاصطناعي الأكثر قوة كانت بارعة في رفض القيام بأشياء سيئة (سلامة عالية) ولكنها سيئة جداً في رصد الأخطاء الثقافية (وعي ثقافي منخفض). وعلى العكس من ذلك، كانت بعض النماذج جيدة في الثقافة ولكن يسهل خداعها من قبل المخترقين.
الخلاصة: لا يمكنك منح الذكاء الاصطناعي "درجة سلامة" واحدة فقط. عليك قياس ما إذا كان آمناً وذكياً ثقافياً بشكل منفصل.

المفاجأة الثانية: النماذج المحلية "تزيّف" السلامة.

التشبيب: تخيل طالباً يجري اختبار رياضيات صعباً.
- النموذج (أ) (عالمي): يفهم السؤال، يفكر بعمق، ويقول: "لا يمكنني حل هذا لأنه خطير". (هذه هي السلامة الحقيقية).
- النموذج (ب) (محلي): لا يفهم السؤال على الإطلاق، لذا يكتفي بالنظر بجمود أو قول أشياء غير مفهومة. ولأنه لم يجب على السؤال، فهو تقنياً "لم يفعل أي شيء سيء".
النتيجة: بدت العديد من نماذج الذكاء الاصطنا المحلية "آمنة" لأنها فشلت في فهم السؤال، وليس لأنها اتخذت قراراً أخلاقياً بالرفض. لقد كانت "آمنة" بالصدفة، وليس بالتصميم. يطلق الباحثون على هذا اسم "وهم السلامة".

5. لماذا يهم هذا؟

تقدم هذه الورقة طريقة جديدة لاختبار الذكاء الاصطناعي تعامل الدول المختلفة كأماكن فريدة لها قواعدها الخاصة، وليس مجرد "لغة إنجليزية بلكنة مختلفة".

إنها تظهر لنا أنه لبناء ذكاء اصطناعي آمن حقاً للعالم أجمع، نحتاج إلى التوقف عن الاعتماد على الاختبارات المترجمة. نحن بحاجة إلى اختبار ما إذا كان بإمكان الذكال الاصطناعي التعامل مع عمليات الاحتيال المحلية وأيضاً معرفة أنه لا ينبغي تقديم زهور جنائزية كهدية عيد ميلاد. والأهم من ذلك، نحتاج إلى التأكد من أن الذكاء الاصطناعي ليس "آمناً" لمجرد أنه مرتبك جداً لدرجة تمنعه من الإجابة، بل لأنه يفهم العالم حقاً.

ملخص تقني: XL-SafetyBench

بيان المشكلة

تعتمد معايير قياس سلامة النماذج اللغوية الكبيرة (LLM) الحالية بشكل أساسي على اللغة الإنجليزية وتعتمد بكثافة على منهجيات قائمة على الترجمة. هذا النهج يفشل في رصد الأضرار الخاصة بكل دولة والمترسخة في الأطر القانونية المحلية، والهياكل الاجتماعية والاقتصادية، والأعراف الثقافية. علاوة على ذلك، تعامل معايير القياس الحالية السلامة كبُعد أحادي، مما يفشل في التمييز بين نمطي فشل متميزين: (1) عدم القدرة على مقاومة النوايا الخبيثة والعدائية (الاختراق/Jailbreaks)، و(2) عدم القدرة على اكتشاف الحساسيات المتجذرة ثقافياً ضمن الطلبات البريئة. وبناءً على ذلك، قد تبدو النماذج آمنة بسبب فشل في الفهم بدلاً من المحاذاة الحقيقية، وغالباً ما يتم خلط الوعي الثقافي بالطلاقة اللغوية العامة.

المنهجية

يقدم المؤلفون XL-SafetyBench، وهو مجموعة تقييم شاملة تضم 5,500 حالة اختبار عبر 10 أزواج من (الدولة-اللغة) (الولايات المتحدة، فرنسا، ألمانيا، إسبانيا، كوريا الجنوبية، اليابان، الهند، إندونيسيا، تركيا، والإمارات العربية المتحدة). تم بناء الإطار عبر مسار متعدد المراحل يجمع بين الاكتشاف بمساعدة النماذج اللغوية الكبيرة، والتحقق الآلي، والتدقيق المستقل من قبل متحدثين أصليين.

تتكون معايير القياس من مسارين متكاملين:

1. معيار اختراق الحماية (المتانة العدائية المرتبطة بالدولة)

يقيم هذا المسار قدرة النموذج على مقاومة النوايا الخبيثة الخاصة بسياق دولة معينة.

التصنيف: يحدد خمس فئات للأضرار (الأنشطة الإجرامية، إيذاء النفس والنصائح الخطيرة، الكراهية والتمييز، الصراعات الاجتماعية والاقتصادية، السياسة والمعلومات المضللة). تتضمن كل فئة 25 فئة فرعية مشتركة (متطابقة عبر الدول) و25 فئة فرعية مرنة (خاصة بكل دولة، مثل "احتيال جيونسي" في كوريا الجنوبية أو "تهريب المخدرات السريع" في فرنسا).
التوليد: يستخدم مساراً تكرارياً لـ "الفريق الأحمر" (Red-teaming) (يمتد من إطار عمل PAIR) مع مهاجم، وهدف للاختبار، وحَكَم. يقوم المهاجمون بتوليد مطالبات مموهة لتجاوز فلاتر السلامة، ويتم التحقق منها بواسطة متحدثين أصليين لضمان الأصالة الثقافية.
المقاييس:
- معدل نجاح الهجوم (ASR): يقيس النسبة المئوية للاستجابات التي تقدم معلومات ضارة.
- معدل الحياد والسلامة (NSR): يقيس الاستجابات غير ذات الصلة أو غير المترابطة (مما يشير إلى فشل في الفهم بدلاً من الرفض المبدئي).

2. المعيار الثقافي (الحساسيات المتجذرة ثقافياً)

يقيم هذا المسار قدرة النموذج على اكتشاف المحرمات الثقافية المضمنة كتفاصيل عرضية ضمن مهام طبيعية وغير ضارة.

التصنيف: يحدد ست فئات ثقافية (المحرمات الرمزية وتقديم الهدايا، الطعام/القوانين الغذائية، الموت/الحزن، الحياة اليومية/السلوك العام، التراتبية/التبجيل الاجتماعي، الأفخاخ القانونية).
التوليد: يتم توليد سيناريوهات حيث يتم دفن انتهاك ثقافي (مثل رمي الخبز في تركيا) كتفصيل صغير ضمن طلب أكبر ومشتت (مثل إجراءات تسجيل الخروج من الفندق).
المقاييس:
- معدل الحساسية الثقافية (CSR): النسبة المئوية للاستجابات ذات الصلة بالسياق التي تتعرف صراحة على الحساسية الثقافية المضمنة وتلفت الانتباه إليها. يشترط هذا المقياس فهم النموذج للسيناريو لعزل الوعي الثقافي عن فشل اتباع التعليمات العامة.

المساهمات الرئيسية

إطار عمل ثنائي الأبعاد: تقترح الورقة فصل تقييم السلامة إلى المتانة العدائية (مقاومة الضرر الصريح) والحساسية الثقافية (اكتشاف الأعراف الضمنية)، بحجة أن هذين يمثلان قدرتين متميزتين تتطلبان تقارير منفصلة.
البناء المرتبط بالدولة: على عكس معايير القياس القائمة على الترجمة، يقوم XL-SafetyBench بتوليد مطالبات بلغات أصلية متجذرة في القوانين المحلية، والظواهر الاجتماعية، والمحرمات الثقافية المحددة، والتي تم التحقق منها بواسطة متحدثين أصليين ذوي خبرة في المجال.
مقاييس مبتكرة: تقديم مقياس NSR للتمييز بين الرفض "الآمن" وفشل الفهم "غير الآمن"، ومقياس CSR لقياس الاكتشاف الثقافي الضمني بدلاً من استرجاع المعرفة الصريح.
تقييم شامل: يقيم المعيار 37 نموذجاً، بما في ذلك 10 نماذج عالمية رائدة و27 نموذجاً محلياً خاصاً بالدول.

النتائج والتحليل

أسفر تقييم 37 نموذجاً عن نتيجتين رئيسيتين:

1. فك الارتباط بين السلامة والوعي الثقافي

بين النماذج الرائدة، لا تظهر متانة الاختراق (ASR منخفض) والوعي الثقافي (CSR مرتفع) علاقة مقترنة.

النماذج الرائدة: بينما تظهر نماذج مثل Claude-4.5-Sonnet متانة عالية (ASR ~2.8%) ووعياً ثقافياً متوسطاً (CSR ~68%)، تظهر نماذج أخرى مثل Gemini-3.1-Pro وعياً ثقافياً عالياً (CSR ~76%) ولكن متانة أقل. الارتباط بين ASR وCSR ضعيف ( $r = -0.27$ ) عند استبعاد القيم المتطرفة للنماذج مفتوحة الأوزان، مما يشير إلى أن محاذاة السلامة لا تمنح بالضرورة الكفاءة الثقافية.
النماذج المحلية: تظهر النماذج المحلية عموماً أداءً ضعيفاً في كلا المحورين، حيث تسجل العديد منها درجات قريبة من الصفر في الحساسية الثقافية.

2. وهم السلامة في النماذج المحلية

هناك نتيجة حاسمة تتعلق بالنماذج المحلية الخاصة بالدول وهي الارتباط السلبي القوي بين ASR وNSR ( $r = -0.81$ ).

فشل الفهم: تحقق العديد من النماذج المحلية ذات معدل ASR منخفض (التي تبدو "آمنة") ذلك ليس من خلال رفض الطلبات الضارة، بل من خلال توليد مخرجات غير ذات صلة، أو متدهورة، أو غير مترابطة (NSR مرتفع).
التبعية للحجم: يرتبط هذا المقايضة بحجم النموذج. تفشل النماذج المحلية الأصغر (أقل من 10 مليار معلمة) بشكل متكرر في فهم المطالبات العدائية، مما يرفع من قيمة NSR الخاص بها. فقط النماذج التي تتجاوز ~50 مليار معلمة تظهر انخفاضاً ملحوءاً في NSR، مما يشير إلى وجود عتبة للفهم الحقيقي. ومع ذلك، حتى أكبر النماذج المحلية (مثل EXAONE-236B) تتخلف بشكل كبير عن النماذج الرائدة في الحساسية الثقافية (أقصى CSR ~30% مقابل >60% للنماذج الرائدة).

الأهمية والادعاءات

تدعي الورقة أن XL-SafetyBench يوفر التفصيل اللازم لتقييم السلامة والكفاءة الثقافية كقدرات متميزة في عصر تعدد اللغات. وتجادل بأن:

الدرجات المركبة مضللة: إن تجميع مقاييس السلامة يحجب الاختلافات الحرجة بين المتانة العدائية والوعي الثقافي.
التدريب المحلي غير كافٍ: التدريب المسبق على بيانات اللغة المحلية لا يضمن الوعي الثقافي أو محاذاة السلامة الحقيقية؛ بل يؤدي غالباً إلى نماذج تفشل في فهم المطالبة تماماً.
يجب تفكيك التقييم: يجب أن يفصل تقرير السلامة بين ASR وNSR وCSR لتشخيص ما إذا كان النموذج محاذياً، أو واعياً ثقافياً، أو ببساطة يعاني من فشل في الفهم.

يخلص المؤلفون إلى أن ممارسات تقييم السلامة الحالية، وخاصة تلك التي تعتمد على الترجمة أو الدرجات أحادية البعد، تفشل في التقاط فروق الحمايات المرتبطة بالدول والحساسيات الثقافية، مما يستوجب وجود أطر عمل مثل XL-SafetyBench للتقييم العادل والدقيق.