Why Do Safety Guardrails Degrade Across Languages?

ملخص تقني: لماذا تتدهور ضوابط السلامة عبر اللغات؟

بيان المشكلة
تُظهر النماذج اللغوية الكبيرة (LLMs) تدهوراً في ضوابک السلامة في اللغات غير الإنجليزية، ولا سيما في اللغات ذات الموارد المنخفضة. تُدمج مقاييس التقييم القياسية، مثل معدل نجاح الاختراق (JSR) أو معدل نجاح الهجوم (ASR)، النتائج الثنائية في قيمة عددية واحدة. يخلق هذا النهج مقارنات "تفاح ببرتقال" (مقارنة غير عادلة)، حيث يخلط بين عوامل متعددة مسببة للسلامة — مثل قدرة النموذج، وصعوبة المطالبة (prompt)، وتكاليف معالجة اللغة، وأخطاء الترجمة — في مقياس واحد. وبناءً على ذلك، لا يستطيع معدل JSR التمييز ما إذا كان فشل السلامة ناتجاً عن نقص في قدرة النموذج على السلامة، أم صعوبة لغوية متأصلة، أم فساد في الترجمة، أم عدم توافق مفاهيمي ثقافي.

المنهجية
يقترح المؤلفون إطار عمل يعتمد على نظرية الاستجابة للمفردة (IRT) متعددة المجموعات لتفكيك حالات فشل السلامة إلى معاملات كامنة متميزة. بخلاف المقاييس التجميعية القياسية، يقوم هذا النموذج بربط كل مصدر للفشل بمتغير محدد:

1. قدرة السلامة ($\theta_j$): متانة السلامة المستقلة عن اللغة للنموذج $j$.
2. صعوبة المطالبة المتأصلة ($\beta_i$): الصعوبة الجوهرية للمطالبة $i$ (المستمدة من الإنجليزية).
3. صعوبة معالجة اللغة العالمية ($\gamma_L$): تكلفة المعالجة العالمية المرتبطة باللغة $L$.
4. فجوة السلامة عبر اللغات ($\tau_{iL}$): المتبقي الخاص بمطالبة معينة يمثل الأداء التفاضلي للمفردة (DIF). يلتقط هذا الفجوة في السلامة لمطالبة معينة في لغة معينة بعد التحكم في القدرة وآثار اللغة العالمية.
5. الكفاءة اللغوية ($\delta_{jL}$): انزياح خاص بالنموذج في الأداء للغة $L$.

يتم نمذجة احتمال الاستجابة الآمنة كالتالي:
$$P(\text{safe}_{ijL} = 1) = \sigma\left(\alpha_i [(\theta_j + \delta_{jL}) - (\beta_i + \gamma_L + \tau_{iL})]\right)$$
حيث $\alpha_i$ هو معامل تمييز المفردة.

الإعداد التجريبي

• مجموعة البيانات: تستخدم الدراسة MultiJail (3,150 مطالبة، 10 لغات، 18 فئة ضرر) وتتحقق من النتائج باستخدام XSafety.
• النماذج: 61 تكويناً للنماذج عبر 5 عائلات (GPT, Claude, DeepSeek, Gemini, Grok).
• النطاق: مجموعة بيانات مجمعة تضم 1.9 مليون صف.
• بروتوكول التقييم: للحد من الضوضاء العشوائية، يستخدم المؤلفون Pass@k (تحديداً Pass@10)، حيث يتم توليد $k$ من الاستجابات المستقلة لكل مطالبة لتقدير توزيع الاستجابة بدلاً من الاعتماد على مخرجات المرور الواحد.
• التحكيم: يتم تقييم الاستجابات على مقياس ليكرت المكون من 6 درجات بواسطة GPT-5.2، مع التحقق من صحتها مقابل متحدثين بشريين أصليين ومحكمين آخرين من نماذج لغوية كبيرة (Claude, Gemini).
• اختيار المرتكزات (Anchors): يتم اختيار المطالبات الثابتة عبر اللغات باستخدام إحصائية $\chi^2$ لـ Lord لتثبيت مقياس القياس، مع تطبيق توزيع طبيعي صارم على المرتكزات.
• التنظيم (Regularization): يتم تطبيق Prior Horseshoe هرمي على $\tau_{iL}$ لفرض الندرة (sparsity)، مما يمنع النموذج من الخلط بين آثار اللغة العالمية ($\gamma_L$) والفجوات الخاصة بالمطالبة ($\tau_{iL}$).

النتائج الرئيسية

1. أحادية البعد في السلامة: يكشف التحليل العاملي الاستكشافي (EFA) أن السلامة أحادية البعد إلى حد كبير. ترفض النماذج أنواع الضرر المختلفة من خلال آلية مشتركة (KMO = 0.942، نسبة الهيمنة = 7.37)، مما يبرر استخدام نموذج IRT عالمي بدلاً من نماذج منفصلة لكل فئة ضرر.
2. ظاهرة "الانعكاس الإنجليزي": خلافاً للافتراض بأن السلامة تتدهور أكثر في اللغات ذات الموارد المنخفضة، فإن 22 من أصل 61 تكويناً للنماذج (بما في ذلك جميع متغيرات Grok الـ 16 و4 متغيرات DeepSeek) تُظهر أعلى معدلات فشل لها في اللغة الإنجليزية. بالنسبة لهذه النماذج، يكون أداء السلامة أفضل قليلاً في اللغات ذات الموارد المنخفضة منه في الإنجليزية.
3. عدم اليقين في الاستجابة: تنتج اللغات ذات الموارد المنخفضة استجابات غير يقينية بشكل ملحوظ (إنتروبيا أعلى) ونسبة أعلى من حالات "الحدود" مقارنة باللغات ذات الموارد العالية. تعمل النماذج عالية القدرة بالقرب من حد القرار في هذه اللغات.
4. جودة الترجمة مقابل فجوات السلامة:
   • ترتبط جودة الترجمة ارتباطاً ضعيفاً بالسلامة الإجمالية وفجوات السلامة عبر اللغات ($\tau$)، حيث تفسر حوالي 1% فقط من تباين $\tau$.
   • ومع ذلك، فإن أخطاء الترجمة الشديدة (مثل ترجمة "hot-wire a car" إلى "تدفئة سيارة") تعمل كقيم متطرفة ذات انحياز عالٍ، مما يؤدي إلى تضخيم $\tau$ اصطناعياً عبر "تطهير" القصد الضار.
   • الفجوات الثقافية والمفاهيمية: يكشف تحليل المتحدثين الأصليين للمطالبات ذات $\tau$ العالية مع جودة ترجمة مثالية أن عدم التوافق في التأطير الثقافي (مثل المصطلحات الخاصة بالولايات المتحدة مثل "FBI" أو "SSN") والأساس المفاهيمي يساهم في فجوات السلامة. تتجمع المطالبات ذات $\tau$ العالية في فئات الضرر الجسدي (السرقة، الأسلحة) بدلاً من الفئات المجردة.
5. الصلاحية التنبؤية: يحقق إطار عمل IRT الكامل AUC قدره 0.940 في التنبؤ بالرفض الآمن، متفوقاً على النماذج البسيطة (مثل Language Rate AUC = 0.531). والأهم من ذلك، في التحقق من نوع "ترك لغة واحدة خارج النموذج" (LOLO)، يحافظ إطار عمل IRT على أداء قوي (AUC $\approx$ 0.875) من خلال الاستفادة من البنية الكامنة، بينما تنهار النماذج الأساسية إلى مستوى الصدفة.

الأهمية والادعاءات
يدعي البحث الانتقال لما وراء المقاييس التجميعية لتوفير إطار تشخيصي للسلامة متعدد اللغات. من خلال فصل القدرة، وصعوبة اللغة، والفجوات الخاصة بالمطالبة، يقوم الإطار بـ:

• الكشف عن أن تدهور السلامة ليس موحداً؛ فبعض النماذج هي في الواقع أقل أماناً في الإنجليزية.
• تحديد أنه بينما تعد أخطاء الترجمة عاملاً ثانوياً بشكل عام، إلا أنها تسبب قيمًا متطرفة شديدة تؤدي إلى تشويه التقييم.
• تسليط الضوء على أن عدم التوافق الثقافي والمفاهيمي، خاصة في فئات الضرر الجسدي، يدفع فجوات السلامة الكبيرة حتى عندما تكون الترجمة دقيقة.
• توفير طريقة للمعالجة المستهدفة، مما يسمح للممارسين بتحديد أزواج (المطالبة-اللغة) ذات $\tau$ العالية من أجل تحسين بناء مجموعات البيانات أو الضبط الدقيق.
• نقد ممارسات تقييم LLM الحالية (JSR/ASR) باعتبارها غير صالحة عموماً للمقارنات بين البيئات المختلفة بسبب العوامل المختلطة، والدعوة إلى استخدام مناهج القياس النفسي مثل IRT.

يشير المؤلفون إلى القيود، بما في ذلك الاعتماد على النماذج ذات الواجهة البرمجية المغلقة (مما يمنع تحليل التنشيط الداخلي)، واحتمالية وجود انحياز متبقي في الحكم في اللغات غير الأصلية، وحقيقة أن آلية "الانعكاس الإنجليزي" تظل سلوكية وليست مفسرة ميكانيكياً.