Same Model, Different Weakness: How Language and Modality Reshape the Jailbreak Attack Surface in Frontier MLLMs

ملخص تقني: نفس النموذج، ضعف مختلف

بيان المشكلة
غالبًا ما تتعامل تقييمات السلامة الحالية لنماذج اللغات الكبيرة متعددة الوسائط (MLLMs) مع اللغة والوسائط كأبعاد مستقلة، مفترضةً أن عرض الهجوم (attack surface) للنموذج ضد هجمات الاختراق (jailbreak attacks) هو خاصية ثابتة. تتحدى هذه الورقة هذا الافتراض، وتفترض أن سطح الهجوم في نماذج MLLM يعتمد بنيويًا على اللغة. يجادل المؤلفون بأن إخفاقات المحاذاة (alignment failures) ليست موحدة عبر اللغات؛ بل إن الآليات التي تتجاوز بها الهجمات اللغوية والبصرية فلاتر السلامة تعمل عبر مسارات متميزة. وتحديدًا، يفترضون أن التعلم المعزز من التغذية الراجعة البشرية (RLHF) يقوم بمعايرة النماذج للتعرف على أنماط الهجوم البلاغي (مثل: لعب الأدوار، والتأطير الاستراتيجي) بشكل أساسي في اللغة الإنجليزية، مما يجعل هذه الدفاعات اللغوية أقل فعالية أو غير موجودة في اللغات الأخرى، بينما قد تظل القنوات الهجومية البصرية معرضة للخطر باستمرار أو حتى تصبح أكثر قوة عند إزالة الحواجز اللغوية.

المنهجية
تقدم الدراسة أول تقييم منهجي لـ "الفريق الأحمر" (red-teaming) عابر للغات ومتعدد الوسائط يقارن بين الإنجليزية الأمريكية (en-US) والإسبانية المكسيكية (es-MX).

• النماذج التي تم تقييمها: أربعة نماذج رائدة من فئة MLLM وهي: Claude Sonnet 4.5، وGPT-5، وPixtral Large، وQwen Omni. تم اختيار هذه النماذج باعتبارها خلفاء للجيل القادم من النماذج التي تم تقييمها في دراسة سابقة ركزت على الإنجليزية فقط من قبل Van Doren & Ford [1].
• المعيار العدائي: استخدمت الدراسة مجموعة ثابتة مكونة من 363 سيناريو عدائيًا تغطي ثلاثة فئات من الضرر: الأنشطة غير القانونية، والمعلومات المضللة، والسلوك غير الأخلاقي. تم بناء كل سيناريو في ست استراتيجيات هجوم (مثل: لعب الأدوار، وقمع الرفض) وتم تجسيده في كل من الظروف النصية فقط وظروف الوسائط المتعددة (نص + صورة).
• البروتوكول اللغوي: تمت ترجمة جميع المطالبات (prompts) احترافيًا إلى الإسبانية المكسيكية بواسطة متحدثين أصليين، وتمت مراجعتها بشكل مستقل لضمان دقة القصد العدائي دون أي تكيف ثقافي قد يغير ناقل الهجوم.
• جمع البيانات: تم جمع ما مجموعه 52,272 تقييمًا للضرر وأحكامًا ثنائية لنجاح الهجوم. قام تسعة من المقيمين المتحدثين الأصليين للإنجليزية وتسعة من المتحدثين الأصليين للإسبانية بتقييم استجابات النماذج على مقياس ليكرت الخماسي. كان المقيمون لا يعرفون هوية النموذج أو الوسيط المستخدم (blind to model identity and modality).
• التحليل الإحصائي: استخدم المؤلفون نماذج التأثيرات المختلطة البايزية (باستخدام brms في لغة R) مع تأثيرات عشوائية متقاطعة للمطالبات والمقيمين. سمح هذا النهج بتفكيك التباين الذي يعزى إلى النموذج، والوسائط، واللغة، وتفاعلاتهم، مما يتجنب عيوب التحليل التجميعي.

المساهمات الرئيسية

1. الدليل الآلي على الانفصال: توفر الدراسة دليلًا تجريبيًا على أن إخفاقات المحاذا_اللغوية والبصرية تعمل عبر آليات متميزة. يوضح المؤلفون أن تغيير لغة المطالبة من الإنجليزية إلى الإسبانية يسبب انفصالًا: تصبح تقنيات الهجوم اللغوية (مثل لعب الأدوار) أقل فعالية بشكل ملحوظ، بينما تصبح الهجمات متعددة الوسائط الصريحة بصريًا أكثر فعالية. يشير هذا إلى أن واجهة لغة المطالبة هي ميزة هيكلية للمحاذاة، وليست مجرد نتاج لتساهل المقيمين.
2. انعكاس الترتيب في تصنيفات السلامة: تثبت الورقة أن تصنيفات السلامة ليست قابلة للنقل عبر اللغات. فبينما يعد Pixtral Large النموذج الأكثر عرضة للخطر في الظروف الإنجليزية، يتجاوزه Qwen Omni ليصبح الأكثر عرضة للخطر في الظروف الإسبانية. لا يمكن استعادة هذا الانعكاس في الترتيب من خلال التصحيحات القياسية لدرجات ظروف الإنجليزية، مما يشير إلى أن المعايكير المقتصرة على الإنجليزية تخطئ بشكل جوهري في تمثيل ملف المخاطر للنماذج بالنسبة للمستخدمين العالميين.
3. الإطار المنهجي: يوضح المؤلفون فائدة إطار العمل البايزي للتأثيرات المختلطة في تقييم السلامة. من خلال حساب التباين على مستوى المطالبة والمقيم بشكل مشترك، يكشف هذا الأسلوب عن الهياكل العابرة للغات والوسائط التي قد يغفلها التحليل التجميعي. وقد أتاح المؤلفون نصوص التحليل والبيانات الخاصة بهم للجمهور لتسهيل هذا النهج في التقييمات المستقبلية.

النتائج

• التوهين/التضخيم اللغوي مقابل البصري: في الإسبانية (es-MX)، أظهرت الهجمات اللغوية توهينًا كبيرًا. على سبيل المثال، كانت هجمات لعب الأدوار أقل فعالية بشكل موثوق (نسبة الأرجحية OR = 0.45) مقارنة بالإنجليزية. وعلى العكس من ذلك، كانت تنفيذات الصور السامة أكثر فعالية بشكل موثوق في الإسبانية (نسبة الأرجحية OR = 1.58).
• نقاط الضعف الخاصة بكل نموذج:
  • Claude Sonnet 4.5: ظل النموذج الأكثر مقاومة عبر اللغتين والوسائط، مع تغيير طفيف في معدل نجاح الهجوم (ASR) بين الإنجليزية (11.3%) والإسبانية (11.4%).
  • Pixtral Large: أظهر أكبر انخفاض في الضعف عند الانتقال إلى الإسبانية (انخفض ASR من 50.5% في en-US إلى 32.0% في es-MX)، مما يشير إلى الاعتماد الكبير على المحاذاة اللغوية الخاصة بالإنجليزية.
  • Qwen Omni: أظهر نمطًا فريدًا حيث زاد الضعف في الإسبانية (ارتفع ASR من 31.2% في en-US إلى 35.6% في es-MX)، مما أدى إلى انعكاس الترتيب الملاحظ ضد Pixtral Large.
• الاتجاهات الجيلية: بمقارنة هذه النتائج بالجيل السابق من النماذج، انخفضت معدلات ASR المطلقة في ثلاث من أصل أربع عائلات نماذج. ومع ذلك، لم تتقلص الفجوات بين النماذج، واستمر الهيكل المعتمد على اللغة في ترتيبات الضعف.

الأهمية والادعاءات
تدعي الورقة أن أطر تقييم السلامة التي تعامل اللغة والوسائط كأبعاد مستقلة تخطئ بشكل أساسي في تحديد سطح الهجوم لنماذج MLLM المنتشرة عالميًا. والنتيجة المركزية هي أن "الانفصال" بين فعالية الهجوم اللغوي والبصري هو النتيجة المتوقعة لمحاذاة RLHF التي تمت معايرتها وفقًا للأنماط البلاغية للإنجليزية. وبناءً على ذلك، فإن المعايير المقتصرة على الإنجليزية لا تشخص سطح الهجوم للنماذج المنشورة لمجتمعات متنوعة؛ بل تشخص السطح فقط كما يراه منظور المحاذاة المشروط بالإنجليزية.

يجادل المؤلفون بأن مسارات السلامة قبل الإصدار يجب أن تتضمن "الفريق الأحمر" من المتحدثين الأصليين للغات الممثلة لمجتمع النشر المستهدف. ويخلصون إلى أن ترتيب النماذج حسب السلامة ليس خاصية ثابتة، بل هو ميزة هيكلية لممارسات المحاذاة الحالية التي تختلف باختلاف اللغة، مما يستلزم إعادة تصميم معايير تقييم السلامة لتشمل تفكيك التباين على مستوى العناصر بدلاً من مقاييس ASR التجميعية.