ملخص تقني: معدل نجاح هجوم التكوين الواحد ليس كافياً

بيان المشكلة

تعتمد الأدبيات الحالية حول هجمات كسر حماية النماذج اللغوية الكبيرة (LLM jailbreak attacks) بشكل أساسي على الإبلاغ عن معدل نجاح هجوم (ASR) واحد مستمد من تكوين محدود، وغالباً ما يكون مختاراً بشكل تعسفي، للمعايير (parameters). تفترض هذه الممارسة أن تكويناً واحداً "أفضل حالة" يمثل بشكل كافٍ عائلة الهجوم بأكملها. ومع ذلك، فإن هجمات كسر الحماية الحديثة هي عائلات معلمية (parameterized families) تتضمن متغيرات داخلية متعددة، مثل قوالب المطالبات النظامية (system prompt templates)، وجولات المحادثة، وتشتت التشفير (cipher dispersion)، ولقطات التعليم (teaching shots)، وبذور التحسين (optimization seeds).

تجادل الورقة بأن الإبلاغ عن أفضل تكوين واحد فقط هو أمر غير كافٍ جوهرياً لتوصيف مشهد التهديدات لأن:

1. توصيف غير مكتمل للتهديد: غالباً ما تنجح متغيرات مختلفة من نفس عائلة الهجوم على مجموعات فرعية مختلفة من المطالبات. قد يغفل التكوين الواحد جزءاً كبيراً من سطح الهجوم الإجمالي.
2. مقارنات مضللة: إن مقارنة الهجمات بناءً على أرقام ASR الرئيسية فقط هي مقارنة معيبة إذا كانت مساحات المتغيرات الأساسية تختلف في الحساسية. فالهجوم الذي يمتلك ASR رئيسياً مرتفعاً ولكن بتباين عالٍ (هش تجاه تغيير المعايير) لا يمكن مقارنته مباشرة بهجوم ذي ASR أقل ولكن بانسجام عالٍ.
3. ثغرات المدافعين: قد يفشل المدافعون الذين يركزون فقط على أفضل التكوينات المُبلغ عنها في معالجة الثغرات التي تكشفها متغيرات أخرى قابلة للتطبيق من نفس عائلة الهجوم.

المنهجية والمقاييس المقترحة

لمعالجة هذه الفجوات، يقترح المؤلفون الانتقال من الإبلاغ عن نقطة واحدة إلى الإبلاغ التوزيعي. وقد قدموا مقياسين جديدين لاستكمال الـ ASR الأفضل القياسي:

1. مقياس حساسية المتغير (VSM)

يقيس VSM مدى تمثيل أفضل ASR مُبلغ عنه لمتوسط الأداء عبر مساحة المتغيرات المختبرة. ويُعرف كالتالي:
$$VSM = \frac{\text{Best ASR} - \text{Mean ASR}}{\text{Best ASR}}$$

• النطاق: من 0 إلى ما يقرب من 1.
• التفسير: يشير VSM القريب من 0 إلى أن جميع المتغيرات تؤدي بشكل مماثل (الرقم الرئيسي ممثل). ويشير VSM القريب من 1 إلى أن الرقم الرئيسي يمثل قيمة متطرفة بشكل كبير، وأن الأداء النموذجي أقل بكثير.

2. تغطية الاتحاد (UC)

يقيس UC إجمالي كسر (fraction) المطالبات التي تستدعي استجابات غير آمنة عند أخذ اتحاد جميع التكوينات المختبرة. ويُعرف كالتالي:
$$UC = \frac{|\bigcup_{v \in V} S(v)|}{|P|}$$
حيث $V$ هي مساحة المتغيرات، و $S(v)$ هي مجموعة المطالبات التي تم كسر حمايتها بنجاح بواسطة المتغير $v$، و $P$ هي مجموعة المطالبات الكاملة التي تم تقييمها.

• التفسير: يلتقط UC إجمالي سطح الهجوم المتاح لمهاجم مستعد لتجربة متغيرات متعددة. وتشير الفجوة بين Best ASR و UC إلى مقدار التهديد الذي يتم إغفاله عند اختيار تكوين واحد.

عرف الإبلاغ

يقترح المؤلفون أن التقارير المستقبلية يجب أن توضح:

• ASR لكل متغير عبر مساحة متغيرات محددة بوضوح.
• Best ASR و Mean ASR.
• الـ VSM المحسوب.
• تغطية الاتحاد (UC) عبر مساحة المتغيرات الكاملة.

النتائج التجريبية

يتحقق المؤلفون من إطار عملهم باستخدام عائلتين من الهجمات (PAIR و Bijection Learning) عبر ثلاثة نماذج مستهدفة مفتوحة المصدر (Mistral-7B، و Qwen3-0.6B، و Llama-3.1-8B) باستخدام مجموعة فرعية طبقية مكونة من 100 مطالبة من مجموعة بيانات HarmBench.

دراسة الحالة 1: PAIR (التحسين التكراري التلقائي للمطالبة)

• الإعداد: اختبار 3 قوالب مطالبات نظامية مع 3 أعماق محادثة (9 تكوينات إجمالية) لكل نموذج.
• النتائج:
  • Mistral-7B: حقق أفضل تكوين واحد (تأييد السلطة، $K=3$) نسبة 69% ASR. ومع ذلك، كانت تغطية الاتحاد عبر جميع التكوينات الـ 9 هي 88%. وكان VSM هو 0.425، مما يشير إلى أن الرقم الرئيسي يبالغ في تقدير الأداء النموذجي بشكل كبير.
  • Qwen3-0.6B: بلغ أفضل ASR نسبة 75%، بينما وصلت تغطية الاتحاد إلى 93%. وكان VSM هو 0.312.
  • الاستنتاج: القوالب مكملة لبعضها البعض؛ حيث تكسر القوالب المختلفة مطالبات مختلفة. الاعتماد على أفضل قالب يؤدي إلى فقدان 19-24 نقطة مئوية من سطح الهجوم.

دراسة الحالة 2: تعلم التباين (Bijection Learning)

• الإعداد: اختبار 6 مستويات تشتت مع 6 أعداد من لقطات التعليم (36 تكويناً إجمالياً) لكل نموذج.
• النتائج:
  • الحساسية الشديدة: كانت قيم VSM مرتفعة باستمرار (0.80–0.86) عبر جميع النماذج، مما يشير إلى أن أفضل تكوين هو قيمة متطرفة شديدة مقارنة بالمتوسط.
  • Mistral-7B: بلغ أفضل ASR نسبة 81%، بينما وصلت تغطية الاتحاد إلى 100%. تم كسر حماية كل مطالبة تم تقييمها بواسطة تكوين واحد على الأقل من الـ 36 تكويناً، رغم أن أفضل متغير واحد غطى 81% فقط.
  • Llama-3.1-8B: بلغ أفضل ASR نسبة 17%، بينما كانت تغطية الاتحاد 43%.
  • الاستنتاج: الإبلاغ عن التكوين الواحد يقلل في آن واحد من إجمالي الضعف (UC) ويبالغ في تقدير اتساق الهجوم (ارتفاع VSM).

المساهمات الرئيسية

1. تحديد فشل الإبلاغ: تحدد الورقة أن ممارسات التقييم الحالية تفشل في الكشف عما إذا كانت قيم ASR المُبلغ عنها ممثلة، أو هشة، أو غير مكتملة فيما يتعلق بتغطية المطالبات.
2. اقتراح معايير توزيعية: تجادل الورقة بضرية معيار جديد يتطلب الإبلاغ عن مساحات المتغيرات، و ASR لكل متغير، و VSM، و UC.
3. الأدلة التجريبية: من خلال دراسات حالة PAIR و Bijection، تُظهر الورقة أن اختيار المتغير يغير جذرياً كلاً من ASR المقاس وتغطية المطالبات، وأن المتغيرات المختلفة تكشف عن مجموعات متباعدة من الثغرات.
4. فائدة المدافعين والباحثين: تشرح هذه المقاييس كيف تميز بين أداء ذروة التكوين الواحد والأداء المتوسط، مما يساعد المدافعين في تحديد أولويات الرقع البرمجية (patches) والباحثين في إجراء مقارنات عادلة بين الأوراق البحثية.

الأهمية والادعاءات

تدعي الورقة أن الإبلاغ عن ASR الخاص بالتكوين الواحد ليس "خاطئاً" بل هو غير مكتمل. هي لا تجادل بأن الأرقام الحالية غير صحيحة، بل تجادل بأنها تفتقر إلى السياق الضروري (التوزيع والمعلومات المتعلقة بتداخل المطالبات) لتفسيرها بشكل صحيح.

تكمن أهمية هذا العمل في قدرته على:

• تحسين الدفاع: من خلال تسليط الضوء على "فجوة الاتحاد-الأفضل" (Union–Best gap)، يمكن للمدافعين إعطاء الأولوية للرقع البرمجية للمطالبات الضعيفة أمام أي متغير، بدلاً من الاكتفاء بأفضل متغير معروف.
• توحيد التقييم: من خلال تقديم VSM و UC، يمكن للمجتمع الانتقال من المقارنات القائمة على العناوين الرئيسية إلى توصيف أكثر قوة لتهديدات كسر الحماية.
• كشف التهديدات الخفية: تكشف المقاييس أن إجمالي سطح الهجوم المتاح لأي هجوم يمكن أن يكون أكبر بكثير (بمقدار 18-33 نقطة مئوية في التجارب) مما يوحي به أفضل تكوين واحد له.

يخلص المؤلفون إلى أن الإبلاغ التوزيعي، بما في ذلك VSM و UC، يجب أن يصبح الحد الأدنى الجديد القياسي لتقييم هجمات كسر الحماية المعلمية، حيث يتطلب ذلك فقط الإبلاء الكامل للبيانات التي يتم إنتاجها بالفعل أثناء التجارب القياسية.