ملخص تقني: المتظاهر العظيم: مشكلة العشوائية في كسر حماية النماذج اللغوية الكبيرة (LLM Jailbreak)

1. بيان المشكلة

يُعد المعيار الحالي لتقييم سلامة النماذج اللغوية الكبيرة (LLM)، وهو معدل نجاح الهجوم (ASR)، معيبًا بشكل جوهري لأنه يعامل ASR كخاصية ثابتة للهجوم. يجادل المؤلفون بأن ASR هو في الواقع متغير عشوائي يتأثر بشدة بمصدرين مستقلين من العشوائية يتم تجاهلهما إلى حد كبير في الأدبيات الحالية:

1. عشوائية التوليد (Generation Stochasticity): معظم هجمات كسر الحماية (مثل Best-of-N وCrescendo) هي عمليات عشوائية بطبيعتها. فهي تولد عدة مطالبات مرشحة وتختار واحدة بناءً على تجربة ناجحة واحدة. وتؤدي عملية تشغيل واحدة إلى إنتاج مجموعة مختلفة من المرشحين اعتمادًا على البذرة العشوائية (random seed)، مما يؤدي إلى نتائج ASR متغيرة.
2. عشوائية التقييم (Evaluation Stochasticity): القضاة الآليون (مثل Llama-Guard) الذين يصنفون الاستجابات على أنها "ضارة" أو "آمنة" هم أيضًا نماذج عشوائية عند العمل بدرجة حرارة $T > 0$. فقد تُصنف نفس استجابة النموذج على أنها ضارة في تقييم ما، وآمنة في تقييم آخر.

بناءً على ذلك، فإن أرقام ASR المبلغ عنها يتم تضخيمها بشكل منهجي وغير قابلة للمقارنة بين الأوراق البحثية. فالمطالبة التي تنجح في تجربة واحدة من أصل 10 محاولات غالبًا ما تُعامل بشكل متطابق مع مطالبة تنجح في 10 من أصل 10، مما يخفي حقيقة أن الأولى قد تكون مجرد "سحب محظوظ" وليست ثغرة حقيقية.

2. المنهجية

يقترح البحث دراسة تجريبية منهجية لقياس تأثير هذه العوامل العشوائية.

الإعداد التجريبي

• الهجمات: تم تقييم أربعة هجمات "الصندوق الأسود" (black-box): Best-of-N (BoN)، وPAIR، وTAP، وCrescendo.
• النماذج المستهدفة: خمسة نماذج مضبوطة التعليمات (instruction-tuned) تتراوح أحجامها من 1 مليار إلى 70 مليار معلمة عبر ثلاث عائلات (Meta Llama-3، وGoogle Gemma-3، وIBM Granite).
• القضاة: جداران يعتمدان على النماذج اللغوية الكبيرة (Llama-Guard-3-1B وLlama-Guard-3-8B).
• المعلمات (Parameters): تدرس الدراسة ستة معلمات عشوائية عبر مسارات التوليد والتقييم:
  • درجات الحرارة (Temperatures): توليد النموذج المستهدف ($T_{gen}$)، وتقييم النموذج المستهدف ($T_{eval}$)، وتوليد القاضي ($\theta_{gen}$)، وتقييم القاضي ($\theta_{eval}$).
  • عتبات الاتساق (Consistency Thresholds): عدد التقييمات الناجحة المتتالية المطلوبة ($k_{gen}$ للتوليد، و$k_{eval}$ للتقييم).
  • البذور (Seeds): بذور عشوائية مستقلة متعددة ($S=5$) لقياس التباين.

الأطر المقترحة

لمعالجة عدم استقرار ASR، يقدم المؤلفون الاتساق لنجاح الهجوم (CAS) وإطارين مرتبطين به:

1. مقياس CAS: مؤشر ثنائي لكل مطالبة. يُعتبر كسر الحماية ناجحًا فقط إذا أعطت جميع التقييمات $k$ المستقلة حكمًا ضارًا.

   • يتوافق ASR القياسي مع $k=1$.
   • المقياس على مستوى مجموعة البيانات هو $ASR(k_{eval})$، وهو كسر المطالبات التي تحقق $CAS(r, k_{eval}) = 1$.

2. إطار CAS-gen (إطار توليد الهجوم):

   • بدلاً من قبول مطالبة كسر الحماية بعد تجربة ناجحة واحدة ($k_{gen}=1$)، يجب أن يستثير الهجوم استجابة ضارة باستمرار عبر $k_{gen}$ من عمليات التشغيل المستقلة.
   • هذا يفلتر "النجاحات بالصدفة" من المصدر، مما يضمن أن مجموعة بيانات الهجوم تحتوي فقط على مطالبات قوية.

3. إطار CAS-eval (إطار تقييم الهجوم):

   • يتم تقييم مطالبة كسر حماية ثابتة $k_{eval}$ من المرات. وتُصنف ككسر حماية متسق فقط إذا أعادت جميع استدعاءات القاضي $k_{eval}$ حكمًا ضارًا.
   • هذا يقلل من النتائج الإيجابية الكاذبة الناتجة عن عدم حتمية القاضي.

3. النتائج الرئيسية

يكشف التقييم أن المعلمات العشوائية يمكن أن تغير ASR المبلغ عنه بهوامش هائلة (تصل إلى 54 نقطة مئوية)، مما يجعل المقارنات بين الأوراق البحثية غير صالحة دون توحيد المعايير.

• تأثير عتبة التقييم ($k_{eval}$): الانتقال من $k_{eval}=1$ إلى $k_{eval}=10$ يقلل ASR بنسبة 12 إلى 24 نقطة مئوية عبر جميع التكوينات. يشير هذا إلى أن التقييم أحادي المحاولة القياسي يبالغ بشكل كبير في نجاح الهجوم.
• تأثير درجة حرارة القاضي ($\theta_{eval}$): هذه هي المعلمة الأكثر تقلبًا. رفع $\theta_{eval}$ من 0.0 إلى 1.0 يمكن أن يؤدي إلى انهيار ASR بما يصل إلى 54 نقطة مئوية (على سبيل المثال، انخفاض Crescendo من 86% إلى 32%). عند $\theta_{eval}=0$، يصبح ASR مستقرًا تمامًا.
• تأثير ميزانية التوليد ($k_{gen}$): زيادة $k_{gen}$ من 1 إلى 10 ترفع ASR المبلغ عنه بنسبة 12 إلى 30 نقطة مئوية. الفلتر الضعيف ($k_{gen}=1$) يسمح بدخول مطالبات حدية تتدهور بشدة تحت التقييم المتكرر.
• تأثير درجة حرارة النموذج المستهدف ($T_{eval}$): تغيير $T_{eval}$ من 0.0 إلى 1.0 يغير ASR بما لا يتجاوز 18 نقطة مئوية دون اتجاه منهجي؛ وهو لا يؤثر على ترتيب الهجمات النسبي.
• تأثير بذرة الهجوم (Attack Seed): الانتشار بين بذرة وأخرى متواضع (حتى 20 نقطة مئوية) ولكنه قد يكون أعلى لتكوينات معينة (مثل 50 نقطة لـ BoN مع LG-8B عند $k_{eval}=10$).

4. المساهمات والأهمية

يقدم البحث ثلاث مساهمات رئيسية:

1. دراسة تجريبية منهجية: أول تحليل شامل لكل من عشوائية التوليد والتقييم عبر هجمات ونماذج وقضاة متعددين، مع تحديد معلمات محددة تقود تباين ASR.
2. مقياس وأطر عمل جديدة: تقديم CAS (الاتساق لنجاح الهجوم) وأطر عمل CAS-gen/CAS-eval. تسمح هذه الأدوات للباحثين بتصفية السحبات المحظوظة وضجيج القاضي، مما ينتج تقديرات ASR أكثر موثوقية وقابلية للتكرار.
3. الحد الأدنى لمعيار الإبلاغ: يقترح المؤلفون قائمة مراجعة للأبحان المستقبلية لضمان القابلية للمقارنة. كحد أدنى، يجب أن تفصح الأوراق عن:
   • $k_{gen}$ (عتبة اتساق التوليد)
   • $k_{eval}$ (عتبة اتساق التقييم)
   • $\theta_{eval}$ (درجة حرارة تقييم القاضي)
   • (بالنسبة لهجمات BoN) $\theta_{gen}$ (درجة حرارة بحث القاضي)

الأهمية:
يجادل البحث بأن الممارسة الحالية للإبلاغ عن ASR كتقدير نقطي دون التحكم في العشوائية هي ممارسة "معيبة جوهريًا". ومن خلال تجاهل هذه المتغيرات، تخلق الجماعة العلمية سيناريو "المتظاهر العظيم" حيث غالبًا ما تكون درجات ASR العالية ناتجة عن البذور العشوائية وضجيج القاضي بدلاً من كونها ثغرات حقيقية. تهدف الأطر ومعايير الإبلاغ المقترحة إلى استعادة الصرامة الإحصائية في اختبارات سلامة LLM، لضمان أن نجاح الهجوم المبلغ عنه يعكس فعالية الهجوم الحقيقية والقابلة للتكرار. ويشير المؤلفون إلى أن نتائجهم تستند إلى نماذج مفتوحة الأوزان، وأن توسيع هذا التحليل ليشمل النماذج المملوكة لشركات والتي تخضع لضبط مكثف (RLHF) يظل سؤالًا تجريبيًا مفتوحًا بسبب قيود واجهة برمجة التطبيقات (API) وعدم الشفافية.