Analysis of LLMs Against Prompt Injection and Jailbreak Attacks

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحليل النماذج اللغوية الكبيرة (LLMs) ضد هجمات حقن الأوامر (Prompt Injection) واختراق الحماية (Jailbreak)."

1. بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في البيئات محدودة الموارد (مثل الأجهزة الطرفية، المؤسسات الأكاديمية، والمؤسسات الصغيرة) باستخدام النماذج مفتوحة المصالم. وبينما تتيح هندسة الأوامر لهذه المؤسسات اعتماد النماذج اللغوية الكبيرة بكفاءة، إلا أن هذه النماذج تظل عرضة بشكل كبير لـ هجمات حقن الأوامر (Prompt Injection) و اختراق الحماية (Jailbreak).

تتمثل المشكلة الجوهرية التي تعالجها الدراسة في نقص الأمن القوي للنماذج اللغوية الكبيرة مفتوحة المصدر ذات الحجم الصغير إلى المتوسط (1B–7B بارامتر). فخلافًا للنماذج الضخمة المملوكة لشركات، غالبًا ما لا تستطيع هذه النماذج الأصغر تحمل التكلفة الحسابية لإعادة التدريب أو الضبط الدقيق (Fine-tuning) لأغراض أمنية. وبناءً على ذلك، هناك حاجة ماسة لتقييم نقاط ضعفها المتأصلة وتقييم فعالية آليات الدفاع خفيفة الوزن أثناء الاستدلال (Inference-time) التي تعمل دون تعديل أوزان النموذج.

2. المنهجية

2.1 النماذج التي تم تقييمها

اختبرت الدراسة تجريبيًا 10 متغيرات عبر 6 عائلات من النماذج مفتوحة المصدر، تتراوح من 1 مليار إلى 7 مليارات بارامتر:

• Llama 3.2: 1B, 3B
• Mistral: 7B
• Phi-3: 3.8B
• Qwen 3: 1.7B, 4B
• Gemma 3: 1B, 4B
• DeepSeek-R1: 1.5B, 7B

2.2 بناء مجموعة بيانات الهجوم

قام المؤلفون بتنسيق مجموعة بيانات متنوعة ومصممة يدويًا تجمع بين الأوامر العدائية من العالم الحقيقي من:

• المجتمعات عبر الإنترنت (Reddit, Discord).
• المستودعات مفتوحة المصدر (GitHub).
• المعايير الأكاديمية (HarmBench, JailbreakBench).
• المتغيرات المصاغة يدويًا.

تضمنت مجموعة البيانات 94 سيناريو لحقن الأوامر و 73 سيناريو لاختراق الحماية (تم توسيعها إلى 74 لكل نموذج في مرحلة الدفاع)، مصنفة إلى:

1. الإجابة على الأسئلة: نوايا عدائية مخفية في استعلامات تبدو بريئة.
2. الامتثال الأساسي: اختبار الالتزام بالتعليمات الصريحة.
3. تجاوز التعليمات: الطلب الصريح من النموذج تجاهل القواعد.
4. اختراق الحماية عبر لعب الأدوار: استخدام شخصيات خيالية لتخفيف القيود الأمنية.
5. الأوامر طويلة التنسيق / متعددة الخطوات: سلاسل استدلال ممتدة لتصعيد النوايا الخبيثة.

2.3 إطار التقييم

• تقييم خط الأساس (Baseline): تم اختبار النماذج بدون دفاعات لتحديد معدلات الضعف.
• تقييم الدفاع: تم تطبيق خمسة دفاعات خفيفة الوزن تعمل أثناء الاستدلال.
• آلية الحكم: تم تقييم الاستجابات باستخدام نهج هجين:
  • حكم يعتمد على نموذج لغوي (LLM-based Judge): عمل نموذج لغوي منفصل (DeepSeek-R1) كحكم أمني لتصنيف المخرجات كـ "عرضة للاختراق" أو "غير عرضة للاختراق" بناءً على الامتثال الدلالي للنوايا العدائية.
  • التحقق البشري: تم التحقق من مجموعة فرعية من الأحكام يدويًا لضمان الدقة وتدقيق معايير الحكم.
• أنماط الفشل: تتبعت الدراسة تحديدًا "عدم الاستجابة الصامتة" (Silent Non-Responsiveness) - حيث ترفض النماذج إنتاج أي مخرجات بسبب البوابات الداخلية - كنمط فشل متميز عن عمليات الاختراق الناجحة.

2.4 آليات الدفاع المختبرة

تم تقييم خمس استراتيجيات أثناء الاستدلال:

1. تصفية المدخلات (Input Filtering): حظر الكلمات المفتاحية والمطابقة باستخدام التعبيرات النمطية (Pre-processing).
2. الفحص الذاتي (Self-Examination): يقوم نموذج ثانوي (أو نفس النموذج) بمراجعة المخرجات قبل إصدارها (Post-processing).
3. دفاع أمر النظام (System Prompt Defense): تعزيز تعليمات النظام لفرض التسلسل الهرمي ونماذج الرفض.
4. الدفاع الشعاعي (Vector Defense): مطابقة التشابه القائم على التضمين (Embedding) مقابل أنماط الهجوم المعروفة.
5. دفاع التصويت (Voting Defense): توليد استجابات متعددة واختيار الأكثر أمانًا بناءً على الإجماع.

3. المساهمات الرئيسية

1. تقييم تجريبي شامل: دراسة واسعة النطاق لـ 10 نماذج لغوية كبيرة مفتوحة المصدر ضد 94 سيناريو لحقن الأوامر و 73 سيناريو لاختراق الحماية.
2. معايرة الدفاعات: تقييم منهجي لخمسة دفاعات أثناء الاستدلال، مما يوفر ترتيبًا لفعاليتها دون الحاجة لإعادة التدريب.
3. تحديد حالات الفشل الصامتة: تسليط الضوء على "عدم الاستجابة الصامتة" كنمط فشل حرج وغير مستكشف، حيث تحجب النماذج المخرجات تمامًا، مما يقلل من قابلية الاستخدام والقدرة على تصحيح الأخطاء.
4. إطلاق مجموعة البيانات: إصدار مجموعة بيانات الأوامر العدائية المنسقة لدعم البحث القابل لإعادة الإنتاج في أمن النماذج اللغوية الكبيرة.
5. رؤية حول حجم النموذج: إثبات أن متانة السلامة ليست رتيبة (non-monotonic) مع حجم النموذج؛ فالنماذج الأكبر ليست أكثر أمانًا بطبيعتها إذا اختلفت استراتيجيات المحاذاة.

4. النتائج الرئيسية

4.1 ضعف خط الأساس (بدون دفاعات)

• ضعيفة للغاية: النماذج الصغيرة مثل Qwen 1.7B (ضعيفة بنسبة 71.3%) و Gemma 1B (ضعيفة بنسبة 62.8%) فشلت بشكل منهجي.
• متوسطة الضعف: أظهرت نماذج DeepSeek-R1 1.5B (34%) و Llama 3.2 1B (30.9%) نتائج مختلطة.
• النماذج القوية: حققت نماذج Phi-3 (3.8B)، Mistral (7B)، DeepSeek-R1 (7B)، Llama 3.2 (3B)، Qwen 4B، و Gemma 4B نسبة 0% ضعف في اختبار حقن الأوامر.
• الفشل الصامت: النماذج التي سجلت "0% ضعف" (مثل Phi-3 و Mistral) كانت تعيد باستمرار استجابات فارغة أو لا تقدم رسائل رفض، مما يشير إلى وجود بوابات سلامة داخلية عدوانية بدلاً من المحاذاة الحقيقية.

4.2 أداء اختراق الحماية (Jailbreak)

• كان Gemma 3 (1B) هو الأكثر عرضة للاختراق، حيث فشل في حوالي 67% من أوامر اختراق الحماية.
• كان DeepSeek-R1 (1.5B) هو الأكثر قوة بين النماذج الصغيرة (ضعف بنسبة ~1.4% فقط).
• فعالية الهجوم: كانت أوامر "Horselock" من نوع تعدد الأدوار وتجاوز القواعد هي الأكثر فعالية، بينما وُجد أن بعض اختراقات Reddit الشهيرة قد أصبحت قديمة.

4.3 فعالية الدفاع

• الفحص الذاتي (Self-Defence): كان الدفاع الأكثر فعالية باستمرار، حيث قلل الضعف بنسبة تزيد عن 50% مقارلة بتصفية المدخلات. وقد حقق 0% ضعف لنموذجي Qwen 4B و DeepSeek-R1 1.5B.
• تصفية المدخلات (Input Filtering): كان الدفاع الأقل فعالية. فقد فشل غالبًا أمام الأوامر الطويلة والثقيلة في الاستدلال، وفي بعض الحالات، زاد من احتمالية الضعف مقارنة بخط الأساس بسبب النتائج السلبية الخاطئة.
• دفاعات أمر النظام والدفاع الشعاعي: قدمت تحسينات متوسطة ولكنها كانت غير متسقة عبر أحجام النماذج المختلفة.
• دفاع التصويت: حسن من المتانة مقارنة بتصفية المدخلات ولكنه فشل في التفوق على الفحص الذاتي وتسبب في تكاليف حسابية عالية.

4.4 ملاحظات نقدية

• حجم النموذج مقابل السلامة: السلامة لا تتوسع خطيًا مع عدد البارامترات. نموذج 4B (Qwen) كان آمنًا تمامًا، بينما كان متغيره 1.7B ضعيفًا للغاية. استراتيجية المحاذاة وتصميم الرفض أكثر أهمية من الحجم.
• الهجمات طويلة المدى: عانت جميع الدفاعات بشكل كبير أمام الأوامر الطويلة والغنية بالسياق ومتعددة الخطوات.
• الداخلي مقابل الخارجي: أثبتت آليات الرفض الجوهرية (الفحص الذاتي) تفوقها على التصفية السطحية الخارجية.

5. الأهمية والخاتمة

تقدم هذه الورقة دليلاً حاسمًا على أن المؤسسات محدودة الموارد لا يمكنها الاعتماد فقط على التصفية الخارجية (مثل حظر الكلمات المفتاحية) لتأمين النماذج اللغوية الكبيرة مفتوحة المصدر. وتخلص الدراسة إلى ما يلي:

1. الدفاعات أثناء الاستدلال ضرورية ولكنها غير كافية ضد اختراقات الحماية المتطورة وطويلة المدى.
2. الفحص الذاتي (Self-Examination) هو حاليًا استراتيجية الدفاع الأكثر جدوى وخفة في الوزن.
3. عدم الاستجابة الصامتة يمثل خطرًا كبيرًا على قابلية الاستخدام ويجب معالجته في تصميم السلامة.
4. يجب أن يركز أبحاث الأمن المستقبلية على دمج استدلال السلامة مباشرة في بنيات النماذج بدلاً من الاعتماد على التصفية اللاحقة، حيث يسهل تجاوز الدفاعات الخارجية بواسطة الأوامر العدائية المتقدمة.

تؤكد الدراسة على الحاجة الملحة لاستراتيجيات محاذاة أفضل في النماذج الأصغر وتطوير آليات سلامة جوهرية قوية لا تتطلب إعادة تدريب مكلفة.