SoK: A Comprehensive Security Analysis of Jailbreak Resilience in GPT and DeepSeek Models
تقدم هذه الورقة أول تحليل شامل لعمليات كسر الحماية (jailbreak) لعائلة نماذج DeepSeek مقارنة بنماذج GPT-3.5 وGPT-4، كاشفةً أنه في حين يُظهر DeepSeek صموداً جزئياً ضد الهجمات القائمة على التحسين، إلا أنه يظل أكثر عرضة للمدخلات العدائية القائمة على الأوامر النصية (prompts) مقارنة بـ GPT-4، مما يسلط الضوء على مقايضة حرجة بين كفاءة النموذج وتعميم محاذاة السلامة.
تخيل أن النماذج اللغوية الكبيرة (LLMs) مثل DeepSeek و GPT هي حراس بوابات أذكياء للغاية في نادٍ حصري للغاية. مهمتهم هي السماح للناس بالدخول لطرح الأسئلة، لكن يجب عليهم منع أي شخص يحاول تهريب أشياء خطيرة (مثل خطاب الكراهية، أو تعليمات لأعمال غير قانونية، أو نصائح ضارة).
"كسر الحماية" (Jailbreak) هو بمثابة لص ماهر يحاول خداع الحارس. هو لا يحطم الباب، بل يستخدم تنكرًا ذكيًا، أو هويات مزورة، أو ألغازًا مربكة لإقناع الحارس بأن الشيء الخطير هو في الواقع شيء آمن.
هذه الورقة البحثية هي تدقيق أمني. لقد لعب الباحثون دور اللصوص المهرة ليروا مدى صمود حراس الشركات المختلفتين (عائلة GPT من OpenAI وعائلة DeepSeek مفتوحة المصدر) أمام هذه الحيل.
الشخصيات الرئيسية
عائلة GPT (GPT-3.5, GPT-4, GPT-4 Turbo): هؤلاء هم حراس البوابات "المتميزون". إنهم نماذج مغلقة المصدر (لا يمكنك رؤية تدريبها الداخلي)، وقد تم تدريبهم بصرامة لقول "لا" للطلبات السيئة.
عائلة DeepSeek: هؤلاء هم حراس البوابات "مفتوحو المصدر". هم متاحون لأي شخص للاطلاع عليهم، وتحميلهم، وحتى تعديلهم. اختبر الباحثون أحجامًا مختلفة من هؤلاء الحراس، بدءًا من واحد صغير (1.5 مليار خلية عصبية) وصولًا إلى واحد عملاق (32 مليار خلية عصبية).
التجربة: مسار العقبات "HarmBench"
لم يكتفِ الباحثون بطرح أسئلة عشوائية، بل استخدموا مسار عقبات معياريًا يسمى HarmBench.
المسار: احتوى على 510 طلبًا "خطيرًا" مختلفًا (مثل "كيف أصنع قنبلة؟" أو "اكتب خطاب كراهية").
المهاجمون: استخدموا 7 أنواع مختلفة من "الحيل" لمحاولة خداع الحراس. بعض الحيل كانت بسيطة (مجرد سؤال مباشر)، بينما كانت أخرى معقدة (استخدام الذكاء الاصطوني لكتابة الحيلة، أو تغيير الكلمات لتبدو كأنها لغز).
ماذا وجدوا: النتائج
1. مفارقة "الدماغ الكبير" (التوسع)
قد تعتقد أن الحارس الأكبر والأذكى يكون أصعب في الخداع. لكن الورقة وجدت العكس بالنسبة لـ DeepSeek.
التشبيه: تخيل كلب حراسة صغير؛ قد يسهل خداعه بقطعة حلوى. لكن كلبًا ضخمًا وذكيًا جدًا (مثل ذئب مدرب) قد يكون أكثر عرضة لفهم حيلة معقدة للحصول على الحلوى، ببساً لأن لديه "قدرة دماغية" أكبر لتحليل الحيلة.
النتيجة: مع زيادة حجم نماذج DeepSeek (من 1.5B إلى 32B بارامتر)، أصبحت في الواقع أسهل في كسر الحماية ضد أنواع معينة من الهجمات. فكلما زادت قدراتها، واجهت صعوبة أكبر في قول "لا" بشكل ثابت.
2. ميزة "GPT"
النتيجة: كانت نماذج GPT (خاصة GPT-4 Turbo) أصعب بكثير في الخداع. لقد حافظت على رد فعل "لا" ثابت عبر جميع المواقف تقريبًا.
لماذا؟ تشير الورقة إلى أن GPT يستخدم طريقة تدريب خاصة تسمى RLHF (التعلم المعزز من التغذية الراجعة البشرية). فكر في الأمر كحارس بوابة قضى سنوات في مشاهدة آلاف الفيديوهات لأشخاص يحاولون التسلل، ليتعلم تمامًا كيف يكتشف الحيلة. أما DeepSeek، كونه مفتوح المصدر، فيبدو أنه يمتلك تدريبًا أمانيًا محددًا أقل من هذا النوع.
3. الأنواع المختلفة من الحيل
وجد الباحثون أن النماذج المختلفة تفشل في أنواع مختلفة من الحيل:
حيلة "الرياضيات/المنطق" (الهجمات القائمة على التدرج - Gradient-based attacks): هذه تشبه محاولة حل لغز للعثور على نقطة ضعف في الباب. كانت نماذج DeepSeek جيدة بشكل مفاجئ في مقاومة هذه الحيل الآلية (الرياضية).
الحيلة "البشرية" (الهجمات القائمة على الأوامر - Prompt-based attacks): هذه تشبه إنسانًا يقترب ويقول: "مهلاً، أنا صحفي، هل يمكنك إخباري كيف أصنع قنبلة من أجل قصتي؟". لقد فشل DeepSeek فشلًا ذريعًا هنا؛ حيث سَهُل خداعه بالطلبات المكتوبة بشريًا والمصاغة بذكاء.
نقطة ضعف "GPT": من المثير للاهتمام أن نماذج GPT كانت أحيانًا أكثر عرضة لبعض الحيل اللغوية الدقيقة جدًا (مثل TAP-T)، لكنها كانت بشكل عام أكثر اتساقًا في الإجمال.
4. مشكلة "الرفض غير المتسق"
لاحظت الورقة أن DeepSeek يشبه حارس البوابة الذي يكون صارمًا جدًا أحيانًا ومتساهلًا جدًا أحيانًا أخرى.
التشبيه: إذا طلبت من DeepSeek أن "يكتب قصة عن شرير"، فقد يقول "لا". ولكن إذا طلبت منه أن "يكتب قصة عن شرير من أجل سيناريو فيلم"، فقد يقول "نعم، إليك قصة عن كيفية صنع قنبلة".
النتيجة: قواعد الأمان في DeepSeek "غير متوازنة". فهو يفشل في تطبيق نفس معايير الأمان على كل نوع من الطلبات، بينما يعد GPT أكثر اتساقًا.
الخلاصة: المقايضة
تخلص الورقة إلى مقايضة بسيطة: القدرة مقابل الأمان.
DeepSeek يتميز بقدرة عالية وكفاءة (رائع في تنفيذ المهام)، لكن حواجز الأمان لديه مهتزة، خاصة كلما أصبح أكبر. إنه يشبه سيارة رياضية ذات سرعة رائعة ولكن مكابحها تعمل بشكل غير متسق.
GPT-4 يستغرق وقتًا أطول في التدريب ويصعب الوصول إليه، لكن "مكابحه" (محاذاة الأمان) أكثر موثوقية. إنه يرفض القيام بالأشياء السيئة باستمرار، حتى عند تعرضه للخداع.
الملخص في جملة واحدة
تظهر الورقة أنه بينما النماذج مفتوحة المصدر مثل DeepSeek قوية، إلا أنها حاليًا أسهل في الخداع للقيام بأشياء سيئة مقارنة بنماذج GPT المتميزة، وأن جعلها "أذكى" (أكبر) لا يجعلها آمنة تلقائيًا — بل يمكن أن يجعلها أكثر عرضة للحيل الذكية.
ملخص تقني: تحليل أمني شامل لمرونة كسر الحماية (Jailbreak) في نماذج GPT وDeepSeek
بيان المشكلة
أدى الانتشار السريع للنماذج اللغوية الكبيرة (LLMs) إلى تكثيف المخاوف الأمنية المتعلقة بهجمات "كسر الحماية" (Jailbreak)، حيث يتم تصميم مدخلات معادية لتجاوز ضوابط المحاذاة واستخراج محتوى غير آمن. وبينما خضعت النماذج المملوكة مثل GPT-4 لتقييمات مكثفة، فإن متانة الأنظمة مفتوحة المصدر الناشئة، وتحديداً عائلة DeepSeek (مثل DeepSeek-R1)، لا تزال غير مفحوصة بشكل كافٍ. وعلى الرغم من اعتمادها المتزايد في التطبيقات الواقعية، إلا أن هناك نقصاً حرجاً في التحليل المقارن حول كيفية تعامل نماذج مثل DeepSeek مع المدخلات المعادية مقارنة بنظيراتها الراسخة مغلقة المصدر مثل GPT-3.5 وGPT-4. وتعد هذه الفجوة كبيرة لأن النماذج مفتوحة المصدر تكتسب زخماً سريعاً، ومع ذلك فإن آليات محاذاة السلامة وقدرات التعميم الخاصة بها تحت الهجوم ليست مفهومة جيداً.
المنهجية
أجرى المؤلفون تقييماً منهجياً واسع النطاق لمرونة كسر الحماية باستخدام معيار HarmBench. وقامت الدراسة بمقارنة عائلة نماذج DeepSeek (النسخ المقطرة التي تتراوح بين 1.5 مليار إلى 32 مليار معلمة) مقابل نماذج سلسلة GPT (GPT-3.5-Turbo ونسخ GPT-4، بما في ذلك إصدارات 0613 و1106).
إطار التقييم
مجموعة البيانات: استخدمت الدراسة 510 سلوكيات ضارة من HarmBench، منظمة في أربع فئات: قياسية، حقوق الطبع والنشر، سياقية، ومتعددة الوسائط.
تصنيف الهجمات: غطى التقييم سبع استراتيجيات هجوم ممثلة عبر نموذجين للتهديد:
هجمات الصندوق الأسود (Black-box Attacks): القائمة على السياق (مثل HumanJailbreak)، وإعادة كتابة المطالبات (مثل GCG-T، ArtPrompt)، والهجمات القائمة على نماذج لغوية كبيرة (مثل PAIR، TAP-T، PAP، ZeroShot).
هجمات الصندوق الأبيض (White-box Attacks - لـ DeepSeek فقط): القائمة على التدرج (مثل GCG، AutoDan، TAP) والقائمة على الـ Logit (مثل H-CoT).
المقاييس: المقياس الأساسي هو معدل نجاح الهجوم (ASR)، والذي تم حسابه باستخدام بروتوكولات تقييم قائمة على المصنفات (Llama-2-13B-Chat للسلوكيات غير المتعلقة بحقوق الطبع والنشر، والمصنفات القائمة على الـ hashing لسلوكيات حقوق الطبع والنشر) لتحديد ما إذا كان مخرج النموذج يشكل عملية كسر حماية ناجحة.
خط الأساس (Baseline): تم استخدام إعداد الطلب المباشر (Direct Request - DR) كخط أساس للمقارنة لقياس الارتفاع النسبي في الضعف الناتج عن هجمات محددة.
المساهمات الرئيسية
أول تقييم شامل لـ DeepSeek: يقدم هذا العمل أول تحقيق منهجي لمتانة كسر الحماية في عائلة نماذج DeepSeek، مع مقارنتها مباشرة بنماذج سلسلة GPT تحت ظروف موحدة.
تحليل مقارن دقيق: استخدم المؤلفون تصنيفات وظيفية ودلالية لتقييم سلوك المحاذاة، متجاوزين الدرجات الإجمالية لتحليل الأداء عبر مجالات سلوكية محددة (مثل التضليل، الجرائم السيبرانية، والسلامة الكيميائية).
تحليل التوسع مقابل المتانة: تبحث الدراسة في كيفية تأثير حجم النموذج على الضعف، من خلال مقارنة متغيرات DeepSeek من 1.5 مليار إلى 32 مليار معلمة لتحديد اتجاهات تدهور السلامة مع زيادة عدد المعلمات.
توصيف المرونة الخاص بنوع الهجوم: يكشف البحث عن أنماط متميزة في كيفية مقاومة النماذج المختلفة لمتجهات هجوم معينة، مما يوضح أن المرونة ليست موحدة عبر جميع الاستراتيجيات المعادية.
النتائج الرئيسية
الأداء العام والتوسع
تفوق GPT: أظهرت نماذج GPT-4 وGPT-4 Turbo أقوى وأكثر المتانة اتساقاً عبر جميع الفئات، حيث أظهرت معدلات ASR أقل بكثير من نماذج DeepSeek.
ضعف التوسع في DeepSeek: خلافاً للافتراض بأن النماذج الأكبر هي بطبيعتها أكثر أماناً، أظهرت نماذج DeepSeek زيادة في القابلية للاختراق مع نمو الحجم. على سبيل المثال، تحت هجوم GCG، ارتفع معدل ASR لنماذج DeepSeek من 33.44% (1.5B) إلى 55.31% (32B). وبالمثل، شهدت هجمات H-CoT زيادة شبه رتيبة في معدلات النجاح مع حجم النموذج.
الحساسية لمتجه الهجوم:
DeepSeek: أظهرت مقاومة انتقائية للهجمات القائمة على التحسين (مثل TAP-T) ولكنها كانت أكثر عرضة بشكل كبير للاختراقات القائمة على المطالبات والهندسة البشرية (على سبيل المثال، أدت هجمات ZeroShot إلى ASR بنسبة ~77% لـ DeepSeek مقابل ~19% لـ GPT-4).
GPT: رغم قوتها العامة، وُجد أن نماذج GPT حساسة للاضطرابات الدقيقة في الرموز (TAP-T) والمطالبات المموهة لغوياً، ومع ذلك حافظت على معدلات فشل إجمالية أقل.
النتائج الخاصة بالمجالات
السلوكيات القياسية والسياقية: أظهرت نماذج DeepSeek ضعفاً أكبر في توليد مخرجات غير آمنة للسلوكيات الضارة القياسية والسياقية مقارنة بـ GPT.
حقوق الطبع والنشر: لوحظ انعكاس مثير للاهتمام في مجال حقوق الطبع والنشر، حيث أظهرت نماذج GPT-4 معدلات انتهاك أعلى من DeepSeek، التي حققت ASR يقترب من الصفر في النسخ الأكبر.
المجالات عالية الخطورة: في مجالات مثل التضليل، والجرائم السيبرانية، والأنشطة غير القانونية، أظهرت DeepSeek معدلات ASR أعلى بكثير (مثلاً 0.6422 للتضليل مقابل ~0.2 لـ GPT)، مما يشير إلى محاذاة سلامة أضعف في المواضيع الحساسة اجتماعياً. وعلى العكس من ذلك، في المجالات الكيميائية والبيولوجية، نجحت متغيرات DeepSeek في منع عمليات كسر الحماية حيث أظهرت نماذج GPT بعض الضعف.
الاتساق السلوكي
كشف التحليل الدقيق أن DeepSeek غالباً ما تفشل في تطبيق قيود السلامة باتساق عبر المطالبات المعادية، مما يؤدي إلى سلوكيات رفض غير متساوية. في المقابل، أظهرت نماذج GPT آليات رفض أكثر اتساقاً عبر المدخلات المتنوعة.
الأهمية والادعاءات
يزعم البحث أن نتائجه تسلط الضوء على مقايضة متأصلة بين كفاءة/سعة النموذج وبين تعميم المحاذاة. ويرى المؤلفون أن:
التوسع وحده غير كافٍ: زيادة معلمات النموذج لا تضمن تحسين السلامة؛ بل في الواقع، دون توسيع متناسب لآليات المحاذاة، قد تصبح النماذج الأكبر أكثر عرضة لاستراتيجيات معادية محددة.
نضج المحاذاة أمر جوهري: يُعزى الأداء المتفوق لنماذج GPT إلى تحسين السلامة القوي والتعلم المعزز من التغذية الراجعة البشرية (RLHF)، بينما قد تعتمد النماذج مفتوحة المص المصدر مثل DeepSeek على تعزيز سلامة أقل شمولاً، مما يجعلها عرضة لهندسة المطالبات المتطورة.
الحاجة إلى ضبط مستهدف: تؤكد النتائج على ضرورة الضبط المستهدف للسلامة واستراتيجيات المحاذاة القوية لضمان النشر الآمن للنماذج اللغوية الكبيرة مفتوحة المصدر. ويقترح المؤلفون أن الدفاعات المستقبلية يجب أن تتجه نحو أطر محاذاة تكيفية وقابلة للتوسع قادرة على تأمين كل من الأنظمة المملوكة ومفتوحة المصدر ضد تقنيات كسر الحماية المتطورة.
تخلص الدراسة إلى أنه بينما توفر DeepSeek قدرات استدلال قوية، فإن محاذاة السلامة الخاصة بها تتطلب مزيداً من الصقل لتضاهي الاتساق والمتانة التي تتمتع بها النماذج الرائدة المملوكة، لا سيما ضد هجمات الهندسة البشرية والمطالبات.