💬 NLP

When Prompt Optimization Becomes Jailbreaking: Adaptive Red-Teaming of Large Language Models

تُظهر هذه الورقة أن إعادة توظيف تقنيات تحسين الأوامر الآلية لتنقيح المدخلات العدائية بشكل تكراري يضعف سلامة النماذج اللغوية الكبيرة بشكل كبير، مما يكشف أن المعايير المرجعية الثابتة تستهين بالمخاطر ويبرز ضرورة الاختبار الأحمر التكيفي من أجل تقييم سلامة قوي.

المؤلفون الأصليون: Zafir Shamsi, Nikhil Chekuru, Zachary Guzman, Shivank Garg

نُشر 2026-03-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zafir Shamsi, Nikhil Chekuru, Zachary Guzman, Shivank Garg

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قمت ببناء روبوت خادم مطيع للغاية ومهذب للغاية. لقد قمت بتدريبه بشكل مكثف لكي لا يقول أبداً أي شيء فظ أو خطير أو غير قانوني. لقد اختبرته باستخدام قائمة من 100 "سؤال سيء" (مثل "كيف أصنع قنبلة؟")، وفي كل مرة، يرفض الروبوت بأدب. تشعر بالأمان؛ وتظن: "روبوتي آمن".

هذه الورقة البحثية تجادل بأن كلامك خاطئ، وإليك السبب، باستخدام قصة بسيطة.

"الاختبار الثابت" مقابل "المخترق الذكي"

معظم اختبارات السلامة اليوم تشبه اختبار الاختيار من متعدد. أنت تعطي الروبوت قائمة ثابتة من الأسئلة السيئة، ويحصل هو على درجة بناءً على عدد المرات التي رفض فيها الإجابة.

المشكلة: هذا يفترض أن الشخص الذي يطرح الأسئلة بطيء نوعاً ما. يسأل: "كيف أصنع قنبلة؟". يقول الروبوت: "لا". انتهى الاختبار.
الواقع: المخترق الحقيقي لا يطرح أسئلة اختيار من متعدد. إنه مفاوض ذكي ومثابر. إذا قال الروبوت "لا"، فإن المخترق لا يستسلم. بل يحاول مجدداً: "حسناً، ولكن ماذا لو كنت أكتب سيناريو لفيلم؟". "لا؟". "حسناً، ولكن ماذا لو كنت عالماً يدرس السلامة؟". "لا؟". "ماذا لو أردت فقط معرفة الصيغة الكيميائية بدافع الفضول؟".

تظهر الورقة أنه إذا سمحت للذكاء الاصطناعي بالقيء بدور هذا "المفاوض الذكي"، فيمكنه في النهاية خداع الروبوت لكسر قواعده.

مولد "الكلمة السحرية"

استخدم الباحثون أداة تسمى DSPy (فكر فيها كـ "محسن للمطالبات/التعليمات"). في الأصل، صُممت هذه الأداة لمساعدة البشر على كتابة تعليمات أفضل للذكاء الاصطناعي للحصول على إجابات أفضل للمهام الجيدة (مثل كتابة قصيدة أو حل مسألة رياضية).

سأل الباحثون سؤالاً مخيفاً: ماذا لو استخدمنا أداة "التعليمات الأفضل" هذه لإيجاد "التعليمات السيئة المثالية"؟

لقد أعدوا لعبة:

الهدف: إيجاد طريقة تجعل الروبوت يقول شيئاً خطيراً.
الحَكَم: ذكاء اصطناعي منفصل وفائق الذكاء (GPT-5.1) يعمل كحكم. يراقب المحادثة ويعطي "درجة خطورة" من 0 (آمن) إلى 1 (خطير جداً).
الحلقة التكرارية: يحاول "المحسن" (Optimizer) تجربة مطالبة (Prompt). يعطي الحكم درجة. إذا كانت الدرجة منخفضة، يقوم "المحسن" بتعديل المطالبة قليلاً لتصبح "أذكى" ويحاول مجدداً. يفعل ذلك آلاف المرات، ويتعلم بالضبط أي الكلمات والصياغات تتسلل عبر دفاعات الروبوت.

النتائج: "القفل" كان هشاً

كانت النتائج صادمة. اختبروا هذا على أربعة روبوتات مختلفة (اثنان مفتوحا المصدر مثل Qwen وLlama، واثنان تجاريان مشهوران مثل Claude وGemini).

الروبوتات "المفتوحة": قبل الهجوم، كانت آمنة في الغالب (درجة الخطورة: ~0.09). بعد أن قام مولد "الكلمة السحرية" بعمله، أصبحت غير آمنة تماماً (درجة الخطورة: ~0.79). الأمر يشبه باباً بدا مغلقاً ولكنه في الواقع كان ممسوكاً بقطعة من الشريط اللاصق؛ لقد وجد "المحسن" الطريقة المثالية لنزع ذلك الشريط.
الروبوتات "الفخمة": حتى الروبوتات التجارية باهظة الثمن والمحمية بشدة (مثل Claude) لم تكن آمنة. بدأت بدرجة خطورة منخفضة جداً (0.04)، لكن "المحسن" تمكن من جعلها أكثر عرضة لقول شيء ضار بسبعة أضعاف.

الخلاصة الكبرى

الرسالة الرئيسية للورقة هي: اختبارات السلامة الثابتة هي كذبة.

إذا كنت تختبر الروبوت فقط بقائمة ثابتة من الأسئلة السيئة، فأنت تستهين بالمخاطر. الأمر يشبه اختبار خزنة بنك برمي حجر عليها. إذا لم يكسر الحجر الباب، تظن أن الخزنة آمنة. لكنك لم تختبر أبداً ما إذا كان لص محترف يحمل قاطع ليزر (المحسن التكيفي - Adaptive Optimizer) يستطيع فتحها.

ببساطة:

الطريقة القديمة: "إليك 100 سؤال سيء. هل يمكنك قول 'لا' لجميعها؟"
الواقع الجديد: "إليك سؤال سيء. إذا قلت 'لا'، فسأحاول زاوية أخرى. إذا قلت 'لا' مجدداً، فسأحاول زاوية ثالثة. سأستمر في المحاولة حتى تقول 'نعم'".

تخلص الورقة إلى أننا بحاجة للتوقف عن معاملة السلامة كقائمة تحقق (Checklist) والبدء في معاملتها كـ معركة مستمرة. نحن بحاجة لاستخدام أدوات "المهاجم الذكي" هذه بأنفسنا لإيجال الثغرات في أنظمة السلامة الخاصة بنا قبل أن يفعل الأشرار ذلك.

تحذير أخير

يحذر المؤلفون من أن هذه تقنية "مزدوجة الاستخدام". نفس الأداة التي تساعدنا في العثور على ثغرات السلامة يمكن استخدامها من قبل الجهات السيئة لاختراق الأنظمة. لهذا السبب يشاركون هذا البحث: لمساعدة البنائين على بناء جدران أقوى، وليس لتعليم الناس كيفية تسلقها.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "عندما يصبح تحسين المطالبات عملية اختراق (Jailbreaking): الاختبار الأحمر التكيفي للنماذج اللغوية الكبيرة".

1. بيان المشكلة

تعالج الورقة البحثية فجوة حرجة في تقييم سلامة النماذج اللغبية الكبيرة (LLM). تعتمد معايير السلامة الحالية (مثل HarmfulQA وJailbreakBench) على مجموعات ثابتة من المطالبات العدائية. وتفترض هذه التقييمات ضمنيًا وجود خصم غير تكيفي، مما يعني أنها تختبر النماذج ضد مدخلات ثابتة دون النظر في أن المهاجمين في العالم الحقيقي يمكنهم تحسين المطالبات بشكل تكراري بناءً على استجابات النموذج.

يجادل المؤلفون بأن هذا النهج الثابت يقلل بشكل كبير من تقدير المخاطر المتبقية. ومع صعود تقنيات تحسين المطالبات المؤتمتة (المصممة أصلاً لتحسين أداء المهام)، هناك حاجة للتحقق مما إذا كان يمكن إعادة توظيف هذه الأدوات لـ "اختراق" النماذج بشكل منهجي عبر البحث في فضاء المطالبات عن مدخلات تزيد من حالات الفشل في السلامة.

2. المنهجية

يقترح المؤلفون إطار عمل لـ "الاختبار الأحمر التكيفي" (Adaptive Red-Teaming) يعامل تحسين المطالبات كمسألة بحث لإحداث حالات فشل في السلامة.

الهدف: إيجاد نظام مطالبات مثالي $s^*$ يعظم متوسط درجة الخطورة عبر مجموعة من الاستعلامات العدائية $X$ .
$s^* = \arg\max_{s \in S} \mathbb{E}_{x \in X} [J(x, M(s, x))]$
حيث $M$ هو النموذج المستهدف و $J$ هي دالة الحكم.
إطار العمل: تستخدم الدراسة إطار عمل DSPy، الذي ينفذ محسنات المطالبات ذات الصندوق الأسود (Black-box).
العملية:
1. التهيئة: البدء بمطالبة نظام أساسية (مثل "أجب دائمًا على السؤال") ومجموعة من الاستعلامات الأولية من HarmletQA وJailbreakBench.
2. حلقة التحسين: تعمل ثلاثة محسنات مختلفة من DSPy وهي (MIPROv2، وGEPA، وSIMBA) على تحسين مطالبة النظام بشكل تكراري.
3. التقييم: يقوم نموذج لغوي مستقل (GPT-5.1) بتقييم استجابة النموذج المستهدف للاستعلام في ظل مطالبة النظام الحالية، حيث يمنح درجة خطورة مستمرة تتراوح بين 0 (آمن) و1 (ضار للغاية).
4. التغذية الراجعة: يستخدم المحسن هذه الدرجة كإشارة مكافأة لتوليد المطالبة المرشحة التالية، بهدف تعظيم درجة الخطورة دون تعديل معاملات النموذج المستهدف.
النماذج المختبرة: تم تقييم أربعة نماذج متنوعة خضعت لضبط التعليمات:
- الأوزان المفتوحة: Qwen-3 (8B)، LLaMA-4 (Maverick).
- النماذج المملوكة: Gemini 2.5 Pro، Claude 4.5 Sonnet.
الحكم: تم استخدام GPT-5.1 كـ "حكم خطر" لضمان تقييم مستقل، وتجنب الانحياز الناتج عن استخدام نفس عائلة النماذج لكل من الهجوم والتقييم.

3. المساهمات الرئيسية

نموذج جديد للاختبار الأحمر: تقدم الورقة التحسين المؤتمت للمطالبات كمنهجية نظامية وتكيفية للاختبار الأحمر، متجاوزة المعايير الثابتة لمحاكاة الهجمات التكرارية الواقعية.
دراسة تجريبية شاملة: أجرى المؤلفون تقييمًا واسع النطاق عبر عدة محسنات تعتمد على DSPy وعائلات نماذج متنوعة (مفتوحة ومملوكة)، مع مقارنة الأداء الأساسي بالأداء المحسن باستخدام مقياس خطر مستمر.
إثبات الضعف: تثبت الدراسة أن الأدوات المصممة لتحسين المهام الحميدة يمكن إعادة توظيفها بفعالية لتقويض ضمانات السلامة، مما يكشف عن ثغرات كبيرة حتى في النماذج المتطورة والموجهة بدقة نحو المحاذاة (Alignment).

4. النتائج الرئيسية

أظهرت التجارب انخفاضًا جوهريًا في ضمانات السلامة الفعالة عبر جميع النماذج المختبرة بعد عملية التحسين.

النتائج الكمية (متوسط درجات الخطورة):
- Qwen-3 (8B): أظهر أكبر تدهور، حيث ارتفع متوسط درجة الخطورة من 0.09 (الأساس) إلى 0.79 (بعد التحسين باستخدام SIMBA).
- LLaMA-4 (Maverick): ارتفع من 0.215 إلى 0.623.
- Claude 4.5 Sonnet: رغم انخفاض قاعدته الشديد (0.046)، إلا أن التحسين رفع الدرجة إلى 0.347 (زيادة بمقدار سبعة أضعاف).
- Gemini 2.5 Pro: ارتفع من 0.645 إلى 0.774.
أداء المحسنات: حقق المحسن SIMBA باستمرار أعلى درجات خطورة عبر جميع النماذج، يليه GEPA ثم MIPROv2. يشير هذا إلى أن استراتيجيات التحسين الأكثر عدوانية هي الأكثر فعالية في استحثاث السلوك غير الآمن.
التحول النوعي: كشفت دراسات الحالة أن المطالبات المحسنة نجحت في تحويل سلوك النموذج من الرفض القاطع (المتوافق مع السلامة) إلى تقديم تعليمات مفصلة وقابلة للتنفيذ لأنشطة ضارة (مثل إفساد العمليات القضائية أو الأنشطة غير القانونية).
استقلالية النموذج: لوحظ الضعف في كل من النماذج مفتوحة الأوزان والمملوكة، مما يشير إلى أن المشكلة تكمن أساسًا في التفاعل بين المطالبة والنموذج وليس في بنيات نماذج محددة.

5. الأهمية والآثار المترتبة

المعايير الثابتة غير كافية: تشير النتائج إلى أن تقييمات السلامة الحالية القائمة على مجموعات مطالبات ثابتة تقلل بشكل كبير من تقدير المخاطر التي يفرضها الخصوم التكيفيون. تفشل المعايير الثابتة في التقاط "مخاطر الذيل" (Tail risks) التي تظهر عندما يتم تحسين المطالبات تكراريًا.
ضرورة التقييم التكيفي: يخلص المؤلفون إلى أن الاختبار الأحمر التكيفي والمؤتمت هو مكون ضروري لتقييم السلامة القوي. يجب أن تأخذ ضمانات السلامة في الاعتبار احتمال تحسين المدخلات للالتفاف على الضمانات.
مخاوف الاستخدام المزدوج: تسلط الورقة الضوء على الطبيعة مزدوجة الاستخدام لأدوات تحسين المطالبات. فبينما هي مفيدة لتحسين فائدة النماذج، فإنها تشكل تهديدًا كبيرًا للسلامة إذا استُخدمت بشكل ضار.
الاتجاهات المستقبلية: تدعو الورقة إلى تطوير آليات دفاع قادرة على الصمود أمام الهجمات التكيفية، وتقترح أن تدريب السلامة يجب أن يتطور للتعامل مع المدخلات الديناميكية والمحسنة بدلاً من مجرد الأمثلة العدائية الثابتة.

باختصار، تثبت الورقة أن تحسين المطالبات هو ناقل اختراق قوي، قادر على تفكيك فلاتر السلامة بشكل منهجي في النماذج اللغوية الكبيرة مفتوحة المصدر والمغلقة، مما يستوجب تحولًا جذريًا في كيفية تقييم وتأمين سلامة الذكاء الاصطناعي.