💬 NLP

Adaptive Instruction Composition for Automated LLM Red-Teaming

تقدم هذه الورقة البحثية "تكوين التعليمات التكيفي" (Adaptive Instruction Composition)، وهو إطار عمل مبتكر يستخدم "مقام المراهنة السياقي" (contextual bandit) القائم على التعلم المعزز لدمج الاستعلامات والتكتيكات الضارة المستمدة من الحشد ديناميكيًا، مما يؤدي إلى توليد عمليات كسر حماية لنماذج اللغات الكبيرة (LLM jailbreaks) متنوعة وعالية الفعالية تتفوق على كل من الأساليب العشوائية وأساليب الاختبار الأحمر التكيفي الحالية.

المؤلفون الأصليون: Jesse Zymet, Andy Luo, Swapnil Shinde, Sahil Wadhwa, Emily Chen

نُشر 2026-04-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jesse Zymet, Andy Luo, Swapnil Shinde, Sahil Wadhwa, Emily Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعد روبوت ذكي للغاية ومهذب للغاية (نموذج لغوي كبير، أو LLM)، تم تدريبه ليكون مفيداً ولكن أيضاً ليرفض القيام بأي شيء خطير أو لئيم. مهمتك هي أن تكون "مختبر أمن" (red teamer) لترى ما إذا كان بإمكانك خداع هذا الروبوت لكسر قواعده الخاصة.

الورقة البحثية التي تسأل عنها تقدم طريقة جديدة وذكية للغاية للقيام بهذا الاختبار تسمى التكوين التكيفي للتعليمات (Adaptive Instruction Composition - AIC).

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. المشكلة: "الخلط العشوائي" مقابل "المحقق الذكي"

تخيل أنك تحاول اختيار القفل المثالي لخزنة ما.

الطريقة القديمة (التركيب العشوائي): لديك صندوق ضخم يحتوي على 50,000 مفتاح مختلف و13,000 أداة مختلفة لفتح الأقفال. الطريقة القديمة (التي تسمى WildTeaming) تقوم فقط بجلب مفتاح عشوائي وأداة عشوائية، وتحاول فتح الخزنة، وإذا فشلت، فإنها تتخلص منهما وتجلب مفتاحين وأداتين جديدتين عشوائيتين. الأمر يشبه رمي السهام وأنت معصوب العينين؛ قد ينجح الأمر في النهاية، لكنه بطيء ويفتقر إلى ملاحظة الأنماط.
طريقة "التجربة والخطأ": هناك طريقة أخرى تتعلم من تلقاء نفسها، مثل كلب يتعلم الحيل. يحاول اكتشاف كيفية خداع الروبوت عن طريق التخمين والتحقق. ولكن غالباً ما يعلق "الكلب" في تكرار نفس الحيلة مراراً وتكراراً لأنه لا يعرف كيف يمزج ويمزج بين الأفكار المختلفة بشكل إبداعي.

2. الحل: "الطاهي الذكي" (AIC)

ابتكر المؤلفون إطار عمل جديداً يسمى التكوين التكيفي للتعليمات. فكر في هذا كـ طاهٍ ذكي يحاول طهي طبق "الاختراق" المثالي (مطالبة/prompt تخدع الروبوت).

المكونات: لدى الطاهي مخزن ضخم (مجموعة البيانات) يحتوي على آلاف "الأسئلة الضارة" (المكونات) و"الخدع" (التوابل).
متذوق الطعام: هناك "ناقد طعام" صارم (المُقيّم) يتذوق الطبق ويقول: "هذا آمن" أو "هذا كسر القواعد!".
عملية التعلم:
- الطاهي الذكي لا يختار المكونات عشوائياً.
- يستخدم "الندّ النبضي" (Neural Bandit) (وهو عقل رياضي متطور) لتخمين أي مزيج من المكونات سيجعل ناقد الطعام يقول: "واو، هذا اختراق مذهل!".
- الخدعة السحرية: إذا جرب الطاهي مزيجاً من "السؤال أ" + "الخدعة ب" ونجح الأمر، فإن الطاهي لا يتذكر هذا المزيج المحدد فحسب. نظرًا لأن الطاهي يفهم "ملف النكهة" (باستخدام ما يسمى التمثيلات المتضادة - contrastive embeddings)، فإنه يدرك: "أوه، الأسئلة الحريفة الممزوجة بخدع 'تقمص الأدوار' تبدو فعالة جداً".
- لذا، في المرة القادمة، قد يجرب "السؤال ج" (الذي يشبه "أ" في النكهة) + "الخدعة د" (وهي نوع جديد من تقمص الأدوار). إنه يتعلم النمط، وليس مجرد الوصفة.

3. كيف يوازن بين هدفين

على الطاهي موازنة شيئين:

الاستغلال (الرهان الآمن): الاستمرار في صنع أطباق يحبها الناقد (إيجاد المزيد من عمليات الاختراق).
الاستكشاف (المخاطرة): تجربة تركيبات غريبة وجديدة لمعرفة ما إذا كانت هناك طرق أخرى لكسر القواعد لم يكتشفها أحد بعد.

تظهر الورقة البحثية أنه من خلال ضبط "قرص التحكم" (إعداد يسمى $\lambda$ )، يمكنك إخبار الطاهي بأن يكون:

عدوانياً: "كن قوياً! ابحث عن أكبر عدد ممكن من القواعد المكسورة الآن!" (رائع للعثور على الثغرات الأكثر وضوحاً).
هادئاً/دقيقاً: "خذ وقتك. حاول العثين على مجموعة متنوعة من الطرق المختلفة لكسر القواعد، حتى لو استغرق الأمر وقتاً أطول." (رائع للعثين على نقاط الضعف الخفية والغريبة).

4. لماذا يعد هذا أمراً بالغ الأهمية

إنه أسرع: يجد الخدع الناجحة بشكل أسرع بكثير من الطريقة العشوائية.
إنه أذكى: هو لا يحفظ فقط؛ بل يفهم معنى الكلمات. إذا تعلم أن "التظاهر بكونه شريراً" ينجح، فيمكنه تطبيق ذلك المنطق على "التظاهر بكونه عالماً" دون الحاجة إلى إخباره صراحة.
يعمل على روبوتات جديدة: اختبرت الورقة هذا النظام على نوع واحد من الروبوتات، ثم جربت الخدع التي تعلمها على روبوت مختلف؛ وقد انتقلت دروس "الطاهي الذكي" بشكل جيد، مما يعني أنه وجد نقاط ضعف عامة في كيفية تفكير هذه الروبوتات، وليس مجرد خلل في نموذج محدد.

الخلا الخلاصة

تتعلق هذه الورقة ببناء مختبر أمني عالي الكفاءة. بدلاً من الصراخ عشوائياً على الروبوت لترى ما إذا كان سينكسر، يعمل هذا النظام كلاعب استراتيجي في لعبة. إنه يتعلم من كل فوز وخسارة، ويمزج ويمزج استراتيجياته بذكاء، ويرسم بسرعة خريطة توضح بالضبط أين تضع حواجز الحماية الخاصة بالروبوت نقاط ضعفها، مما يساعد المطورين على سد تلك الثغرات قبل أن يستغلها المهاجمون.

تحذير: تقر الورقة البحثية بأن هذه الأداة قوية. إنها تشبه إعطاء صانع أقفال مفتاحاً رئيسياً يتعلم كيفية فتح أي قفل. ويؤكد المؤلفون على ضر أن تُستخدم هذه الأداة فقط من قبل الفرق الأمنية لإصلاح الروبوتات، وليس لكسرها من أجل المتعة.

1. بيان المشكلة

تعد النماذج اللغوية الكبيرة (LLMs) عرضة لهجمات "كسر الحماية" (jailbreak)، حيث تتجاوز المطالبات الخبيثة بروتوكولات السلامة لتوليد محتوى ضار. وبينما يعد الاختبار الأحمر المؤتمت (automated red-teaming) أمراً ضرورياً لتحديد هذه الثغرات، تعاني الأساليب الحالية من مشكلتين رئيسيتين:

محدودية التجربة والخطأ: الأساليب التي تعتمد على نموذج لغوي مهاجم لاكتشاف الاستراتيجيات بشكل تكراري (مثل PAIR وTAP) غالباً ما تستقر عند نطاق محدود دلالياً من الهجمات الناجحة، مما يفشل في استكشاف الفضاء الشاسع للثغرات المحتملة بكفاءة.
محدودية الجمع العشوائي: يقوم إطار عمل WildTeaming المقترح مؤخراً بدمج الاستعلامات الضارة المستمدة من المصادر الجماعية مع تكتيكات كسر الحماية بشكل عشوائي. وبينما يولد هذا التنوع، إلا أنه يفتقر إلى التحسين (optimization)؛ فهو لا يستفيد من النجاحات السابقة لتوجيه الهجمات المستقبلية، مما يجعله غير فعال في اكتشاف ثغرات محددة في إطار زمني معقول، خاصة ضد النماذج ذات التوافق العالي (well-aligned models).

يتمثل التحدي الجوهري في التنقل عبر فضاء توافقي هائل (على سبيل المثال، 50,000 استعلام × 13,000 تكتيك = تريليونات التعليمات الممكنة) من أجل التحسين المشترك لفعالية الهجوم (معدل النجاح) والتنوع، نظراً للتكلفة العالية لاستدلال النماذج اللغوية الكبيرة والتي تحد من عدد التجارب.

2. المنهجية: تكوين التعليمات التكيفي (AIC)

يقترح المؤلفون تكوين التعليمات التكيفي (Adaptive Instruction Composition - AIC)، وهو إطار عمل يستخدم التعلم التعزيزي (RL) لاختيار ودمج عينات النصوص بذكاء لتوليد الهجمات.

البنية الأساسية

صياغة Bandits السياقية (Contextual Bandit): يتم نمذجة المشكلة كمسألة Neural Thompson Sampling، وهي نوع من أنواع الـ contextual multi-armed bandit. "الأذرع" (arms) هي تركيبات التعليمات المحتملة (الجمع بين استعلام وتكتيكات كسر الحماية).
الوكيل (The Agent): يعمل شبكة عصبية أمامية خفيفة الوزن مكونة من طبقتين كـ bandit ( $f(\cdot|\theta)$ ).
تمثيل المدخلات:
- يستخدم النظام بيانات WildJailbreak (50 ألف استعلام، 13 ألف تكتيك).
- يتم ترميز عينات النصوص باستخدام SBERT (Sentence-BERT)، وهو نموذج مدرب مسبقاً بطريقة تباينية (contrastively pre-trained)، لتوليد تضمينات (embeddings) بـ 768 بُعداً.
- يتم تقليل هذه التضمينات إلى 10 أبعاد باستخدام UMAP لتقليل عدد المعلمات القابلة للتدريب والسماح للشبكة بالتعميم عبر النصوص ذات الصلة دلالياً.
- المدخل للـ bandit هو دمج تضمين الاستعلام وتضمينات التكتيكات.
الحلقة (الخوارزية 1):
1. أخذ العينات (Sampling): في كل تجربة، يتم أخذ $K=500$ من تركيبات التعليمات المرشحة عشوائياً من المجموعة الهائلة.
2. التسجيل (Scoring): تقوم شبكة الـ bandit بتسجيل هذه المرشحات بناءً على المعلمات المتعلمة $\theta$ ، لتقريب احتمال نجاح الهجوم.
3. الاختيار (Selection): يتم اختيار المرشح صاحب أعلى مكافأة مأخوذة (بناءً على توزيع غاوسي خلفي مستمد من Neural Tangent Kernel).
4. التوليد والتقييم (Generation & Evaluation): يتم تغذية التعليمات المختارة إلى نموذج لغوي مهاجم (Mixtral-8x7B)، والذي يولد هجوماً ضد نموذج لغوي مستهدف. ثم يقوم مُقيّم (Llama-Guard-2 أو مصنف Harmbench) بتقييم ما إذا كان الهجوم قد نجح.
5. التحديث (Update): يُستخدم تضمين التعليمات المختارة والمكافأة الثنائية (نجاح/فشل) لتحديث أوزان الـ bandit عبر التدرج الاشتقاقي العشوائي (SGD).
6. إزالة التكرار (Deduplication): يتم حظر التركيبات الناجحة من الاختيار المستقبلي لإجبار الـ bandit على التعميم عبر المدخلات المتشابهة دلالياً بدلاً من حفظ مطالبات (prompts) ناجحة بعينها.

الاستكشاف مقابل الاستغلال (Exploration vs. Exploitation)

يوازن الإطار بين الاستكشاف (تجربة تركيبات جديدة ومتنوعة) والاستغلال (التركيز على الأنماط الناجحة المعروفة) عبر معلم فائق (hyperparameter) هو $\lambda$ :

الـ Bandit الهادئ/الخفي (Subtle Bandit) ( $\lambda=1$ ): تنظيم عالٍ، مما يعزز الاستكشاف الواسع والتنوع.
الـ Bandit الهجومي (Aggressive Bandit) ( $\lambda=0.01$ أو $0.1$): تنظيم منخفض، مما يعزز الاستغلال السريع للثغرات المكتشفة.

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم AIC، الذي يستبدل الجمع العشوائي بآلية تكيفية مدفوعة بالتعلم التعزيزي لتكوين تعليمات كسر الحماية.
التعميم القابل للتوسع: إثبات أن استخدام التضمينات التباينية (contrastive embeddings) (SBERT) يسمح لشبكة عصبية خفيفة الوزن بالتعميم بفعالية عبر فضاء توافقي يتكون من تريليونات الاحتمالات، بينما تفشل التضمينات غير التباينية (BERT القياسي) في التوسع بكفاءة.
تحسين التنوع والفعالية: ينجح النظام في موازنة المقايضة بين إيجاد هجمات عالية النجاح والحفاظ على التنوع الدلالي، وهو مطلب حاسم لتدريب السلامة الشامل.
القابلية للنقل (Transferability): تتعمم سياسات الهجوم المتعلمة عبر نماذج مستهدفة مختلفة (على سبيل المثال، التدريب على Mistral-7B والهجوم على Llama-3-70B)، مما يشير إلى اكتشاف أنماط ثغرات عامة بدلاً من سمات مرتبطة بنموذج معين.

4. النتائج التجريبية

قام المؤلفون بتقييم AIC مقابل WildTeaming (الجمع العشوائي) والأساليب الأخرى الحديثة في الاختبار الأحمر (مثل GCG وPAIR وAutoDAN-Turbo) باستخدام معيار Harmbench.

الفعالية (معدل نجاح الهجوم - ASR):
- تفوق AIC بشكل كبير على WildTeaming عبر جميع النماذج المستهدفة المختبرة (Mistral-7B, Llama-3-70B, Llama-3.3-70B).
- مثال: ضد Llama-3-70B، حقق WildTeaming معدل ASR قدره 0.088، بينما حقق AIC الهجومي (Aggressive AIC) معدل 0.450 (تحسن بنحو 5 أضعاف).
- على معيار Harmbench، حقق AIC معدل ASR قدره 1.000 على Mistral-7B و 0.934 على Llama-3-70B، متفوقاً على AutoDAN-Turbo (0.976 و 0.672 على التوالي).
التنوع:
- حافظ الـ bandit "الهادئ" (Subtle) على تنوع عالٍ (تشابه منخفض بين الهجمات) مع تفوقه أيضاً على WildTeaming في معدلات النجاح.
- قام الـ bandit "الهجومي" (Aggressive) بتضييق فضاء البحث نحو موضوعات ثغرات محددة (مثل المعلومات الطبية المضللة، الاحتيال) ولكنه حافظ أيضاً على تغطية كبيرة للتكتيكات الفريدة.
القابلية للنقل (Transferability):
- انتقلت السياسات المدربة على نموذج واحد بفعالية إلى نماذج أخرى. على سبيل المثال، حققت سياسة تم تدريبها على Llama-3 تحسناً قدره 2.89 ضعفاً عن WildTeaming عند تطبيقها على Llama-3، وتحسناً قدره 2.20 ضعفاً عند نقلها إلى Mistral.
دراسات الاستئصال (Ablation Studies):
- نوع التضمين: حققت تضمينات SBERT (التباينية) تعلماً أسرع بكثير ومعدل ASR أعلى من تضمينات BERT.
- أبعاد المدخلات: كان تقليل التضمينات إلى 10 أبعاد عبر UMAP هو الأمثل لكفاءة التعلم.
- عدد التكتيكات: استخدام تكتيكات متعددة (مثل 3) حسن مقاييس التنوع مقارنة بإعدادات التكتيك الواحد.

5. الأهمية والتوجهات المستقبلية

تدريب السلامة: يوفر AIC آلية لتوليد مجموعات بيانات تدريب سلامة شاملة، متنوعة، وفعالة ومصممة خصيصاً لثغرات نماذج معينة، مما يعالج عقبة الاختبار الأحمر اليدوي.
الكفاءة: من خلال استخدام bandit خفيف الوزن وتضمينات تباينية، يمكن للنظام التوسع عبر فضاءات بحث ضخمة دون الحاجة إلى التكلفة الحسابية لتدريب نموذج لغوي كامل للمهاجم.
الاعتبارات الأخلاقية: يؤكد المؤلفون أن هذه الأداة مصممة لـ الاختبار الأحمر المنضبط داخل البيئات المؤسسية لتحسين سلامة النماذج. وهم يدعون إلى الإفصاح المسؤول عن الثغرات المكتشفة لمطوري النماذج.
العمل المستقبلي: تشمل التوسعات المحتملة تكييف الإطار مع مولدات الصور، والوكلاء (agents)، وحقن المطالبات غير المباشر (indirect prompt injections)، بالإضافة إلى استكشاف مقاييس تنوع بديلة.

في الختام، يمثل تكوين التعليمات التكيفي (AIC) تقدماً كبيراً في أمن النماذج اللغوية الكبيرة المؤتمت، حيث ينتقل من البحث العشوائي أو التكراري الصرف إلى نهج تكيفي قائم على أسس رياضية، يكتشف بكفاءة الطيف الكامل لثغرات النماذج.