ملخص تقني: الهجوم بالتحفيز المشروط بالشخصية (PCAP)

بيان المشكلة

تعاني عمليات "الفريق الأحمر" (Red-teaming) المؤتمتة لنماذج اللغات الكبيرة (LLMs) حاليًا من قصورين حرجين: محدودية تنوع المهاجم والفجوة بين التقييم والحد من المخاطر القابل للتنفيذ. تعتمد خطوط العمل المؤتمتة الحالية غالبًا على مجموعات ضيقة من التكتيكات (مثل القوالب الثابتة أو الهجمات المباشرة) وتحويلات أحادية المحاولة. وبناءً على ذلك، فإنها تفشل في رصد ناقلات الهجوم المعقدة والواقعية التي تعتمد على هوية المهاجم، والهندسة الاجتماعية، والتأطير السياقي (مثل الثقة القائمة على الدور أو المصطلحات المتخصصة في مجال معين). يؤدي هذا الاستكشاف الضيق إلى بيانات غير كافية لضبط السلامة بدقة (Safety fine-tuning) ويقلل من تقدير المخاطر الواقعية. علاوة على ذلك، بينما توجد نهج "الفريق الأرجواني" (Purple-teaming) لسد الفجوة بين اكتشاف الثغرات والتدابير الدفاعية، إلا أن العديد منها يفتقر إلى التنويع المنهجي عبر هويات المهاجمين والاشتراط الصريح للاستراتيجيات.

المنهجية: الهجوم بالتحفيز المشروط بالشخصية (PCAP)

قدم المؤلفون إطار عمل PCAP، وهو إطار يوسع خوارزمية "شجرة الهجمات مع التقليم" (Tree of Attacks with Pruning - TAP). يقوم PCAP بتكييف البحث العدائي بناءً على شخصيات مهاجمين متنوعة ومجموعات استراتيجية صريحة لاستكشاف سيناريوهات الهجوم الواقعية في بيئة "الصندوق الأسود" (Black-box).

المكونات الأساسية

1. بناء الشخصية: يقوم مولد الشخصيات ($G_p$) بإنشاء $N$ من الشخصيات المتميزة (مثل: طلاب فضوليون، خبراء في مجال معين، فاعلون خبيثون) مع تفاصيل ديموغرافية، وسير ذاتية، وخصائص سلوكية فريدة.
2. إعادة تأطير الهدف: يقوم نموذج إعادة التأطير ($R$) بإعادة تفسير الهدف الضار المستهدف ($g$) ضمن سياق كل شخصية ($\pi_i$)، مما ينتج هدفًا مخصصًا ($\tilde{g}_i$) يدمج نية الهجوم داخل سردية الشخصية.
3. الاشتراط الاستراتيجي: يتم تحديد مجموعة من استراتيجيات الهجوم ($\Sigma$) (مثل: لعب الأدوار، تقسيم الحمولة، الأخطاء المطبعية). تُخصص لكل شخصية مجموعة فرعية من الاستراتيجيات ($\Sigma_i$). يتم تكييف نموذج المهاجم ($A$) بناءً على الشخصية، والهدف المعاد تأطيره، وبطاقة الاستراتيجية المحددة، ليعمل كدليل داخل السياق.
4. البحث العدائي المتوازي: بدلاً من شعاع بحث واحد، يقوم PCAP بإنشاء $N$ من عمليات بحث TAP مستقلة تعمل بالتوازي. يحافظ كل بحث على شعاعه الخاص ($S^{(i)}_t$) بعرض قدره $W$. في كل تكرار، يقوم المهاجم المشروط بالشخصية بتوليد تنويعات، يتم تصفيتها بواسطة مدقق موضوعي ($O$)، وتقييمها بواسطة مُقيّم ($E$)، ثم تقليمها لاختيار أفضل $W$ من المرشحين.
5. توليد مجموعة بيانات غنية بالبيانات الوصفية: من الأهمية بمكان أن كل محفز ناجح يتم وسمه تلقائيًا بالشخصية المخصصة له، والهدف، وعلامات الاستراتيجية. يؤدي هذا إلى إنشاء مجموعة بيانات غنية وخالية من التوسيم اليدوي، وهي مناسبة لتدريب سلوكيات الرفض القوية.

المساهمات الرئيسية

• البحث المشروط بالشخصية: ينقل PCAP التركيز من تعديل خط أنابيب التحسين إلى تغيير من هو المهاجم وكيف يهاجم. يستكشف هذا النهج النمطي أطرًا لغوية واستراتيجية متنوعة تستغل الثقة القائمة على الدور والتأطير الخاص بالمجالات.
• التقييم التجريبي الشامل: قيم المؤلفون إطار PCAP عبر نماذج مهاجمين متعددة ذات قدرات متفاوتة (بنى كثيفة وبنى خليط الخبراء - MoE). وقد أظهروا تحسنًا مستمرًا في معدلات نجاح الهجوم (ASR)، وإنتاجية المحفزات، وقابلية الانتقال ضد الحواجز الدفاعية المخصصة.
• التخفيف العملي ذو الحلقة المغلقة: يوضح البحث مسارًا كاملاً من اكتشاف الثغرات إلى الدفاع المؤتمت. ومن خلال ضبط المحولات خفيفة الوزن (ALoRA) باستخدام البيانات المولدة بواسطة PCAP، أظهر المؤلفون تحسنات كبيرة في متانة النموذج دون الحاجة لتوسيم يدوي.
• إطلاق المصدر المفتوح: يتعهد المؤلفون بإصدار كود PCAP مدمجًا مع إطار عمل "الفريق الأحمر" عند قبول البحث.

النتائج التجريبية

أُجريت التجارب على نموذج GPT-OSS 120B كنموذج مستهدف، باستخدام نماذج مهاجمين متنوعة (Llama 3.3 70B, Granite 3.3 8B, Granite 4.0 H Tiny, Kimi K2.5, Mixtral 8x22B).

أداء الهجوم

• معدل نجاح الهجوم (ASR): يتفوق PCAP بشكل كبير على خط الأساس TAP. على نموذج GPT-OSS 120B، ارتفع ASR من 57.7% إلى 97.3% (باستخدام مهاجم Llama 3.3 70B) ومن 41.0% إلى 98.0% (باستخدام مهاجم Granite 4.0 H Tiny).
• إنتاجية المحفزات: يولد PCAP محفزات ناجحة أكثر تنوعًا بمقدار 2 إلى 6 أضعاف لكل هدف مقارنة بـ TAP. على سبيل المثال، شهد نموذج Granite 4.0 H Tiny زيادة في الإنتاجية من 0.43 إلى 2.41 محفز لكل هدف.
• قابلية الانتقال: أظهرت المحفزات المولدة بواسطة PCAP قابلية انتقال عالية، حيث تجاوزت الحواجز الدفاعية المخصصة (Granite Guardian 3.3 و Llama Guard 3) بمعدلات تتراوح بين 30-58%. ومن الملاحظ أن جزءًا كبيرًا من هذه المحفزات تجاوز النموذج المستهدف والحواجز الدفاعية معًا، مما يشير إلى اكتشاف ثغرات دلالية قابلة للتعميم.
• التنوع: أظهرت محفزات PCAP تشابهًا دلاليًا أقل (تشابه جيب التمام ~0.62–0.67) ودرجات Self-BLEU أقل (0.02–0.08) مقارنة بالنماذج المرجعية، مما يؤكد التنوع اللفظي والدلالي العالي. كانت توزيعات الاستراتيجية أكثر توازنًا (درجات $\chi^2$ أقل) من TAP، الذي اعتمد بكثافة على لعب الأدوار.

التخفيف والمتانة

• الضبط الدقيق (Fine-Tuning): تم ضبط محولات ALoRA خفيفة الوزن على مجموعة البيانات المولدة بواسطة PCAP (300 محفز عبر 50 هدفًا).
• مكاسب الأداء: أدى الضبط الدقيق إلى تحسين المتانة ضد الهجمات بشكل كبير عبر ثلاث عائلات من النماذج (Granite, Llama, Qwen).
  • الاستدعاء (Recall): تحسن من 0.26–0.36 إلى 0.96–1.00.
  • درجة F1: تحسنت من 0.41–0.53 إلى 0.96–0.98.
  • الدقة (Precision): حافظت على مستويات عالية (0.94–0.97) مع حد أدنى من الإيجابيات الكاذبة.
• التحقق من "الفريق الأرجواني": عند إعادة اختبار النماذج التي خضعت للضبط الدقيق باستخدام PCAP، أظهرت مقاومة قوية. على سبيل المثال، انخفض ASR لنموذج Granite 3.3 8B من 100% إلى 33.7%، وزاد عدد الاستعلامات المطلوبة للعثور على اختراق ناجح بمقدار 5 إلى 7 أضعاف. وهذا يؤكد أن مجموعة البيانات تعلم التعرف على أنماط الهجوم القابلة للتعميم.

الأهمية والادعاءات

يزعم البحث أن PCAP يوفر نهجًا كاملاً ومؤتمتًا وذو حلقة مغلقة لسلامة نماذج اللغات الكبيرة. ومن خلال تكييف البحث العدائي على شخصيات متنوعة، يكتشف هذا الأسلوب الثغرات التي تغفل عنها المسارات الضيقة، وتحديدًا تلك التي تعتمد على الهندسة الاجتماعية والثقة القائمة على الهوية.

يؤكد المؤلفون أن الطبيعة الخالية من التوسيم اليدوي لمجموعة البيانات المولدة هي ميزة عملية رئيسية، حيث تلغي مشكلات التكلفة والقابلية للتوسع المرتبطة بالتدخل البشري في "الفريق الأحمر". إن القدرة على تحقيق متانة تقارب الكمال (F1 > 0.96) من خلال ضبط دقيق خفيف الوزن في بضع ساعات (2-9 ساعات على A100) تثبت مسارًا عمليًا للتحصين المستمر للنماذج. يضع هذا العمل PCAP ليس فقط كأداة اكتشاف، بل كـ "فريق أرجواني" وظيفي يسد الفجوة بين تحديد الثغرات والدفاع الفعال والمؤتمت.