Sysformer: Safeguarding Frozen Large Language Models with Adaptive System Prompts

إليك ملخص تقني مفصل لورقة البحث "Sysformer: Safeguarding Frozen Large Language Models with Adaptive System Prompts"، المنشورة في ICLR 2026.

1. بيان المشكلة

مع نشر النماذج اللغوية الكبيرة (LLMs) في بيئات حرجة تتعلق بالسلامة، يعد ضمان التزام استجاباتها بمعايير السلامة أمراً بالغ الأهمية. ومع ذلك، غالباً ما تفشل النماذج اللغوية الكبيرة الحالية في التمييز بين الطلبات غير الضارة والضارة، مما يؤدي إلى مشكلتين رئيسيتين:

1. الرفض غير المبرر: رفض الإجابة على المطالبات الحميدة.
2. التوليد الضار: توليد محتوى خطير عند الطلب.

تواجه آليات الدفاع الحالية قيوداً كبيرة:

• الضبط الدقيق (Fine-tuning): تحديث معاملات النموذج مكلف حاسوبياً، ولا يتوسع بشكل جيد مع حجم النموذج، ويخاطر بمحو المعرفة المسبقة، وغالباً ما يؤدي إلى "الرفض المفرط".
• التصفية/المعالجة اللاحقة (Filtering/Post-processing): الطرق مثل تصفية المطالبات أو تنعيم التوليد غالباً ما تتسبب في تكالفت استدلال عالية (استدعاءات متعددة للنموذج اللغوي الكبير) أو تحظر المحتوى المفيد بشكل تعسفي.
• مطالبات النظام الثابتة (Static System Prompts): تعتمد النهج الحالية غالباً على مطالبة نظام ثابتة لجميع المدخلات، وهو ما يفتقر إلى القدرة على التكيف للتعامل مع مدخلات المستخدم المعادية أو الدقيقة.

التحدي الجوهري: كيف يمكن تعزيز سلامة النماذج اللغوية الكبيرة المجمدة (Pre-trained) دون تحديث معاملاتها، أو تصفية مطالبات المستخدم، أو تحمل تكالونات استدلال مفرطة، مع الحفاظ على فائدة عالية في المهام الحميدة.

2. المنهجية: Sysformer

يقترح المؤلفون Sysformer، وهو بنية برمجية جديدة قائمة على "المحول" (Transformer) وذات طابع معياري، تلتصق بمدخل أي نموذج لغوي كبير مجمد. بدلاً من تعديل النموذج اللغوي نفسه، يتعلم Sysformer تحويل مطالبة النظام بشكل تكيفي بناءً على مطالبة المستخدم المقدمة.

الافتراض الرئيسي

تفترض الورقة أن مطالبة النظام الثابتة ليست مثالية. بدلاً من ذلك، توجد مطالبة نظام تكيفية $\hat{S}(P)$، مشتقة من مطالبة المستخدم $P$، بحيث تكون استجابة النموذج اللغوي الكبير لـ $\hat{S}(P) \oplus P$ أكثر قوة بكثير من استجابته لمطالبة ثابتة $S \oplus P$.

البنية الهيكلية

يعمل Sysformer في فضاء تضمين المدخلات (Input Embedding Space) بدلاً من الفضاء النصي.

1. ترميز المدخلات: يتم تحويل كل من مطالبة النظام الأولية ($S$) ومطالبة المستخدم ($P$) إلى تضمينات رموز (Token Embeddings) باستخدام مصفوفة التضمين الخاصة بالنموذج اللغوي الكبير المجمد.
2. طبقات المحول (Transformer Layers): يتكون Sysformer من $L$ من الطبقات (ثابتة عند $L=2$) تتناوب بين:
   • الانتباه الذاتي (Self-Attention): يعالج تضمينات مطالبة النظام.
   • الانتباه المتقاطع (Cross-Attention): يسمح لمطالبة النظام بالانتباه إلى تضمينات مطالبة المستخدم.
3. المخرجات: تُنتج الوحدة تضمين مطالبة نظام محول $\hat{S}$، والذي يتم دمجه مع تضمينات مطالبة المستخدم وتغذيته في النموذج اللغوي الكبير المجمد.

استراتيجية التدريب

يتم تدريب Sysformer باستخدام مزيج مرجح من دوال الخسارة مع إبقاء معاملات النموذج اللغوي الكبير مجمدة:

• خسارة الرفض ($L_{ref}$): تزيد من احتمالية إخراج النموذج لسلسلة رفض ثابتة (مثل "أنا آسف، لا يمكنني المساعدة") للمطالبات الضارة.
• خسارة الامتثال ($L_{compl}$): تزيد من احتمالية توليد استجابات وفية للمطالبات الآمنة. يمكن القيام بذلك عبر قالب ثابت أو باستخدام النموذج اللغوي نفسه لتوليد استجابة "ذهبية" (الامتثال الذاتي).
• خسارة التصنيف ($L_{class}$): مصنف خطي مُدرب على الحالات المخفية (Hidden States) للنموذج اللغوي الكبير للتمييز بين المطالبات الضارة والآمنة، مما يشجع التمثيلات المخفية على التوافق مع اتجاه الرفض.
• خسارة إعادة البناء ($L_{recon}$): تقلل المسافة بين المطالبة الأصلية والمطالبة المحولة للحفاظ على التوجيهات المقصودة من قبل الناشر.
• الامتثال الإضافي ($L_{add}$): يستخدم مجموعة بيانات ضبط دقيق تعليمي مساعدة (مثل Alpaca) لمنع النموذج من الإفراط في التخصيص لمهام السلامة وفقدان قدرات توليد النصوص العامة.

3. المساهمات الرئيسية

1. مطالبات النظام التكيفية: قدم مفهوم تعديل مطالبة النظام ديناميكياً بناءً على مدخلات المستخدم لتعزيز السلامة، مما يتحدى نموذج المطالبات الثابتة.
2. دفاع معياري وفعال في المعاملات: يقترح وحدة "محول" خفيفة الوزن تحمي النماذج اللغوية الكبيرة المجمدة دون إعادة تدريب النموذج الأساسي الضخم، مما يتجنب التكاليف والمخاطر المرتبطة بالضبط الدقيق.
3. القوة ضد عمليات الاختراق (Jailbreaks): يوضح أنه من خلال تعزيز بيانات التدريب بعدد قليل من أمثلة الاختراق، يمكن لـ Sysformer التعميم بشكل ممتاز على هجمات الاختراق المعقدة وغير المرئية.
4. تقييم شامل: يوفر تجارب واسعة النطاق عبر 5 عائلات من النماذج اللغوية الكبيرة (Llama, Mistral, Phi, Zephyr) واثنين من معايير السلامة الرئيسية (JailbreakBench, StrongReject).

4. النتائج التجريبية

قيم المؤلفون Sysformer على 5 نماذج (تتراوح من 7 مليار إلى 8 مليار معلمة) مقابل خطوط أساس مثل مطالبات النظام الافتراضية، ومضمنات النظام، والضبط الدقيق باستخدام LoRA.

• أداء السلامة:
  • حقق Sysformer زيادة تصل إلى 80% في معدلات الرفض للمطالبات الضارة مقارنة بخطوط الأساس.
  • قلل بشكل كبير من معدل الرفض للمطالبات الآمنة (تحسن بنسبة تصل إلى 90% في الامتثال)، مما حل فعلياً مشكلة "الرفض المفرط" التي تظهر في الطرق الأخرى.
  • في مقياس فجوة الرفض ($\Delta RR$) (الفرق بين معدلات الرفض للضار والآمن)، تفوق Sysformer على جميع خطوط الأساس، وغالباً ما طابق أو تجاوز أداء الضبط الدقيق الكامل باستخدام LoRA.
• الدفاع ضد الاختراق (Jailbreak Defense):
  • في البداية، واجه Sysformer صعوبة مع استراتيجيات الاختراق غير المرئية.
  • ومع ذلك، بعد تعزيز الهجوم (التدريب على مجموعة فرعية صغيرة من 6 أنواع اختراق)، تعمم بشكل ملحوظ على أكثر من 16 استراتيجية هجوم غير مرئية، محققاً معدلات رفض تقترب من 100% للاختراقات الضارة لعدة نماذج (مثل Mistral-7B).
• الكفاءة:
  • عبء الاستدلال ضئيل (حوالي 20-30 ثانية لكل دفعة على JailbreakBench)، وهو ما يماثل الطرق القائمة على التضمين الحالية.
  • لا يتطلب خطوات إضافية لاستدعاء النماذج اللغوية الكبيرة أو التصفية.
• التعميم:
  • النماذج المدربة على JailbreakBench تعممت بشكل جيد على معيار StrongReject الأكثر صعوبة.
  • ظل الأداء مستقراً عبر نماذج تضمين الجمل المختلفة، رغم أن استخدام تضمينات الرموز الأصلية للنموذج اللغوي أعطى أفضل النتائج.

5. الأهمية والتوجهات المستقبلية

• سلامة منخفضة التكلفة: يوفر Sysformer بديلاً قابلاً للتوسع وأرخص للضبط الدقيق لنشر نماذج لغوية كبيرة آمنة، خاصة للمؤسسات التي لا تستطيع تحمل تكلفة إعادة تدريب النماذج الضخمة.
• تحول في النموذج الفكري: ينقل التركيز من المحاذاة الثابتة للسلامة إلى السلامة الواعية بالسياق والتكيفية، مما يشير إلى أن مطالبات النظام يجب أن تكون متغيرات ديناميكية وليست ثوابت ثابتة.
• تطبيقات أوسع: يقترح المؤلفون إمكانية تطبيق هذه الآلية التكيفية على مجالات أخرى، مثل التوليد المعزز بالاسترجاع (RAG)، حيث يعد محاذاة السياق أمراً بالغ الأهمية.
• القيود: يتكبد الأسلوب تعقيداً زمنياً حدودياً بالنسبة لطول المطالبة، وهو محدود حالياً بالنماذج الأصغر (أقل من 8 مليار معلمة) بسبب قيود الذاكرة أثناء الانتشار العكسي (Backpropagation). يهدف العمل المستقبلي إلى معالجة التوسع والثغرات المحتملة حيث قد تتلاعب مطالبات المستخدم الخبيثة بتكيف مطالبة النظام.

في الختام، يمثل Sysformer خطوة مهمة للأمام في سلامة النماذج اللغوية الكبيرة من خلال إثبات أن وحدة صغيرة قابلة للتدريب يمكنها "توجيه" نموذج لغوي كبير مجمد نحو سلوك آمن دون المساس بفائدته أو تطلب إعادة تدريب مكلفة.