Abliteration Mitigation via Refusal Aliases
تقدم هذه الورقة AMRA، وهو دفاع يعتمد على تحرير الأوزان يعمل على تخفيف هجمات "الاستئصال" (abliteration) من خلال إخفاء اتجاه الرفض عبر تحديثات الرتبة- والتحويل التزييفي للتنشيط (activation aliasing)، مما يحسن بشكل كبير من الاحتفاظ بالرفض في نموذجي Llama-3-8B وGemma-2-9B مع تأثير ضئيل على فائدة النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المتطور بسرعة، أصبحت النماذج اللغوية الكبيرة أدوات قوية قادرة على التفكير والكتابة وحل المشكلات المعقدة. ولضمان بقاء هذه الأنظمة آمنة ومفيدة، يدربها المطورون على رفض الطلبات التي قد تسبب ضرراً، مثل تعليمات لإنشاء أسلحة أو توليد خطاب كراهية. هذا التدريب على السلامة، والذي يُسمى غالباً "المحاذاة" (alignment)، يعلم النموذج التعرف على المواضيع الخطيرة ورفضها بأدب. ومع ذلك، اكتشف الباحثون ثغرة مفاجئة: الآلية الكامنة وراء هذا الرفض ليست حصناً معقداً وخفياً، بل هي بالأحرى نمط بسيط يمكن تحديده داخل العمليات الداخلية للنموذج. فمن خلال العثور على هذا النمط المحدد — وهو اتجاه متميز في الفضاء الرياضي للنموذج يشير إلى "عدم الإجابة" — يمكن للمهاجمين مسحه رياضياً، مما يؤدي فعلياً إلى إيقاف "مكابح السلامة" للنموذج ببعض التعديلات البسيطة. هذه العملية، المعروفة باسم "الإزالة" (abliteration)، تترك النموذج يعمل بكامل وظائفه ولكن دون حماية، مما يجعله قادراً على إنتاج محتوى ضار كان مصمماً سابقاً لرفضه.
لقد اقترح باحث الآن طريقة جديدة للحماية من هذا النوع المحدد من الهجمات، ليس عن طريق بناء جدار أقوى، بل بجعل الهدف مستحيلاً للعثور عليه. تعمل طريقتهم، المسماة "تخفيف الإزالة عبر أسماء الرفض المستعارة" (Abliteration Mitigation via Refusal Aliases)، على مبدأ أنه إذا لم يتمكن المهاجم من تحديد موقع إشارة السلامة، فلن يتمكن من إزالتها. حدد الباحث أن سلوك الرفض في هذه النماذج يتركز في طبقات محددة من الشبكة، حيث يعالج النموذج المعلومات قبل تمريرها. وقد طور تقنية لتعديل أوزان هذه الطبقات ببراعة، مما يؤدي فعلياً إلى تشويش إشارة السلامة. فبدلاً من أن ينتج النموذج رد فعل واضح ومتسق بكلمة "لا" عند مواجهة طلب ضار، يستبدل النظام المعدل ذلك التفاعل المحدد بضوضاء عشوائية منخفضة التباين. بالنسبة للمنطق الداخلي للنموذج، يتم تصحيح هذه الضوضاء لاحقاً بواسطة الطبقات التالية بحيث يستمر النموذج في العمل بشكل طبيعي للأسئلة الآمنة، ولكن النمط الواضح والقابل للاستخراج الذي سيبحث عنه المهاجم يكون قد اختفى.
اختبر الباحث هذه الطريقة على نموذجين مفتوحي المصدر شائعين، وهما Llama-3 وGemma-2، لمعرفة ما إذا كان بإمكانها الصمود أمام التقنيات القياسية المستخدمة لتجريد ميزات السلامة. وفي تجاربهم، قاموا أولاً بتطبيق تقنية التمويه على النماذج ثم حاولوا إجراء هجوم "الإزالة" المعتاد. وأظهرت النتائج تحسناً كبيراً في قدرة النماذج على الحفاظ على قدرات الرفض الخاصة بها. بالنسبة لنموذج Llama-3، أدى الدفاع إلى تحسين درجة الرفض بمقدار 2.16 نقطة بعد محاولة الهجوم، وهي زيادة كبيرة مقارنة بالنماذج التي لم تتلقَ أي حماية. والأهم من ذلك، أن هذه الزيادة الأمنية جاءت مع فقدان ضئيل جداً في ذكاء النموذج العام أو قدرته على الإجابة على الأسئلة غير الضارة؛ حيث قاس الباحث أداء النموذج في اختبارات المعرفة والاستدلال القياسية ووجد أن الانخفاض في الفائدة كان ضئيلاً، بأقل من نصف نقطة مئوية في اختبار معرفي رئيسي.
كانت النتائج أكثر دراماتيكية، وإن كانت أكثر تعقيداً، عند تطبيقها على نموذج Gemma-2. هنا، أدى الدفاع إلى تحسين درجة الرفض بمقدار 14.70 نقطة، مما أغلق الفجوة فعلياً بين النموذج المحمي والأساس الآمن تماماً. وبينما نجح الهجوم في تقليل سلوك الرفض في النموذج إلى حد ما، إلا أن التمويه جعل الهجوم أقل فعالية بكثير مما كان عليه في النسخ غير المحمية. ومع ذلك، فإن هذه الحماية الأقوى على Gemma-2 جاءت مع تكلفة أعلى لأداء النموذج العام؛ حيث لاحظ الباحث انخفاضاً ملحوظاً في قدرة النموذج على حل المسائل الرياضية وفي استبقاء المعرفة الإجمالية لديه. ويعزو ذلك إلى الإعدادات المحددة المطلوبة لحماية بنية Gemma، والتي تضمنت تغييرات أكثر أهمية في البنية الداخلية للنموذج. وبالرغم من هذه المقايضة، أثبتت الطريقة أنها الدفاع الوحيد الذي تم اختباره والذي نجح في تحصين النموذج ضد الهجمات الاتجاهية مع الحفاظ على معدل المخرجات الضارة منخفضاً.
يكمن جوهر هذا العمل في تركيزه على عملية الاستخراج نفسها. فالدفاعات السابقة غالباً ما حاولت تعزيز إشارة الرفض أو توجيه النموذج بعيداً عن المخرجات الضارة أثناء المحادثة. ويجادل الباحث بأن هذه الأساليب تفشل لأنها لا تعالج السبب الجذري: وهو سهولة العثور على اتجاه الرفض وإزالته. ومن خلال استبدال إشارة الرفض باسم مستعار عشوائي ثم إصلاح الأجزاء اللاحقة من النموذج لتجاهل هذه الضوضاء، يجعل الباحث آلية السلامة غير مرئية للأدوات المستخدمة لتفكيكها. صُممت هذه الطريقة كتعديل لمرة واحدة على أوزان النموذج، بهدف أن يطبقها المطورون قبل إصدار النموذج للجمهور. وبمجرد تعديل الأوزان، لا يتطلب النموذج قوة حوسبة إضافية للحفاظ على سلامته، ولا يحتاج إلى إعادة تدريب.
تسلط الدراسة الضوء على توازن حرج بين الأمن والفائدة. وبينما نجحت الطريقة في عرقلة استخراج اتجاه الرفض، إلا أنها ليست درعاً مثالياً لكل بنية نموذج. وجد الباحث أن فعالية الدفاع تعتمد بشدة على التصميم المحدد للنموذج المراد حمايته. فبالنسبة لبعض النماذج، تكون الحماية سلسة تقريباً، بينما تتطلب نماذج أخرى مقايضة حيث يصبح النموذج أقل قدرة قليلاً على الاستدلال المعقد للحفاظ على سلامته. ويقترح المؤلف أن العمل المستقبلي يمكن أن يعمل على تحسين هذه الإعدادات لتقليل التكلفة على الفائدة، أو دمج هذا التمويه مع طرق أخرى تقوي إشارة الرفض نفسها. وفي النهاية، يوضح البحث أنه من خلال إخفاء التوقيع الذي يعتمد عليه المهاجمون، يمكن جعل النماذج اللغوية الكبيرة أكثر صموداً بشكل كبير أمام المحاولات التي قد تجردها من حواجز السلامة الخاصة بها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.