Safety-Aligned Weights Are Not Enough: Refusal-Teacher-Guided Finetuning Enhances Safety and Downstream Performance under Harmful Finetuning Attacks
تقترح هذه الورقة إطار عمل للضبط الدقيق الموجه بمعلم الرفض (Refusal-Teacher-guided finetuning)، والذي يعمل على تحسين كل من السلامة وأداء المهام اللاحقة في ظل هجمات الضبط الدقيق الضارة، وذلك من خلال تدريب النماذج الأساسية مباشرةً باستخدام توجيهات السلامة، بدلاً من الاعتماد على التهيئة الضعيفة التي توفرها الأوزان المتوافقة مسبقاً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي سريع التطور، ظهرت قدرة جديدة قوية: القدرة على أخذ نموذج لغوي ضخم وعام الأغراض وتكييفه ليلائم احتياجات محددة باستخدام بيانات المستخدم الخاصة. هذه الخدمة، التي تُسمى غالباً "الضبط الدقيق" (finetuning)، تتيح للشركات والأفراد تخصيص هذه العقول الرقمية لمهام متخصصة، بدءاً من كتابة الأكواد البرمجية وصولاً إلى تحليل السجلات الطبية. ومع ذلك، فإن هذه المرونة تأتي مع خطر خفي؛ فإذا كانت البيانات المستخدمة في التخصيص تحتوي على تعليمات ضارة — مثل طلبات لبناء أسلحة أو توليد خطاب كراهية — يمكن للنموذج أن يتعلم تجاهل قواعد السلامة الخاصة به. هذا الضعف، المعروف باسم "هجوم الضبط الدقيق الضار"، يهدد بتحويل الأدوات المفيدة إلى أدوات خطيرة. ويتمثل التحدي الجوهري للمطورين في إيجاد طريقة تسمح للمستخدمين بتخصيص نماذجهم دون تعليمها بشكل غير مقصود أن تكون غير آمنة.
لفترة من الوقت، كان الحل القياسي لهذه المشكلة يتمثل في عملية من خطوتين. أولاً، يأخذ المطورون نموذجاً أساسياً ويدربونه بشكل مكثف على بيانات السلامة، لتعليمه رفض الطلبات الضارة، مما ينتج عنه نموذج "متوافق مع معايير السلامة". بعد ذلك، يأخذون هذا النموذج الآمن بالفعل ويقومون بتدريبه بشكل إضافي على بيانات المستخدم الخاصة. وقد اكتشف باحثون من معهد كوريا المتقدم للعلوم والتكنولوجيا (KAIST) الآن أن هذا النهج التقليدي معيب؛ حيث وجدوا أن البدء بنموذج تم تدريبه مسبقاً وبكثافة على قواعد السلامة يجعل من الصعب على النموذج تعلم مهام جديدة بفعالية. إذ يعمل التدريب على السلامة على تغيير الإعدادات الداخلية للنموذج بطريقة ليست مثالية لتعلم مهارات جديدة، مما يؤدي إلى تسوية يكون فيها النموذج إما ضعيف الأداء في مهمة المستخدم، أو الأسوأ من ذلك، ينسى قواعد السلامة الخاصة به عند التعرض لبيانات سيئة.
ولحل هذه المشكلة، اقترح الباحثون استراتيجية مختلفة تقلب السيناريو؛ فبدلاً من البدء بنموذج تم إجباره مسبقاً على أن يكون آمناً، بدأوا بنموذج أساسي خام وقابل للتكيف، وقاموا بتدريبه مباشرة على بيانات المستخدم وبيانات السلامة في آن واحد. ومع ذلك، فإن مجرد خلط هذين النوعين من البيانات معاً يخلق مشكلة جديدة: يصاب النموذج بالارتباك لأن أهداف كون النموذج مفيداً وآمناً يمكن أن تسير أحياناً في اتجاهات متعاكسة. ولحل هذا الصراع، قدم الفريق "معلماً للرفض" (Refusal-Teacher)؛ وهو نموذج منفصل مدرب على السلامة يعمل كمرشد. هذا المعلم لا يقوم بعملية التعلم بنفسه، بل يراقب عملية التعلم ويقدم خدمتين حيويتين: أولاً، يقوم بتصفية التعليمات الضارة من بيانات المستخدم قبل أن يراها النموذج الأساسي، مما يمنع البيانات السيئة من التسبب في ضرر. ثانياً، يوجه النموذج بلطف حول كيفية التعامل مع السلامة دون أن يكون قاسياً للغاية، مستخدماً أمثلة ناعمة بدلاً من القواعد الجامدة لمساعدة النموذج على التعلم بسلاسة.
إن نتائج هذه الطريقة الجديدة مذهلة. ففي الاختبارات التي أدخل فيها الباحثون كميات متفاوتة من البيانات الضارة — تتراوح من عدم وجودها إلى نصف مجموعة التدريب — تفوقت طريقتهم باستمرار على الأساليب الحالية. فعندما احتوت بيانات التدريب على 50% من المطالبات الضارة، فشلت الأساليب التقليدية في الحفاظ على سلامة النموذج، حيث ارتفعت الاستجابات الضارة إلى ما يقرب من 80% في بعض الحالات. وفي المقابل، حافظت الطريقة الجديدة على الاستجابات الضارة دون مستوى 1% مع السماح للنموذج في الوقت نفسه بتعلم مهمة المستخدم بدقة عالية. وقد ظل هذا النجاح قائماً عبر أنواع مختلفة من المهام، مثل حل المسائل الرياضية أو تحليل المقالات الإخبارية، كما نجح مع عدة بنيات مختلفة للنماذج. ووجد الباحثون أيضاً أن هذه الطريقة قللت من "التوتر" الداخلي أو الصراع الذي يحدث عندما يحاول النموذج تعلم شيئين متضادين في وقت واحد، مما أدى إلى عملية تدريب أكثر استقراراً وكفاءة.
تشير الدراسة إلى أن مفتاح التخصيص الآمن لا يكمن في جعل النموذج صلباً مسبقاً بقواعد السلامة، بل في الحفاظ على مرونة النموذج وتوجيهه بعناً أثناء عملية التعلم. ومن خلال استخدام "معلم" لتصفية السموم وتقطير دروس السلامة، يحقق النظام توازناً كان بعيد المنال في السابق. لقد أثبت الباحثون أن هذا النهج يعمل حتى عندما تكون البيانات الضارة متنكرة أو قادمة من مصادر مختلفة، مما يظهر متانة تفتقر إليها الدفاعات الحالية. ورغم أن هذا العمل يعد خطوة كبيرة للأمام، إلا أنه يسلط الضوء على أن السلامة في الذكاء الاصطناعي ليست إعداداً يتم ضبطه لمرة واحدة، بل هي عملية ديناميكية تتطلب توجيهاً ذكياً ومستمراً. وتقدم النتائج مساراً واضحاً لمزودي الخدمات لتقديم التخصيص دون التضحية بسلامة الأدوات التي ينشرونها، مما يضمن أنه كلما أصبحت هذه النماذج أكثر تخصصاً، ظلت موثوقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.