SafeMERGE: Preserving Safety Alignment in Fine-Tuned Large Language Models via Selective Layer-Wise Model Merging

إليك ملخص تقني مفصل لورقة البحث بعنوان "SafeMERGE: الحفاظ على محاذاة السلامة في النماذج اللغوية الكبيرة التي تم ضبطها دقيقًا عبر دمج النماذج الانتقائي على مستوى الطبقات."

1. بيان المشكلة

يعد الضبط الدقيق (Fine-tuning) للنماذج اللغوية الكبيرة (LLMs) على بيانات مجالات متخصصة (مثل الرياضيات، أو الطب، أو الاتصالات) ممارسة قياسية لتعزيز فائدة المهام. ومع ذلك، تشير الأبحاث الحديثة إلى أن هذه العملية غالبًا ما تؤدي إلى تآكل محاذاة السلامة (safety alignment)، مما يتسبب في توليد النماذج لاستجابات ضارة، أو غير أخلاقية، أو قابلة للاختراق (jailbreakable)، حتى عند تدريبها على بيانات حميدة.

تندرج آليات الدفاع الحالية تحت ثلاث فئات، لكنها تعاني من عيوب كبيرة:

• دفاعات مرحلة المحاذاة (Alignment-stage defenses): غالبًا ما تتطلب إجراءات تدريب معقدة ومخصصة يصعب دمجها في مسارات العمل القياسية.
• دفاعات مرحلة الضبط الدقيق (Fine-tuning-stage defenses): تتطلب تعديل عملية التدريب (مثل خلط بيانات السلامة)، وهو أمر ليس متاحًا دائمًا للممارسين.
• دفاعات ما بعد الضبط الدقيق (Post-fine-tuning defenses): العديد من الطرق الحالية إما تضحي بأداء المهمة لاستعادة السلامة (الدمج العشوائي) أو تفشل في استعادة السلامة بشكل كامل (الطرق القائمة على الإسقاط/Projection).

التحدي الجوهري هو استعادة محاذاة السلامة بعد الضبط الدقيق دون التضحوا بفائدة المهمة المستهدفة ودون الحاجة إلى خوارزميات إعادة تدريب مخصصة أو بنية تحتية معقدة.

2. المنهجية: SafeMERGE

يعتبر SafeMERGE إطار عمل خفيف الوزن، يعمل ما بعد الضبط الدقيق، حيث يقوم بدمج طبقات مختارة من نموذج تم ضبطه دقيقًا مع طبقات من نموذج محاذٍ للسلامة. يعمل هذا الإطار حصريًا على محولات LoRA (Low-Rank Adaptation)، مما يجعله فعالًا من حيث عدد المعلمات.

الآلية الجوهرية

تعتمد الطريقة على فرضية مفادها أن تدهور السلامة ليس موحدًا عبر جميع الطبقات؛ بل إن طبقات محددة فقط هي التي تنحرف عن السلوك الآمن. يقوم SafeMERGE بتحديد وإصلاح هذه الطبقات "غير الآمنة" فقط.

1. بناء النموذج:

   • النموذج المضبوط دقيقًا ($\Delta W_f$): تم تدريبه على المهمة المستهدفة (مثل GSM8K).
   • النموذج الآمن ($\Delta W_s$): نموذج غير مرتبط بمهمة محددة، تم تدريبه على مجموعة فرعية صغيرة من بيانات السلامة العامة (مثل أزواج المطالبات الضارة/الاستجابات الآمنة). يتم تدريب هذا النموذج مرة واحدة ويُعاد استخدامه.

2. الفضاء الفرعي المحاذي للسلامة ($V_i$):
   لكل طبقة $i$، يتم تحديد فضاء فرعي محاذٍ للسلامة من خلال الفرق بين أوزان نموذج محاذٍ (مثل Instruct) ونموذج أساسي غير محاذٍ:
   $$V_i = W_i^{\text{aligned}} - W_i^{\text{unaligned}}$$

3. كشف الانحراف (تشابه جيب التمام - Cosine Similarity):
   يقيس SafeMERGE تشابه جيب التمام ($\rho_i$) بين تحديث LoRA للضبط الدقيق ($\Delta W_f^i$) وإسقاطه على الفضاء الفرعي للسلامة ($C_i \Delta W_f^i$):
   $$\rho_i = \cos(\Delta W_f^i, C_i \Delta W_f^i)$$

   • $\rho_i$ مرتفع: تحديث الطبقة يتوافق مع السلامة؛ يتم الاحتفاظ بالطبقة المضبوطة دقيقًا.
   • $\rho_i$ منخفض ($\rho_i < \tau$): تحديث الطبقة ينحرف بشكل كبير عن السلامة؛ يتم وسمها كطبقة "غير آمنة".

4. الدمج الانتقائي:
   يتم دمج الطبقات التي تم تحديدها كغير آمنة فقط مع الطبقات المقابلة لها من النموذج الآمن باستخدام استراتيجية وزن خطي:
   $$\Delta W_{\text{merge}}^i = \alpha \Delta W_f^i + (1 - \alpha) \Delta W_s^i$$

   • $\tau$ (العتبة): تتحكم في الانتقائية. العتبة الأعلى تدمج المزيد من الطبقات (أكثر أمانًا ولكن قد تكون أقل فائدة للمهمة).
   • $\alpha$ (الوزن): توازن بين مساهمة النموذج المضبوط دقيقًا مقابل النموذج الآمن.

3. المساهمات الرئيسية

• الدمج الانتقائي على مستوى الطبقات: على عكس الطرق السابقة التي تدمج نماذج كاملة أو تسقط جميع التحديثات، يستهدف SafeMERGE فقط الطبقات المحددة التي انحرفت عن السلامة، مما يحافظ على فائدة الطبقات الحميدة.
• مقياس تشابه جيب التمام (Cosine Similarity): أثبت المؤلفون أن استخدام تشابه جيب التمام (المحاذاة الاتجاهية) يتفوق على المسافة الإقليدية (المقدار) في اكتشاف انحراف السلامة. فالمقاييس القائمة على المقدار غالبًا ما تصنف تحديثات المهام المفيدة والكبيرة على أنها ضارة، بينما يعزل تشابه جيب التمام اتجاه الانحراف.
• خفيف الوزن وعملي: لا يتطلب إطار العمل إعادة تدريب، ولا يتطلب انتشارًا عكسيًا (Backpropagation)، ولا حلقات تدريب مخصصة. إنه يعمل بالكامل على وحدة المعالجة المركزية (CPU) من خلال التلاعب بأوزان LoRA بعد التدريب.
• نموذج آمن غير مرتبط بمهمة: يتم تدريب نموذج السلامة مرة واحدة على بيانات سلامة عامة ويمكن إعادة استخدامه عبر مهام مختلفة، مما يقلل من العبء الحسابي.

4. النتائج التجريبية

قام المؤلفون بتقييم SafeMERGE على أربعة نماذج لغوية كبيرة (Llama-2, Llama-3.1, Qwen-2, Qwen-2.5) عبر مهام متعددة (GSM8K، وPubMedQA، ومجموعات بيانات اتصالات متخصصة).

• استعادة السلامة: نجح SafeMERGE باستمرار في تقليل المخرجات الضارة (مقاسة عبر اختبارات Red-teaming مثل DirectHarm وHexPhi) بشكل أكبر بكثير من النماذج المرجعية مثل SafeLoRA وRESTA وSafeInstruct. وفي كثير من الحالات، قلل من الضرر إلى مستويات أقل من النماذج الأصلية المحاذية (Instruct models).
• الحفاظ على الفائدة: على عكس الطرق التي تدمج النماذج بشكل عشوائي (والتي غالبًا ما تسبب نسيانًا كارثيًا)، حافظ SafeMERGE على دقة المهمة أو حتى حسّنها.
  • مثال: في مهمة GSM8K لنموذج Llama-3.1، حسّن SafeMERGE الدقة لتصل إلى 78.50% (متجاوزًا النموذج المضبط دقيقًا) مع تحقيق أدنى درجة ضرر (8.80%).
• المقارنة مع النماذج المرجعية:
  • SafeInstruct: منافس قوي ولكنه يتطلب غالبًا بيانات سلامة أكثر ويحقق فائدة أقل قليلاً.
  • RESTA/RESTA-Instruct: أدت أداءً أقل باستمرار في جانب الفائدة بسبب عمليات طرح/دمج المعلمات العدوانية.
  • SafeLoRA: جيد في الحفاظ على الفائدة ولكنه أقل فعالية في استعادة السلامة مقار بدمج SafeMERGE الانتقائي.
• دراسات الاستئصال (Ablation Studies):
  • المقياس: تفوق تشابه جيب التمام على المسافة الإقليدية، التي تسببت في انخفاض حاد في الفائدة.
  • العتبة ($\tau$): تم العثٍ على العتبات المثلى في نطاق ضيق ($\tau \in [0.6, 0.8]$)، مما يشير إلى أن الطريقة قوية وتتطلب حدًا أدنى من الضبط.
  • استراتيجية الدمج: أثبت الدمج الخطي أنه أكثر قوة من استراتيجيات TIES أو DARE، التي أظهرت نتائج غير متسقة.

5. الأهمية والخاتمة

يعالج SafeMERGE فجوة حرجة في دورة حياة النماذج اللغوية الكبيرة: الحفاظ على السلامة بعد التكيف مع المجال.

• العملية: يوفر حلاً جاهزًا (Plug-and-play) للممارسين الذين قاموا بالفعل بضبط نماذجهم دقيقًا واكتشفوا مشكلات في السلامة، دون الحاجة لتغيير مسارات التدريب الحالية.
• الكفاءة: من خلال العمل فقط على محولات LoRA وعدم اشتراطه لإعادة التدريب، فإن تكلفته الحسابية ضئيلة جدًا مقارنة بالضبط الدقيق الكامل.
• الرؤية: تقدم هذه الدراسة دليلًا ميكانيكيًا على أن محاذاة السلامة هشة وتعتمد على الطبقات. وهي تشير إلى أن تدهور السلامة ليس خاصية عالمية للنموذج، بل هو انحراف موضعي في طبقات محددة، يمكن تصحيحه جراحيًا.

باختصار، يضع SafeMERGE معيارًا جديدًا للدفاع عن السلامة بعد الضبط الدقيق، مُثبتًا أن التدخل الانتقائي على مستوى الطبقات يقدم مقايضة متفوقة بين السلامة والفائدة مقارنة باستراتيجيات الإسقاط العالمي أو دمج النموذج الكامل.