Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعلم من أجل البقاء آمناً: التنظيم التكيفي ضد تدهور السلامة أثناء الضبط الدقيق" (Learning to Stay Safe: Adaptive Regularization Against Safety Degradation during Fine-Tuning).

1. بيان المشكلة

تخضع النماذج اللغوية الكبيرة (LLMs) لمحاذاة سلامة صارمة (مثل RLHF أو DPO) لمنع المخرجات الضارة. ومع ذلك، حددت الأبحاث الحديثة ثغرة حرجة: هجمات الضبط الدقيق الضارة (harmful fine-tuning attacks).

• الثغرة: حتى النماذج التي تكون آمنة في الأصل، يمكن أن تتعرض لتدهور كارثي في حواجز السلامة الخاصة بها من خلال الضبط الدقيق على عدد قليل يتراوح بين 10 إلى 100 مثال ضار فقط.
• النطاق: يحدث هذا التدهور ليس فقط مع البيانات الخبيثة الصريحة، ولكن أيضاً عندما يتم خلط بيانات اتباع التعليمات الحميدة مع نسبة صغيرة من الأمثلة الضارة.
• محدودية الدفاعات الحالية: تعتمد الدفاعات الحالية بشكل أساس الأساس على التنظيم الاستاتيكي (Static Regularization) (مثل عقوبات تباعد كولباك-ليبلر KL-divergence الثابتة) التي تقيد النموذج الذي تم ضبطه بدقة ليبقى قريباً من السياسة الأصلية. وتواجه هذه النهج مقايضة جوهرية:
  • تنظيم ضعيف: يفشل في منع تدهور السلامة تحت الهجمات العدائية.
    की تنظيم قوي: يحافظ على السلامة ولكنه يضعف بشدة قدرات المنفعة الخاصة بالمهمة والقدرة على التكيف.
  • الطبيعة الاستاتيكية: تطبق قيوداً موحدة على جميع بيانات التدريب، مما يجعلها غير قادرة على التمييز بين التكيف مع المهمة الحميدة والتحديثات التي تخل بالسلامة.

2. المنهجية

يقترح المؤلفون إطار عمل موحداً يسمى التنظيم التكيفي (Adaptive Regularization)، والذي يعد بتعديل هدف التدريب ديناميكياً بناءً على تقييم مخاطر السلامة في الوقت الفعلي.

أ. إطار العمل الأساسي: هدف المحاذاة التكيفي

إن خسارة التدريب هي مزيج محدب من خسارة الضبط الدقيق الخاضع للإشراف (SFT) القياسية وخسارة تنظيم تباعد كولباك-ليبلر (KL-divergence)، ولكن الأوزان متغيرة:
$$\mathcal{L}_{tot}^{(t)} = \alpha_t \mathcal{L}_{NLL}^{(t)} + \beta_t \mathcal{L}_{KL}^{(t)}$$

• $\mathcal{L}_{NLL}$: خسارة الـ Negative Log-Likelihood القياسية لتعلم المهمة.
• $\mathcal{L}_{KL}$: عقوبة تباعد KL التي تربط النموذج بسياسة مرجعية آمنة ($\pi_{ref}$).
• الأوزان الديناميكية: يتم تحديد المعاملات $\alpha_t$ و $\beta_t$ بواسطة إشارة سلامة ($s_t \in [0, 1]$) يتم إنتاجها بواسطة "ناقد السلامة" (Safety Critic).
  • المخاطر العالية ($s_t \uparrow$): تزداد $\beta_t$، مما يفرض عقوبة KL قوية لمنع النموذج من الابتعاد عن السياسة الآمنة.
  • المخاطر المنخفضة ($s_t \downarrow$): تنخفض $\beta_t$، مما يسمح للنموذج بالتركيز على $\mathcal{L}_{NLL}$ لتحقيق قدر أفضل من التكيف مع المهمة.

ب. نماذج "الناقد" (Safety Critic Instantiations)

يدعم إطار العمل طريقتين متميزتين لتقدير خطر السلامة $s_t$:

1. الناقد القائم على التنشيط (ما قبل التوليد - Pre-Generation):

   • الآلية: يستفيد من حقيقة أن النوايا الضارة يمكن التنبؤ بها خطياً من الحالات الخفية الداخلية قبل توليد أي رموز (tokens).
   • التنفيذ: يتم تدريب مصنف لوجستي خفيف الوزن (linear probe) على الحالات الخفية للرمز المدخل الأخير (ما قبل التوليد).
   • المزايا: زمن انتقال منخفض للغاية، لا توجد تكلفة عند وقت الاستدلال، ويعمل قبل أن يولد النموذج استجابة.
   • القوة: يستخدم تجميع الطبقات (layer pooling) (تجميع الإشارات عبر طبقات متعددة) لضمان القوة عبر بنيات النماذج المختلفة.

2. الناقد القائم على الحكم (ما بعد التوليد - Post-Generation):

   • الآلية: يستخدم نموذج لغوي خارجياً (مثل gpt-oss-20b) لتقييم المخرجات المولدة من حيث الضرر.
   • التنفيذ: يقوم "الحكم" بتقييم الاستجابة على مقياس من 1 إلى 5، والتي يتم تطبيعها لتصبح $s_t$.
   • المزايا: يلتقط الانتهاكات الدلالية والسياقية المعقدة التي قد تغفل عنها مجسات التنشيط.
   • المقايضة: تكلفة حوسبية وزمن انتقال أعلى مقارنة بالناقد القائم على التنشيط.

3. المساهمات الرئيسية

1. إطار عمل التنظيم التكيفي: آلية تدريب مبتكرة توازن ديناميكياً بين السلامة والمنفعة بناءً على إشارات المخاطر لكل دفعة (batch)، مما يلغي الحاجة إلى الضبط اليدوي لقوة التنظيم.
2. كشف النوايا ما قبل التوليد: التحقق التجريبي من أن النوايا الضارة قابلة للفصل خطياً في الحالات الخفية لما قبل التوليد، مما يسمح بإنشاء نقاد سلامة فعالين ومنخفضي التكلفة.
3. النماذج المزدوجة للناقد: إثبات أن كل من المتنبئات القائمة على التنشيد (الخفيفة) والمقيمين الدلاليين (الحكم) يمكنهم توجيه الإطار التكيفي بفعالية، مما يوفر المرونة لقيود النشر المختلفة.
4. دفاع مبدئي: يوفر آلية تمنع تدهور السلامة دون التضحية بأداء المهمة، مما يعالج المقايضة بين "السلامة والمنفعة" المتأصلة في الدفاعات الاستاتيكية.

4. النتائج التجريبية

قام المؤلفون بتقييم إطار العمل عبر خمسة نماذج مضبوطة بالتعليمات (Phi-3.5, Llama-3.1/3.2, Qwen2.5) وفي سيناريوهات هجوم مختلفة.

• الدفاع ضد الضبط الدقيق العدائي:
  • أدى الضبط الدقيق القياسي (SFT) على بيانات ضارة (مجموعة بيانات HEx-PHI) إلى معدلات نجاح هجوم (ASR) تتجاوز 96%.
  • قلل التنظيم التكيفي معدل نجاح الهجوم (ASR) إلى 1–9% (قريباً من مستويات الخط المرجعي) عبر جميع النماذج، متفوقاً بشكل كبير على الـ SFT المقيد الاستاتيكي (الذي ظل يظهر حوالي 60% ASR).
• سيناريوهات البيانات المختلطة:
  • عند الضبط الدقيق على مجموعات بيانات تحتوي على ما يصل إلى 9% من الأمثلة الضارة، حافظ التنظيم التكيفي على معدلات ASR منخفضة (1–9%) مع الحفاظ على أداء المهمة (مقاساً بمعدلات الفوز في Alpaca-Eval).
  • فشلت عمليات الـ SFT القياسية والدفاعات الاستاتيكية في الحفاظ على السلامة تحت هذه الظروف المختلطة.
• قوة المعلمات الفائقة (Hyperparameter Robustness):
  • ظل الأسلوب فعالاً عبر نطاق واسع من معدلات التعلم ($2 \times 10^{-4}$ إلى $2 \times 10^{-7}$)، مما يثبت أنه لا يتطلب ضبطاً دقيقاً ليكون فعالاً.
• الكفاءة:
  • لم يضف متغير التنشيط (Activation-Based) أي وقت إضافي (wall-clock overhead) (مطابق لسرعة SFT القياسية) واستخداماً ضئيلاً للذاكرة.
  • أضاف متغير الحكم (Judge-Based) عبئاً طفيفاً (~1.17x) ولكنه قدم استدعاءً (recall) دلالياً أعلى.

5. الأهمية والأثر

• النشر العملي: يقدم هذا العمل حلاً عملياً للمؤسسات التي تقوم بضبط النماذج مفتوحة الأوزان. فهو يسمح بالتكيف مع المجالات (domain adaptation) دون الخوف من كسر حواجز السلامة عن غير قصد أو بشكل متعمد.
• تحول في النموذج الفكري: ينقل المجال من التنظيم الاستاتيكي الموحد إلى التنظيم الديناميكي المعتمد على البيانات. وهذا يقر بأن ليس كل بيانات التدريب تشكل نفس القدر من الخطر.
• الحفاظ على السلامة: من خلال دمج قيود السلامة مباشرة في هدف التحسين عبر التغذية الراجعة في الوقت الفعلي، تمنع هذه الطريقة "النسيان الكارثي" لخصائص السلامة الذي يعيب عمليات أنابيب الضبط الدقيق الحالية.
• التكلفة المنخفضة: يثبت النهج القائم على التنشيط أن مراقبة السلامة عالية الدقة يمكن تحقيقها بتكلفة حوسبية مهملة، مما يجعله قابلاً للتوسع في عمليات تكييف النماذج واسعة النطاق.

في الختام، تقدم الورقة آلية تكيفية قوية تنجح في فصل الحفاظ على السلامة عن منفعة المهمة، مما يضمن بقاء النماذج اللغوية الكبيرة آمنة حتى عند تعرضها لأنظمة ضبط دقيق عدائية أو مختلطة.