Secure LLM Fine-Tuning via Safety-Aware Probing

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان "الاستقصاء الواعي بالسلامة لضبط النماذج اللغوية الكبيرة بدقة آمنة" (SAP).

1. بيان المشكلة

يتم عادةً توجيه النماذج اللغوية الكبيرة (LLMs) نحو السلامة خلال مراحل ما قبل التدريب أو ما بعد التدريب. ومع ذلك، تكشف الدراسات الحديثة أن الضبط الدقيق (Fine-tuning) على بيانات حميدة (غير ضارة) يمكن أن يؤدي دون قصد إلى تدهور السلامة، مما يتسبب في توليد المحتوى الضار.

• الآلية الجوهرية: تفترض الورقة أن مساحات الخسارة (Loss landscapes) الخاصة بـ أداء المهام (الاتجاهات الحرجة للمنفعة) والسلامة (الاتجاهات الحرجة للضرر) منفصلة جزئيًا ولكنها متشابكة.
• التشابك: يظهر تحليل التدرج (Gradient analysis) أن الاتجاه الذي يقلل خسارة المهمة المحددة غالبًا ما يتوافق إيجابيًا مع الاتجاه الذي يقلل خسارة الضرر (أي يزيد من مخاطر السلامة). وبناءً على ذلك، فإن الانحدار الاشتقاقي القياسي (Standard gradient descent) على البيانات المفيدة يدفع النموذج دون قصد إلى مناطق غير آمنة في فضاء المعلمات.
• محدودية الدفاعات الحالية: الحلول الحالية مثل تصفية البيانات (مثل Lisa وSAFT) أو التنظيم المحدد (مثل SafeLoRa) غالبًا ما تكون مقيدة؛ فهي تتطلب تعديل مجموعات البيانات، أو تقتصر على بنيات محددة (مثل LoRA)، أو تفشل في معالجة مشكلة مسار التحسين الأساسية.

2. المنهجية: الاستقصاء الواعي بالسلامة (SAP)

يقترح المؤلفون إطار عمل SAP، وهو إطار تحسين ثنائي المستوى (bi-level optimization) يتدخل مباشرة في عملية الضبط الدقيق لتوجيه تحديثات المعلمات بعيدًا عن المسارات الضارة دون تغيير بيانات التدريب أو تقييد نموذج الضبط الدقيق.

أ. المفهوم الجوهري: إشارات السلامة التباينية

يستخدم SAP خسارة سلامة تباينية ($L_{safe}$) مستمدة من أزواج من الاستجابات الآمنة والضارة لنفس المطالبة (Prompt).

• الاتجاه الحرج للسلامة: يُعرف بأنه $-\nabla_W L_{safe}$.
• الاتجاه الحرج للضرر: يُعرف بأنه $+\nabla_W L_{safe}$ (الاتجاه الذي يزيد من مخاطر السلامة).
• الاتجاه الحرج للمنفعة: يُعرف بأنه $-\nabla_W L_{useful}$.
• الملاحظة: تثبت الورقة تجريبيًا أن $-\nabla_W L_{useful}$ و $+\nabla_W L_{safe}$ مرتبطان إيجابيًا، مما يفسر سبب تدهور السلامة أثناء الضبط الدقيق القياسي.

ب. إطار التحسين

يقدم SAP مسبارًا خفيف الوزن ($V$) يقوم باضطراب انتشار الحالة الخفية (hidden-state propagation) أثناء عمليات التمرير الأمامي. بدلًا من تعديل الأوزان مباشرة، يقوم بإضافة تنسور $v_j$ إلى الحالات الخفية لطبقات مختارة.

• الهدف: الهدف هو إيجاء مسبار $V$ يعظم خسارة المنفعة والسلامة ($L_{su}$).
  • $L_{su}(W, V) = L_{useful}(W + \Delta W_{harmful}, V) - L_{useful}(W, V)$
  • حدسيًا، إذا كانت $L_{su} > 0$، فهذا يعني أن التحرك في اتجاه الضرر سيؤدي إلى زيادة خسارة المهمة. ومن خلال تعظيم هذه القيمة، يعيد SAP تشكيل مساحة الخسارة بحيث يتجنب الانحدار الاشتقاقي على هدف المهمة طبيعيًا الاتجاهات الضارة.
• التحسين ثنائي المستوى (الخوارزمية 1):
  1. الخطوة الداخلية (تحديث المسبار): حساب اتجاه الضرر $\Delta W_{harmful}$ وإجراء خطوة صعود تدرجي لتحديث المسبار $V$ لتعظيم $L_{su}$. هذا يلتقط الاتجاهات الحساسة للسلامة.
  2. الخطوة الخارجية (تحديث النموذج): إجراء خطوة انحدار اشتقاقي على أوزان النموذج $W$ باستخدام الحالات الخفية المضطربة (مع $V_{safe}$) لتقليل خسارة المهمة $L_{useful}$.
• الكفاءة: يتم تطبيق المسبار فقط على مجموعة فرعية من الطبقات (مثل الطبقات الوسطى 11–20) ولا يتطلب تجسيد أوزان مضطربة، مما يحافظ على عبء ذاكرة وحدة معالجة الرسومات (GPU) ضئيلًا (مشابه للضبط الدقيق القياسي).

3. المساهمات الرئيسية

1. الرؤية النظرية: تحديد كمي رسمي للتشابك بين اتجاهات التدرج الحرجة للمنفعة والحرجة للضرر، مما يثبت أن التحسين لأداء المهمة وحده غير كافٍ للسلامة.
2. إطار عمل مبتكر: اقتراح SAP، وهو منهج تحسين غير مقيد بنموذج معين يستخدم استقصاء الحالة الخفية لتوجيه التحديثات بعيدًا عن مخاطر السلامة. بخلاف الأعمال السابقة، لا يعتمد SAP على مجموعات بيانات محددة أو قيود LoRA فقط.
3. تقييم شامل: التحقق من فعالية SAP عبر نماذج متعددة (Llama-2, Vicuna, Qwen)، ومهام مختلفة (اتباع التعليمات، الاستدلال)، وسيناريوهات هجوم متنوعة (الضبط الدقيق الحميد، تسميم البيانات، الضبط الدقيق العدائي، والهجمات التكيفية).

4. النتائج التجريبية

أجرى المؤلفون تجارب مكثفة لمقارنة SAP مع خطوط الأساس مثل SFT وLisa وSAFT وSafeInstr وSaLoRA.

• الضبط الدقيق الحميد:
  • خفض SAP متوسط درجة الضرر (HS) من 37.43% (SFT القياسي) إلى 23.07%، متفوقًا على أفضل خط أساس (SafeInstr عند 26.2%).
  • والأهم من ذلك، حافظ SAP على مقاييس أداء المهمة (BLEURT، خسارة Cross-Entropy) أو حسنها قليلاً مقارنة بـ SFT، بينما ضحت طرق السلامة الأخرى غالبًا بالمنفعة.
• القابلية للتوسع:
  • ظل SAP فعالًا في الضبط الدقيق لكامل المعلمات (Qwen3-0.6B) والنماذج الأكبر (Llama-2-13B)، مما يثبت أنه ليس محدودًا بالتكيف منخفض الرتبة.
• القدرة على الصمود أمام الهجمات:
  • تسميم البيانات: في ظل وجود تسميم للبيانات الضارة بنسبة 25%، خفض SAP درجة HS إلى 29.1% على Llama-2، بينما ارتفعت درجات HS في خطوط الأساس إلى 32.2%–39.4%.
  • الضبط الدقيق العدائي: حتى عندما قام مهاجم بضبط النموذج المفرج عنه بدقة على بيانات ضارة، احتفظت النماذج التي تم ضبطها باستخدام SAP بدرجات ضرر أقل بكثير من النماذج التي تم ضبطها باستخدام SFT.
  • الهجمات التكيفية: صمد SAP أمام هجوم تكيفي مخصص حيث عكس المهاجم قاعدة تحديث المسبار، محافظًا على هامش سلامة يزيد عن 30 نقطة في درجة HS مقارنة بـ SFT.
• الكفاءة:
  • على الرغم من أن SAP يتسبب في زيادة زمن التنفيذ (wall-clock time) بمقدار ~2.5 ضعف لكل خطوة بسبب التحسين ثنائي المستوى، إلا أنه يتقارب بشكل أسرع. وعند مطابقة إجمالي وقت التدريب، تفوق SAP على خطوط الأساس التي تدربت لفترات أطول.
  • زاد استخدام ذاكرة وحدة معالجة الرسومات (GPU) بنسبة أقل من 2% مقارنة بالضبط الدقيق القياسي.

5. الأهمية

تعالج هذه الورقة فجوة حرجة في سلامة النماذج اللغوية الكبيرة: وهي ضعف النماذج المتوافقة أثناء التكيف في المهام اللاحقة.

• تحول في النموذج الفكري: ينقل حفظ السلامة من تصفية البيانات أو التنظيم اللاحق إلى التحكم في مسار التحسين.
• الواقعية: من خلال كونه غير مرتبط ببنية معينة ويتطلب حيزًا ضئيلًا من الذاكرة، يعد SAP عالي القابلية للتوسع ومناسبًا لواجهات برمجة تطبيقات الضبط الدقيق التجارية في العالم الحقيقي.
• القدرة على الصمود: يوفر دفاعًا قويًا ضد كل من التدهور العرضي للسلامة (الضبط الدقيق الحميد) والهجمات الخبيثة (التسميم/الضبط الدقيق العدائي)، مما يقدم نهجًا مبدئيًا للحفاظ على التوافق طوال دورة حياة النموذج.

ختامًا، يثبت SAP أن السلامة والمنفعة لا يجب أن يكونا علاقة عكسية؛ فمن خلال مراعاة اتجاهات السلامة الحرجة صراحةً أثناء عملية التحسين، يمكن ضبط النماذج بدقة لمهام محددة دون المساس بتوافقها مع معايير السلامة.