RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs

فيما يلي ملخص تقني مفصل لورقة البحث RefusalGuard: ضبط دقيق يحافظ على الهندسة لضمان السلامة في النماذج اللغوية الكبيرة (LLMs).

بيان المشكلة

عادةً ما يتم توجيه النماذج اللغوية الكبيرة (LLMs) نحو السلامة عبر الضبط الدقيق للتعليمات وتحسين التفضيلات. ومع ذلك، عندما تخضع هذه النماذج لعمليات ضبط دقيق لاحقة للمهام (مثل التخصص في مجال معين أو تفضيلات المستخدم)، فإنها غالبًا ما تعاني من تدهور كبير في سلوك الرفض. هذا الهشاشة تستمر حتى عندما تكون بيانات الضبط الدقيق حميدة أو عندما يتعرض النموذج لعدد ضئيل فقط من الأمثلة الضارة (على سبيل المثال، 10 مطالبات ضارة اصطناعية).

بينما أثبتت الأعمال السابقة أن المحاذاة (Alignment) قد تكون هشة تحت هذا النوع من التكيف، إلا أن الآليات الداخلية التي تقود هذا الفشل لا تزال غير مفهومة بشكل جيد. وتعتمد استراتيجيات التخفيف الحالية غالبًا على تصميم المطالبات التجريبي، أو إضافة أمثلة سلامة إضافية، أو التدريب العدائي دون فهم مبدئي لما يجب الحفاظ عليه من الهياكل الداخلية. تفترض الورقة أن فقدان السلامة ليس مجرد نسيان كارثي عام، بل هو فشل هندسي محدد داخل فضاء التنشيط الخاص بالنموذج.

المنهجية

1. التحليل الميكانيكي لتدهور المحاذاة

قام المؤلفون أولاً باستقصاء آليات التمثيل التي تكمو خلف فقدان السلامة باستخدام منظور هندسة الرفض (Refusal Geometry). وبناءً على أعمال سابقة تشير إلى أن الرفض يتم بوساطة هياكل هندسية منخفضة الأبعاد ومنظمة (مخاريط/Cones) في المجرى المتبقي (Residual Stream)، تحلل الورقة كيفية تطور هذه الهياكل أثناء عملية الضبط الدقيق القياسية.

حدد التحليل ثلاثة تأثيرات متسقة تصاحب تدهور السلامة:

• الانجراف الاتجاهي (Directional Drift): تتحرك تمثيلات المدخلات الضارة بعيدًا عن مخروط الرفض المرجعي المحدد للنموذج المحاذى الأصلي. تنخفض قيمة التنشيط داخل الفضاء الفرعي للرفض، وتنخفض درجة تشابه جيب التمام بين التنشيطات وأساس الرفض.
• التشويه الهندسي (Geometric Distortion): تتغير هندسة الرفض نفسها. الفضاء الفرعي الذي يشغله مخروط الرفض يدور (ينجرف) بالنسبة للأصلي، ويصبح توزيع الإحداثيات الداخلية داخل المخروط مركزًا وغير مستقر (انخفاض في الإنتروبيا، وزيادة في كتلة القمة الأولى/top-1 mass)، مما يجعل الرفض هشًا.
• التداخل بين المهمة والسلامة (Task-Safety Interference): تحديثات التحسين للمهام اللاحقة ليست متعامدة مع الاتجاهات ذات الصلة بالسلامة. بدلاً من ذلك، يقع جزء كبير من تحديثات التدرج (Gradient updates) للمطالبات الضارة موازيًا للفضاء الفرعي للرفض، مما يؤدي فعليًا إلى تعديل وتزعزع استقرار المكونات الوسيطة للسلامة.

2. إطار عمل RefusalGuard

مدفوعًا بالنتيجة التي مفادها أن فقدان السلامة ينبع من إزاحة وتشويه هندسة الرفض، اقترح المؤلفون RefusalGuard، وهو إطار عمل للضبط الدقيق على مستوى التمثيل.

• النموذج الجوهري: تستخدم الطريقة الضبط الدقيق للتمثيل (ReFT)، حيث يتم تجميد معاملات النموذج الأساسي، وتُتعلم وحدات تدخل منخفضة الرتبة لتعديل الحالات الخفية أثناء التمرير الأمامي.
• القيد الهندسي: الابتكار الرئيسي هو خسارة الحفاظ على الهندسة ($L_{geom}$). قبل الضبط الدقيق، يتم استخراج مخروط رفض منخفض الأبعاد من النموذج المحاذى الأساسي لتحديد فضاء فرعي ذي صلة بالرفض. أثناء التدريب، يتم معاقبة تحديثات التدخل إذا كان لها مكون كبير داخل هذا الفضاء الفرعي.
  • يتم إسقاط تحديث الحالة الخفية $\delta$ على الفضاء الفرعي للرفض ($P_{ref}$).
  • تقلل الخسارة من معيار هذا الإسقاط: $L_{geom} = \mathbb{E}[\|P_{ref}(\tilde{h} - h)\|_2^2]$.
• الهدف: يجمع هدف التدريب الإجمالي بين خسارة المهمة اللاحقة القياسية ($L_{task}$) وخسارة الحفاظ على الهندسة ($L_{geom}$):
  $$L_{RG} = L_{task} + \lambda_{geom} L_{geom}$$
  يضمن هذا أن التعلم الخاص بالمهمة يمضي في اتجاهات مكملة لهندسة الرفض، بينما تظل المكونات الوسيطة للسلامة مستقرة.

المساهمات الرئيسية

1. التحليل على مستوى التمثيل: تقدم الورقة تفسيرًا ميكانيكيًا لتدهور المحاذاة، موضحة أنه مدفوع بانجراف اتجاهي منتظم، وتشويه هندسي لمخاريط الرفض، وتداخل بين تحسين المهمة وميزات السلامة.
2. إطار عمل RefusalGuard: تقدم طريقة تدريب تحافظ صراحةً على البنية الهندسية للرفض أثناء التكيف، بدلاً من الاعتماد فقط على الإشراف على مستوى المخرجات أو هندسة المطالبات.
3. التحقق التجريبي: تم تقييم النهج عبر عائلات نماذج متعددة (LLaMA, Gemma, Qwen) واختبارات مرجعية، مما أظهر أن الحفاظ على هندسة الرفض يمنع بفعالية انهيار السلامة مع الحفاظ على فائدة تنافسية.

النتائج التجريبية

قيم المؤلفون RefusalGuard تحت إعداد اختبار الضغط حيث يتم ضبط النماذج المحاذية دقيقًا باستخدام 10 أمثلة ضارة اصطناعية فقط.

• أداء السلامة:
  • فشل الخط المرجعي (Baseline Failure): يتسبب الضبط الدقيق القياسي باستخدام LoRA في انخفاض كارثي في السلامة، حيث ترتفع معدلات نجاح الهجوم (ASR) إلى ~0.70–0.75 وتنخفض معدلات الرفض إلى ~0.25–0.30 عبر الاختبارات المرجعية (AdvBench, DirectHarm4, JailbreakBench).
  • المقارنة: تحقق خطوط الأساس القائمة على التمثيل مثل Circuit Breaker (CB) و REPBEND تحسنًا في المتانة ولكنها تظل متأخرة بشكل كبير عن RefusalGuard (ASL ~0.10–0.27).
  • RefusalGuard: يحقق معدل نجاح هجوم (ASR) يقترب من الصفر (0.008–0.03) ويحافظ على معدلات رفض أعلى من 0.97، مما يمنع فعليًا الانهيار الناجم عن التكيف الضار.
• أداء الفائدة (Utility):
  • بينما يتسبب RefusalGuard في انخفاض طفيف في فائدة المهام اللاحقة (مثل GSM8K, OpenOrca, ARC) مقارنة بـ LoRA غير المقيد، إلا أن الأداء المتبقي يظل تنافسيًا. تشير الورقة إلى مقايضة مواتية بين السلامة والفائدة، حيث يتم تحقيق مكاسب كبيرة في السلامة مع خسائر طفيفة فقط في القدرات.
• الارتباط الميكانيكي: تؤكد النتائج التجريبية الفرضية الميكانيكية: النماذج المدربة باستخدام RefusalGuard تحافظ على محاذاة عالية مع هندسة الرفض الأصلية، وانجراف مخروطي منخفض، وتداخل أدنى بين المهمة والسلامة، بينما يظهر الضبط الدقيق القياسي الاتجاهات المعاكسة.

الأهمية والادعاءات

تدعي الورقة أن هشاشة النماذج المحاذاة للسلامة تحت الضبط الدقيق ليست نتيجة حتمية للتكيف، بل هي فشل هندسي محدد. من خلال تحديد أن الرفض يتم بوساطة هياكل منخفضة الأبعاد يمكن تحديدها، يجادل المؤلفون بأنه يمكن الحفاظ على السلامة من خلال تقييد التحديثات لتجنب إزاحة هذه الهياكل.

تكمن أهمية RefusalGuard في تحوله من الدفاعات التجريبية إلى نهج مبدئي على مستوى التمثيل. فهو يثبت أن الحفاظ على التكامل الهندسي الداخلي للرفض هو استراتيجية قابلة للتطبيق لضمان متانة التكيف للنماذج. ويخلص المؤلفون إلى أن هذا النهج يقدم حلاً أكثر استنادًا إلى الميكانيكا للحفاظ على السلامة في التطبيقات اللاحقة، خاصة في السيناريوهات التي يجب فيها تخصيص النماذج دون المساس بمحاذاتها.