MANATEE: Inference-Time Lightweight Diffusion Based Safety Defense for LLMs

إليك ملخص تقني مفصل لورقة البحث بعنوان: "MANATEE: دفاع سلامة يعتمد على الانتشار خفيف الوزن في وقت الاستدلال لنماذج اللغات الكبيرة (LLMs)".

1. بيان المشكلة

لا تزال نماذج اللغات الكبيرة (LLMs) عرضة لـ هجمات الاختراق العدائية (مثل هجمات GCG، وهجمات التمهيد/priming)، وهجمات الأبواب الخلفية (مثل الوكلاء النائمين/Sleeper Agents)، والتي يمكن أن تتجاوز تدريب السلامة وتستحث مخرجات ضارة. تعاني آليات الدفاع الحالية من قيود كبيرة:

• الضبط الدقيق (Fine-tuning): إن إعادة الضبط الدقيق المتكررة للنماذج لسد الثغرات مكلفة حاسوبياً، وتؤدي إلى تدهور قدرات النموذج، وغالباً ما تفشل في القضاء على السلوكيات الخداعية.
• المصنفات الثنائية (Binary Classifiers): المصنفات التقليدية التي تكتشف المدخلات الضارة هشة؛ حيث يمكن للمهاجمين صياغة مدخلات تقع خارج حدود القرار المتعلمة ومع ذلك تثير مخرجات ضارة.
• التعميم (Generalization): غالباً ما تفشل الدفاعات في التعميم عبر فئات الهجمات المختلفة أو عائلات النماذج المختلفة دون إعادة تدريب.

التحدي الجوهري هو تطوير دفاع خفيف الوزن حاسوبياً، ولا يتطلب بيانات تدريب ضارة، ولا يعدل بنية النموذج الأساسي، ويقوم بفعالية بإسقاط التمثيلات الشاذة (التي قد تكون ضارة) مرة أخرى إلى منطقة آمنة.

2. المنهجية: MANATEE

يقترح المؤلفون MANATEE، وهو آلية دفاع تعمل في وقت الاستدلال وتعمل بالكامل في فضاء التمثيل (تحديداً الطبقة المخفية النهائية لنموذج اللغة الكبير). بدلاً من السؤال "هل هذا المدخل ضار؟"، يسأل MANATEE: "كيف يمكن إسقاط هذا التمثيل على متشعب (manifold) التمثيلات الحميدة؟".

يعامل النهج السلامة كـ مشكلة تقدير كثافة يمكن حلها عبر نماذج الانتشار (diffusion models).

المكونات الأساسية:

1. تعلم المتشعب الحميد (Benign Manifold Learning):

   • يستخرج النظام الحالات المخفية للطبقة النهائية من تكملات النماذج الحميدة (لا يتم استخدام أي بيانات ضارة).
   • يتم توحيد هذه المتجهات (المتوسط صفر، والتباين واحد).
   • يتم تدريب نموذج انتشار احتمالي لإزالة الضجيج (DDPM) على هذه المتجهات الحميدة لتعلم دالة الدرجة (score function) -أي تدرج كثافة اللوغاريتم- الخاصة بمتشعب التمثيل الحميد. المزيل للضجيج (denoiser) عبارة عن شبكة MLP بسيطة مكونة من 3 طبقات.

2. الكشف والتوجيه في وقت الاستدلال:

   • تسجيل الشذوذ (Anomaly Scoring): عند معالجة استعلام مستخدم، يتم توحيد الحالة المخفية النهائية ($h$) للنموذج. يتنبأ نموذج الانتشار بالضجيج المطلوب لإعادة بناء هذه الحالة من نسخة مشوشة عند خطوة زمنية ثابتة ($t_{check}$).
   • حساب الدرجة (Score Calculation): درجة الشذوذ $s(h)$ هي مقدار الضجيج المتوقع ($\|\epsilon_\theta(\tilde{h}, t_{check})\|_2$).
     • درجة منخفضة: الحالة تقع ضمن المتشعب الحميد (آمنة).
     • درجة عالية: الحالة خارج التوزيع (قد تكون ضارة أو تحتوي على باب خلفي).
   • منطق القرار:
     • إذا كان $s(h) > \tau$ (العتبة): يقوم النظام بتفعيل رفض تلقائي (مثلاً: "لا يمكنني الامتثال").
     • إذا كان $s(h) \le \tau$: يطبق النظام توجيه الانتشار (Diffusion Steering). حيث يقوم بحقن ضجيج في الحالة المخفية وإزالة الضجيج منها بشكل تكراري باستخدام نموذج الانتشار المدرب. هذه العملية "تطهر" التمثيل، مما يؤدي إلى إسقاطه نحو المناطق ذات الكثافة العالية في المتشبح الحميد قبل تمريره إلى رأس لغة النموذج لتوليد الرموز (tokens).

3. المساهمات الرئيسية

• دفاع في وقت الاستدلال: يعمل MANATEE دون تعديل أوزان نموذج اللغة الكبير الأساسي أو الحاجة إلى إعادة تدريب النموذج الرئيسي. إنه وحدة "قابلة للتركيب والتشغيل" (plug-and-play).
• لا يتطلب بيانات ضارة: يتم تدريب الدفاع حصرياً على البيانات الحميدة، مما يتجنب المشكلات الأخلاقية واللوجستية المتعلقة بجمع أمثلة تدريب ضارة.
• إسقاط المتشعب (Manifold Projection): على عكس المصنفات الثنائية التي تكتفي بالرفض، يقوم MANATEE بـ تصحيح التمثيلات الشاذة فعلياً، مما يوجهها للعودة إلى المناطق الآمنة مع الحفاظ على الفائدة الدلالية للمدخلات الحميدة.
• قابلية انتقال النماذج (Cross-Model Transferability): يتم تدريب الطريقة على الحالات المخفية الحميدة لنموذج واحد ويمكن تطبيقها للدفاع عن عائلات نماذج مختلفة (مثل Mistral، Llama، Gemma) دون إعادة تدريب نموذج الانتشار.

4. النتائج التجريبية

قيم المؤلفون MANATEE على ثلاثة نماذج أساسية (Mistral-7B-Instruct، Llama-3.1-8B-Instruct، Gemma-2-9B-it) عبر ثلاث مجموعات بيانات:

1. كشف الشذوذ الميكانيكي (MAD): هجوم الباب الخلفي الخاص بنشر Llama3.
2. JailbreakBench (JBB): هجمات الاختراق القياسية.
3. Anthropic Sleeper Agent (ASA): هجمات الباب الخلفي الخداعية.

النتائج الرئيسية:

• تقليل معدل نجاح الهجوم (ASR):
  • MAD: متوسط انخفاض قدره 58.7%.

• JBB: متوسط انخقل بنسبة 77.6%.
  • ASA: انخفاض بنسبة 100% (إزالة كاملة للهجمات الناجحة) عبر جميع النماذج المختبرة.
  • تُظهر أمثلة محددة انخفاض ASR من 98% إلى 0% في نموذج Mistral لهجمات JBB، ومن 100% إلى 0% لهجمات ASA.

• الحفاظ على الفائدة (Utility): بالنسبة للمدخلات الحميدة (حيث $s(h) \le \tau$)، تكون خطوة توجيه الانتشار إما مُتخطاة أو ذات تأثير ضئيل، مما يضمن بقاء قدرات النموذج في المساعدة والاستنتاج سليمة.
• النتائج النوعية: في دراسات الحالة، تمكنت النماذج التي تحتوي على أبواب خلفية والتي كانت تولد تعليمات ضارة سابقاً (مثل كيفية تهريب المخدرات، أو صنع وصفات طبية مزورة، أو اتهام الآخرين زوراً) من التوجيه بنجاح للرفض أو تقديم استجابات عامة وآمنة.

5. الأهمية والخاتمة

يمثل MANATEE تحولاً جذرياً في سلامة نماذج اللغات الكبيرة من الفلترة التفاعلية إلى التصحيح الاستباقي للتمثيل. من خلال الاستفادة من نماذج الانتشار لتحديد "فضاء كامن آمن"، فإنه يقدم دفاعاً قوياً ضد الهجمات العدائية المعروفة والمستحدثة دون العبء الحسابي لإعادة الضبط الدقيق.

تثبت هذه الدراسة أن السلامة والقدرة لا يجب أن يكونا في تضاد؛ إذ يمكن لآلية خفيفة الوزن تعمل في وقت الاستد أن تحيد الأبواب الخلفية والاختراقات بفعالية مع الحفاظ على فائدة النموذج في المهام الحميدة. يوفر هذا النهج حلاً قابلاً للتوسع، وقابلاً للانتقال، وسليماً أخلاقياً لتأمين نماذج اللغات الكبيرة المنشورة في البنية التحتية الحرجة والمنتجات الاستهلاكية. تهدف الأعمال المستقبلية إلى توسيع ذلك ليشمل نماذج الاستدلال القائمة على التمثيل الكامن (مثل سلسلة الأفكار/Chain of Thought) ومجموعة أوسع من ناقلات الهجوم.