ملخص تقني: الإشراف الفعال على النماذج اللغوية الكبيرة باستخدام النماذج الأولية الكامنة متعددة الطبقات

بيان المشكلة

بينما تخضع النماذج اللغوية الكبيرة (LLMs) الحديثة لعمليات محاذاة ما بعد التدريب (مثل RLHF، والضبط التعليمي) للالتزام بالقيم البشرية، إلا أنها تظل عرضة لتوليد مخرجات ضارة، لا سيما عند مواجهة مخاطر ناشئة أو محاولات اختراق (jailbreak). وبناءً على ذلك، يعد الإشراف القوي أمراً ضرورياً للنشر الآمن. تواجه حلول الإشراف الحالية مقايضة حرجة بين الأداء والكفاءة:

• نماذج الحماية (Guard Models): توفر النماذج المتخصصة (مثل LlamaGuard وAegis) أداءً عالياً، لكنها تفرض عبئاً حسابياً كبيراً، وتزيد من تعقيد النشر، وتتطلب تدريباً مكلفاً على مجموعات بيانات منسقة.
• الطرق القائمة على التمثيلات الكامنة (Latent-Based Methods): هذه الأساليب خفيفة الوزن وفعالة، ولكنها تعاني عموماً من أداء كشف أقل مقارنة بنماذج الحماية.

هناك نقص في الحل الذي يقدم في آن واحد أداءً يضاهي أحدث المعاياي (SOTA)، وكفاءة عالية في الاستنتاج، وتكاليف تدريب منخفضة، والمرونة في التكيف مع سياسات السلامة الخاصة بالمستخدم.

المنهجية: مشرف النماذج الأولية متعدد الطبقات (MLPM)

يقترح المؤلفون MLPM، وهو أداة إشراف على المدخلات تعتمد على التمثيلات الكامنة وتتميز بخفتها، صُممت لسد الفجوة بين الكفاءة والأداء. يقوم MLPM بتقييم سلامة مدخلات النص $x$ من خلال تحليل الحالات الخفية الداخلية للنموذج اللغوي المستهدف.

المكونات الأساسية

1. التصنيف القائم على النماذج الأولية:

   • يستخدم MLPM إطار عمل مصنف المتوسط الأقرب (NMC). بدلاً من تدريب مصنف كامل، يقوم بحساب النماذج الأولية المشروطة بالفئات (المتوسطات $\mu_c$) للفئات الآمنة وغير الآمنة بناءً على بيانات التدريب المصنفة.
   • لالتقاط الهندسة المعقدة للمساحات الكامنة في النماذج اللغوية الكبيرة، يستخدم الأسلوب مسافة ماهالانوبيس (Mahalanobis distance) بدلاً من المسافة الإقليدية. وهذا يأخذ في الاعتبار تباين البيانات والتباين المشترك ($\Sigma_c$)، مما يسمح بتمييز أفضل بين المجموعات ذات الأشكال والاتجاهات المختلفة.
   • يتم تقدير احتمالات الفئات باستخدام التحليل التمييزي الغاوسي (GDA).

2. التجميع متعدد الطبقات:

   • إدراكاً بأن الطبقات المختلفة للنموذج اللغوي الكبير تشفر معلومات دلالية متنوعة، لا يعتمد MLPM على طبقة واحدة. بدلاً من ذلك، يستخرج التمثيلات الخفية للرمز الأخير (last-token) من مجموعة فرعية من الطبقات المتوسطة ($L$).
   • لكل طبقة $l$، يقوم مصنف GDA الخاص بالطبقة بحساب الاحتمال $P_l(x \in X_{harm})$.
   • يتم تجميع هذه الاحتمالات في درجة سلامة نهائية باستخدام مجموع مرجح:
     $$MLPM(x) = \sigma \left( \sum_{l=1}^{L} w_l \cdot P_l(x \in X_{harm}) \right)$$
   • يتم تعلم أوزان التجميع $w_l$ عبر تنظيم $\ell_1$ لتعزيز التناثر (Sparsity). وهذا يسمح للنموذج باختيار الطبقات الأكثر معلوماتية تلقائياً مع تجاهل الطبقات الزائدة، مما يقلل التكلفة الحسابية ويحسن المتانة.

الكفاءة والنشر

• التدريب: يتطلب MLPM تمريرة أمامية واحدة فقط عبر مجموعة بيانات النصوص لحساب النماذج الأولية والأوزان. لا يتطلب حسابات التدرج أو توليد النصوص، مما يجعله فعالاً للغاية من حيث البيانات (يعمل بفعالية مع 1,000 عينة فقط) ومنخفض التكلفة حسابياً.
• الاستنتاج: تضيف الطريقة عبئاً ضئيلاً جداً. بما أن الحالات الخفية المتوسطة يتم حسابها بالفعل خلال مرحلة الـ "prefill" للنموذج، فإن MLPM يتكبد فقط تكلفة حساب GDA. يقدر المؤلفون أن هذا العبء يقل عن 0.001% من حسابات الـ "prefill".
• الذاكرة: البصمة الذاكرية ضئيلة جداً (على سبيل المثال، ~24 كيلوبايت لكل نموذج أولي لنموذج Llama3.1-8B بنصف الدقة).

المساهمات الرئيسية

1. تقديم MLPM: نهج جديد للإشراف على المدخلات يستفيد من مسافة ماهالانوبيس عبر التمثيلات متعددة الطبقات لتقييم سلامة المطالبات (prompts).
2. أداء يضاهي أحدث المعايير (SOTA): أثبت MLPM أنه يتفوق على كل من الطرق الكامنة الموجودة ونماذج الحماية الثقيلة الموارد عبر مختلف الاختبارات القياسية وعائلات النماذج.
3. التكامل والمرونة: أظهر MLPM أنه يمكن دمجه بسلاسة في خطوط الإنتاج النهائية كإشارة شرطية لطرق التوجيه (steering methods)، مما يقلل بفعالية من حالات الرفض الخاطئ للمطالبات السليمة مع الحفاظ على سلامة عالية.

النتائج التجريبية

قام المؤلفون بتقييم MLPM على ثمانية مجموعات بيانات للضرر (بما في ذلك WildJailbreak وWildGuardMix) عبر عائلات نماذج وأحجام مختلفة (Llama, Mistral, OLMo, Qwen) من 1 مليار إلى 70 مليار بارامتر.

• الأداء: تفوق MLPM باستمرار على الطرق البديلة القائمة على التمثلات الكامنة (مثل Abdelnabi et al., 2025; Ayub & Majumdar, 2024) ونماذج الحماية التنافسية (مثل LlamaGuard3, WildGuard). والجدير بالذكر أنه عند تطبيقه على OLMo2، حقق MLML أعلى أداء إجمالي، متفوقاً على أقوى نموذج حماية أساسي، WildGuard.
• التوسع: تحسن الأداء باستمرار مع حجم النموذج. حتى أصغر نسخة (Llama3 1B) حققت درجة F1 تبلغ حوالي 85، متفوقة على نماذج حماية أكبر حجماً وثابتة الحجم.
• كفاءة البيانات: حافظ MLPM على دقة عالية مع مجموعات تدريب لا تتجاوز 1,000 عينة لكل فئة، مما أظهر قدرة فائقة على التعميم تجاه التهديدات خارج نطاق التوزيع (OOD) مقارنة بالطرق الأخرى القائمة على التمثلات الكامنة.
• ديناميكيات الطبقات: كشفت دراسات الاستئصال (Ablation studies) أن معلومات السلامة موزعة عبر الطبقات ولكنها تختلف باختلاف البنية (على سبيل المثال، الطبقات الوسطى لـ Mistral، والطبقات النهائية لـ OLMo). نجحت آلية التجميع المتناثرة في تحديد واستخدام هذه الطبقات الحرجة.
• التكامل: عند استخدامه كآلية شرطية لتوجيه المخرجات، قلل MLPM بشكل كبير من معدل الرفض الخاطئ (FRR) للمطالبات السليمة مقارنة بالتوجيه غير المشروط، مع زيادة طفيفة فقط في معدل نجاح الهجوم (ASR).

الأهمية والادعاءات

يدعي البحث أن MLPM يوفر حلاً عملياً، وقابلاً للتكيف، وفعالاً لنشر النماذج اللغوية الكبيرة. من خلال الجمع بين مرونة وانخفاض تكلفة الطرق القائمة على التمثلات الكامنة مع أداء نماذج الحماية، يعالج MLPM الاختناق الحرج في النشر الآمن للنماذج اللغوية الكبيرة.

يؤكد المؤلفون أن طريقتهم:

• مستقلة عن النموذج (model-agnostic)، وتعمل مع أي نموذج لغوي كبير جاهز للاستخدام.
• تتطلب موارد ضئيلة لكل من التدريب والاستنتاج.
• تقدم تعميماً عالياً للتهديدات غير المرئية والبيانات خارج نطاق التوزيع (OOD).
• يمكن تخصيصها لسياسات سلامة محددة ببيانات قليلة جداً.

يضع هذا العمل MLPM ليس فقط كمرشح مستقل، بل كمكون أساسي يمكنه تعزيز خطوط أنابيب الإشراف الحالية، مما يتيح تطبيقات أكثر أماناً ومتانة للنماذج اللغوية الكبيرة دون التكاليف الباهظة المرتبطة بنماذج الحماية التقليدية.