ملخص تقني: GLiGuard: التصنيف المشروط بالمخطط (Schema-Conditioned) لحماية النماذج اللغوية الكبيرة (LLM)

بيان المشكلة

يتطلب النشر الواسع للنماذج اللغوية الكبيرة (LLMs) أنظمة قوية للرقابة على المحتوى في الوقت الفعلي لمنع توليد محتوى ضار أو غير قانوني أو مضلل. تعتمد نماذج الحماية الحالية (مثل LlamaGuard وShieldGemma وWildGuard) بشكل أساسي على بنيات فك التشفير ذات التوليد الذاتي الانحدار (autoregressive decoder architectures) (بمعلمات تتراوح بين 7 إلى 27 مليار). تقوم هذه النماذج بإعادة صياغة تصنيف السلامة كمهمة توليد نص تسلسلي. ويؤدي هذا الخيار التصميمي إلى عدم كفاءة جوهرية:

1. زمن استجابة مرتفع (High Latency): يتناسب توليد مخرجات التصنيف توكنًا تلو الآخر مع طول المخرج.
2. ضعف التوازي (Poor Parallelism): تواجه صعوبة في تقييم أبعاد السلامة المتعددة في وقت واحد.
3. استهلاك كثيف للموارد: تستخدم مليارات المعلمات لمهمة هي في جوهرها عملية تصنيف، وليست عملية توليد.

تفترض الورقة البحثية أن إعادة صياغة الإشراف على السلامة كـ مشكلة تصنيف مشروطة بالمخطط (schema-conditioned classification) باستخدام مشفر ثنائي الاتجاه (bidirectional encoder) مدمج يمكن أن يحقق دقة تنافسية مع تقليل تكاليف الاستدلال بشكل كبير.

المنهجية

إن GLiGuard هو مشفر ثنائي الاتجاه بـ 0.3 مليار معلمة، مشروط بالمخطط، ومكيف من بنية GLiNER2 (Zaratiana et al., 2025). بخلاف حواجز الحماية ذات التوليد الذاتي الانحداري التي تعامل السلامة كعملية اتباع تعليمات توليدية، يعامل GLiGuard السلامة كمهمة تصنيف متعددة الجوانب حيث يتم تشفير تعريفات المهام ودلالات التسميات (labels) مباشرة في تسلسل المدخلات.

1. البنية المشروطة بالمخطط (Schema-Conditioned Architecture)

الابتكار الأساسي هو تمثيل المدخلات المشروط بالمخطط. بدلاً من ترميز رؤوس المخرجات (output heads) برمجياً، يستقبل النموذج تسلسلاً خطياً من الرموز (tokens) عند الاستدلال يتكون من:

• بادئة المخطط (Schema Prefix): تسلسل مهيكل من تعريفات المهام ($\tau_k$) وتسمياتها المرشحة ($Y_k$).
• النص المدخل (Input Text): مطالب المستخدم (prompt) أو استجابة النموذج المراد الإشراف عليها.
• الرموز الخاصة (Special Tokens): [P] (فاصل المهمة)، [L] (بادئة التسمية)، و[SEP] (فاصل المخطط/النص).

يتم بناء تسلسل المدخلات كالتالي:
$$z = T(\tau_1, Y_1) \dots T(\tau_K, Y_K) \text{ [SEP] } w_1 \dots w_N$$
حيث يتم تسلسل كل كتلة مهمة $T(\tau_k, Y_k)$ كـ [P] $\phi(\tau_k)$ [L] $l_1$ [L] $l_2$ ...

2. الترميز ثنائي الاتجاه واستخراج التسميات

يتم معالجة تسلسل الرموز بواسطة مشفر محول (transformer encoder) ثنائي الاتجاه مدرب مسبقاً (مثل DeBERTa أو ModernBERT). وتشمل الميزات الرئيسية ما يلي:

• الانتباه الذاتي الكامل (Full Self-Attention): ينتبه المشفر ثنائي الاتجاه لكل من رموز المخطط والنص المدخل. وهذا يسمح للنموذج ببناء "تمثيلات نصية واعية بالتسميات" و"تمثيلات تسمية واعية بالنص" في آن واحد.
• تضمينات التسمية السياقية (Contextualized Label Embeddings): يتم استخراج الحالات المخفية (hidden states) عند مواقع رموز [L]. هذه التضمينات مستنيرة بكامل النص المدخل وجميع التسميات الأخرى في المخطط، مما يوفر سياقاً غنياً للتصنيف.
• رأس تصنيف مشترك (Shared Classification Head): يتم تطبيق مصنف MLP خفيف الوزن ذو طبقتين بشكل مستقل على كل تضمين تسمية لإنتاج القيم المنطقية (logits).
  • المهام أحادية التسمية (مثل السلامة، الرفض) تستخدم Softmax.
  • المهام متعددة التسميات (مثل فئات الضرر، استراتيجيات تجاوز الحماية) تستخدم Sigmoid.

3. الإشراف الموحد متعدد المهام

يدعم GLiGuard أربع مهام إشراف متميزة، والتي يمكن تركيبها في مخطط واحد لإجراء تمريرة أمامية واحدة غير ذاتية الانحدار (single non-autoregressive forward pass):

1. تصنيف السلامة: تصنيف ثنائي (آمن/غير آمن) للمطالبات والاستجابات.
2. كشف الرفض: تصنيف ثنائي (امتثال/رفض) للاستجابات.
3. تصنيف فئات الضرر: تصنيف متعدد التسميات إلى 14 فئة ضرر دقيقة (مثل العنف، معلومات الهوية الشخصية PII، الكراهية).
4. كشف استراتيجية تجاوز الحماية (Jailbreak Strategy): تصنيف متعدد التسميات إلى 11 استراتيجية هجوم عدائية (مثل حقن المطالبة، تجاوز لعب الأدوار).

4. خط أنابيب الاستدلال وقواعد القرار

يتضمن خط أنابيب الاستدلال تسلسل المخطط، وتمريرة واحدة للمشفر، وفك تشفير متوازٍ. يتم تحديد الحكم النهائي للسلامة من خلال قواعد قرار صارمة تجمع التنبؤات من المهام المساعدة:

• سلامة المطالبة (Prompt Safety): إذا تنبأ مصنف السلامة بأنه "غير آمن" (Unsafe) أو إذا تم اكتشاف أي فئة ضرر أو استراتيجية تجاوز حماية (باستثناء BENIGN)، فإن الحكم يكون غير آمن (UNSAFE).
• سلامة الاستجابة (Response Safety): إذا تنبأ مصنف السلامة بأنه "غير آمن"، يكون الحكم غير آمن (UNSAFE). ومع ذلك، إذا تم اكتشاف "رفض" (Refusal)، يتم تجاوز الحكم إلى آمن (SAFE) (لتجنب عقوبات الإفراط في الرفض).

المساهمات الرئيسية

1. بنية مشروطة بالمخطط: تكييف GLiNER2 مع مهام الإشراف، مما يسمح بتركيب كتل المهام والتسميات ديناميكياً عند الاستدلال دون الحاجة لإعادة التدريب أو إعادة تصميم المطالبات.
2. إطار عمل موحد متعدد المهام: تمريرة أمامية واحدة تقيم في آن واحد سلامة المطالبة/الاستجابة، و14 فئة ضرر، و11 استراتيجية تجاوز حماية.
3. دقة تنافسية بمقياس صغير: إثبات أن مشفر 0.3B يمكن أن يظل تنافسياً مع نماذج الحماية ذات الـ 7 إلى 27 مليار معلمة.
4. كفاءة الاستدلال: تحقيق زمن استجابة أقل بكثير وإنتاجية أعلى بسبب الطبيعة غير ذاتية الانحدار للنموذج.

النتائج التجريبية

قيم المؤلفون GLiGuard على تسعة معايير مرجعية (benchmarks) مثبتة للسلامة (مثل OpenAI Moderation، Aegis 2.0، HarmBench، WildGuardTest) مقابل ستة نماذج حماية رائدة ذاتية الانحدار (تتراوح من 7 إلى 27 مليار معلمة).

• الدقة:
  • ضرر المطالبة (Prompt Harmfulness): حقق GLiGuard متوسط F1 قدره 87.7، وهو ضمن 1.7 نقطة من أفضل نموذج مرجعي (PolyGuard-Qwen-7B بـ 89.4) وتفوق على عدة نماذج أكبر مثل LlamaGuard4-12B (82.5) وShieldGemma-27B (69.6).
  • ضرر الاستجابة (Response Harmfulness): حقق GLiFGuard متوسط F1 قدره 82.7، وهو ثاني أفضل النتائج بين النماذج المقارنة، متخلفاً فقط عن Qwen3Guard-8B-Gen (84.1) ومتفوقاً على WildGuard-7B (82.4).
• الكفاءة:
  • الإنتاجية (Throughput): قدم GLiGuard إنتاجية أعلى بما يصل إلى 16.2 ضعفاً (133 عينة/ثانية مقابل 8.2 عينة/ثانية لنموذج 8B عند حجم دفعة 4).
  • زمن الاستجابة (Latency): حقق GLiGuard زمن استجابة أقل بما يصل إلى 17 ضعفاً (26 مللي ثانية مقابل 426 مللي ثانية لنموذج 8B عند طول تسلسل 64).
• كفاءة باريتو (Pareto Efficiency): يشغل النموذج منطقة تنافسية في منحنى باريتو، حيث يقدم درجات F1 مماثلة لنماذج أكبر بكثير مع عدد معلمات أقل بنسبة 23-90 ضعفاً.

الأهمية والادعاءات

تدعي الورقة أن المشفرات الثنائية المدمجة يمكن أن تقترب من دقة نماذج الحماية الأكبر بكثير مع تقليل تكاليف الاستدلال بشكل جذري. يجادل المؤلفون بأنه بالنسبة للرقابة على المحتوى، فإن جودة البيانات، واستراتيجية التدريب، وتخصص النموذج أكثر أهمية من الحجم وحده، كما هو واضح من أداء النماذج الأكبر (مثل ShieldGemma-27B) التي سجلت أداءً أقل من البدائل الأصغر والمتخصصة.

يُقدم GLiGuard كحل للبيئات ذات القيود على زمن الاستجابة والذاكرة، مما يسمح بالرقابة في الوقت الفعلي دون الاختناقات المرتبطة بالتوليد ذاتي الانحدار. يشير العمل إلى أن إعادة صياغة السلامة كمشكلة تصنيف مشروطة بالمخطط هي بديل فعال وقابل للتطبيق للنموذج الحالي المستخدم في حواجز الحماية.

ملاحظة: تقر الورقة بالقيود، بما في ذلك الحساسية لكلمات التحفيز السطحية في السياقات الحميدة (الإيجابيات الكاذبة) والتحديات المتعلقة بتجاوز الحماية العدائي المدمج في روايات خيالية معقدة (السلبيات الكاذبة). تم اقتراح عمل مستقبلي لمعالجة قضايا المتانة المحددة هذه.