ملخص تقني: COLAGUARD – حواجز حماية قوية وفعالة مع الاستدلال الكامن

1. بيان المشكلة

مع تزايد نشر النماذج اللغوية الكبيرة (LLMs) في تطبيقات العالم الحقيقي، أصبح ضمان توافقها مع القيم البشرية أمراً بالغ الأهمية. وبينما توجد طرق تدريب للتوافق مثل التعلم المعزز من التغذية الراجعة البشرية (RLHF)، إلا أن تحديثها بعد النشر يكون مكلفاً. وبناءً على ذلك، أصبحت حواجز الحماية الخارجية (guardrails) بديلاً عملياً لضبط المدخلات والمخرجات.

تواجه حواجز الحماية الحالية مقايضة جوهرية بين القوة (Robustness) والكفاءة (Efficiency):

• حواجز الحماية القائمة على التصنيف (مثل Llama Guard): تتسم بالكفاءة ولكنها غالباً ما تكون هشة أمام القرارات الأمنية الغامضة، أو الهجومية، أو المعتمدة على السياق.
• حواجز الحماية القائمة على الاستدلال الصريح (مثل GuardReasoner وThinkGuard): تعمل على تحسين القوة من خلال توليد مسوغات "سلسلة الأفكام" (Chain-of-Thought - CoT) وسيطة قبل التنبؤ بتصنيف السلامة. ومع ذلك، فإن عملية التعبير اللفظي هذه تسبب تأخراً كبيراً في زمن الاستجابة (latency) وزيادة في استهلاك الرموز (tokens)، مما يجعلها غير عملية للنشر عالي الإنتاجية وفي الوقت الفعلي.

السؤال البحثي المركزي هو: هل يمكن لحواجز الحماية الاحتفاظ بفوائد القوة التي يوفرها الاستدلال دون توليد رموز استدلال صريحة أثناء وقت الاستنتاج؟

2. المنهجية: COLAGUARD

يقترح المؤلفون COLAGUARD، وهو حاجز حماية يعتمد على الاستدلال الكامن (latent-reasoning) يقوم باستيعاب المسوغات الأمنية الصريحة داخل حالات متكررة مستمرة. يستخدم الإطار منهجاً تدريبياً مرحلياً لنقل الاستدلال من التوليد التلقائي للرموز اللغوية إلى انتشار الحالة المخفية.

2.1 البنية الأساسية

يعمل COLAGUARD عبر التبديل بين وضعين أثناء التدريب والاستنتاج:

1. وضع اللغة (Language Mode): يستهلك النموذج تضمينات الرموز القياسية ويتنبأ بالرمز التالي بشكل تلقائي.
2. الوضع الكامن (Latent Mode): لا يستهلك النموذج تضمين رمز قياسي؛ بدلاً من ذلك، يتم تغذية الحالة المخفية السابقة كتمثيل مدخل تالٍ. يسمح هذا للنموذج بإجراء حسابات متكررة في فضاء كامن مستمر بدلاً من توليد رموز مسوغات وسيطة.

2.2 دمج التنبؤ بالسياق (Context-Prediction Fusion - CPF)

يتمثل التحدي الرئيسي في الاستدلال الكامن في عدم تطابق التوزيع: فالنماذج اللغوية الكبيرة سابقة التدريب مُحسّنة لتضمينات الرموز، وليس للحالات السياقية المعاد تدويرها. لمعالجة ذلك، يتبنى COLAGUARD تقنية دمج التنبؤ بالسياق (مستوحى من Liu et al., 2026).

• عند كل موضع كامن، يحسب النموذج تضميناً تنبؤياً من توزيع الرمز التالي الناجم عن الحالة المخفية السابقة.
• يتم بناء المدخل المتكرر عن طريق دمج الحالة المخفية السياقية ($h_{t-1}$) مع هذا التضمين التنبؤي ($e_{pred}$):
  $$\tilde{e}_t = \alpha h_{t-1} + (1 - \alpha) e_{pred}(h_{t-1})$$
• تقوم وحدة إسقاط خفيفة الوزن برسم هذه التمثيل المدمج مرة أخرى إلى فضاء مدخلات النموذج. هذا يعمل على استقرار التكرار الكامن مع الحفاظ على الارتكاز الدلالي لفضاء تضمين المفردات.

2.3 منهج تدريبي للاستيعاب المرحلي

تتبع عملية التدريب منهجاً تدريجياً لاستيعاب الاستدلال:

1. المرحلة 0 (الإحماء الصريح): يتم تدريب النموذج كحاجز استدلال صريح، حيث يولد مسوغات سلامة مهيكلة تليها تسميات نهائية. هذا يؤسس خط أساس قوي للاستدلال.
2. الاستبدال التدريجي: في المراحل اللاحقة، يتم استبدال خطوات المسوغات باللغة الطبيعية تدريجياً بمواضع كامنة متكررة. بالنسبة لمسوغ يتكون من $m$ خطوة، يتم استبدال أول $k$ خطوة بـ $\ell_k$ من المواضع الكامنة.
3. الضغط النهائي: تزيل المرحلة النهائية جميع رموز المسوغات الصريحة المتبقية، مع تثبيت النطاق الكامن على ميزانية محددة (على سبيل المثال، 6 خطوات)، مع الاحتفاظ بالتعليمات، والمطالبة (prompt)، والاستجابة.

أثناء الاستنتاج، يستقبل COLAGUARD التعليمات، والمطالبة، والاستجابة فقط، ثم يلحق بها نطاقاً كامناً ثابتاً، ويجري حسابات كامنة متكررة، ثم يتنبأ بتسميات السلامة النهائية تلقائياً. لا يتم توليد أي رموز CoT.

3. المساهمات الرئيسية

1. إطار عمل COLAGUARD: تقديم حاجز حماية يعتمد على الاستدلال الكامن يستوعب المسوغات الأمنية الصريحة من خلال منهج تدريبي مرحلي، مما يتيح الإشراف دون الحاجة لتوليد مسوغات تلقائية أثناء الاستنتاج.
2. مقايضة الكفاءة والقوة: إثبات أن COLAGUARD يحافظ على قوة حواجز الحماية القائمة على الاستدلال الصريح مع تقليل تكاليف الاستنتاج بشكل كبير، مما يثبت أن الإشراف القائم على الاستدلال يمكن أن يكون عملياً دون مسوغات لفظية.
3. تحليل التكرار الكامن: تحليل يظهر تفوق COLAGUARD على نموذج Coconut (الأساس لأسلوب الاستدلال الكامن) من خلال إظهاره تحولات تمثيلية تصاعدية ذات صلة بالسلامة عبر الخطوات الكامنة، بدلاً من الانهيار في مواضع ثابتة.

4. النتائج التجريبية

تم تقييم النموذج في عشرة إعدادات لضبط المطالبات والاستجابات عبر ثمانية معايير للسلامة (بما في ذلك ToxicChat وHarmBench وWildGuardTest وSafeRLHF).

4.1 الأداء (قوة السلامة)

• المقارنة مع الاستدلال الصريح: يطابق COLAGUARD (8B) أداء خط الأساس للاستدلال الصريح، GuardReasoner (8B)، في درجات macro-F1 (المطالبة: 84.23 مقابل 84.40؛ الاستجابة: 83.33 مقابل 83.13).
• المقارنة مع التصنيف: يتفوق COLAGUARD على Llama Guard 3 (8B) بمقدار 8.24 نقطة في درجة macro-F1، مما يثبت أن الاستدلال الكامن يتفوق بشكل كبير على النماذج القائمة على التصنيف فقط.
• توسع النموذج: نسخة 3B من COLAGUARD تنافس GuardReasoner 3B، بينما تحقق نسخة 8B مكاسب أكثر اتساقاً، خاصة في اكتشاف الاستجابة.

4.2 الكفاءة

• زمن الاستجابة (Latency): يحقق COLAGUARD تسريعاً بمقدار 12.9 ضعفاً في وقت الاستنتاج مقارنة بـ GuardReasoner (342.0 مللي ثانية مقابل 4,407.8 مللي ثانية لكل استعلام لنموذج 8B).
• استخدام الرموز (Tokens): يقلل من استخدام الرموز بمقدار 22.4 ضعفاً (12.9 رمزاً مقابل 289.4 رمزاً لكل استعلام).
• درجة F1 المعدلة بالكفاءة (EA-F1): يحقق COLAGUARD درجات EA-F1 أعلى بكثير (2.36 لـ 8B مقابل 0.18 لـ GuardReasoner)، مما يشير إلى مقايضة فائقة بين الدقة والكفاءة للنشر.

4.3 دراسات الاستئصال (Ablation Studies)

• ديناميكيات الكامن: يكشف التحليل الهندسي (UMAP والتشابه الجيبي) أنه على عكس نموذج Coconut التقليدي، الذي يظهر التزاماً مبكراً بحالات كامنة ثابتة، يظهر COLAGUARD تمايزاً تصاعدياً للفئات عبر خطوات التكرار. هذا يشير إلى أن الخطوات الكامنة تعمل بنشاط على تنقية التمثيلات ذات الصلة بالسلامة.
• دمج التنبؤ بالسياق (CPF): يؤدي إزالة CPF (العودة إلى Vanilla Coconut) إلى انخفاض قدره ~1.96 نقطة في macro-F1، مما يؤكد ضرورة آلية الدمج لمنع الانهيار التمثيلي.
• توسع البيانات: يتوسع الأداء بشكل موثوق مع حجم بيانات التدريب، حيث حققت مجموعة بيانات GuardReasoner المكونة من 127 ألف مثال أفضل النتائج.

5. الأهمية والادعاءات

يزعم البحث أن الاستدلال الكامن يقدم بديلاً عملياً لتوليد المسوغات الصريحة لحواجز الحماية القابلة للنشر. من خلال استيعاب الاستدلال داخل الحالات المخفية، يجمع COLAGUARD بين تعزيز قوة السلامة وكفاءة الاستنتاج، معتبراً إياهما هدفين متكاملين بدلاً من كونهما متنافسين.

يؤكد المؤلفون أنه بينما يعد COLAGUARD قوياً وفعالاً، فإنه ليس بديلاً للإشراف البشري. إنه مصمم ليكون جزءاً من نظام إشراف أوسع، لا سيما في البيئات عالية الحركة والوقت الفعلي حيث يكون تأخير توليد CoT الصريح عائقاً. يشير العمل إلى أن قدرة "الاستدلال" لنماذج السلامة يمكن ضغطها بفعالية في فضاءات كامنة مستمرة دون التضحية بجودة قرار السلامة.