ملخص تقني: تقليل ضريبة السلامة في محاذاة سلامة النماذج اللغوية الكبيرة عبر التقطير الذاتي داخل السياسة (On-Policy Self-Distillation)

تعريف المشكلة: ضريبة السلامة وعدم التطابق خارج السياسة (Off-Policy Mismatch)

غالبًا ما تعاني النماذج اللغوية الكبيرة (LLMs) مما يسمى بـ "ضريبة السلامة"، وهي مقايضة حيث تؤدي محاذاة السلامة إلى تحسين المتانة تجاه الاستعلامات الضارة ولكنها تضعف قدرات الاستدلال العام. وبينما يعزو العمل السابق هذا الأمر إلى عدم تطابق التوزيع — التدريب على نماذج توضيحية للسلامة من البشر أو نماذج خارجية تختلف عن توزيع الاستدلال الطبيعي للنموذج المستهدف — تحدد هذه الورقة مصدرًا ثانيًا ومتميزًا: عدم تطابق التدريب خارج السياسة (off-policy training mismatch).

حتى عندما يتم تقطير بيانات السلامة ذاتيًا (التي يتم إنشاؤها بواسطة النموذج نفسه، كما في ThinkSafe)، يظل الضبط الدقيق الخاضع للإشراف (SFT) القياسي "خارج السياسة". فهو يطبق إشرافًا على مستوى التسلسل باستخدام السلب اللوغاريتمي (NLL) على نماذج توضيحية ثابتة بدلاً من المسارات (trajectories) التي يتم أخذ عينات منها من سياسة النموذج الحالية. ويجادل المؤلفون بأن هذا ضار بشكل خاص بالسلامة لأن قرارات السلامة (الرفض مقابل الامتثال) تتركز في "نافذة الرموز المبكرة" (early-token window) وضمن مجموعة محددة من رموز السلامة الحرجة. يؤدي SFT خارج السياسة إلى تشتيت التدرجات عبر الاستجابة بأكملها، مما يفشل في استهداف نقاط القرار الحرجة هذه تحديدًا، وبالتالي يربك الاستدلال العام مع تقديم إشراف سطحي فقط على السلامة.

المنهجية: OPSA (محاذاة السلامة داخل السياسة)

تقترح الورقة OPSA، وهو إطار عمل يكيف التقطير الذاتي داخل السياسة (OPSD) مع محاذاة السلامة. وتتضمن الآلية الجوهرية ما يلي:

1. عمليات التدفق داخل السياسة (On-Policy Rollouts): يقوم النموذج الطالب ($p_\theta$) بتوليد مساراته الخاصة (rollouts) لكل من المطالبات الضارة وغير الضارة.
2. المعلم ذو السياق المتميز (Privileged Context Teacher): يعمل نسخة مجمدة من النموذج الأساسي ($p_{\bar{\theta}}$) كمعلم. ومن الأهمية بمكان أن يتلقى المعلم سياقًا متميزًا مشروطًا بالنوع ($c^*$) مسبوقًا بالمطالبة:
   • بالنسبة للمطالبات الضارة ($q_h$)، يقوم سياق ($I_h$) بتنشيط سلوك الرفض الكامن، مما يدفع المعلم نحو استجابات آمنة.
   • بالنسبة للمطالبات غير الضارة ($q_b$)، يقوم سياق ($I_b$) بكبح الرفض المفرط، مما يحافظ على السلوك المفيد.
3. الإشراف الكثيف لكل رمز (Dense Per-Token Supervision): بدلاً من NLL على مستوى التسلسل، يقلل OPSA من تباعد كولباك - ليبلر (KL) لكل رمز بين توزيع المعلم (المشروط بالسياق المتميز) وتوزيع الطالب (المشروط بالمطالبة فقط) على طول مسارات الطالب التي تم أخذ عينات منها:
   $$L_{OPSA}(\theta) = \sum \mathbb{E}_{y \sim p_\theta} \sum_{t} D_{KL}(p_{\bar{\theta}}(\cdot | c^*, q, y_{<t}) \parallel p_\theta(\cdot | q, y_{<t}))$$
   وهذا يركز التحديثات على الرموز التي يختلف فيها المعلم والطالب، مستهدفًا تحديدًا نافذة القرار المبكرة حيث يتم تحديد سلوكيات السلامة.

معدل قلب المعلم (TFR) لاختيار السياق

أحد التحديات الحاسمة هو اختيار سياق متميز ينشط استدلال السلامة الكامن بفعالية دون أن يكون عشوائيًا. يقدم المؤلفون معدل قلب المعلم (Teacher Flip Rate - TFR) كمقياس لا يتطلب تدريبًا لاختيار السياق الأمثل ($c^*$). يقيس TFR نسبة الاستعلامات الضارة التي يتسبب فيها السياق المتميز في جعل استجابة المعلم المجمد تتحول من غير آمنة إلى آمنة (بناءً على الاستجابة الطماعة/greedy). أثبت المؤلفون تجريبيًا أن ارتفاع TFR يرتبط طرديًا بانخفاض الضررية بعد التدريب، مما يؤكد صلاحية TFR كمعيار لاختيار السياق.

المساهمات الرئيسية

1. التشخيص الآلي لضريبة السلامة: تحدد الورقة عدم تطابق التدريب خارج السياسة كمصدر ثانٍ لضريبة السلامة. ويكشف التحليل على مستوى الرمز أن تصحيحات السلامة تتركز بشدة في المواضع المبكرة ورموز محددة، وهو ما يفشل SFT القياسي في استهدافه بفعالية حتى مع البيانات الموجودة ضمن التوزيع.
2. إطار عمل OPSA: تقديم إطار عمل لمحاذاة السلامة داخل السياسة يستخدم إشراف KL كثيف لكل رمز على مسارات توليد الطالب. يهدف هذا النهج إلى محاذاة النموذج مع مسارات التوليد الخاصة به، مما يحسن المقايضة بين السلامة والاستدلال.
3. اختيار السياق عبر TFR: اقتراح معدل قلب المعلم كوسيلة لبناء معلمين سلامة فعالين. يضمن ذلك أن السياق المتميز ينشط استدلال السلامة الكامن بدلاً من مجرد استحضار نماذج توضيحية تبدو آمنة.

النتائج التجريبية

قيم المؤلفون OPSA عبر عائلتين من نماذج الاستدلال (Qwen3 و DeepSeek-R1-Distill) وخمسة مقاييس للمعاملات (من 0.6B إلى 8B).

• المقايضة بين السلامة والاستدلال: تحت المطالبات المتطابقة والضبط الدقيق لكامل المعلمات، تفوق OPSA باستمرار على النماذج المرجعية خارج السياسة (بما في ذلك ThinkSafe و SafeChain).
  • السلامة: حقق OPSA متوسط زيادة في درجة السلامة المركبة قدرها +4.00 نقطة عن ThinkSafe.
  • الاستدلال: حافظ OPSA على قدرات الاستداد وحسنها، حيث أظهر متوسط زيادة قدرها +3.04 نقطة في اختبارات الاستدلال (GSM8K, MATH500, GPQA, HumanEval, MBPP).
  • الحساسية للمقياس: لوحظت أكبر المكاسب في النماذج الأصغر (على سبيل المثال، +8.85 نقطة في R1-Distill-1.5B و +5.49 نقطة في Qwen3-0.6B).
• المتانة التكيفية ضد هجمات Jailbreak: أظهر OPSA متانة فائقة ضد هجمات Jailbreak التكيفية، وخاصة هجمات التمهيد (Prefilling) (التي تتدخل في رموز الاستجابة المبكرة). في نماذج Qwen3-1.7B و Qwen3-8B، خفض OPSA معدلات نجاح هجمات Prefilling إلى الصفر. ومع ذلك، تشير الورقة إلى أن هجمات البحث التكراري الكامل التكيفي (PAIR) تظل تحديًا، مع نتائج مختلطة عبر النماذج.
• كفاءة البيانات: استمرت مكاسب الأداء لـ OPSA عبر أحجام مجموعات التدريب المختلفة ونسب البيانات غير الضارة إلى الضارة، مما يشير إلى متانة الطريقة تجاه ندرة البيانات وتحولات التكوين.

الأهمية والادعاءات

تدعي الورقة أن تقليل ضريبة السلامة يتطلب التحكم ليس فقط في أي النماذج التوضيحية تقدم الإشراف، ولكن أيضًا في أين وعلى أي مسارات يتم تطبيق هذا الإشراف. من خلال الانتقال من التقليد خارج السياسة للآثار الثابتة إلى الإشراف الكثيف داخل السياسة لمسارات توليد النموذج، يعالج OPSA عدم التطابق الهيكلي المحدد في محاذاة السلامة.

يدعي المؤلفون بتواضع أن نتائجهم تشير إلى أن محاذاة السلامة هي في الأساس مشكلة تصحيح موضعية على مسارات النموذج الخاصة. وبينما يحسن OPSA بشكل كبير المتانة ضد الهجمات التي تستهدف رموز الاستجابة المبكرة، تقر الورقة بأن هجمات البحث التكراري التكيفي الكامل تظل تحديًا، مما يشير إلى أن الإشراف الكثيف داخل السياسة ليس حلاً شاملاً لجميع السيناريوهات العدائية. يؤكد العمل على أن محاذاة السلامة الفعالة يجب أن تضبط النموذج مع توزيع الاستدلال الخاص به مع تنشيط قدرات السلامة الكامنة من خلال السياقات المتميزة.