ملخص تقني: نموذج مكافأة قابل للضبط لضبط السلامة المتوازن

بيان المشكلة

يواجه محاذاة النماذج اللغوية الكبيرة (LLMs) مع متطلبات السلامة تحدياً حرجاً: السلامة ليست ثابتاً عالمياً، بل هي متغير يعتمد على السياق وتشكله المعايير الثقافية، والولايات القضائية القانونية، والسياسات التنظيمية. تعتمد نماذج المحاذاة الحالية، وخاصة التعلم التعزيزي من التغذية الراجعة البشرية (RLHF)، على نماذج مكافأة (RMs) ثابتة حيث يتم ترميز معرفة السلامة ضمنياً وتجميدها عند النشر. هذه الصلابة تستلزم دورة إعادة تدريب ونشر مكلفة كلما تطورت سياسات السلامة (مثل لوائح جديدة بشأن خطاب الكراهية أو الامتثال لنطاق محدد).

على العكس من ذلك، فإن الأساليب "القابلة للضبط" الموجودة، مثل مصنفات السلامة المستقلة (مثل Llama Guard أو ShieldGemma) أو أحكام الاستدلال المشروطة بالموجهات (مثل DynaGuard)، تتكيف مع السياسات الجديدة في وقت الاستنتاج. ومع ذلك، تعمل هذه النماذج كمصنفات تمييزية أو أحكام قائمة على الاستدلال. وغالباً ما تظهر مخرجاتها هندسات مكافأة غير مناسبة للتعلم التعزيزي: الاحتمالات إما تكون حادة جداً (قرارات ثنائية) أو مسطحة للغاية (أحكام تأملية). نتيجة لذلك، فهي توفر إشارات متباعدة، ضعيفة المعايرة، وغير قابلة للتفاضل فعلياً، مما يؤدي غالباً إلى الإفراط في الرفض (رفض الطلبات الحميدة) وتدهور الفائدة.

هناك مكون مفقود في سلاسل التوريد الحالية: نموذج مكافأة يكون قابلاً للضبط في وقت الاستنتاج وفي الوقت نفسه قادراً على إنتاج مكافأة عددية كثيفة ومعايرة مناسبة لتحسين السياسة في الحلقة الداخلية.

المنهجية

يقدم المؤلفون نموذج مكافأة السلامة القابل للضبط (CSRM)، وهو إطار عمل مصمم للارتباط بتكوينات السلامة المكتوبة بلغة طبيعية في وقت الاستنتاج مع إخراج مكافأة عددية لعملية RLHF. تعتمد المنهجية على ثلاثة مكونات أساسية:

1. المصطلحات وهيكل المدخلات

يُعرف تكوين السلامة $p$ كطقم من القواعد مع إرشادات بلغة طبيعية تحدد المحتوى المقبول وغير المقبول لفئات محددة. يأخذ النموذج زوجاً $(x, r, p)$ كمدخل، حيث $x$ هو تاريخ المحادثة، و$r$ هو استجابة الوكيل، و$p$ هو تكوين السلامة. ويخرج تسمية $y \in \{\text{safe, unsafe}\}$ وقيمة مكافأة $c \in [0, 1]$.

2. تعزيز البيانات المستهدف

لتمكين التعميم على التكوينات غير المرئية دون الحاجة إلى تسميات بشرية إضافية، يقترح المؤلفون استراتيجيتين للتعزيز:

• تعزيز تكوين السلامة القابل للضبط: بالنسبة لمحادثة وتكوين معينين، يقترح نموذج استدلال فئة "إيجابية" (ليست في $p$) من شأنها أن تجعل المحادثة غير آمنة إذا أضيفت، وفئة "سلبية" من شأنها أن تجعلها آمنة. يتم تعزيز التكوين عبر إسقاط فئات موجودة عشوائياً وإدراج هذه الفئات الجديدة اختيارياً. هذا التعزيز ثنائي الجانب يزيد من انتشار المكافأة ويحسن النمذجة الزوجية.
• تعزيز الشدة: لتشكيل هندسة المكافأة وعكس شدة الانتهاك، يقوم المؤلفون ببناء مجموعات جزئية مرتبة من أوصاف الإرشادات. يحددون الفئات الفرعية داخل فئة سلامة، ويرتبونها حسب الشدة التقديرية، ويعيدون كتابة الإرشادات للسماح أو المنع انتقائياً لبوادئ (prefixes) هذه القائمة المرتبة. ولضمان الموثوقية، يستخدمون اختبار هيمنة مؤهل بالثقة باستخدام حد Clopper–Pearson الأدنى. يتم الاحتفاظ فقط بأزواج الإرشادات $(d, d')$ حيث يكون $d$ أكثر صرامة إحصائياً من $d'$. يضمن هذا أن النموذج يتعلم طيف شدة معاير بدلاً من مجرد تمييزات ثنائية عشوائية.

3. التدريب المشترك التمييزي-التوليدي

يوحد CSRM تصنيف السلامة ونمذجة المكافأة ضمن إطار توليدي واحد.

• خسارة التصنيف: يتم تدريب النموذج على التنبؤ بتسميات السلامة باستخدام الرموز اللفظية (مثل "آمن"، "غير آمن").
• خسارة المكافأة: باستخدام الأزواج المعززة بالشدة، يتم تدريب النموذج على تعظيم الهامش بين احتمالات الرموز (log-probabilities) للكلمات الآمنة مقابل غير الآمنة تحت إرشادات صارمة مقابل إرشادات متساهلة. يتم صياغة ذلك كخسارة تفضيل بأسلوب Bradley–Terry، مما يشجع النموذج على تخصيص مكافآت أعلى للاستجابات الأكثر أماناً تحت الإرشادات الأكثر صرامة.
• المعايرة: بدلاً من استخدام خسارة معايرة منفصلة، يتم استحثاث المعايرة أثناء التدريب من خلال إنشاء أزواج شدة متنوعة ومثبتة إحصائياً. هذا يستفيد من الارتباط التجريبي بين جودة الترتيب والمعايرة.

المساهمات الرئيسية

1. نمذجة مكافأة سلامة قابلة للضبط والمعايرة: يعتمد CSRM مباشرة على تكوينات السلامة المكتوبة بلغة طبيعية في وقت الاستنتاج، وينتج مكافأة عددية كثيفة ومعايرة بدلاً من حكم ثنائي. هذا يسمح بتحكم دقيق في سلوك السلامة دون إعادة تدريب ويظل متوافقاً مع تحسين السياسة القائم على التدرج.
2. التدريب المشترك مع التعزيز المستهدف: يوحد العمل بين تصنيف السلامة ونمذجة المكافأة، ويقدم تعزيزات مستهدفة للتكوين والشدة. يسمح هذا للنموذج بالتمييز بين الانتهاكات الحدية والجسيمة والتعميم على التكوينات غير المرئية دون تسميات بشرية جديدة.
3. تحسين المقايضة بين السلامة والمساعدة: يوفر CSRM إشارة مكافأة أكثر إخبارية لعملية RL، مما ينتج سياسات تتجنب الإفراط في الرفض مع الحفاظ على ضمانات سلامة قوية، مما يوسع فعلياً جبهة باريتو (Pareto frontier) بين السلامة والمنفعة.

النتائج التجريبية

قام المؤلفون بتقييم CSRM على عدة معايض ومهام محاذاة لاحقة:

• تصنيف السلامة: في معايض تشمل BeaverTails وWildGuardMix وCoSApien وDynaBench، حقق CSRM أداءً رائداً (SOTA). ومن الجدير بالذكر أنه وصل إلى 94.6% F1 في CoSApien و 75.8% F1 في DynaBench، متفوقاً على النماذج المرجعية مثل LlamaGuard-3-8B وShieldGemma-9B. كما أظهر معايرة متفوقة (smECE أقل) مقارنة بالأحكام القائمة على الاستدلال.
• نمذجة المكافأة: في مهام نمذجة المكافأة الزوجية (BeaverTails-Aug, WildGuardism-Aug)، حقق CSRM أعلى دقة في ترتيب الاستجابات حسب شدة الانتهاك، متفوقاً بشكل كبير على النماذج المرجعية.
• الإفراط في الرفض: في معايض الإفراط في الرفض (XSTest, OR-Bench)، حقق CSRS أعلى F1، مما يشير إلى معايرة أفضل وعدم ميل لرفض الطلبات الحميدة مقارنة بالنماذج الموجهة للتعليمات.
• محاذاة RL اللاحقة: عند استخدامه كإشارة مكافأة لمحاذاة Mistral-7B-Instruct-v0.1 عبر خمسة مجالات (مثل Arab Publisher، Film Production) باستخدام تقنيات Reward Distillation و REINFORCE++، حقق CSRM باستمرار أفضل درجة CoSA (وهي حاصل الضرب النقطي لمكافآت السلامة والمساعدة). في عدة مجالات، حقق فائدة أعلى عند مستويات سلامة مماثلة. على سبيل إنتاج الأفلام (Film Production) تحت REINFORCE++، حقق CSRM درجة CoSA قدرها 3.981، متفوقاً على LlamaGuard (3.391) والنموذج الموجه للتعليمات (3.113).

الأهمية والادعاءات

يزعم البحث أن CSRM يعالج قصوراً جوهرياً في محاذاة السلامة الحالية: عدم القدرة على التكيف مع متطلبات السلامة المتطورة دون إعادة تدريب مكلفة مع الحفاظ على إشارة مناسبة لـ RL. من خلال العمل كإشارة مكافأة كثيفة وقابلة للضبط داخل الحلقة الداخلية لـ RLHF، يمكن لـ CSRM تدريب نماذج أكثر أماناً بطبيعتها بدلاً من مجرد مراقبة مخرجاتها في وقت الاستنتاج.

يؤكد المؤلفون أن CSRM يحقق هذه النتائج دون الحاجة إلى تسميات بشرية إضافية، معتمداً بدلاً من ذلك على التعزيز الاصطناعي للبيانات الموجودة. يشير العمل إلى مسار عملي نحو قابلية التكوين على مستوى المكافأة، مما يسمح بتكييف سلوك السلامة عبر تحديث المواصفات في وقت الاستنتاج مع الاحتفاظ بإشارة قابلة للتحسين.

القيود التي لاحظها المؤلفون:

• تعتمد سلسلة التعزيز على مقترحات مولدة بواسطة النماذج اللغوية الكبيرة (LLM)، والتي قد ترث انحيازات من النموذج المقترح، وإن كان يتم التخفيف من ذلك عبر التصفية الإحصائية.
• لم تجرِ الدراسة تحليلاً مستهدفاً لـ "اختطاف المكافأة" (reward-hacking)؛ حيث يظل الاستغلال الاستراتيجي تحت التحسين عبر الإنترنت طويل الأمد عملاً مستقبلياً.
• استخدمت النتائج الرئيسية بنية أساسية واحدة (Llama-3.1-8B)، رغم تكرار الاتجاهات على Qwen3-2B. كما تُرك التوسع في تقييم البنى الأساسية واللغات المتعددة للعمل المستقبلي.