ملخص تقني: BSO: محاذاة السلامة هي مطابقة نسبة الكثافة

بيان المشكلة

تواجه عملية محاذاة النماذج اللغوية الكبيرة (LLMs) توتراً جوهرياً بين المفيدة (اتباع التعليمات) والسلامة (تجنب المحتوى الضار). تندرج الأساليب الحالية لحل هذا التوتر عموماً ضمن فئتين، كلتاهما تعاني من عيوب كبيرة:

1. التحسين المقيد (مثل Safe RLHF): تصيغ هذه الطرق السلامة كقيد في إطار لاغرانج (Lagrangian framework)، مما يتطلب نماذج مكافأة وتكلفة منفصلة، وتعلم تعزيزي (RL) عبر الإنترنت، وتحديثات أولية-ثنائية (primal-dual). ورغم كونها منهجية، إلا أن هذا المسار معقد، ومكلف حاسوبياً، ويؤدي إلى عدم استقرار عبر مراحل تدريب متعددة.
2. امتدادات تحسين التفضيل المباشر (DPO): تحاول أساليب مثل SACPO وCDPO وSafeDPO تبسيط التدريب عن طريق إلغاء التعلم التعزيزي عبر الإنترنت. ومع ذلك، فإنها غالباً ما تعتمد على تعديلات ارتجالية لدمج السلامة، مثل التدريب المتسلسل متعدد المراحل، أو النماذج المساعدة، أو حدود الهامش (margin terms) المضافة إلى دالة الخسارة دون اشتقاق نظري موحد.

يفتقر المجال إلى إطار عمل نظري يشتق بشكل منهجي تحسين التفضيل الواعي بالسلامة من المبادئ الأولى، ويفسر سبب عمل الهيئات الارتجالية (heuristics) الموجودة ويقترح بدائل مبنية على أسس متينة.

المنهجية: تحسين سلامة بريغمان (BSO)

يقترح المؤلفون تحسين سلامة بريغمان (BSO)، وهو إطار عمل موحد يعيد صياغة محاذاة السلامة كمسألة مطابقة نسبة الكثافة.

1. الأساس النظري

الرؤية الجوهرية هي التفكيك الهيكلي لنسبة الاحتمالية للسياسة الآمنة المثلى ($\pi^*_{safe}$). اشتق المؤلفون علاقة مغلقة (Proposition 1) تُظهر أن نسبة السياسة الآمنة المثلى لاستجابة مفضلة ($y_w$) مقابل استجابة غير مفضلة ($y_l$) تتحدد من خلال ثلاثة عوامل:

• نسبة النموذج المرجعي ($\pi_{ref}$).
• نسبة تفضيل المفيدة (المشتقة من نموذج برادلي-تيري).
• حد تصحيح السلامة بناءً على تسميات السلامة الثنائية ($s_w, s_l$) وثابت العقوبة $C$.

تحديداً، النسبة المثلى هي:
$$\frac{\pi^*_{safe}(y_w | x)}{\pi^*_{safe}(y_l | x)} = \frac{\pi_{ref}(y_w | x)}{\pi_{ref}(y_l | x)} \cdot \left( \frac{p_{help}(y_w \succ y_l | x)}{p_{help}(y_w \prec y_l | x)} \right)^{1/\beta} \cdot e^{-C(s_w - s_l)/\beta}$$

يشير هذا التفكيك إلى أنه يمكن تحقيق محاذاة السلامة عن طريق مطابقة نسبة احتمالية النموذج مع "نسبة بيانات" مستهدفة مشتقة من هذه المكونات.

2. إطار عمل BSO

يعمل BSO على تقليل تباعد بريغمان (Bregman divergence) بين نسبة البيانات المستهدفة ($R_{data}$) ونسبة النموذج ($R_\theta$).

• دالة الخسارة: من خلال تقليل تباعد بريغمان $D_h(R_{data} \| R_\theta)$، اشتق المؤلفون دالة خسارة قابلة للتطبيق أحادية المرحلة $L^{BSO}_h$.
• العمومية: يتم تمييز إطار العمل بواسطة دالة مولدة (generator function) محدبة تماماً $h$. تؤدي الاختيارات المختلفة لـ $h$ إلى خوارزميات تدريب مختلفة، وكلها تتقارب بشكل مبرهن نحو السياسة الآمنة المثلى تحت سعة نموذج كافية.
• استعادة SafeDPO: يوضح المؤلفون أن SafeDPO هي حالة خاصة من BSO حيث تقابل الدالة المولدة الانحدار اللوجستي. ومن الأهمية بمكان أن هذا الاشتقاق يظهر أن "هامش السلامة" في SafeDPO ليس إضافة ارتجالية بل ينشأ طبيعياً من هيكل المكافأة المعاقب على السلامة.

3. استراتيجيات التدريب العملية

لمعالجة عدم الاستقرار العددي الناتج عن عقوبات السلامة الكبيرة ($C$)، يقترح المؤلفون استراتيجية تحويل البيانات:

• التبديل (Swap): إذا كانت الاستجابة المفضلة غير آمنة والاستجابة غير المفضلة آمنة، يتم تبديل التسميات.
• الحذف (Drop): إذا كانت كلتا الاستجابتين غير آمنتين، يتم حذف الزوج.
  ينفذ هذا التحويل فعلياً عكس التفضيل المطلوب لـ $C$ كبير دون إدخال حدود أسية غير مستقرة في دالة الخسارة، مما يسمح بالتدريب باستخدام $C$ معتدل ومستقر عددياً.

4. تصميم المولد (SBA)

يحلل المؤلفون سلوك وزن التدرج لمولدات مختلفة. لقد حددوا أن المولد المثالي الواعي بالسلامة يجب أن:

1. يحافظ على أوزان مستقرة للأزواج المتوافقة (حيث تتطابق تسميات السلامة).
2. يضخم الأوزان للأزواج التي يكون فيها الفائز آمناً (حيث تكون الاستجابة الآمنة هي المفضلة).

يقترحون مولد Scaled Basu's Power Divergence (SBA) كخيار افتراضي. على عكس المولدات الأخرى (مثل Logistic أو KLIEP)، يقوم SBA بفصل الوزن الأساسي عن معدل التضخيم، مما يسمح للنموذج بالتركيز على الأزواج المتعارضة مع السلامة دون تشويه إشارة المفيدة الأساسية.

المساهمات الرئيسية

1. إطار عمل موحد: يوفر BSO أول إطار عمل موحد ومبدئي لمحاذاة التفضيل الواعية بالسلامة بناءً على مطابقة نسبة الكثافة تحت تباعدات بريغمان.
2. الضمانات النظرية: يثبت إطار العمل أن تقليل تباعدات بريغمان بين النسب المشتقة يستعيد السياسة الآمنة المثلى.
3. البساطة والكفاءة: لا يتطلب BSO نماذج مكافأة أو تكلفة مساعدة ويعمل في مرحلة تدريب واحدة. وهو لا يقدم سوى معلمة (hyperparameter) واحدة بالإضافة إلى DPO القياسي (اختيار المولد أو معلمة القياس الخاصة به).
4. توحيد الأساليب الموجودة: يستعيد الإطار نظرياً الأساليب الموجودة مثل SafeDPO كحالات خاصة، مفسراً آليات عملها من خلال منظور مطابقة النسبة.
5. التحقق التجريبي: تظهر التجارب المكثفة أن BSO، وخاصة مع مولد SBA، يحقق مقايضة باريتو (Pareto trade-off) فائقة بين المفيدة والسلامة مقارنة بالأساليب المرجعية (SafeRLHF, SACPO, SafeDPO) عبر مختلف هياكل النماذج (Qwen 2.5 0.5B و Llama 3.2 3B).

النتائج التجريبية

• مقايضة السلامة-المفيدة: في اختبار PKU-SafeRLHF-30K، يحرك BSO باستمرار جبهة السلامة-المفيدة نحو الخارج. فهو يحسن مقاييس السلامة (نسبة عدم الضرر) دون التضحية بالمفيدة، وفي كثير من الحالات يحسن كليهما في آن واحد.
• دراسات الاستئصال (Ablation Studies):
  • عقوبة السلامة ($C$): يجد المؤلفون "نطاقاً معتدلاً" لـ $C$. إذا كان $C$ صغيراً جداً، تكون السلامة غير كافية؛ وإذا كان كبيراً جداً، فإنه يطغى على إشارة المفيدة، مما يؤدي إلى تدهور الأداء.
  • معلمة التضخيم ($\lambda$): بالنسبة لمولد SBA، يؤدي التضخيم المعتدل ($\lambda \approx 0.2$) إلى أفضل أداء مشترك. التضخيم القوي ($\lambda \ge 0.6$) يزعزع استقرار التحسين، مما يشير إلى أنه بينما تحتاج الأزواج المتعارضة مع السلامة إلى التأكيد، تظل الأزواج المتوافقة ضرورية لاستقرار المفيدة.
• تقييم النموذج: تسري النتائج عبر كل من التقييمات القائمة على النماذج (باستخدام نماذج مكافأة/تكلفة Beaver-7B) والتقييمات القائمة على النماذج اللغوية الكبيرة (باستخدام DeepSeek-V4 كحكم).

الأهمية والادعاءات

يزعم البحث أن محاذاة السلامة من الأفضل معاملتها كمسألة مطابقة نسبة مبدئية بدلاً من مجموعة من الهوامش الارتجالية أو الإجراءات المعقدة متعددة المراحل. من خلال اشتقاق أهداف واعية بالسلامة من الخصائص الهيكلية للسياسة المثلى، يقدم BSO بديلاً أبسط، وأكثر قوة، وأكثر استناداً إلى النظرية للأساليب الحالية. يؤكد المؤلفون أن نهجهم يقلل من الأعباء الهندسية (إزالة الحاجة لنماذج التكلفة والتعلم التعزيزي عبر الإنترنت) مع توفير ضمانات نظرية أقوى للسياسة الناتجة.

يشير البحث بتواضع إلى القيود، معترفاً بأن التحليل الحالي يقتصر على تسميات السلامة الثنائية وبيانات التفضيل الزوجية، وأن أداء الطريقة يعتمد على جودة إشارات السلامة الأساسية.