Mitigating Reward Hacking in RLHF via Advantage Sign Robustness

إليك ملخص تقني مفصل لورقة البحث بعنوان "Mitigating Reward Hacking in RLHF via Advantage Sign Robustness" (تخفيف حدة اختراق المكافأة في التعلم المعزز من التغذية الراجعة البشرية عبر متانة إشارة الميزة).

1. بيان المشكلة: اختراق المكافأة (Reward Hacking) في RLHF

يعمل التعلم المعزز من التغذية الراجعة البشرية (RLHF) على مواءمة النماذج اللغوية الكبيرة (LLMs) مع القصد البشري باستخدام نموذج مكافأة (RM) كبديل للتفضيلات البشرية الحقيقية. ومع ذلك، فإن نماذج المكافأة هي بدائل غير مثالية. فبينما يسعى السياسة (Policy) إلى تعظيم المكافأة البديلة، فإنها غالبًا ما تستغل عدم الدقة الموضعية في مشهد المكافأة، وهي ظاهرة تُعرف باسم اختراق المكافأة (reward hacking).

• المشكلة الجوهرية: تزيد السياسة من احتمالية الاستجابات التي تحقق مكافآت بديلة عالية ولكن بجودة حقيقية منخفضة.
• الآلية: تفترض الورقة أن اختراق المكافأة ينتج غالبًا عن انقلاب إشارات الميزة (flipped advantage signs). إذا تنبأ نموذج المكافأة بشكل خاطئ بإشارة الميزة (على سبيل المثال، التنبؤ بميزة إيجابية لاستجابة سيئة)، فإن تحديث السياسة سيعزز الاستجابة السيئة بدلاً من قمعها.
• محدودية الأعمال السابقة: الحلول الحالية إما أنها قبلية (ante-hoc) (تتطلب نماذج مكافأة متعددة أو تغييرات في مسار تدريب نموذج المكافأة، وهو أمر مكلف حوسبيًا) أو طرق بعدية (post-hoc) لا تزال تتطلب الوصول إلى بيانات تدريب نموذج المكافأة الأصلي (مثل AdvPO). هناك حاجة إلى طريقة خفيفة الوزن، بعدية بحتة، تعمل فقط أثناء تحسين السياسة دون إعادة تدريب نموذج المكافأة.

2. المنهجية: تحسين السياسة المعتمد على الإشارة (SignCert-PO)

يقترح المؤلفون منهجية SignCert-PO، وهي طريقة تعمل على تقليل وزن تحديثات تدرج السياسة للاكتمالات التي تكون فيها إشارة الميزة هشة (أي سهلة الانقلاب بفعل اضطرابات صغيرة في نموذج المكافأة).

أ. الأساس النظري: نصف قطر الحفاظ على الإشارة المعتمد

تستلهم الطريقة مفهوم التنعيم العشوائي (Randomized Smoothing) المستخدم في المتانة ضد الهجمات العدائية. وبدلاً من اضطراب بيانات المدخلات، ينمذج المؤلفون عدم اليقين عبر اضطراب معلمات نموذج المكافأة (RM parameters).

• التعريف: بالنسبة لاكتمال معين $j$، يُعرف نصف قطر الحفاظ على الإشارة المعتمد ($\Delta_j$) بأنه أصغر اضطراب لمعلمات نموذج المكافأة من شأنه أن يقلب إشارة الميزة $A_j$.
• التفسير: تعني قيمة $\Delta_j$ الكبيرة أن إشارة الميزة متينة (موثوقة). بينما تعني القيمة الصغيرة أن الإشارة هشة ومن المرجح أنها غير موثوقة (مرشحة لاختراق المكافأة).

ب. التقريب العملي: اضطراب الرأس الخطي

إن حساب $\Delta_j$ لجميع معلمات نموذج المكافأة أمر غير ممكن حوسبيًا بسبب قيود الذاكرة (يتطلب ذلك تدرجات كاملة المعلمات لكل اكتمال).

• التبسيط: يفترض المؤلفون أن نموذج المكافأة يتكون من مستخرج ميزات ثابت $h_\psi(x, y)$ ورأس خطي قابل للتعلم $w^T h + b$. وهم ينظرون فقط في الاضطرابات التي تطرأ على معلمات الرأس الخطي ($w$).
• الحل المغلق: تحت هذا الافتراض، يقبل نصف القطر المعتمد حلاً مغلقًا:
  $$\Delta_j = \frac{|A_j|}{\|h_\psi(x, y^{(j)}) - \bar{h}\|_2}$$
  حيث $\bar{h}$ هو متجه الميزات المتوسط لمجموعة الاكتمالات.
• الحدس: يكون نصف القطر صغيرًا إذا كانت الميزة $|A_j|$ صغيرة (إشارة ضعيفة) أو إذا كان متجه الميزات $h_j$ قيمة متطرفة (انحراف كبير عن المتوسط)، مما يشير إلى أن نموذج المكافأة يقوم بالاستقراء في منطقة غير مؤكدة.

ج. الخوارزمية: إعادة وزن تدرج السياسة

تقوم SignCert-PO بتعديل تدرج تحسين السياسة المجموعي (GRPO) القياسي.

1. الصياغة العدائية: لكل اكتمال، يختار خصم (adversary) اضطرابًا $w'$ ضمن نصف قطر $\epsilon$ لتعظيم "الضرر" (تقليل الميزات الإيجابية، وزيادة الميزات السلبية).
2. الميزة في الحالة الأسوأ: يتم اشتقاق الميزة في الحالة الأسوأ $\tilde{A}_j$ كالتالي:
   $$\tilde{A}_j = \rho^*_j \cdot A_j$$
   حيث معامل إعادة الوزن هو:
   $$\rho^*_j = 1 - \frac{\epsilon}{\Delta_j}$$
   (إذا كانت $\rho^*_j < 0$، يتم تقليص المصطلح أو قصه فعليًا).
3. التنفيذ:
   • يتم ضبط العتبة $\epsilon$ بشكل تكيفي بناءً على التوزيع التجريبي لنسبة $\|h_j - \bar{h}\|_2 / |A_j|$ داخل الدفعة (باستاستخدام المئين $q_t$).
   • يتم تحديث تدرج السياسة باستخدام الميزات المعاد وزنها: $\nabla J \propto \sum \rho^*_j A_j \nabla \log \pi$.

د. المقارنة مع المتانة العالمية

تقارن الورقة بين SignCert-PO والتحسين المتين العالمي (Global Robust Optimization) (تطبيق اضطراب واحد للحالة الأسوأ على جميع الاكتمالات).

• المنهج العالمي: يؤدي إلى مصطلح عقوبة موحد لا يميز بين الاكتمالات الموثوقة وغير الموثوقة، مما يؤدي إلى "تشاؤم موحد" وأداء غير مثالي.
• SignCert-PO: يوفر تمييزًا لكل اكتمال على حدة، حيث يقمع انتقائيًا اتجاهات التدرج غير الموثوقة فقط مع الحفاظ على التحديثات للاكتمالات المتينة.

3. المساهمات الرئيسية

1. صياغة مبتكرة: تقدم مفهوم نصف قطر الحفاظ على الإشارة المعتمد في فضاء معلمات نموذج المكافأة لقياس موثوقية إشارات الميزة لكل اكتمال.
2. طريقة بعدية خفيفة الوزن: تقترح SignCert-PO، والتي تتطلب فقط معلمات رأس نموذج المكافأة الحالي والاكتمالات أثناء التدريب (on-policy). وهي لا تتطلب:
   • إعادة تدريب نموذج المكافأة.
   • الوصول إلى مجموعة بيانات تدريب نموذج المكافأة الأصلية.
   • مجموعات (ensembles) متعددة من نماذج المكافأة.
3. اشتقاق نظري: تشتق حلاً مغلقًا لنصف القطر المعتمد تحت افتراض الرأس الخطي، مما يجعلها فعالة حوسبيًا.
4. التحقق التجريبي: تثبت أن نصف القطر المعتمد يتنبأ بالمتانة حتى تحت فئات اضطراب أوسع (مثل اضطراب النموذج الكامل، وضجيج تضمين المدخلات).

4. النتائج التجريبية

تم تقييم المنهجية على معايير TL;DR Summarization و AlpacaFarm باستخدام نماذج Pythia و Qwen2.5.

• الأداء: حققت SignCert-PO باستمرار أعلى معدل فوز لنموذج المكافأة الذهبي (gold-RM win rate) عبر معظم الإعدادات، متفوقة على النماذج المرجعية مثل Dr.GRPO، وUncertainty Weighted Optimization (UWO)، وBehavior-Supported PO (BSPO)، وAdvPO.
• تخفيف حدة اختراق المكافأة:
  • مقايضة KL-Reward: بينما أظهرت النماذج المرجعية (مثل Dr.GRPO) انهيارًا في المكافأة الحقيقية (المكافأة الذهبية) مع زيادة تباعد KL (مما يشير إلى الاختراق)، حافظت SignCert-PO على مكافأة حقيقية عالية حتى عند ميزانيات KL مرتفعة.
  • دقة نموذج المكافأة: أبقت SignCert-PO السياسة في المناطق التي يظل فيها نموذج المكافكة دقيقًا (~60% اتفاقًا مع النموذج الذهبي)، بينما انحرفت النماذج المرجعية إلى مناطق انخفضت فيها دقة النموذج إلى ~50%.
• ندرة البيانات: حققت المنهجية أكبر المكاسب عندما تم تدريب نموذج المكافأة البديل على بيانات تفضيل محدودة (مثل حقبة تدريب واحدة/1 epoch)، وهو النظام الذي يكون فيه اختراق المكافأة في أقصى حالاته.
• الكفاءة: أضافت SignCert-PO أعباء حوسبية ضئيلة للغاية مقارنة بـ GRPO القياسي، حيث تتطلب فقط حساب انحرافات الميزات ومعاملات إعادة الوزن، متجنبة التكلفة الباهظة لمجموعات نماذج المكافأة أو الوصول إلى البيانات.

5. الأهمية

• الواقعية: تحل SignCert-PO مشكلة اختراق المكافأة دون التكاليف الباهظة للبنية التحتية المطلوبة لتدريب نماذج مكافأة متعددة أو الاحتفاظ بمجموعات بيانات كبيرة، مما يجعلها قابلة للنشر بشكل كبير في مسارات RLHF الواقعية.
• السلامة والمواءمة: من خلال استهداف إشارة الميزة صراحة (اتجاه التحديث)، فإنها تمنع السياسة من الانجذاب نحو مناطق "المكافأة العالية الزائفة" التي تعد نتاجًا لعيوب نموذج المكافأة.
• الرؤية النظرية: تجسر هذه الورقة الفجوة بين المتانة العدائية (أنصاف الأقطار المعتمدة) و RLHF، مقدمة منظورًا جديدًا مفاده أن الموثوقية هي خاصية لكل عينة وليست خاصية عالمية للنموذج.

في الختام، تقدم SignCert-PO آلية قائمة على أسس رياضية، فعالة وفعالة للغاية لاستقرار تدريب RLHF، مما يضمن أن تحديثات السياسة مدفوعة بإشارات موثوقة بدلاً من مكافآت بديلة هشة.