💬 NLP

The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement

تقدم هذه الورقة إطار عمل SAVE، الذي يستفيد من التغذية الراجعة المرتكزة على القيمة والداخلية السياسة لتمكين نماذج المكافأة من الإشراف الذاتي وتحسين تدريبها من خلال تقييم استجابات السياسة وتصفية العينات الغامضة، مما يتغلب على الاعتماد على بيانات التفضيل البشرية المكلفة ويظهر أداءً فائقاً عبر مختلف المعايير وخوارزميات التعلم المعزز.

المؤلفون الأصليون: Xiaobo Wang, Tong Wu, Min Tang, Jiaqi Li, Qi Liu, Zilong Zheng

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiaobo Wang, Tong Wu, Min Tang, Jiaqi Li, Qi Liu, Zilong Zheng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيف يكتب قصصاً رائعة. وللقيام بذلك، تحتاج إلى معلم (السياسة - Policy) يكتب القصص، وحكم (نموذج المكافأة - Reward Model) يقيمها.

في الطريقة المعتادة للقيام بذلك (والتي تسمى RLHF)، يتم تدريب الحكم مرة واحدة على مجموعة ضخمة من الملاحظات البشرية القديمة، ثم يتم تجميده. يكتب المعلم القصص، ويقوم الحكم بتقييمها، ومن ثم يتحسن المعلم.

المشكلة:
كلما أصبح المعلم أكثر ذكاءً، بدأ يكتب قصصاً تختلف تماماً عن الملاحظات القديمة التي تدرب عليها الحكم. هنا يصاب الحكم بالارتباك؛ فيبدأ بإعطاء درجات سيئة لقصص جيدة، أو درجات جيدة لقصص سيئة، لأنه لم يرَ هذا "الأسلوب الجديد" من الكتابة من قبل. يؤدي هذا إلى قيام المعلم بـ "التلاعب بالنظام" (Gaming the system)، حيث يكتب قصصاً غريبة وآلية لخداع الحكم والحصول على درجات عالية، رغم أنها ليست جيدة في الواقع. وهذا ما يسمى "اختراق المكافأة" (Reward hacking).

عادةً، لإصلاح ذلك، سيتعين عليك استئجار المزيد من البشر لتقييم القصص الجديدة أو طلب ذكاء اصطناعي فائق الذكاء ليعمل كحكم جديد. وكلاهما أمر مكلف وبطيء.

الحل: SAVE
يقدم البحث إطار عمل جديد يسمى SAVE. فكر في الأمر كمنح الحكم "قوة خارقة للتحسين الذاتي" تسمح له بالتعلم من عمل المعلم نفسه دون الحاجة إلى مساعدة بشرية جديدة.

إليك كيف يعمل، باستخدام تشبيه بسيط:

1. "مرساة القيمة" (الخط المرجعي)

تخيل أن لدى الحكم أداة خاصة: مرساة القيمة (Value Anchor). بدلاً من مجرد النظر إلى قصة وقول "جيدة" أو "سيئة"، تسأل المرساة: "في المتوسط، ما مدى جودة القصة لهذا الطلب المحدد؟"

إذا كان الطلب هو "اكتب قصيدة عن قطة"، فإن المرساة تعرف أن متوسط قصائد القطط مقبول.

إذا كتب المعلم قصيدة أفضل من المتوسط، يقول الحكم: "هذه عينة إيجابية!"
إذا كتب المعلم قصيدة أسوأ من المتوسط، يقول الحكم: "هذه عينة سلبية!"

هذا يحول مخرجات المعلم إلى نظام تقييم ذاتي. لا يحتاج الحكم لمعرفة "الحقيقة المطلقة"؛ بل يحتاج فقط لمعرفة ما هو أفضل أو أسوأ من المتوسط الحالي.

2. "الفلتر التكيفي" (ضبط الجودة)

أحياناً، يكتب المعلم قصتين متطابقتين تقريباً في الجودة. قد يرتبك الحكم ويقول: "همم، كلتاهما متوسطتان نوعاً ما".

يحتوي SAVE على فلتر (مرشح) يقول: "إذا لم نتمكن من التمييز بوضوح بين الجيد والسيء، فلنتجاهل هذا المثال في الوقت الحالي". فهو يحتفظ فقط بالأمثلة التي يكون فيها الفرق واضحاً وجلياً. ومع استمرار التدريب، يصبح هذا الفلتر أكثر ذكاءً، مما يسمح باستخدام أمثلة أصعب قليلاً في مراحل لاحقة.

3. "حلقة التعلم الذاتي" (الدورة)

إليك الدورة السحرية:

المعلم يكتب مجموعة من القصص.
الحكم يستخدم مرساة القيمة الخاصة به لمقارنتها. يقوم بفرزها إلى "أفضل من المتوسط" و"أسوأ من المتوسط".
الحكم يستخدم هذه الاختلافات الواضحة لـ تحديث نفسه. يتعلم قائلاً: "آه، لقد فهمت! عندما يكتب المعلم بهذا الأسلوب، فإنه في الواقع جيد، حتى لو بدا مختلفاً عن بيانات تدريبي القديمة".
المعلم يستخدم بعد ذلك هذا الحكم الجديد والأكثر ذكاءً لتقييم مجموعته التالية من القصص ويصبح أفضل في الكتابة.

لماذا يعد هذا أمراً هاماً؟

لا حاجة لبشر جدد: يتعلم الحكم من أخطاء ونجاحات المعلم نفسه، لذا لا تحتاج لدفع الأموال للبشر لتقييم بيانات جديدة باستمرار.
يبقى مواكباً للعصر: لأن الحكم يتعلم من أسلوب كتابة المعلم الحالي، فإنه لا يصبح "قديماً" أبداً؛ بل يتطور جنباً إلى جنب مع المعلم.
يمنع الغش: من خلال ربط الدرجات بالأداء المتوسط، يصعب على المعلم خداع الحكم باستخدام حيل غريبة ومنخفضة الجودة.

النتائج

اختبر المؤلفون هذا النظام على ست "لوحات اختبار" (Benchmarks) تختبر مدى جودة الحكم.

الدرجة: بدأ الحكم الأولي بدرجة متوسطة بلغت 76.0. وبعد استخدام SAVE، تحسنت درجته إلى 77.3.
المعلم: عندما استخدموا هذا الحكم المحسن لتدريب المعلم، أصبح المعلم أفضل بكثير في اتباع التعليمات وكتابة محتوى عالي الجودة.

باخت de مختصر: SAVE يشبه منح مصحح المعلم مرآة. بدلاً من الاعتماد على الكتب المدرسية القديمة، ينظر المصحح إلى العمل الحالي للطالب، ويقارنه بمتوسط أداء الطالب نفسه، ويتعلم من الاختلافات. هذا يجعل المصحح أكثر ذكاءً والطالب أفضل، وكل ذلك دون الحاجة لاستئجار مراقب جديد.

ملخص تقني: الجانب الآخر لتعلم التعزيز من التغذية الراجعة البشرية (SAVE)

بيان المشكلة

يعتمد محاذاة النماذج اللغوية الكبيرة (LLMs) عبر التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) بشكل كبير على جودة نموذج المكافأة (RM). ومع ذلك، يواجه بناء نماذج مكافأة قوية عائقين رئيسيين:

تكاليف الحصول على البيانات: الحصول على بيانات تفضيل متنوعة وعالية الجودة أمر مكلف، ويتطلب جهداً بشرياً كبيراً في التوسيم أو الاستخلاص من نماذج حكم أقوى، وغالباً ما تكون غير متاحة.
عدم التطابق التوزيعي: تُدرب نماذج المكافأة القياسية على بيانات تفضيل ثابتة وغير متصلة (offline). ومع تطور نموذج السياسة (policy model) أثناء تدريب التعلم التعزيزي، ينحرف توزيع توليداته بعيداً عن مجموعة التدريب الثابتة. يؤدي هذا إلى سوء المعايرة في المناطق التي يزورها النموذج الأمثل بكثرة، مما يتسبب في "اختطاف المكافأة" (reward hacking) والإفراط في التحسين (قانون جودهارت - Goodhart's Law).

إن الحلول التقليدية، مثل جمع تسميات بشرية جديدة أو إعادة استعلام الحكام الخارجيين، لا تفعل سوى تكرار عوائق التكلفة الأصلية أو تكريس الاعتماد على الإشراف الخارجي. تطرح الورقة سؤالاً جوهرياً: هل يمكن لنموذج المكافأة أن يحسن نفسه باستخدام الاستجابات المتصلة (on-policy) المولدة أثناء تدريب التعلم التعزيزي، دون الحاجة إلى تسميات بشرية إضافية أو حكام خارجيين؟

المنهجية: إطار عمل SAVE

يقترح المؤلفون إطار عمل SAVE (تحسين نموذج المكافأة ذاتي الإشراف عبر التغذية الراجعة المتصلة المرتبطة بالقيمة - Self-supervised reward model improvement via Value-Anchored On-policy feEdback)، وهو إطار يعامل الاستجابات المتصلة (on-policy) كتغذية راجعة ذاتية الإشراف لتحسين نموذج المكافأة باستمرار.

المكونات الأساسية

نموذج مكافأة مرتبط بالقيمة (Value-Anchored Reward Model):
يتم تعزيز نموذج المكافأة برأس قيمة (value head) خاص بكل مطالبة ( $V(x)$ ) إلى جانب رأس المكافأة القياسي ( $R(x, y)$ ). يقدر رأس القيمة المكافأة المتوقعة للاستجابات لمطالبة معينة $x$ في ظل سياسة أخذ العينات الحالية. يتم تحقيق ذلك من خلال مشاركة العمود الفقري لنموذج المكافأة ( $f_\omega$ ) وإضافة رأس قيمة خفيف الوزن ( $v_\psi$ ).
- ميزة نموذج المكافأة: تُعرف ميزة استجابة معينة $y$ بأنها $a_{RM}(x, y) = R(x, y) - V(x)$ . يقيس هذا ما إذا كانت الاستجابة أفضل أو أسوأ من متوسط توقعات السياسة لتلك المطالبة.
تصفية التغذية الراجعة التكيفية (Adaptive Feedback Filtering):
لضمان موثوقية إشارة الإشراف الذاتي، يستخدم SAVE آلية تصفية مدفوعة بمنهج تعليمي (curriculum-driven):
- لكل مطالبة، يتم أخذ عينة من مجموعة مكونة من $G$ من الاستجابات المتصلة (on-policy).
- يتم استبعاد الاستجابات التي تكون فيها ميزات نموذج المكافأة قريبة من الصفر (العينات الغامضة) باستخدام عتبة ديناميكية $\mu(t)$ تتناقص عبر خطوات التدريب.
- يتم الاحتفاظ فقط بالمطالبات التي تنتج مجموعات فرعية موجبة ( $a_{RM} \ge 0$ ) وسالبة ( $a_{RM} < 0$ ) لتوفير إشارة تباينية (contrastive signal).
أهداف الإشراف الذاتي (Self-Supervised Objectives):
يعمل الإطار على تحسين نموذج المكافأة باستخدام خسارتين متمايزتين على البيانات المصفاة:
- خسارة المكافأة التباينية ( $L_R$ ): هدف تبايني مرتبط بالقيمة يدفع الاستجابات ذات الميزة الموجبة فوق مرساة القيمة، والاستجابات ذات الميزة السالبة تحتها. يعمل هذا على تحديث رأس المكافأة ( $h_\phi$ ) والعمود الفقري ( $f_\omega$ ).
- خسارة معايرة القيمة ( $L_V$ ): هي خسارة متوسط مربع الخطأ (MSE) تدرب رأس القيمة على التنبؤ بمتوسط المكافأة التجريبي غير المنحاز للمجموعة المختارة. وهذا يضمن بقاء المرساة كخط أساس معاير.
صياغة Minimax:
نظرياً، يُصاغ SAVE كمسألة minimax متمحورة حول نموذج المكافأة:
$\min_\eta \max_\theta M_t(\eta, \theta)$
حيث تعمل السياسة ( $\theta$ ) كمولد بيانات تكيفي يبحث طبيعياً عن المناطق التي يكون فيها نموذج المكافأة الحالي غير معاير (مما يكشف نقاط ضعفه)، بينما يقلل نموذج المكافأة ( $\eta$ ) من أخطاء التصنيف والمعايرة على هذه العينات الصعبة.

المساهمات الرئيسية

إطار عمل SAVE: إطار عمل عام وذاتي الإشراف يحسن نماذج المكافأة باستمرار باستخدام التغذية الراجعة المتصلة من تدريب التعلم التعزيزي، مما يلغي الحاجة إلى التوسيم البشري الإضافي أو الحكام الخارجيين.
التبرير النظري: صاغ المؤلفون العملية كمسألة minimax، مبرهنين نظرياً على أن تحسين السياسة ينتج طبيعياً بيانات غنية بالمعلومات لتحسين نموذج المكافأة من خلال كشف الأخطاء المعرفية (epistemic errors) في نموذج المكافأة.
التحقق التجريبي: تجارب واسعة النطاق عبر ستة معايير متنوعة وعدة خوارزميات تعلم تعزيزي (GRPO, RLOO, GSPO) وأعمدة فقارية للسياسة.

النتائج التجريبية

تقيم الورقة SAVE على ستة معايير لنموذج المكافأة: RewardBench، و RewardBench 2، و RM-Bench، و PPE Preference، و PPE Correctness، و JudgeBench.

أداء نموذج المكافأة:
- انطلاقاً من نموذج مكافأة أساسي (Skywork-Reward-V2-Llama-3.2-3B) بمتوسط درجة 76.0، نجح SAVE في تحسين المتوسط إلى 77.3 عند استخدام عمود فقري أقوى للسياسة (Qwen3-4B).
- حقق SAVE أفضل النتائج في جميع المعاييم الستة، متفوقاً على النماذج المرجعية بما في ذلك التدريب غير المتصل المستمر (continual offline training)، ونماذج متوسط المكافأة (Mean Reward baselines)، وطريقة HL-BT (Highest-Lowest Bradley-Terry).
- أكدت دراسات الاستئصال (Ablation studies) أن آلية التصفية المنهجية وتحديثات السياسة الديناميكية ضرورية؛ حيث أدى تجميد السياسة أو إزالة المنهج التعليمي إلى انخفاض في الأداء.
أداء السياسة في المهام النهائية (Downstream):
- ترجمت نماذج المكافأة المحسنة إلى أداء أفضل للسياسة في المهام النهائية. في AlpacaEval 2، ارتفع معدل الفوز المتحكم في الطول من 51.68% إلى 54.24%.
- في Arena-Hard-v2.0، ارتفع معدل الفوز من 30.2% إلى 33.9%.
- أثبت نموذج المكافأة المحسن قدرته على الانتقال، حيث عزز أداء السياسات التي تم تدريبها به حتى عندما لم يتم تدريبهما معاً.

الأهمية والادعاءات

تدعي الورقة أن SAVE يقدم حلاً قابلاً للتوسع لمشكلة "عنق الزجاجة" في تدريب نماذج المكافأة. فمن خلال الاستفادة من تطور السياسة نفسها لتوليد تغذية راجعة متصلة غنية بالمعلومات، يكسر SAVE التبعية للبيانات الثابتة غير المتصلة والحكام الخارجيين.

يؤكد المؤلفون على أن:

التحسين الذاتي قابل للتطبيق: يمكن لنماذج المكافأة تحسين نفسها بفعالية باستخدام البيانات الناتجة فقط أثناء عملية التعلم التعزيزي.
الارتباط بالقيمة أمر بالغ الأهمية: استخدام مرساة قيمة مرتبطة بالمطالبة ومتعلمة هو أفضل من التصنيف الزوجي الساذج (مثل HL-BT)، والذي يمكن أن يفرط في التكيف مع الاختلافات الهيكلية السطحية بين الاستجابات المتكافئة دلالياً.
القوة والمتانة: الطريقة مستقلة عن المحسن (optimizer-agnostic)، حيث أظهرت مكاسب متسقة عبر خوارهازميات مختلفة من التعلم التعزيزي الخالية من الناقد (GRPO, RLOO, GSPO).

تخلص الورقة إلى أن التغذية الراجعة المتصلة تعمل كإشارة إشراف فعالة لتحسين كل من نماذج المكافأة والسياسات النهائية التي توجهها، مما ينقل النموذج من نمذجة المكافأة المعزولة نحو التطور المشترك عبر الإنترنت (online joint evolution).

القيود

يقر المؤلفون بتواضع بوجود بعض القيود:

حجم النموذج: أُجريت التجارب على نماذج في نطاق 3B–4B؛ ولا تزال ديناميكيات النماذج الأكبر بكثير بحاجة إلى تحقق.
مقاييس التقييم: الاعتماد على المعايير الآلية وحكام النماذج اللغوية الكبيرة (LLM-based judges)؛ ومن شأن دراسات التفضيل البشري أن توفر أدلة أقوى، خاصة للمهام المتعلقة بالسلامة أو المهام الذاتية.
التكلفة الحسابية: يضيف SAVE حسابات إضافية بسبب أخذ عينات من استجابات متعددة لكل مطالبة وتحديث نموذج المكافأة أثناء التدريب، رغم أن العبء الزمني المذكور يعتبر متوسطاً مقارنة بالزيادة في الذاكرة.