🤖 machine learning

Rewards as Labels: Revisiting RLVR from a Classification Perspective

تقترح هذه الورقة "المكافآت كملصقات" (REAL)، وهو إطار عمل مبتكر يعيد صياغة التعلم التعزيزي بمكافآت قابلة للتحقق كمسألة تصنيف لمعالجة مشكلات سوء تعيين التدرج والهيمنة في أساليب مثل GRPO، مما يحقق استقراراً وتفوقاً في الأداء في التدريب على معايير الاستدلال الرياضي مقارنة بالنماذج المرجعية الحديثة.

المؤلفون الأصليون: Zepeng Zhai, Meilin Chen, Jiaxuan Zhao, Junlang Qian, Lei Shen, Yuan Lu

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zepeng Zhai, Meilin Chen, Jiaxuan Zhao, Junlang Qian, Lei Shen, Yuan Lu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم روبوت ذكي جداً، ولكنه مرتبك قليلاً، كيفية حل المسائل الرياضية. تريد أن تجعله يتحسن، لذا تستخدم طريقة تسمى التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR).

إليك كيف كانت الطريقة القديمة تعمل، ولماذا كانت معطلة، وكيف تقوم هذه الورقة البحثية الجديدة، "المكافآت كملصقات" (REAL)، بإصلاح ذلك.

الطريقة القديمة: مشكلة "مفتاح التحكم في الصوت" (GRPO)

في الطريقة السابقة (المسماة GRPO)، كان المعلم (خوارزمية الكمبيوتر) يطلب من الروبوت حل مسألة رياضية 8 مرات.

إذا حصل الروبوت على الإجابة الصحيحة، يعطيه المعلم "عمل جيد!" (المكافأة = 1).
إذا أخطأ، يعطيه المعلم "حاول مرة أخرى" (المكافأة = 0).

ثم ينظر المعلم إلى إجابات الروبوت ويحاول تعديل دماغه. ولكن هنا كانت المشكلة: استخدم المعلم المكافأة كمفتاح للتحكم في "مستوى صوت" ثقة الروبوت.

خطأ "الصوت العالي جداً" (هيمنة التدرج):
تخيل أن الروبوت واثق جداً من أنه أجاب بشكل خاطئ (على سبيل المثال، يعتقد أن "2+2=5" بنسبة تأكد 99%). ولأن كان واثقاً جداً، قام المعلم القديم برفع "مفتاح التحكم في الصوت" إلى أقصى حد. تعرض دماغ الروبوت لصدمة هائلة ومفاجئة لإصلاح ذلك.

النتيجة: أصيب الروبوت بالذعر. لقد بالغ في التصحيح، ونسي كل ما يعرفه، فقط ليصحح هذا الخطأ الصاخب الواحد. كان الأمر يشبه طالباً يُصرخ في وجهه بسبب إجابة واحدة خاطئة فينسى كل ما تعلمه في بقية الاختبار.

خطأ "الصوت المنخفض جداً" (سوء تخصيص التدرج):
الآن، تخيل أن الروبوت حصل على الإجابة الصحيحة، لكنه لم يكن متأكداً منها (على سبيل المثال، كان يعتقد أن "2+2=4" ولكن بنسبة تأكد 50% فقط). رأى المعلم القديم هذا التأكد المنخفض فقام بخفض "مفتاح التحكم في الصوت" إلى مستوى منخفض جداً.

النتيجة: لم يشعر الروبوت بكلمة "عمل جيد!" بشكل كافٍ. لم يتعلم بما يكفي ليصبح واثقاً في المرة القادمة. كان الأمر يشبه طالباً يتلقى تشجيعاً خافتاً لـ "لا بأس" رغم إجابته الرائعة، فلم يكلف نفسه عناء الدراسة في هذا الموضوع مرة أخرى.

ملخص الطريقة القديمة: كان المعلم قاسياً جداً على الأخطاء الواثقة، ولطيفاً جداً على النجاحات غير المتأكدة. جعل هذا عملية التعلم غير مستقرة وغير فعالة.

الطريقة الجديدة: نظام "إشارة المرور" (REAL)

قال مؤلفو هذه الورقة، Zepeng Zhai وفريقه: "مهلاً، لماذا نستخدم المكافآت كمفاتيح للتحكم في الصوت؟ دعونا نعاملها كملصقات بسيطة، مثل إشارة المرور."

اقترحوا إطار عمل جديداً يسمى REAL (المكافآت كملصقات).

بدلاً من السؤال: "ما مدى علو صوتي عند الصراخ على هذه الإجابة؟"، هم يسألون: "هل هذه الإجابة ضوء أخضر (جيد) أم ضوء أحمر (سيء)؟"

كيف يعمل نظام REAL:

التصنيف، وليس مستوى الصوت:
ينظر المعلم إلى جميع الإجابات الثمانية.

توضع الإجابات الصحيحة في المجموعة الخضراء.
توضع الإجابات الخاطئة في المجموعة الحمراء.
الهدف ببساطة هو دفع الإجابات الخضراء للأعلى والإجابات الحمراء للأسفل. لا يهم إذا كان الروبوت متأكداً بنسبة 99% أو 1%؛ فالتعليمات هي نفسها: "حرك الأخضر للأعلى، وحرك الأحمر للأسفل".

"المرساة" (شبكة الأمان):
للتأكد من أن الروبوت لن يرتبك، يضيف المعلم نقطة صفر (المرساة).

إذا كانت الإجابة خضراء، يقول المعلم: "يجب أن تكون فوق الصفر".
إذا كانت الإجلة حمراء، يقول المعلم: "يجب أن تكون تحت الصفر".
هذا يخلق حدوداً واضحة وآمنة. لا يتلقى الروبوت أبداً "صدمة" كبيرة جداً، ولا يتلقى أبداً "تربيتة على الظهر" ضعيفة جداً.

التشبيه السحري: الأرجوحة المتوازنة

فكر في الطريقة القديمة كأرجوحة (سيسو) حيث يقوم الطفل الثقيل (الخطأ الواثق) بدفع الطفل الخفيف (النجاح غير المتأكد) بقوة شديدة لدرجة أن الطفل الخفيف يطير بعيداً عن اللوح.

طريقة REAL الجديدة تضع نابضاً (زنبركاً) تحت الأرجوحة.

إذا دفع الطفل الثقيل بقوة كبيرة، يمتص النابض الصدمة حتى لا يطير اللوح للأعلى.
إذا كان الطفل الخفيف خفيفاً جداً، يرفعه النابض بلطف حتى لا يظل عالقاً في الأسفل.
النتيجة: تظل الأرجوحة متوازنة، ويتعلم الجميع بوتيرة ثابتة وآمنة.

لماذا هذا مهم (النتائج)

اختبر المؤلفون هذا على أصعب المسائل الرياضية (مثل مسابقات AIME وOlympiad).

الاستقرار: لم يجن جنون الروبوت (انهيار الإنتروبي) ولم يرتبك (انفجار الإنتروبي). لقد تعلم بثبات.
الأداء: حتى مع "دماغ" أصغر (1.5 مليار بارامتر)، تفوقت الطريقة الجديدة على طريقة "مفتاح التحكم في الصوت" القدية بفارق كبير (أفضل بنسبة 6.7% تقريباً).
القابلية للتوسع: عندما استخدموا "دماغًا" أكبر (7 مليارات بارامتر)، ظلت الطريقة الجديدة هي الفائزة.

الخلاصة

تجادل الورقة بأننا لسنا بحاجة إلى مكافآت معقدة وصاخبة لتعليم الذكاء الاصطناعي. نحن نحتاج فقط إلى تصنيف الأشياء بوضوح كـ "جيد" أو "سيء" ومعاملة عملية التعلم كمسألة تصنيف (فرز الأشياء في مجموعات) بدلاً من مسألة انحدار (تعديل قرص التحكم).

من خلال القيام بذلك، أصلحوا مشكلتي "الصراخ على الأخطاء الواثقة" و"تجاهل النجاحات غير المتأكدة"، مما جعل تدريب الذكاء الاصطناعي للرياضيات والمنطق أكثر استقراراً وفعالية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "المكافآت كملصقات: إعادة النظر في التعلم المعزز من خلال الرؤية القابلة للتحقق (REAL)".

1. بيان المشكلة

تعالج الورقة أوجه القصور الحرجة في التعلم المعزز من خلال المكافآت القابلة للتحقق (RLVR)، وتحديداً ضمن إطار عمل تحسين السياسة النسبي للمجموعات (GRPO) المهيمن ومتغيراته (مثل DAPO وGSPO). وبينما نجح GRPO في تحسين النماذج اللغوية الكبيرة (LLMs) في مهام الاستدلال، حدد المؤلفون نوعين من عدم التطابق في التدرج (gradient mismatches) يؤديان إلى تحديثات غير مثالية للسياسة:

سوء تخصيص التدرج في الإيجابيات (Gradient Misassignment in Positives): بالنسبة للمخرات (rollouts) الصحيحة (الإيجابية)، يخصص GRPO تحديثات كبيرة بشكل غير متناسب للرموز (tokens) التي تمتلك بالفعل احتمالات عالية (الرموز السهلة). وعلى العكس من ذلك، فإن الرموز الإيجابية "الصعبة" (ذات الاحتمالية المنخفضة تحت السياسة الحالية) تتلقى تدرجات ضعيفة. يؤدي هذا إلى تركيز النموذج على المناطق المحسنة بالفعل بدلاً من تصحيح المكونات غير المدربة جيداً.
هيمنة التدرج في السلبيات (Gradient Domination in Negatives): بالنسبة للمخرات الخاطئة (السلبية)، تكون قيم التدرج في GRPO غير مقيدة. فالرموز السلبية ذات الثقة العالية (الرموز التي يتأكد النموذج من صحتها وهي خاطئة) تولد تدرجات ضخمة بشكل أسي تهيمن على التحديث، مما يطغى على مساهمات عينات سلبية أخرى غنية بالمعلومات. يؤدي هذا إلى عدم استقرار التدريب والحساسية تجاه القيم المتطرفة.

تتسبب هذه المشكلات في تخصيص غير فعال للائتمان (credit assignment)، والتقارب المبكر نحو الحلول المحلية المثلى، وعدم استقرار التدريب (مثل انهيار أو انفجار الإنتروبيا).

2. المنهجية: إطار عمل REAL

يقترح المؤلفون إطار عمل REAL (المكافآت كملصقات)، وهو إطار عمل جديد يعيد التفكير جذرياً في تحسين السياسة عبر التحول من منظور وزن المكافأة القياسي إلى منظور التصنيف.

التحول المفاهيمي الجوهري

بدلاً من معاملة المكافآت القابلة للتحقق ( $r \in \{0, 1\}$ ) كأوزان قياسية لزيادة حجم التدرجات، يعاملها REAL كـ ملصقات فئوية (categorical labels). حيث يتم إعادة صياغة الهدف كمهمة تصنيف: التمييز بين المخرات المرغوبة (الإيجابية) وغير المرغوبة (السلبية).

المكونات التقنية

تعريف اللوغيت (Logit Definition):
لكل مخرج $o_k$ ، يحسب النموذج درجة لوغاريتم الاحتمال النسبي المعياري حسب الطول $\bar{s}_k$ :
$\bar{s}_k = \frac{1}{|o_k|} \sum_{t=1}^{|o_k|} \log \frac{\pi_\theta(o_{k,t} | q)}{\pi_{old}(o_{k,t} | q)}$
تقيس هذه الدرجة التغير النسبي في الاحتمالية تحت السياسة الجديدة مقارنة بالسياسة القديمة.
لوغيتات المرتكز (Anchor Logits):
لمنع اتجاهات التحديث الغامضة (على سبيل المثال، انخفاض كل من الدرجات الإيجابية والسلبية معاً)، يقدم REAL لوغيت مرتكز (anchor logit) ثابتاً عند الصفر.
- بالنسبة للعينات الإيجابية، يعمل الصفر كلوغيت سلبي.
- بالنسبة للعينات السلبية، يعمل الصفر كلوغيت إيجابي.
  هذا يفرض فصلاً واضحاً: يجب أن تكون الدرجات الإيجابية $>0$ والدرجات السلبية $<0$ .
دالة الخسارة (Loss Function):
يستخدم REAL خسارة التقاطع المتشعب الناعم الموحدة (Softmax Cross-Entropy) (تحديداً نسخة من خسارة Circle Loss أو خسائر مشابهة تعتمد على الهامش) لفصل مجموعات اللوغيتات الإيجابية ( $S_+$ ) واللوغيتات السلبية ( $S_-$ ) بالنسبة للمرتكز ( $S_0$ ).
$\mathcal{L}_{REAL} = \mathcal{L}_{CE}(S_+, S_0) + \mathcal{L}_{CE}(S_0, S_-)$
حيث تُعرف $\mathcal{L}_{CE}$ بـ $\log(1 + \sum e^{z_{neg} - z_{pos}})$ . هذه الصيغة توازن توزيع التدرج بشكل طبيعي.
الخصائص النظرية (تحليل التدرج):
تثبت الورقة أن REAL يستحث توزين تدرج رتيب ومقيد.
- حجم التدرج محدود علوياً بـ $1/\tau$ (حيث $\tau$ هو معامل درجة الحرارة).
- بالنسبة للإيجابيات، يتناقص التدرج مع زيادة لوغاريتم الاحتمال النسبي (لمنع الإفراط في تحديث الرموز السهلة).
- بالنسبة للسلبيات، يكون التدرج مقيداً بشكل صارم، مما يمنع هيمنة القيم المتطرفة.
- بشكل حاسم: تعمل هذه الطبيعة المقيدة كـ قص تلقائي وتكيفي للتدرج (implicit, adaptive gradient clipping)، مما يلغي الحاجة إلى عقوبات تباعد KL الصريحة التي غالباً ما تكون مطلوبة في GRPO لاستقرار التدريب.

3. المساهمات الرئيسية

تحديد عدم تطابق التدرج: تحدد الورقة وتحلل رسمياً "سوء تخصيص التدرج في الإيجابيات" و"هيمنة التدرج في السلبيات" كأسباب جذرية لعدم الاستقرار في الأساليب الشبيهة بـ GRPO.
إطار عمل REAL: يقترح إعادة صياغة لـ RLVR قائمة على التصنيف تعامل المكافآت كملصقات، باستخدام لوغيتات المرتكز والتقاطع المتشعب الناعم لتحقيق توزيع متوازن للتدرج.
ως الضمانات النظرية: توضح الورقة أن REAL يوفر وزناً تدرجياً رتيباً ومقيداً، مما يضمن تدريباً مستقراً دون الحاجة لعقوبات KL صريحة.
التفوق التجريبي: تظهر التجارب المكثفة أن REAL يتفوق باستمرار على GRPO وDAPO وGSPO عبر نماذج متعددة الأحجام ومعايير اختبار مختلفة.

4. النتائج التجريبية

قيم المؤلفون REAL على معايير الاستدلال الرياضي (AIME 2024/2025, MATH 500, AMC 2023, Minerva, Olympiad Bench) باستخدام نماذج DeepSeek-R1-Distill-Qwen (بأحجام 1.5 مليار و7 مليارات معلمة).

أداء نموذج 1.5B:
- حسن REAL متوسط Pass@1 بنسبة 6.7% عن DAPO و9.5% عن GRPO.
- تفوق أيضاً على خط الأساس القوي GSPO.
أداء نموذج 7B:
- استمر REAL في التفوق على DAPO بنسبة 6.2% وعلى GSPO بنسبة 1.7%.
- حقق متوسط Pass@1 بنسبة 63.2%.
استقرار التدريب:
- على عكس GRPO (الذي يعاني من انهيار الإنتروبيا) وDAPO (انفجار الإنتروبيا)، حافظ REAL على إنتروبيا مستقرة طوال التدريب.
- حقق أداءً تنافسياً دون أي عقوبة KL صريحة، مما يؤكد فعالية القص التلقائي للتدرج الخاص به.
دراسات الاستئصال (Ablation Studies):
- إزالة لوغيتات المرتكز (Anchor Logits) قللت الأداء قليلاً لكنها ظلت مستقرة.
- استخدام التقاطع المتشعب الثنائي (BCE) بدلاً من الناعم (Softmax) أدى إلى أداء أقل (50.4% مقابل 52.6%)، مما يبرز أهمية التنافس الجماعي المتأصل في صيغة Softmax.
- وُجد أن معامل درجة الحرارة $\tau=0.5$ هو الأمثل؛ حيث تسببت القيم الأقل ( $\tau=0.1$ ) في عدم استقرار بسبب التدرجات غير المحدودة.

5. الأهمية

تحول في النموذج الفكري: تتحدى الورقة الرؤية السائدة لـ RLVR كمسألة تحسين مكافأة قياسية، وتنجح في إعادة صياغتها كمهمة تصنيف، مما يقدم نهجاً أكثر دقة لتخصيص الائتمان.
الاستقرار والكفاءة: من خلال حل مشكلات عدم تطابق التدرج، يتيح REAL ديناميكيات تدريب أكثر استقراراً، مما يقلل من خطر انهيار النموذج والحاجة إلى ضبط معقد للمعلمات الفائقة (مثل عقوبات KL).
القابلية للتوسع: يتوسع المنهج بفعالية من نماذج 1.5B إلى 7B، مما يشير إلى أنه أساس قوي لنماذج الاستدلال واسعة النطកម្ម المستقبلية.
البساطة: رغم عمقه النظري، يعتمد التنفيذ على خسائر تصنيف قياسية، مما يجعل من السهل دمجه في خطوط أنابيب RLVR الحالية.

في الختام، يوفر REAL بديلاً مستقراً وفعالاً ومبنياً على أسس نظرية لـ GRPO، مما يدفع بشكل كبير حدود أحدث التقنيات في تدريب النماذج اللغوية الكبيرة لمهام الاستدلال المعقدة عبر المكافآت القابلة للتحقق.