ملخص تقني: GRPO هو في الواقع نموذج مكافأة عملياتي (Process Reward Model) بشكل خفي

بيان المشكلة

تعتمد التعلم المعزز (RL) للنماذج اللغوية الكبيرة (LLMs) غالباً على نماذج مكافأة النتائج (ORMs)، والتي تخصص مكافأة عددية واحدة لمسار كامل. بينما توفر نماذج مكافأة العمليات (PRMs) إسناداً أدق للائتمان من خلال مكافأة الخطوات المتوسطة، فإن تدريب نماذج PRM عصبية صريحة يتطلب تعليقات بشرية مكلفة على مستوى الخطوة، كما أنه عرضة لظاهرة "اختراق المكافأة" (reward hacking). وبناءً على ذلك، تستخدم العديد من تطبيقات التعلم المعزز الناجحة، لا سيما في الاستدلال الرياضي، خوارزمية تحسين السياسة النسبية للمجموعات (GRPO)، التي تلغي نموذج الناقد (critic model) وتقدير الميزة المعممة (GAE) المستخدم في خوارزمية PPO التقليدية.

ومع ذلك، توجد فجوة حرجة في فهم كيفية تعامل GRPO مع الإشارات على مستوى الخطوة. فبينما يُنظر إلى GRPO عادةً كخوارزمية على مستوى النتيجة، فمن غير الواضح ما إذا كان يقوم ضمنياً بعملية إسناد ائتمان على مستوى العملية. وعلاوة على ذلك، إذا كان هذا الإسنال الضمني موجوداً، فمن غير المعروف ما إذا كانت دالة هدف GRPO القياسية تحتوي على عيوب متأصلة تؤثر سلباً على الاستكشاف والاستغلال عندما تكون ترددات الخطوات ومكافآتها غير متوازنة.

المنهجية

التكافؤ النظري

يقدم المؤلفون برهاناً نظرياً يثبت أن GRPO القياسية، عندما تكون مزودة بنموذج مكافأة نتائج (ORM)، تكافئ رياضياً هدف تعلم معزز مدرك لنماذج مكافأة العمليات (PRM-aware) مزود بنموذج PRM غير بديهي يعتمد على طريقة مونت كارلو.

• خطوات العملية الضمنية: يعرّف المؤلفون "مجموعات العمليات" ($\lambda$) كأجزاء فرعية من المسارات داخل مجموعة تدريب $G$ تشترك في بادئات (prefixes) متطابقة. وتحدد هذه البادئات المشتركة طبيعياً خطوات العملية (المسارات الفرعية).
• بناء نموذج PRM ضمني: قاموا ببناء دالة $f$ تقوم بخرائط كل مسار إلى تسلسل من خطوات العملية. والمكافأة المخصصة لخطوة عملية معينة هي متوسط مكافأة النتيجة لجميع المسارات في المجموعة التي تشترك في ذلك البادئة المحددة (وهو تقدير مونت كارلو).
• برهان التكافؤ: تحت افتراضات بسيطة (تحديداً باستخدام هدف تدرج السياسة على مستوى الرمز وخطوة تحديث واحدة لكل دفعة)، أثبت المؤلفون أن دالة خسارة $L_{GRPO}$ القياسية مطابقة لدالة خسارة $L_{PRM}$ المدركة للعملية حيث يتم حساب المزايا بالنسبة لمكافآت هذه الخطوات الضمنية.

تحديد خلل

يكشف التحليل عن عيب في هدف GRPO القياسي يتعلق بـ عدم توازن تردد خطوات العملية.

• في الصيغة القياسية، يتم قياس مساهمة خطوة العملية في إجمالي الخسارة بواسطة عدد المسارات ($|\lambda|$) التي تشترك في تلك الخطوة.
• إذا كانت لخطوة عملية ميزة سالبة (أي أن متوسط مكافأتها أقل من متوسط المجموعة) ولكنها مشتركة بين العديد من المسارات، فإن العقوبة تتضاعف بفعل $|\lambda|$. وهذا يؤدي إلى كبح احتمالية توليد تلك الخطوة بشكل غير متناسب، مما قد يعيق استكشاف المسارات ذات المكافأة العالية التي تصادف مشاركة بادئة منخفضة المكافأة مع مسارات أخرى.
• وعلى العكس من ذلك، إذا كانت للخطوة ميزة إيجابية، فسيتم تضخيم إشارة المكافأة، مما قد يعيق استكشاف المسارات البديلة.

الحل المقترح: $\lambda$-GRPO

للتخفيف من هذا الخلل، يقترح المؤلفون $\lambda$-GRPO، وهو تعديل بسيط على دالة خسارة GRPO.

• الآلية: يتم قياس خسارة الرمز $y^{(i)}_t$ بمقدار مقلوب حجم مجموعة عمليتها، $|\lambda(i,t)|^{-1}$.
• الأثر: يعمل هذا التطبيع على إلغاء عامل قياس التردد $|\lambda|$ الموجود في الهدف القياسي. وبناءً على ذلك، تساهم كل مجموعة عملية بالتساوي في الخسارة عند مؤشر معين، بغض النظر عن عدد المسارات التي تشترك في ذلك البادئة. وهذا يمنع الخوارزمية من الإفراط في معاقبة أو مكافأة الخطوات لمجرد ترددها داخل المجموعة.

النتائج الرئيسية

التحقق التجريبي من نموذج PRM الضمني

تحقق المؤلفون تجريبياً من أن هيكل الـ PRM "الخفي" ليس بديهياً في الإعدادات الواقعية.

• باستخدام مجموعة بيانات OpenRS للاستدلال الرياضي، قاموا بتحليل هياكل الأشجار ($B(G)$) التي شكلتها بادئات المسارات أثناء التدريب.
• أظهرت النتائج أنه بالنسبة لأحجام المجموعات 6 و36، فإن أكثر من 99% من المجموعات المولدة أدت إلى مكافآت عمليات غير بديهية (أي أن البادئات تداخلت بشكل كبير).
• مع تقدم التدريب وتقارب النماذج، زاد تعقيد هذه الهياكل البادئة (عمق المسار) ونسبة الرموز المشاركة في الخطوات المتوسطة بشكل كبير.

الأداء على المهام الاصطناعية

في بيئة شجرة ثنائية اصطناعية مصممة لاختبار فرضية "مناهضة الاستكشاف":

• واجهت GRPO القياسية صعوبة في التقارب نحو المسار المستهدف ذي المكافأة القصوى عندما يشارك ذلك المسار بادئة مع مسارات ذات مكافأة أقل (بسبب الميزة السالبة المتضاعفة).
• تقاربت $\lambda$-GRPO باستمرار نحو المسار المستهدف بشكل أكثر تكراراً عبر مختلف التكوينات لطول البادئة وقيم المكافأة السالبة.

اختبارات الاستدلال اللاحقة

قام المؤلفون بضبط نماذج DeepSeek-R1-Distill-Qwen-1.5B و Llama-3.2-1B-Instruct على مجموعة بيانات OpenRS وقيموا أداءها على خمسة اختبارات استدلال (AIME24, MATH-500, AMC23, Minerva, OlympiadBench).

• الدقة: تفوقت نماذج $\lambda$-GRPO على نماذج GRPO القياسية في 15 من أصل 20 تكويناً خاصاً بالمهمة/النموذج.
• الكفاءة: وصلت نماذج $\lambda$-GRPO إلى ذروة دقة التحقق في أقل من نصف عدد خطوات التدريب المطلوبة لـ GRPO القياسية.
• السرعة: أبلغ المؤلفون عن تسريع تدريب تقريبي بمقدار ضعفين (2x) من حيث الخطوات للوصول إلى ذروة الأداء، مع تكلفة حسابية ضئيلة لعملية التطبيع.

الأهمية والادعاءات

يزعم البحث أن خوارزمية GRPO تمتلك بالفعل هيكل PRM غني ومدمج مستمد من مكافآت مستوى النتيجة وتداخل المسارات. تكمن أهمية هذا العمل في ثلاثة مجالات رئيسية:

1. الرؤية النظرية: يوضح البحث ماهية GRPO، ويثبت أنها ليست مجرد خوارمة على مستوى النتيجة بل هي خوارزمية تعمل ضمنياً على تحسين المكافآت الهيكلية على مستوى الخطوة عبر تقدير مونت كارلو.
2. التحسين الخوارزمي: يحدد خللاً رياضياً محدداً في الهدف القياسي يتعلق بعدم توازن التردد ويقدم حلاً منخفض التكلفة حسابياً ($\lambda$-GRPO) يحسن الأداء بشكل كبير.
3. الأثر العملي: يثبت أنه يمكن تحقيق إسناد ائتمان عالي الجودة على مستوى الخطوة دون الحاجة لتكلفة تدريب نماذج PRM عصبية صريحة أو جمع تعليقات بشرية على مستوى الخطوة. ومن خلال استغلال الهيكل الضمني، يمكن للممارسين تحسين قدرات الاستدلال وكفاءة التدريب بتكلفة إضافية ضئيلة.

خلص المؤلفون إلى أن العمل المستقبلي يجب أن يستغل إشارات مستوى الخطوة الضمنية هذه بدلاً من الاعتماد فقط على نماذج PRM الصريحة والمكلفة.